DataStream API使用Sink及自定义Sink

ops/2024/10/21 11:30:48/

目录

Data Sinks  

案例

 自定义Sink

Human实体类

自定义RichSinkFunction 

MySQL Sink使用 

测试 


Data Sinks  

        数据接收器(Data sinks)消费数据流并将它们转发到文件、套接字、外部系统或打印它们。Flink带有各种内置输出格式,这些格式被封装在数据流的算子后面:

(1)writeAsText() / TextOutputFormat -将元素逐行写入字符串。通过调用每个元素的toString()方法获得string。

(2)writeAsCsv(…)/ CsvOutputFormat -将元组写入以逗号分隔的值文件。行和字段分隔符是可配置的。每个字段的值来自对象的toString()方法。

(3)print() / printToErr() -打印标准输出/标准错误流中每个元素的toString()值。可选地,可以提供一个前缀(msg),它被附加到输出。这可以帮助区分不同的打印调用。如果并行度大于1,输出也将加上产生输出的任务的标识符。

(4)writeUsingOutputFormat() / FileOutputFormat -自定义文件输出的方法和基类。支持自定义对象到字节的转换。

(5)writeToSocket——根据SerializationSchema将元素写入套接字。

(6)addSink -调用自定义接收函数。Flink与其他系统(如Apache Kafka)的连接器捆绑在一起,这些系统被实现为接收函数。

        请注意,数据流上的write*()方法主要用于调试目的。它们不参与Flink的检查点,这意味着这些函数通常具有至少一次(at-least-once)的语义。将数据刷新到目标系统取决于OutputFormat的实现。这意味着并非发送到OutputFormat


http://www.ppmy.cn/ops/89049.html

相关文章

面向对象之设计模式,四种内部类,类关系

面向对象 1. 类关系 继承 使用extends表示,类和类单继承,接口和接口多继承,多个逗号隔开 又叫泛化关系 实现 类和接口是多实现关系,多个逗号隔开,通过关键字 implements表示 依赖 一个类中的局部变量 ,保存了另一个类对象 关联 又叫强依赖,一个类中的成员变量,是另一个类对象…

EasyAR_稠密空间图

EasyAR稠密空间图 1.稠密空间图 EasyAR稠密空间地图利用RGB相机图像对周围环境进行三维稠密重建,得到稠密的点云地图和网格地图。利用稠密空间地图让虚拟物体更好的融入真实环境之中,用以实现真实物体和虚拟物体正确遮挡、碰撞等AR应用。 2.在Unity中的…

YUV 简介及使用

这里写目录标题 一、YUV 采样格式介绍1. YUV420(NV12、NV21、I420、YV12)2. YUV422(NV16、NV61、I422、YV16、YUVY、VYUY、UYVY)3. YUV444(I444、YV24)二、示例1. NV12转BGR2. BGR转NV12三、参考内容一、YUV 采样格式介绍 1. YUV420(NV12、NV21、I420、YV12) # NV12、…

[Leetcode 875][Medium]-爱吃香蕉的珂珂-二分搜索

目录 一、题目描述 二 、整体思路 三 、代码 一、题目描述 原题地址 二 、整体思路 题目要求在时间h内(含h),求解最小速度k。那么首先要知道速度与吃香蕉所用时间的关系。 假设速度为k,那么吃香蕉所用时间t就等于每堆香蕉piles[i]除以速度k所得的向…

类和对象(上) - c++

1.类的定义 1.1 类定义格式 class 是定义类的关键字 ,后跟类的名字,{}部分为类的主体,(注意:最后类定义结束时不要忘了 ; )。 类体中内容称为类的成员:类中的变量称为成员变量; 类中的函数称为成员函数。在c中,struct也可以定义类(c兼容c语言),同时struct升级成类…

【大模型实战篇】搭建本地的隐私计算知识问答系统“密答”

1. 背景介绍 在之前分享的文章《基于开源大模型的问答系统本地部署实战教程》中,我们介绍了基于ollama实现本地问答系统的部署和使用。本文将基于ollama进一步实现本地垂直领域的问答系统搭建。ollama作为大模型的运行框架,可以提供大模型的使用接口…

Markdown语法学习

Markdown学习 一、基础语法讲解 1. 换行 本行末尾双空格然后回车(在Typora的中直接回车也可以) 2. 换段 本段末尾两次回车 3. 加粗 **加粗** __加粗__效果:加粗 4. 斜体 *加粗* _加粗_效果:斜体 5. 斜体加粗 ***加粗**…

学习记录day18——数据结构 算法

算法的相关概念 程序 数据结构 算法 算法是程序设计的灵魂,结构式程序设计的肉体 算法:计算机解决问题的方法护额步骤 算法的特性 1、确定性:算法中每一条语句都有确定的含义,不能模棱两可 2、有穷性:程序执行一…