(三)Flink Source 数据源

news/2024/9/24 4:14:59/

Flink 数据源主要分为内置数据源和第三方数据源。其中内置数据源包含文件、Socket 连接、集合类型数据等,不需要引入其它依赖库。第三方数据源定义了 Flink 和外部系统数据交互的逻辑,Flink 提供了非常丰富的数据源连接器,例如 Kafka、Elasticsearch、RabbitMQ、JDBC 等。 

目录

(一)文件数据源

(二)Socket 数据源

(三)集合数据源

(四)外部数据源

(五)自定义数据源


(一)文件数据源

文件连接器提供了 BATCH 模式和 STREAMING 模式统一的 Source 和 Sink。Flink FileSystem Abstraction 支持连接器对文件系统进行(分区)读写。文件系统连接器为 BATCH 和 STREAMING 模式提供了相同的保证,而且对 STREAMING 模式执行提供了精确一次(Exactly-once)语义保证。

文件连接器支持对任意(分布式的)文件系统(例如,POSIX、S3、HDFS)以某种数据格式 (例如,Avro、CSV、Parquet) 对文件进行写入,或者读取后生成数据流或一组记录。

使用方法:
可以通过创建 FileSource.FileSourceBuilder 设置 File Source 的所有参数:

// 从文件流中读取文件内容
FileSource.forRecordStreamFormat(StreamFormat,Path...);   // 从文件中一次读取一批记录   
FileSource.forBulkFileFormat(BulkFormat,Path...);

http://www.ppmy.cn/news/1512617.html

相关文章

android13布局查看工具 无源码查看布局 在线查找ui布局id

总纲 android13 rom 开发总纲说明 目录 1.前言 2.工具介绍 2.1工具1 2.2工具2 2.3工具3 2.4工具4 3.彩蛋 1.前言 Android 13提供了一些工具来帮助开发人员查看和优化应用的布局。方便的让我们找到具体应用的布局文件等信息。 2.工具介绍 2.1工具1 老版本DDMS&#x…

【功能】Lua层的全局事件管理系统

1.EventManager 全局的管理类 2.EventType 事件类型 3..Lua层Common工具目录去require对应文件目录的脚本文件 --事件类型 local EventType {TestMsg 1, }return EventType local EventManager class(); EventManager.msgMap {}local function HaveSameFunc(…

Java - 回溯算法介绍、应用场景和示例代码

概述 回溯算法是一种试探性搜索算法,用于寻找问题的所有可能解决方案。它通过递归地构建解,并在发现某条路径不可能生成可行解时,撤回到上一步以探索其他可能性。回溯算法特别适用于组合问题、排列问题、子集问题等。 回溯算法本质上是一种…

【GitLab】使用 Docker 安装 3:gitlab-ce:17.3.0-ce.0 配置

参考阿里云的教程docker的重启 sudo systemctl daemon-reload sudo systemctl restart docker配置 –publish 8443:443 --publish 8084:80 --publish 22:22 sudo docker ps -a 當容器狀態為healthy時,說明GitLab容器已經正常啟動。 root@k8s-master-pfsrv:~

C++中数据类型的学习

目录 一、整形 二、sizeof关键字 三、实型(浮点型) 四、字符型 五、转义字符 六、字符串型 七、布尔类型bool 八、数据的输入 数据类型 C规定在创建一个变量或者常量时,必须要指定出相应的数据类型,否则无法给变量分配内…

YSLOW(一款实用的网站性能检测工具)

YSlow 是 Yahoo 发布的一款基于FireFox的插件,这个插件可以分析网站的页面,并告诉你为了提高网站性能,如何基于某些规则而进行优化。 YSLOW有什么作用? 1、YSlow可以对网站的页面进行分析,并告诉你为了提高网站性能&…

esbuild中的Binary Loader:处理二进制文件

在前端或Node.js项目中,有时需要处理二进制文件,如图片、音频、视频或其他非文本资源。esbuild提供了一款名为Binary Loader的插件,它能够在构建时将二进制文件加载为二进制缓冲区,并使用Base64编码将其嵌入到打包文件中。在运行时…

【面试宝典】redis常见面试题总结(上)

一、为什么使用 redis? 使用缓存的目的就是提升读写性能。为了提高读写性能,带来更高的并发量。减少对 MySQL 的请求量。 二、redis 有哪些好处? 读写速度快,因为数据存储在内存中,所以数据获取快。支持多种数据结构…