学习Flink的基本概念和核心类总结:

news/2024/11/2 14:21:27/

Flink需要掌握的基本概念:

  1. 流处理和批处理:Flink可以用于实时流处理和离线批处理。流处理通常是连续、无限制的数据流,而批处理是一组数据,通常是先进行收集,再进行处理。

  2. 数据集和数据流:Flink中的数据被组织成数据集和数据流两种形式。数据集是有限的、离线的数据,可以被分割成块。数据流是无限的、连续的数据,可以持续生成,也可以经过转换后被输出。

  3. 任务图(JobGraph):将一个Flink程序看作是一个或多个任务组成的有向无环图,其中每个任务负责处理一个或多个输入数据流(也可能没有输入),并生成一个或多个输出数据流。任务图描述了任务之间的依赖关系,以及在执行期间如何将任务调度在不同的机器上。

  4. 窗口(Window):窗口是对数据流的一种有限大小的分区。可以指定不同的窗口类型和大小,例如滚动时间窗口、滑动计数窗口等,以便按时间或计数等方式处理流数据。

  5. 状态管理和容错:由于Flink通常用于处理大规模数据,因此应该进行容错管理。Flink提供了多种机制实现状态的管理和容错,例如持久化状态、检查点、重播等机制。

  6. 数据源和数据接收器:Flink支持从多种数据源中接收输入,并将处理结果发送到多种数据接收器中。它可以与各种数据存储系统集成,包括Kafka、Hadoop、Cassandra、Elasticsearch等。

  7. 任务管理与部署:Flink使用分布式计算方式,Flink中的任务被分割为子任务并在不同的机器上运行。Flink提供了多种部署模式,例如本地模式、YARN/Hadoop模式、Kubernetes模式等。

以上是理解Flink的关键概念,掌握它们将有助于理解Flink的原理和运作方式。

Flink程序的核心类包括以下几个:

  1. StreamExecutionEnvironment:它是Flink中的主程序入口,负责整个应用程序的配置和执行。它可以用来设置应用程序的并行度、任务链等参数,创建数据源和接收器,以及定义事件时间和水印等时间属性。常见的方法有getExecutionEnvironment(创造一个新的执行环境)和fromElements(从给定元素列表中创建数据流)。

  2. DataStream:它代表一个数据流,Flink将其理解为一个无限的流。它可以从数据源中获取输入数据,经过多次转换后生成结果,然后输出到数据接收器中。常见的方法有filter(筛选满足特定条件的数据)、map(将输入数据通过一定的映射转换为输出数据)、keyBy(将数据进行分区)等。

  3. KeyedStream:它是一个特定的DataStream,表示已经根据某个关键字进行了分组。它在流处理中是非常重要的,可以将不同的事件数据分配到不同的处理线程中进行处理,提高了处理的并行度。常见的方法有window(指定窗口操作)、reduce(使用给定的reduce函数来组合数据流中的元素)等。

  4. WindowedStream:它是对分组后的数据流进行窗口操作的类,将一个无限的数据流分割成有界的数据窗口,以便进行聚合或其他操作。常见的方法有timeWindow(根据事件时间将数据流划分为固定大小的时间窗口)、countWindow(根据记录数将数据流划分为固定大小的计数窗口)等。

  5. SinkFunction:它表示将DataStream中处理结果发送到其他系统或数据存储设备中的类。常见的 SinkFunction 有writeAsText(将数据写入文本文件中)、addSink(将结果输出到Socket或Kafka等外部存储系统)等。

  6. SourceFunction:它表示输入数据源的类。Flink使用SourceFunction将数据源抽象为一个数据流,然后传递给DataStream通过转换后输出。常见的 SourceFunction 有从文件、socket、Kafka等读取数据的方法。

这些是Flink中最常用的核心类,每个类都有不同的方法和属性,可用于定义数据流处理流程。通过理解这些核心类,基本可以设计和构建基本的流处理应用程序。


http://www.ppmy.cn/news/221901.html

相关文章

头戴式耳机能听到声音但不能说话

新的头戴式耳机,麦克风输入有问题,说话没声音 问题描述 跟公司申请了一个头戴式耳机,每周一开周会用 用的时候发现只能听到声音,但麦克风没有输入。进入ZOOM会议总会提示“搜索不到声音输入”。 解决方法 1.计算机打开“设置…

头戴式耳机佩戴时候出现振膜因气压炸响 , 解决办法

最近我的老伙伴(耳机)出现异常, 佩戴的时候会被气压鼓动振膜炸响, 后面连转头的时候也会响, 真的是影响敲代码的心情. 看了一下专业耳机论坛, 也不知道这个怎么描述, 因为只有右耳出现这个问题, 找了好久终于找到原因: 振膜塌陷 就是因为里面的那个振膜由于气压或者其他原因塌…

头戴式耳机与笔记本用蓝牙连接问题

1我用的是联想笔记本,Fn+F5会弹出蓝牙标识框,可惜好像没啥用。 2打开控制面板->硬件和声音->设备管理器,如果没有出现蓝牙设备,则选操作下拉菜单里的刷新,这时会出现蓝牙设备…

智能眼镜是头戴式摄像机

奥巴荣 网络日志070 佛山中国 2019-09-02 从事智能眼镜相关工作满三年了,在这段时间里,不止一次感到迷茫,什么是智能眼镜,能实现什么功能,为什么要做智能眼镜,怎么设计一款智能眼镜,这个行业有没…

全球及中国头戴式显示器未来发展形势与前景展望分析报告2023-2029年

【出版机构】:鸿晟信合研究院 【内容部分有删减详细可参鸿晟信合研究院出版完整信息!】 2022年中国头戴式显示器市场销售收入达到了 万元,预计2029年可以达到 万元,2023-2029期间年复合增长率(CAGR)为 %。本研究项目旨在梳理头戴…

苹果头戴式耳机 AirPods Max 来了,4399 元!

数码圈相对平静的 12 月,因为苹果的新品上线掀动了波澜。 就在刚刚,苹果悄悄在官网更新了一款重磅新品。传闻已久的苹果首款头戴式耳机 AirPods Max 终于正式亮相。 从去年开始,我们就已经从各路爆料人、iOS 系统的「彩蛋」里得知了这款产品…

台式机接入头戴式耳麦后线材螺旋自纠缠成麻花问题

听起来有点离谱,但是是真的 我的头戴式耳麦在插入台式机后,它的线材逐渐自纠缠成麻花辫,能自己打好几个圈还死硬死硬的 网上搜了半天也没有相关问题,都是说的普通小耳机 虽然不知道为什么,在我把它插上笔记本用了一…

头戴式耳机行业中CS品牌SD NAND痛点需求

头戴式耳机设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能,可穿戴设备将会对我们的生活、感知带来很大的转变。 头戴式耳机的更新迭代,同时也对可耳机产品对存储需求和要求显著增长。雷龙小编辑简单的汇总…