(四)Flink Transformation 数据转换

devtools/2024/12/22 18:14:16/

用户通过算子能将一个或多个 DataStream 转换成新的 DataStream,在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。 这部分内容将描述 Flink DataStream API 中基本的数据转换 API。

目录

Map(DataStream → DataStream)

FlatMap(DataStream → DataStream)

Filter(DataStream → DataStream)

KeyBy(DataStream → KeyedStream)

Reduce(KeyedStream → DataStream)

Aggregation(KeyedStream → DataStream)

Union(DataStream* → DataStream)

Connect (DataStream,DataStream → ConnectedStream)

CoMap, CoFlatMap (ConnectedStream → DataStream)


Map(DataStream → DataStream)

输入一个元素同时输出一个元素,下面是将输入流中元素数值加 5 倍的例子:

import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import java.util.Arrays;public class TransformationExample_1 {public static void main(String[] args) throws Exception{StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);DataStream<Integer> dataStream = env.fromData((Arrays.asList(11,12,13)));// map 使用,对应获取的数据 * 5,并打印出来dataStream.map(new MapFunctio

http://www.ppmy.cn/devtools/97881.html

相关文章

【前端面试】javascript全栈开发——深挖nestJS项目

注意区别于nextJS框架——web全栈应用框架。 NestJS NestJS 是一个现代的、用于构建可扩展的 Node.js 服务器端应用程序的框架,它使用 TypeScript 构建,结合了 OOP、FP 和 FRP (详见下面)。 NestJS 提供了一个开箱即用的应用架构,允许开发者和团队创建高度可测试、可扩展、…

Compose(11)APT阶段的任务

在 Android 开发中&#xff0c;使用 Jetpack Compose 的声明式 UI 在编译的 APT&#xff08;Annotation Processing Tool&#xff0c;注解处理工具&#xff09;阶段可能会进行以下一些操作&#xff1a; 一、生成代码 可组合函数分析&#xff1a; APT 可以分析开发者编写的可组…

代理模式:静态代理和动态代理

目录 一、静态代理 1、优点 2、 缺点 3、示例 二、动态代理 1、优点 2、 缺点 3、示例 三、总结 在Java中&#xff0c;代理模式是一种结构型设计模式&#xff0c;它允许你在不改变目标对象代码的情况下&#xff0c;为目标对象提供一个代理对象&#xff0c;用以控制访问和增强功…

别再无效清理微信内存啦,这才是正确清理内存的方式

微信作为我们日常生活中必不可少的社交工具&#xff0c;随着时间的积累&#xff0c;往往会占据手机大量宝贵的存储空间。 如何在保证重要信息不丢失的同时&#xff0c;有效地管理和清理微信中的垃圾文件和无用数据&#xff0c;成为了一个值得探讨的话题。 本文将从几个方面介…

yum小bug

这个错误是在克隆的机子上安装mysql时&#xff0c;查看有无mysql发现的 [rootwebserve-2 backup] # yum list installed | grep mysql Repository cr is listed more than once in the configuration Repository fasttrack is listed more than once in the configuration 这…

HarmonyOs透明弹窗(选择照片弹窗样式)

1.鸿蒙中需要实现一个如下图的弹窗 2.由上图中可以得出&#xff0c;只需要三个Text组件依次向下排列&#xff0c;弹窗背景设置透明即可&#xff0c;弹窗代码如下(仅展示弹窗样式)&#xff1a; /**** 自定义选择图片弹窗** 外部定义需要导出*/ CustomDialog //自定义弹窗 export…

[数据集][目标检测]机械常用工具检测数据集VOC+YOLO格式4713张8类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;4713 标注数量(xml文件个数)&#xff1a;4713 标注数量(txt文件个数)&#xff1a;4713 标注…

又是一年秋

24年对于我个人来讲可能是最没有记忆点的一年&#xff0c;又却是最混乱的一年... 直至疫情结束后无论是工作还是生活仿佛产生了很多变化&#xff0c;我相信很多普通的同龄人和我情况也类似&#xff0c;不过类似这样的牢骚文网上有很多&#xff0c;我也不参与不赘述了&#xff0…