Flink中上游DataStream到下游DataStream的内置分区策略及自定义分区策略

devtools/2024/9/22 18:03:16/

目录

全局分区器GlobalPartitioner

广播分区器BroadcastPartitioner

哈希分区器BinaryHashPartitioner

轮询分区器RebalancePartitioner

重缩放分区器RescalePartitioner

随机分区器ShufflePartitioner

转发分区器ForwardPartitioner

键组分区器KeyGroupStreamPartitioner

自定义分区器CustomPartitionerWrapper


        Flink提供了八种分区策略为上游DataStream中数据如何分发到下游DataStream中提供了分发策略。八种分发策略分别如下:

(1)全局分区器GlobalPartitioner

(2)广播分区器BroadcastPartitioner

(3)哈希分区器BinaryHashPartitioner

(4)重缩放分区器RescalePartitioner

(5)轮询分区器RebalancePartitioner

(6)随机分区器ShufflePartitioner

(7)转发分区器ForwardPartitioner

(8)键组分区器KeyGroupStreamPartitioner

(9)自定义分区器CustomPartitionerWrapper

        各个分区器的继承关系如下:

 各分区器的类定义如下:

// 流分区抽象类.
public abstract class StreamPartitioner<T> implements ChannelSelector<SerializationDelegate<StreamRecord<T>>>, Serializable// 全局分区类.
public class GlobalPartitioner<T> 

http://www.ppmy.cn/devtools/88641.html

相关文章

vulhub靶场之wordpress关卡(保姆级教程)

一.打开wordpress关卡 1.选择简体中文 然后添加信息 点击安装wordpress 1.2 登陆后台 1.3 在后台修改模板 1.4 找一个php文件&#xff0c;在最开头加入一句话木马 点击更新 然后访问默认模板路径 下面的是默认的模板路径 /wp-content/themes/twentyfifteen/404.php 然后…

从入门到自动化:一篇文章掌握Python的80%

Python作为一种高级编程语言&#xff0c;以其简洁明了的语法和强大的功能性&#xff0c;在全球编程社区内享有极高的声誉。本文将带领你从Python的基础语法入手&#xff0c;介绍其常用库的应用&#xff0c;以及如何将Python用于数据分析、网络爬虫和简单的自动化任务&#xff0…

浅谈AC自动机算法(c++)

文章目录 自动机一些简单的自动机&#xff1a; AC 自动机字典树构建失配指针构建指针 [HNOI2006] 最短母串问题题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示思路AC代码 「一本通 2.4 例 1」Keywords SearchAC代码 自动机 自动机是什么&#xff1f; 自动机的作…

社会学研究

《社会学研究》创刊于1986年1月&#xff0c;是中国社会科学院社会学研究所主办的一级专业学术期刊&#xff0c;系中文社会科学引文索引&#xff08;CSSCI&#xff09;核心期刊、国家社科基金资助期刊、国家哲学社会科学学术期刊数据库收录期刊&#xff1b;在中国社会科学院、南…

Elasticsearch的基础使用和高阶使用

Elasticsearch的基础使用和高阶使用 Elasticsearch是一款分布式的全文搜索和分析引擎&#xff0c;基于Lucene构建。它具有实时搜索、稳定、扩展性强等特点&#xff0c;被广泛用于日志分析、全文搜索、业务数据分析等场景。本文将深入介绍Elasticsearch的基础使用和高阶使用&am…

Python可视化开发全面教程

Python是一种功能强大且易于学习的编程语言&#xff0c;它还提供了丰富的可视化库&#xff0c;如Matplotlib、Seaborn、Plotly和Bokeh。这些库使得数据可视化变得简单而直观。在本教程中&#xff0c;我们将介绍如何使用Python进行数据可视化&#xff0c;从基础知识到高级技巧。…

云计算day13

一、Git 概述 Git 是一种分布式版本控制系统&#xff0c;用于跟踪和管理代码的变更。它是由 Linus Torvalds 创建的&#xff0c;最初被设计用于 Linux 内核的开发。Git 允许开发 人员跟踪和管理代码的版本&#xff0c;并且可以在不同的开发人员之间进行协作。 Github 用的就…

C语言程序设计-[2] 数据类型、常量和变量

1、数据类型 C语言支持的数据类型如下&#xff1a; 2、常量 常量就是不同数据类型下的值。这里主要讲整型、实型和字符型常量。 &#xff08;1&#xff09;整型常量&#xff1a;用十进制、八进制和十六进制三种形式表示。 &#xff08;1&#xff09;实型常量&#xff1a;由整…