flink-对齐和不对齐,精准一次和至少一次

news/2024/10/20 1:21:27/
  1. 精准一次怎么保证?可以设置为以下2个
    1. 对齐
      1. 当有一个barrier比较快时,输入缓冲区阻塞,当另外一个barrier到来时,才进行备份,所以数据不会重复。
      2. 优点:不会造成数据重复
      3. 缺点:会造成数据积压,OOM
    2. 不对齐
      1. 当有一个barrier到来时,直接将barrier置到最后,然后将所有缓冲区的数据和状态进行备份,然后将kafka提交,然后将慢的barrier也置到最后,将所有缓冲区的数据和状态进行备份,然后将kafka提交。
      2. 优点:加快了ck
      3. 缺点:由于备份了大量数据,会造成IO压力大,磁盘存储压力大
  2. 至少一次怎么保证?
    1. 对齐
    2. 当有一个barrier比较快时,输入缓冲区不阻塞,直接向下游流动,而barrier会等待另外一个barrier,当此次ck备份成功后,JM注入新的barrier,然后到一半的时候,备份失败了,kafka回滚,从HDFS中恢复上次的ck,恢复kafka的offset,由于不阻塞,所以会重新从kafka中拉取到重复的数据进行计算,就造成了数据的重复,就是至少一次语义。
    3. 优点:不阻塞,不会造成数据积压,OOM
    4. 缺点,会造成数据重复

http://www.ppmy.cn/news/1026303.html

相关文章

C++STL——deque容器详解

纵有疾风起,人生不言弃。本文篇幅较长,如有错误请不吝赐教,感谢支持。 💬文章目录 一.deque容器的基本概念二.deque容器常用操作①deque构造函数②deque元素操作③deque赋值操作④deque交换操作⑤deque大小操作⑥deque插入和删除…

MySQL 视图、索引

视图:根据某个实表查询出来的结果,而生成的一个虚表。 1.视图既然作为一张虚表存在,那么对实表的增删改查操作,视图同样成立。 2.视图既然根据实表得到,那对视图的增删改查操作,也会影响实表。 3.视图在查询…

glove安装中的问题

万恶之源&#xff1a; >>> from glove import Glove Traceback (most recent call last):File "<stdin>", line 1, in <module>File "D:\code_related_software\Anaconda\lib\site-packages\glove\__init__.py", line 1, in <mod…

虚拟机的创建与使用

一、虚拟机的下载 链接&#xff1a;百度网盘下载链接 提取码&#xff1a;a9p4 二、新建虚拟机系统 需要有版本序列号 注意: 选择 第一个是纯dos 的窗口指令 桌面没有任何东西 选择第二个就是正常的操作系统.有文件夹 我的电脑之类的 三、从主机中复制文件到虚拟机中需要安装 …

28.Netty源码之缓存一致性协议

Mpsc Queue 基础知识 Mpsc 的全称是 Multi Producer Single Consumer&#xff0c;多生产者单消费者。Mpsc Queue 可以保证多个生产者同时访问队列是线程安全的&#xff0c;而且同一时刻只允许一个消费者从队列中读取数据。 Netty Reactor 线程中任务队列 taskQueue 必须满足多个…

阿里云Windows服务器安装部署MySQL数据库流程

阿里云百科分享如何在Windows系统ECS实例上手动部署MySQL数据库。 目录 前提条件 操作步骤 前提条件 使用本教程进行操作前&#xff0c;请确保您已经注册了阿里云账号。如还未注册&#xff0c;请先完成账号注册。操作系统&#xff1a;Windows Server 2012准备一台ECS云服务…

JVM 基础

巩固基础&#xff0c;砥砺前行 。 只有不断重复&#xff0c;才能做到超越自己。 能坚持把简单的事情做到极致&#xff0c;也是不容易的。 JVM 类加载机制 JVM 类加载机制分为五个部分&#xff1a;加载&#xff0c;验证&#xff0c;准备&#xff0c;解析&#xff0c;初始化&am…

【Linux命令详解 | chmod命令】 chmod命令用于修改文件或目录的权限,保护文件安全性。

文章目录 简介一&#xff0c;参数列表二&#xff0c;使用介绍1. 修改用户权限2. 修改用户组权限3. 修改其他用户权限4. 同时修改多个权限5. 使用数字模式设置权限6. 递归修改目录权限 总结 简介 在Ubuntu系统中&#xff0c;chmod命令是一个强大的工具&#xff0c;用于修改文件…