实时数据开发|Flink状态计算 有状态VS无状态,区别和优劣

news/2024/12/12 16:54:04/

状态计算是Flink非常重要的特性之一。

状态计算是指在程序计算过程中,在Flink程序内部存储计算产生的中间结果,并提供给后续Function或算子计算结果使用。如图5-1所示,状态数据可以维系在本地存储中,这里的存储可以是Flink的堆内存或者堆外内存,也可以借助第三方的存储介质,例如Flink中已经实现的RocksDB,当然用户也可以自己实现相应的缓存系统去存储状态信息,以完成更加复杂的计算逻辑。

今天正式把一个实时任务从ods到dwd到ads数据打通了,从开始的迷迷糊糊到逐渐懂了些门道,数据流打通的时候我感觉自己强的可怕,下周还能再调几个。hhh一般说出这样的话就要打脸了,下周再跟着好好学学怎么看日志吧。

在启动实时任务的时候我发现可以选择有状态启动和无状态启动,想起来之前有了解过Flink的有状态计算。准备回来再学一下:

–学习区–

状态计算不同的是,状态计算不会存储计算过程中产生的结果,也不会将结果用于下一步计算过程中,程序只会在当前的计算流程中实行计算,计算完成就输出结果,然后下一条数据接人,然后再处理。

状态计算实现的复杂度相对较低,实现起来较容易,但是无法完成提到的比较复杂的业务场景,例如下面的例子:

  • 用户想实现CEP(复杂事件处理),获取符合某一特定事件规则的事件,状态计算可以将接入的事件进行存储,然后等待符合规则的事件触发;
  • 用户想按照分钟、小时、天进行聚合计算,求取当前的最大值、均值等聚合指标这就需要利用状态来维护当前计算过程中产生的结果,例如事件的总数、总和以及最大,最小值等;
  • 用户想在Sucam上实现机器学习的模型训练,状态计算可以帮助用户维护当前版本模型使用的参数;
  • 用户想使用历史的数据进行计算,状态计算可以帮助用户对数据进行缓存,使用户可以直接从状态中获取相应的历史数据。

以上场景充分说明了状态计算在整个流式计算过程中重要性,可以看出,在Flink引人状态这一特性,能够极大地提升流式计算过程中数据的使用范围以及指标计算的复杂度,不再需要借助类似于Redis外部缓存存储中间结果数据,这种方式需要频繁地和外部系统交互,并造成大量系统性能开销,且易保证数据在传输和计算过程中的可靠,当外部存储发生变化,就可能会影响到Flink内部的计算结果。


http://www.ppmy.cn/news/1554546.html

相关文章

深入解析神经网络的GPU显存占用与优化

文章目录 什么是显存?什么是神经网络? 神经网络如何使用显存?模型参数的显存占用激活值的显存占用梯度信息的显存占用实际计算示例 代码示例如何查看显存使用情况使用torch.cuda.memory_allocated使用torch.cuda.memory_reserved示例&#xf…

【C++】继承的介绍

继承 1.继承的概念及定义1.1继承的概念:1.2 继承定义1.3继承类模板 2.继承中的函数隐藏3.派生类的默认成员函数4.继承中的切割5.多继承及其菱形继承问题5.1继承模型5.2解决菱形继承问题的方法(虚继承) 6.继承和组合 1.继承的概念及定义 1.1继承的概念: …

多标签分类SOTA | ADDS论文解读

论文标题:Open Vocabulary Multi-Label Classification with Dual-Modal Decoder on Aligned Visual-Textual Features 论文传送门:https://arxiv.org/pdf/2208.09562 paperwithcode多标签分类排名: 这篇文章主要用来解决多标签分类问题&am…

Django Fixtures 使用指南:JSON 格式详解

在Django开发中,fixtures是一种非常有用的工具,它们可以帮助我们序列化数据库内容,并在不同的环境或测试中重用这些数据。本文将详细介绍Django fixtures的概念、如何生成和使用JSON格式的fixtures。 什么是Fixtures? Fixtures是…

如何使用 Python 发送 HTTP 请求?

在Python中发送HTTP请求最常用的库是requests,它提供了简单易用的API来发送各种类型的HTTP请求。 除此之外,还有标准库中的http.client(以前叫做httplib)和urllib,但它们相对更底层,代码量较大&#xff0c…

vue地址解析+虚拟手机号解析

&#xff08;1&#xff09;安装 address-parse模块 npm install address-parse --save &#xff08;2&#xff09;地址修改-弹窗页面 <template><div><el-dialog title"修改收货地址" :visible.sync"dialogVisible" width"45%"…

群控系统服务端开发模式-应用开发-登录退出发送邮件

一、登录成功发送邮件 在根目录下app文件夹下controller文件夹下common文件夹下&#xff0c;修改Login.php&#xff0c;代码如下 <?php /*** 登录退出操作* User: 龙哥三年风水* Date: 2024/10/29* Time: 15:53*/ namespace app\controller\common; use app\controller\Em…

单元测试SpringBoot

添加测试专用属性 加载测试专用bean Web环境模拟测试 数据层测试回滚 测试用例数据设定