Flink四大基石之Window

news/2024/11/29 23:04:52/

为什么要用WIndow 

在流处理应用中,数据是连续不断的,有时我们需要做一些聚合类的处理,例如:在过去的1分钟内有多少用户点击了我们的网页。

在这种情况下,我们必须定义一个窗口(window),用来收集最近1分钟内的数据,并对这个窗口内的数据进行计算。

 Window的类型

按照时间划分边界的就称为时间窗口:比如每隔1分钟,统计这1分钟内通过汽车的数量

按照数量划分边界,这样的称为计数窗口:如统计100辆通过的车里面有多少宝马品牌,

时间窗口

滚动窗口- TumblingWindow

每隔1分钟,统计这1分钟内通过汽车的数量,窗口长度是1分钟,时间间隔是1分钟,所以这样的窗口就是滚动窗口

 滑动窗口– SlidingWindow

每隔1分钟,统计前面2分钟内通过的车辆数

计数窗口

滚动窗口- TumblingWindow

每通过50辆车,统计前面通过的50辆车的品牌占比,对于这个需求可以看出,窗口长度是50辆车,每隔50辆车统计一次

滑动窗口– SlidingWindow

每通过100辆车,统计前面通过的50辆车的品牌占比

对于这个需求可以看出,窗口长度是50辆车,但是每隔100辆车统计一次,对于这样的窗口,我们称之为滑动窗口

 

 


http://www.ppmy.cn/news/1551019.html

相关文章

论文笔记 SliceGPT: Compress Large Language Models By Deleting Rows And Columns

欲买桂花同载酒,终不似,少年游。 数学知识 秩: 矩阵中最大线性无关的行/列向量数。行秩与列秩相等。 线性无关:对于N个向量而言,如果任取一个向量 v \textbf{v} v,不能被剩下的N-1个向量通过线性组合的方式…

SplatFormer: Point Transformer for Robust3D Gaussian Splatting 论文解读

目录 一、概述 二、相关工作 1、NVI新视角插值 2、稀疏视角重建 3、OOD-NVS 4、无约束重建下的正则化技术 5、基于学习的2D-to-3D模型 6、3D点云处理技术 三、SplatFormer 1、Point Transformer V3 2、特征解码器 3、损失函数 四、数据集 五、实验 一、概述 该论…

shell编程(8)

目录 一、until循环 示例 until 和 while 的区别 二、case语句 基本语法 示例 1. 简单的 case 语句 2. 使用通配符 3. 处理多个匹配 case 和 if 的比较 case 语句: if 语句: 三、基本函数 基本函数定义和调用 1. 定义一个简单的函数 2. …

git常用命令和问题

git不能推送 merge时的解决方法: git rebase git stash # 每次 push 前 git pull --rebase git push origin HEAD:refs/for/master # gerrit review git pull git stash pop 常用命令: 合并dev分支 a 切换到master分支 git checkout master b…

基于RAG的text2sql解决方案vanna-ai 私有化部署使用实战

1 安装python 虚拟环境 安装 Miniconda3 Step 1: 下载 $ wgethttps://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh Step2: 运行脚本 $ sh Miniconda3-latest-Linux-x86_64.sh Step3: 设置环境变量 vi /etc/profile export PATH“/data/apps/minic…

Redis的基础知识·

Redis是一个基于内存的key-value的结构数据库 基于内存存储 读写性能高适合存储热点数据(热点商品 咨询 新闻) 开启Redis 首先输入命令 redis-server.exe redis.windows.conf 然后重新打开命令行窗口 输入命令 redis-cli.exe 输入密码 …

数据分析:彩票中奖号码分析与预测

预测双色球彩票的中奖号码是一个典型的随机事件,因为每个号码的出现概率是独立的,且历史数据并不能直接用于预测未来的开奖结果。然而,我们可以通过统计分析来了解号码的分布规律,从而提供一些可能的参考。 样例数据【点击下载】…

在编译Elasticsearch源码时选择Gradle版本

文章目录 引言寻找版本总结 引言 在学习Elasticsearch过程中,下载源码版本。因为使用的Gradle,所以涉及到版本问题。导致执行不过,或者语法错误等。 寻找版本 寻找文件地址,直接将地址复制到浏览器下载即可!&#x…