大数据Flink(一百零七):阿里云Flink的应用场景

ops/2024/10/18 20:21:05/

文章目录

阿里云Flink的应用场景

一、​​​​​​​背景信息

二、​​​​​​​​​​​​​​部门场景

三、​​​​​​​​​​​​​​技术领域

1、​​​​​​​​​​​​​​实时ETL和数据流

2、​​​​​​​​​​​​​​实时数据分析

3、​​​​​​​事件驱动应用

4、​​​​​​​​​​​​​​风控监测系统


阿里云Flink的应用场景

这里将以部门场景和技术领域场景为例,为我们介绍实时计算Flink版的大数据是实时化场景。

一、​​​​​​​​​​​​​​背景信息

作为流式计算引擎,Flink可以广泛应用于实时数据处理领域,例如ECS在线服务日志,IoT场景下传感器数据等。同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新,并利用DataHub、SLS、Kafka等产品将实时数据收集到实时计算产品中进行分析和处理。最终,分析结果可写入不同的数据服务中,例如MaxCompute、MaxCompute-Hologres交互式分析、PAI机器学习、Elasticsearch等,以提高数据利用率,满足业务需求。

 

二、​​​​​​​​​​​​​​部门场景

从企业部门职能的角度,可以将实时计算Flink版划分为以下场景:

  • 业务部门:实时风控、实时推荐、搜索引擎的实时索引构建等。
  • 数据部门:实时数仓、实时报表、实时大屏等。
  • 运维部门:实时监控、实时异常检测和预警、全链路Debug等。

 

三、​​​​​​​​​​​​​​技术领域

从技术领域的角度,实时计算Flink版主要用于以下场景:

1、​​​​​​​​​​​​​​实时ETL和数据流

实时ETL和数据流的目的是实时地把数据从A点投递到B点。在投递的过程中可能添加数据清洗和集成的工作,例如实时构建搜索系统的索引、实时数仓中的ETL过程等。

 

2、​​​​​​​​​​​​​​实时数据分析

数据分析指的是根据业务目标,从原始数据中抽取对应信息并整合的过程。例如,查看每天销量前10的商品、仓库平均周转时间、文档平均单击率、推送打开率等。实时数据分析则是上述过程的实时化,通常在终端体现为实时报表或实时大屏。

3、​​​​​​​事件驱动应用

事件驱动应用是对一系列订阅事件进行处理或作出响应的系统。事件驱动应用通常需要依赖内部状态,例如欺诈检测、风控系统、运维异常检测系统等。当用户行为触发某些风险控制点时,系统会捕获这个事件,并根据用户当前和之前的行为进行分析,决定是否对用户进行风险控制。

4、​​​​​​​​​​​​​​风控监测系统

实时计算Flink版可以处理复杂的流处理和批处理任务,也提供了强大的API,执行复杂的数学计算并执行复杂事件处理规则,帮助企业对实时数据进行实时分析,提高企业的风控能力。例如检测APP中的点击行为、识别loT数据流不规则变化等。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

http://www.ppmy.cn/ops/88985.html

相关文章

【给嵌入式新人的几条建议(共勉):三-C语言基础怎么补?】

给嵌入式新人的几条建议(共勉):三-C语言基础怎么补? 前言1、先回答一个问题,对C语言的害怕到底在哪?(纠正认知)2、C语言基础,要补全部吗?No2.1 先看下自己属于…

ATTCK实战系列-红队评估 (一)Vulnstack三层网络域渗透

目录 一、搭建环境 1.靶场下载地址: 2、网络拓扑 3、环境配置 Win7(外网服务器 ) Win2008(域控) Win2003(域成员) 4、启动环境 二、信息收集 1、端口扫描 2、目录扫描 三、漏洞利用…

《LeetCode热题100》---<5.③普通数组篇五道>

本篇博客讲解LeetCode热题100道普通数组篇中的五道题 第五道:缺失的第一个正数(困难) 第五道:缺失的第一个正数(困难) 方法一:将数组视为哈希表 class Solution {public int firstMissingPosi…

C语言-常见关键字详解

一、const 关键字const用于声明常量,赋值后,其值不能再被修改。 示例: const int MAX_COUNT 100; 二、static static关键字在不同情境下有不同作用: 1.函数中的静态变量:保留变量状态,仅初始化一次&a…

LinuxUNIX系统编程手册——(十五)文件属性

15.1 获取文件信息&#xff1a;stat() 利用系统调用 stat()、lstat()以及 fstat()&#xff0c;可获取与文件有关的信息&#xff0c;其中大部分提取自文件 i 节点。 #include <sys/stat.h>int stat(const char *pathname, struct stat *statbuf); /* 成功返回0&#xff…

【c++】爬虫到底违不违法?

很多小伙伴都想知道爬虫到底违法吗&#xff0c;今天博主就给大家科普一下 爬虫本身并不违法&#xff0c;但使用爬虫采集数据可能涉及违法风险&#xff0c;具体取决于采集行为是否侵犯了他人的合法权益&#xff0c;尤其是隐私权和个人信息权。以下是对爬虫是否违法的详细分析&am…

Docker Compose方式部署Ruoyi-前后端分离版本

目录 一. 环境准备 二. 制作一个jdk8u202环境的镜像 三. 制作nginx镜像 四. 对项目文件做修改 五. 项目打包 1. 前端打包 2. 后端打包 六. 编写docker-compose.yml 一. 环境准备 主机名IP系统软件版本配置信息localhost192.168.226.25Rocky_linux9.4 git version 2.4…

【mongodb】mongodb分片高可用以及加密操作

本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》&#xff1a;python零基础入门学习 《python运维脚本》&#xff1a; python运维脚本实践 《shell》&#xff1a;shell学习 《terraform》持续更新中&#xff1a;terraform_Aws学习零基础入门到最佳实战 《k8…