Flink、Hudi技术选型

news/2024/11/16 22:35:40/

Flink CDC 2.2的优势

相比Flink1.x,2.x的版本有如下的特点:

1) 并发读取,全量数据的读取性能可以水平扩展。

2) 全程无锁,不对线上业务产生锁的风险。

3) 断点续传,支持全量阶段的 Checkpoint。

Flink SQL的优势

1)Flink支持流批处理(支持有界数据和无界数据的处理)也就是流批一体。

2)支持轻量级快照机制,可以用于容错。

3)Flink是有状态的计算,相比storm无状态的计算来说很方便。

4)Flink是目前社区中唯一一款集高吞吐、低延迟、高性能于一体的流式计算框架

5)Flink支持Savepoint机制,可以方便用于运维,升级,扩容等。

6)FlinkSQL降低了开发门槛,可以更高效、快速开发流式任务。

Hudi的优势

目前市场上有三款主流的数据湖框架:Delta Lake,Iceberg、Hudi。Hudi相比其他两款而言,有如下优势:

1)行级别更新、删除操作。

2)变更流。解锁新的查询姿势。

3)借助于Hudi,构建湖仓一体架构。

Doris的优势

相比Clickhouse而言,Doris的优势如下:

1)海量数据下,多表join查询效率高

2)支持SQL标准,兼容MySQL协议

3)运维成本低,方便运维

相比Kylin、Druid而言,Doris的优势更明显。(支持存储明细数据+聚合后的数据)

 


http://www.ppmy.cn/news/44094.html

相关文章

springboot和vue写个小项目

遵循“约定优于配置”的原则,只需要很少的配置或使用默认的配置。 能够使用内嵌的Tomcat、Jetty服务器,不需要部署war文件。 提供定制化的启动器Starters,简化Maveni配置,开箱即用。 纯)java配置,没有代码生成&#xf…

魔兽世界巫妖王架设教程-娱乐版

相信各位拿到一个优秀的魔兽端,在单机把玩一番之后,肯定都想着能不能假设一个外网服务器,然后让朋友们来到自己的服务器上玩耍,自己还能体会一下在众多凡人面前当神(GM)的乐趣。网上这方面的教程有一些&…

前端如何优雅地使用枚举

枚举(Enumeration)是一种常见的编程数据类型,它用于表示一组有限的取值。在前端开发中,枚举可以用于定义常量、选项等,有助于提高代码的可读性和可维护性。本文将介绍前端如何优雅地使用枚举。 枚举的定义与使用 在J…

大模型混战,阿里百度华为谁将成就AI时代的“新地基”?

从算力基础到用户生态,群雄逐鹿大模型 自2022年stable diffusion模型的进步推动AIGC的快速发展后,年底,ChatGPT以“破圈者”的姿态,快速“吸粉”亿万,在全球范围内掀起了一股AI浪潮,也促使了众多海外巨头竞…

Typora(Mckbook版)的使用方法

1、标题(⌘ 数字) 一级标题:(⌘ 1) 二级标题:(⌘ 2) 三级标题:(⌘ 3) 四级标题:(⌘ 4) ... 六级标…

计算机组成原理——第五章中央处理器

半生风雨半生伤,半醉半醒半心凉 文章目录前言5.1 CPU的功能和基本结构5.2 指令周期的数据流5.3.1 单总线结构5.3.2 专用通路结构前言 之前我们就说过CPU主要包括两个部分,运算器和控制器,运算器主要是实现算数运算.逻辑运算, 运算…

springboot项目中的mysql用国产数据库达梦替换的相关说明

一、 用“DM管理工具”的“管理用户”创建你需要用户,也是达梦的模式。 用户的权限问题可以直接角色授权,方便一些。 二、借用达梦的“DM数据迁移工具”做数据库的表内容转移。 1. 新建工程、新建迁移 编辑mysql的数据库源 编辑达梦的目的端数据库 选择之…

WPS关闭不了后台一直运行的解决办法(wpscloudsvr.exe)

问题描述 前几天,发现每次打开wps时机箱风扇就转得厉害,把WPS界面叉掉后,桌面的任务栏—就是桌面最下面得黑框框—显示Windows图标和时间日期的那个地方也没有WPS任务,但是机箱还是响的厉害,检查了任务管理器发现一直…