线上会议精彩回顾 - Cloudera Sessions China 2021

news/2024/10/30 11:19:58/

大家好,我是明哥!

1 会议介绍 - Cloudera Sessions China 2021

Cloudera 官方于 2021/11/18 进行了一场全天的技术分享会 “Cloudera Sessions China 2021”,并同步进行了线上直播。

在本次全天的 Cloudera Sessions China 2021 活动中,Cloudera 以用户落地案例为主,为新老用户带来最新技术趋势的讨论和 CDP 典型场景和案例分享。其中包括混合云和私有云上数据平台的技术路线,实时数仓的架构建设,并有多位金融、制造业、零售业用户大咖以及合作伙伴介绍其最佳技术实践。

笔者有幸参加了全程线上直播,也从官方获取了大部分会议资料,在此回顾下会议亮点,并提供资料下载链接给大家。

2 会议议程回程

整个会议议程如下:

  • Cloudera 亚太区总裁致开幕辞

  • 主题演讲:Hybrid Cloud – The Power of “AND”

  • 数字化转型中的大数据趋势和技术方向

  • Dell EMC PowerScale 助力 CDP 开启大数据元宇宙

  • 浦发银行最佳实践分享

  • CDP私有云版本的最新进展与演示

  • 实时场景、实时数仓建设和演进

  • 用户分享 - 上海银行数据湖建设实践

  • 基于GPU的Spark应用加速

  • 用户分享 - 申万宏源基于混搭架构的大数据平台最佳实践

  • 用户分享 - 信也科技大数据与AI赋能新金融

  • 用户分享 – 永辉超市基于CDP的数据中台建设

  • CDP 迁移实例详解

  • Cloudera 金牌合作伙伴威士顿落地案例分享

IT大咖说官网提供了会议的直播回放,链接如下:

  • https://www.itdks.com/Home/Act/apply?id=5810&mUid=10267

3 会议精彩亮点回顾:主题演讲重点推介 CDP 混合云

Cloudera 在会议上重点推介了他们的 CDP 混合云。

9ee41b5ae5fb8da2a25ee3cb11c8d075.png 771d3bf11c9cbf920c67de4b09b175e2.png 6d4a8d7f8460b650f1464dd1e2ef5a40.png 09bbb676138b50fc1b19f6fd433a04e9.png

4 会议精彩亮点回顾:数字化转型中的大数据趋势和技术方向

Cloudera 在会议上回顾了 HADOOP 的历史和现状,分析了当下数据类型和工作负载的变迁,由此引出了数字化转型中的大数据趋势和技术方向的预测。

这些分析和预测,刚好对应了笔者原来一篇博文里讲到的以下几点大数据发展趋势:

从技术视角看大数据行业的发展趋势

  • 大数据和云计算进一步深度融合,大数据拥抱云计算走向云原生化

  • 大数据更加青睐存储计算分离的架构

  • 大数据更加青睐对象存储

  • 大数据和机器学习/人工智能日益融合

  • 大数据日益重视数据安全

  • 大数据日益重视数据治理

5b7e2bd4d470c2dbc97033f9040013ff.png b592e9755cf3c20e25f36197c6f904ff.png b73a32ca8a844c65bcb84316f83abff8.png 43965c97e39a2b3a830066d91cc4ad8d.png 85dd0fd0d12c6ff7de56816333837fb5.png 6b893af743160415a5b805176b26d3b2.png 80e7539f4a82f58e92f0201cdd0eec61.png ab7980a62720164cbbbd8fd15331c698.png 4a08faa7655b9361124b5db16ccbf54d.png 28904daa1d84d3b2fa230ae51d2a0a0f.png

5 会议精彩亮点回顾:CDP 混合云解决的用户痛点

CDP 混合云,解决了用户以下痛点: 

注:PPT 的标题中陈述的是 CDP 私有云,这其实并不冲突,因为在 CDP 私有云的 CDP private cloud base 的基础上,按需灵活扩展增加了若干个计算集群 ECS 或 OCP 后,就是 CDP 混合云了。在下一章节 “CDP 混合云的架构”中,有进一步的阐述。

4985b1250076a21e8857ee54fb6c419c.png b23613488ba835b96ab3ca3b3a4be1ed.png 3594e0f90505c447c2546b852afdbe92.png 049bdbba21bcd82f070647c174b3909f.png bd515d51164b3c2a840b8a9ebbd1ceda.png ee3bd6b3551e25ff611ca03a8d4c3c0c.png 61d83f4ac7b60de40496f9dce54f73d2.png

6 会议精彩亮点回顾:CDP 混合云的架构介绍与展示

CDP Hybrid Cloud 顺应了企业数字化转型并最终使用混合云的大趋势,以统一的体验整合了公有云和私有云的资源,具有以下技术特点:

  • 存储计算分离

  • 计算集群快速搭建和销毁

  • 计算集群弹性扩展和收缩

  • 使用Ozone替代HDFS

  • 集中式用户权限管理

  • 集中式元数据管理

  • 通过CML整合支持机器学习和人工智能

CDP 混合云的架构如下,这里有几个要点解释下:

  • 用户通过熟悉的 Cloudera Manager,使用熟悉的 parcel包,来安装和管理 CDP BASE CLUSETER, 也就是 CDP private cloud base, 就像原来安装和管理 CDH 一样;

  • 用户通过熟悉的 Cloudera Manager,在需要的时候,使用 docker 镜像,在公有云上或私有云上,安装和管理一个或多个 ECS 或 OCP; ( ECS: Amazon Elastic Container Service; OCP: Red Hat OpenShift Container Platform, 两者都是基于 K8S/DOCKER的封装);

  • CDP BASE CLUSETER,主要当做存储集群来使用,当不使用其计算能力时,甚至可以不安装 impala/hs2/spark等计算引擎;

  • ECS 或 OCP,主要当做计算集群来使用,可以不安装也可以安装多个,当不使用其存储能力时,可以不安装 hdfs/ozone 等存储引擎;

  • ECS 或 OCP,对应不同的使用场景,可以安装多个集群,比如对应数仓场景的 CDW(cloudera datawarehouse, 其底层主要是hs2,impala,hue),对应机器学习的CML (cloudera machile learning,其底层主要是 python/r/scala 的jupiter notebook),对应数据工程的 CDE(cloudera data engineering,其底层主要是 spark,airflow)

  • 当然在复杂的场景下,CDP BASE CLUSETER 和 ECS/OCP,也可以是多对多的关系:28f1ca063379d2905a37124beab285f9.png

3dae8ee2f0eda3570ef510a837ea99dd.png 154395bf3d63a72926fbdc6501e5f2c6.png 3f27ef94ad0eba34010d7b9b7621fe91.png 84b2c644aa433087af0d9597e663baa1.png e46b023246e3666ad3077e92a3da6cef.png a12ffe132566d46950d868d0b3bcf9b1.png 3e75af3f7eead6bcb073e93c222d5f23.png 5d71922f423e1c92a52ea0cff54621db.png 0dc5f97e39f3a09ab6059b24bbf4c2da.png 408ce979c9bc50b25788575d3193a856.png 8bbf461959f915c4620e083db5ff49a1.png fb61a8a58695a49e11481bd04dc98f6c.png

7 会议精彩亮点回顾:实时场景、实时数仓建设和演进

在实时场景或实时数仓场景,Cloudera 采用的是主流的 LAMBDA 架构,主要整合了以下组件:

  • 导入层:NIFI/KAFKA CONNECT + sqoop

  • 计算层:SPARK STREAMING/FLINK/KAFKA STREAM + spark/hive/impala

  • 存储层:KAFKA/KUDU/HBASE/HIVE/S3

aa9cf8d53c90f1af22453bb654371509.png fbe0909d409970919c54e0331fdc944a.png a4befb1846c74cfcb83d803faf341ac1.png 7f076e33d4eab72e302d8ce8185bbd00.png 4d7042f1dfd752b37e1fef7baca3c45c.png 804804af222489f96c5c5b949f6ae698.png 835be7c24c42ac14ba11a730383b7974.png

8 会议精彩亮点回顾:基于GPU的Spark应用加速

5766e0836501d4d8d462684defd3722c.png 915c949cba96ae20fe8ce5bee20308fe.png 95afd76d1dc269561e8e352d2c50b64d.png 832235fe5fedc773321b38169d6a7a72.png

9 会议精彩亮点回顾:CDP 迁移实例详解

  • 关于 CDP 迁移,笔者原来有关相关博文进行详细介绍,大家可以查阅;

  • 在会上留意到的一点是,已经有不少国内客户已经迁移完毕或正在迁移中了;

  • 迁移完毕后,数据一致性校验的方法需要注意;

2021 最新 Cloudera 大数据平台 CDP 升级指南白皮书完整版开放下载!(中文版)

一文看懂Cloudera对CDH/HDP/CDP的产品支持策略

c6e31c33be18fbe0005989ea9c567288.png fd77640be3b0255e86988ea0b975c858.png 546cb3a5b9093d59fa2f858121078795.png e7c682b403110f5617cc9e197c9e3293.png bcd859ab8add0bb75f32dbd5f9071605.png 50fcec358451cf3c0ddf257539756ea1.png f41ffea13fc34cac4e4233b90435374c.png 8bb62a488d54d137eeb3702357cf4afd.png

为了方便读者获取,笔者已经将上述资料上传到了百度云盘,小伙伴们可以通过如下方式获取:

关注下方公众号"明哥的IT随笔",在后台回复关键词「CDP」获取下载链接;

▲点击卡片进行关注▲

▲回复「CDP」,获取PDF▲ 


http://www.ppmy.cn/news/267053.html

相关文章

长宁区区级企业技术中心给予30万元资金支持

长宁区企业技术中心 一、主管部门 长宁区商务委员会 二、政策依据 《长宁区支持中小企业创新发展的实施办法》(长商务规[2020]6号) 《2022年度长宁区支持中小企业创新发展相关政策申报的通知》 三、扶持政策 被认定为区级企业技术中心的企业,…

2023年1月份隐私计算市场概述

1月份隐私计算、联邦学习的市场概览 摘要:在隐私计算市场中,三大信息流:采购意向、招标信息、中标信息,如三股清流,在市场中奔腾。采购意向,为供应商和服务提供商探明市场需求,寻找商机提供了重…

【面经】已过:烟台威士顿一面

1. 自我介绍 2. 问项目 讲了讲关于一个细节余弦定理的实现和权值的赋予 3. 高并发 拿出第一张王牌,volatile关键字,讲了讲三大特性,引出JMM,可见性的实现原理,原子性的关键字,还想讲CAS底层呢&#xff…

英语学习:I开头

idea 主意,想法 identification 鉴定,鉴别 identity 特征,身份 idiom 成语 ignore 忽略 ill 有病的,不健康的 illegal 非法的 illness 疾病 imagine 想象,设想 immediate 立即的 immediately 立即 immigrat…

Golang 中的 io 包详解(三):指定读写对象和偏移量接口

io.ReaderFrom type ReaderFrom interface {ReadFrom(r Reader) (n int64, err error) } 接口中定义了一个 ReadFrom 方法,常见用法是将实现了该接口的对象(比如文件或网络连接)的数据读取到一个实现了 io.Writer 接口的对象。 一些标准库…

【计算机网络】IP 地址处理函数

目录 1.struct sockaddr_in的结构 2.一般我们写的结构 3.常见的“点分十进制” 到 ” uint32_t 的转化接口 3.1. inet_aton 和 inet_ntoa (ipv4) 3.2. inet_pton 和 inet_ntop (ipv4 和 ipv6) 3.3. inet_addr 和 inet_network 3…

阿宇相机智能双光配置

阿宇相机需要配置运动检测报警联动灯光常亮的效果 功能实现: 首先需要将相机软件版本升级到DIPC-B1219.2.61.220712版本; 配置步骤: (1)登录相机网页界面; (2)进入配置—图像—…

商用计算机的选购配置单,教你识别良心商家和奸商电脑配置清单区别以及如何选购台式电脑机箱...

我们想要组装一台电脑,由于隔行如隔山,无疑对硬件品牌型号都不太了解,会将自己的预算和大致的要求和商家说,而商家会根据预算与要求写具体的电脑配置清单,不同商家写出来的配置或多或少存在不同,含糊不清写…