数仓选型对比

news/2024/11/23 3:51:11/

1、数仓选型对比如下(先列举表格,后续逐个介绍)

数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本
传统数仓

(SQLServer、Oracle

等关系型数据库)
面向主题设计的,为
分析数据而设计
基于Oracle、
SQLServer、MySQL
等关系型数据
在复杂关联、汇总、
  事务处理方面能力
强,适合数据量小、
高可靠、数据价值密
度高的应用
多适用于结构化数据利用处理过程的中间
表,分析查询速度可
比原有速度提高3~5倍
单表上亿,性能断崖
式下跌,拓展性能差
难度普通,
技术比较成熟
相对简单优化的大致原理有2个:
一是数据分块存储,便
于数据的存储和管理;
二是中间处理,提高数
据提供的速度。
软件费用+实施费用,
成本较低
MPP数仓

(以GreenPlum为例)
在传统数仓之上搭建
并行数据库系统。充
  分发挥计算机的优
势,提高数据库系统

的整体性能
MPP架构、TB级处
理,支持大量运算;
关系型数据库
适合结构化数据的深
度分析、复杂查询以
及多变的自助分析类
  应用、数据集市等
关系数据方面有优
势,比较适合比如电
信、银行这类数据主
要以结构化存储的企

业或组织
相比传统数仓,速度
为几倍至几十倍
性能可随着硬件的扩
容呈线性增加,拥有
非常好的可扩展性,
扩展上限为几百
难度中等,
较成熟
中等技术角度:模型优化、
查询执行计划。业务角
度:全量刷新改增量刷
新,减少计算量;充分
利用已计算的指标
每2~3TB一个节点,
硬件配置不用太高,
GP产品免费,但实
施优化单价较高,成
本中等
Hadoop数仓分布式数据库系统主
要目的在于实现场地
自治和数据的全局透
明共享,而不要求利
用网络中的各个节点
来提高系统处理性能
Hadoop架构、
HDFS、MR和
Hive,支持海量运
算;非关系型数据
库;TB或更大数据
量,并发多的场景
适合海量数据存储查
询、批量数据ETL、
非结构化数据分析等
可以基于Hadoop

开发处理结构或非结
构化数据的应用,适
用于互联网领域
相比传统Oracle数
仓,速度为几倍至几
十倍(瓶颈阈值高于
MPP数仓)
  支持量高的动态扩
容,扩展上限为几千
实施难度高,
要求较高
较难Hadoop性能调优不
仅涉及Hadoop本身
的性能调优,还涉及更
底层的硬件、操作系统
  和Java虚拟机等系统
的调优
需要大量的节点支
持,实施人员需要专
业对口,同时需要对
应的非通用sql支
持,成本较高

http://www.ppmy.cn/news/45186.html

相关文章

Winnolin PK参数及BE分析

文章目录一、PK参数分析一、非房室模型分析方法操作1.创建数据模型2.建立字段映射3.选择模型参数4.设置参数单位(Units)5.选择输出参数6.执行,查看结果二、生物等效性分析1.创建数据模型2.建立字段映射3.执行查看结果一、PK参数分析 药代动力…

华为手表开发:WATCH 3 Pro(20)传感器订阅 佩戴状态

华为手表开发:WATCH 3 Pro(20)传感器订阅 佩戴状态 初环境与设备鸿蒙开发文件夹:文件新增展示的文本标记index.hmlindex.css 传感器订阅index.js 本篇教程将会介绍如何在华为 WATCH 3 Pro 上使用鸿蒙可穿戴开发进行传感器订阅&…

ISO9001质量管理体系认证咨询22步流程——上篇

【ISO9001质量管理体系认证咨询22步流程——上篇】 1.制定ISO9001质量管理体系推行计划 推行计划一般包括以下内容:体系诊断(现状调查、识别)、成立ISO推行小组并组织相关培训、体系文件结构策划、程序文件编写、质量手册编写、三阶文件编写、…

Qt Quick - Menu

Qt Quick - Menu使用总结一、概述二、上下文菜单三、弹出式菜单四、子菜单和Action五、美化一、概述 Menu其实就是Qt Quick里面的菜单控件,一般来说。 Menu有两种主要用例: 上下文菜单;例如,右键单击后显示的菜单弹出菜单;例如…

如何安装 Python 的第三方模块

入门教程、案例源码、学习资料、读者群 请访问: python666.cn 大家好,欢迎来到 Crossin的编程教室 ! 正所谓“人生苦短,我用 Python”。Python 的一大优势就是有丰富且易用的第三方模块,省去了大量重复造轮子的时间&am…

【PTA-训练day28】L2-044 大众情人 + L2-043 龙龙送外卖 + L2-042 老板的作息表

目录 L2-044 大众情人 - 多源最短路 floyd L2-043 龙龙送外卖 - 树 dfs 贪心 L2-042 老板的作息表 - 排序 字符串 L2-044 大众情人 - 多源最短路 floyd PTA | 程序设计类实验辅助教学平台 思路: 求某两点间最短路,用floyd算法【蓝桥杯集训16】多源…

前端中font的使用

知识点&#xff1a; 运行截图&#xff1a; 代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head> <meta charset"UTF-8"> <meta http-equiv"X-UA-Compatible" content"IEedge"> <meta name&…

小程序组件的生命周期

组件生命周期 组件的生命周期&#xff0c;指的是组件自身的一些函数&#xff0c;这些函数在特殊的时间点或遇到一些特殊的框架事件时被自动触发。 其中&#xff0c;最重要的生命周期是 created attached detached &#xff0c;包含一个组件实例生命流程的最主要时间点。 …