阿里数据仓库-数据模型建设方法总结

news/2024/12/22 17:27:11/

一、大数据领域建模综述

1.1 为什么需要数据建模
  • 有结构地分类组织和存储是我们面临的一个挑战。

  • 数据模型强调从业务、数据存取和使用角度合理存储数据。

  • 数据模型方法,以便在性能、成本、效率之间取得最佳平衡

    • 成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。

    • 效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。

    • 质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。

1.2 关系数据库系统和数据仓库
1.3 从 OLTP 和 OLAP 系统的区别看模型方法论的选择
  • OLTP 系统通常面向的主要数据操作是随机读写,主要采用满足 3NF 的实体关系模型存储数据,从而在事务处理中解决数据的冗余和一 致性问题:

  • OLAP 系统面向的主要数据操作是批量读写,事务处理中 的一致性不是OLAP 所关注的,其主要关注数据的整合,以及在一次性的复杂大数据查询和处理中的性能,因此它需要采用一些不同的数据建模方法。

1.4 典型的数据仓库

http://www.ppmy.cn/news/1557247.html

相关文章

【ETCD】【源码阅读】深入分析 applierV3backend.Apply`方法源码

applierV3backend的Apply主要负责将 Raft 请求 (pb.InternalRaftRequest) 应用到 Etcd 的后端存储中。它处理各种不同类型的请求,并且根据请求的具体内容调用相应的处理逻辑。 版本【release 文章目录 一、完整源码二、方法详解1. 定义和初始化2. 记录操作开始时间并…

Linux系统安全与应用: 筑牢防线,高效运维

在当今数字化时代,Linux系统凭借其卓越的稳定性与强大的性能,广泛应用于各类关键业务场景,从数据中心服务器到云计算平台,从网络设备到嵌入式系统,无处不在。因此,确保Linux系统安全稳定运行,成为重中之重。本文将深入解析Linux系统安全与应用的关键要点,涵盖账户安全,…

太速科技-527-基于3U VPX XCZU15EG+TMS320C6678的信号处理板

基于3U VPX XCZU15EGTMS320C6678的信号处理板 一、板卡概述 本板卡系我司自主研发的基于3U VPX风冷、导冷架构的信号处理板,适用于高速图像处理等。芯片采用工业级设计。 板卡采用标准3U VPX架构,板上集成一片Xilinx公司ZynqUltraScale系列F…

(OCPP服务器)SteVe编译搭建全过程

注意:建议使用3.6.0,我升级到3.7.1,并没有多什么新功能,反而电表的实时数据只能看到累计电能了,我回退了就正常,数据库是兼容的,java版本换位java11,其他不变就好 背景:…

Windows通过git-bash安装zsh

Windows通过git-bash安装zsh 1、安装git-bash 官网下载安装 2、下载windows版zsh 百度网盘下载 提取码: s84k 官网下载安装 注意官网下载需要解压两次 将解压两次后得到的文件,放在git根目录下 3、配置zsh 1. 配置.bashrc默认启动zsh 配置完成后重新打开终端即…

部署、DockerCompose

目录 部署Java 部署前端 DockerCompose 部署Java 1、创建网络:docker network create hmall 2、建立mysql容器,加入到hmall网络 3、Java配置文件、Dockerfile文件 4、打成jar包,放入Linux,在Docker创建镜像生成容器&#xff0c…

【Python入门】Python控制成分

文章一览 一 、顺序结构二、分支结构多分支结构 三、循环结构1. for语句循环结构range()函数 2. while语句构成循环1)while 循环流程 3、for 循环和 while 循环的区别4、for 循环和 while 循环效率比较 四、函数1、函数定义1) 内置函数2) 非内…

前端通过new Blob下载文档流(下载zip或excel)

当后端返回这样的预览: 前端该如何下载呢?首先在axios请求里,加入第三个参数{ responseType: ‘blob’ }。 proxy.$post(url, params, { responseType: blob }).then((res)>{downloadFormat(res) });然后在一个函数里处理返回&#xff0c…