数据体系建设-ODS|DW|TDM|ADS介绍

news/2024/10/31 5:35:40/

参考书目《数据中台:让数据用起来》 

  • ODS:各业务生成的基础数据存表,如log日志数据等
  • DW:在ods基础上,分主题整合数据
  • TDM:存储标签数据
  • ADS:基于上面的数据源整合而成的供业务应用的指标报表等

贴源数据层ODS

贴源数据层ODS(Operational Data Store,又称操作数据层):对各业务线生成的基础数据的采集汇聚

数据仓库ADS、DWD、DWS、ADS分层详解 - 百度文库

获取方式:ELT (抽取-加载-转换),原始数据存储在文本类型的大字段中(jason串),在通过解析任务将数据解析到结构化的数据表中。

命名规范:ODS_系统简称_业务系统表名,区分增量表和全量表,增量表会在后缀加_delta

生成过程:确定业务系统源记录-配置映射关系,增加日期,分区等标识信息-配置数据同步方式(增量汇总还是全量,是否对全部数据进行条件筛选同步)-整理需要同步的数据-导入数据验证并发布最终采集任务

贴源数据是按照业务流程(日志层面)组织数据,不便于业务理解和分析

统一数仓层DW

在DW层,数据会被按照主题进行建模,即按照不同的业务领域或业务流程进行分类和组织。

统一数仓层DW(Data Warehouse):又细分为
明细数据层DWD(DataWarehouse Detail):
汇总数据层DWS (Data Warehouse Summary):对DWD层数据进行聚合和计算,生成各种汇总指标

建模方式:维度建模,用事实表和维度表组织数据

数据域举例:

 假设:以某公司活跃数据为例,建设DW层数据

  •  业务板块:如淘宝支付业务,美团外卖业务等等
  • 数据域:活跃
  • 业务过程:启动APP以及在APP内的一系列活跃行为
  • 修饰类型: 行为时间、行为发生的端(APP、小程序、WAP)
  • 原子指标:动作+度量如:小说阅读PV数,视频播放时长等
  • 派生指标:某时间段内(修饰)使用时长(原子指标)均值(计算方法)
  • 维度表:用户属性(男女、城市)......
  • 事实表:明细事实记录原子数据(事务事实表:增量更新,不能回溯修改),汇总事实记录聚合数据(周期快照和累计快照表)。如每天的活跃行为记录表就是以天为周期的周期快照事实表 

标签数据层TDM

标签数据层TDM(Tag Data Model):面向对象建模,对跨业务板块、跨数据域的特定对象数据进行整合,通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通,形成对象的全域标签体系

标签设计信息

  • 业务方向:标签类目、标签名、标签加工类型、标签逻辑、值字典、取值类型、示例、更新周期、安全等级
  • 技术方向:表名、字段名、负责人、完成时间等

纵表:Key-Value表

用户IDkeyvalue
a01性别

a01

年龄18

横表:二维表(更常用)

用户ID性别年龄
a0118

a02

22

应用数据层ADS

应用数据层ADS(Application Data Store),避免在分析过程中频繁联表操作而创建的应用数据层,根据业务使用需要而个性化数据组装出来的表。不仅从各个表中迁移数据,也可能会进行一些数据加工的工作。

服务范围:常见的服务是用于BI分析,系统性能更强的应用数据可以用户个性化推荐,搜索优化等业务,应用数据层加工的结果数据集,要根据不同的使用场景,同步到不同的存储介质,以达到业务对不同吞吐量和响应时间的需要。


http://www.ppmy.cn/news/132926.html

相关文章

CM3学习-基础知识

红叶何时落水 Cortex-M3 是一个 32 位处理器内核。 CM3 采用了哈佛结构,拥有独立的指令总线和数据总线, CM3 处理器拥有 R0-R15 的寄存器组,而非RSIC-V中的32个, 并且0号寄存器不保持0 R13寄存器用于存放堆栈指针,msp,psp; msp 异…

主板维修案例

(一) 一杂牌810主板,故障现象开机测试卡“FF”,经测量为CPU 无主供电输出, 主板维修实例 。 检修思路:先找到给主供电供电的场应管Q1、Q2并将其控制极断开,测量电源管理芯片(RT92…

主板有电无法启动_主板通电但是启动不了怎么办

大家好,我是时间财富网智能客服时间君,上述问题将由我为大家进行解答。 以电脑为例,主板通电但是启动不了一般这种情况都是内存金手指氧化或者接触不良造成的。其解决方法是: 1、先拔掉电脑电源线,按下机箱上的开关键5…

e3 v3服务器芯片组,请问e3 1231 v3搭配下面哪款主板性价比最高?最适合?为什么?

CPU是插在主板上的,因此主板给CPU的电要足。 越高级的CPU,工作时频率越高,核心数越多,需要的电就越多。 如果是两相的CPU供电,假设是i3,够用。如果是i7,当你的电脑运行软件多的时候,…

计算机主板清理,如何正确清洗电脑主板 电脑主板清洗教程【详解】

如何正确清洗电脑主板? 一般来说,CPU插槽、AGP槽、PCI槽、南桥和北桥芯片底下、每个集成电路IC芯片的底下、内存槽旁边的金属触点旁边,还有BIOS芯片底下,都是不容易清理的和烘干的地方。 下面,我们就来看看电脑主板清洗教程。 当…

计算机主板哪个好,电脑主板要怎么选?大主板真的比小主板好?不懂最好还是看看!...

原标题:电脑主板要怎么选?大主板真的比小主板好?不懂最好还是看看! 主板是电脑的核心硬件之一,分为商用主板与工业主板两种,它安装在机箱内,是承载处理器、显卡、内存条的载体,主板一…

计算机主板清理,电脑主板脏了如何清洗电脑主板才是正确

电脑主板脏了如何清洗电脑主板才是正确 灰尘对任何电子设备和电脑主板都是一个威胁,因为灰尘的特点是入侵快,容易堆积,也是一个天然的吸湿载体,灰尘只要遇上潮湿天气就会吸取空气中的水份让其更加坚挺的吸附在电子电路上&#xff…

服务器串口硬盘梅捷主板设置,梅捷主板bios设置ahci

什么是硬盘的AHCI模式:AHCI是串行ATA高级主控接口的英文缩写,开启AHCI之后可以发挥SATA硬盘的潜在的性能,可增加硬盘的读写速度。 AHCI技术的全称是Serial ATA Advanced Host Controller Interface(即串行ATA主机控制接口技术),它…