大数据-数据底座架构/数据中台建设

news/2024/12/29 2:12:39/

前言

在信息化向数字化转型的过程中,企业积累了海量的数据,并且还在爆发式的增长。数据很多,但是真正能产生价值的数据却很少。数据普遍存在分散,不拉通对齐等问题,缺乏统一的定义及架构,找到想要的,能用的数据越来越难。
如何实现数据的汇聚和联接,打破数据孤岛与垄断,就显得格外重要。

一、数据底座的目标

  1. 统一管理结构化、非结构化的数据,这些都是数据资产,能够追溯到数据的生产者、消费者以及业务源头;
  2. 打通数据服务供应通道,为数据消费提供丰富的数据原材料、半成品或者成品,满足公司的自助分析、数字化运营等不同场景的数据消费需求;
  3. 确保公司数据完整、一致、共享。监控数据全链路下的各个环节的数据情况;从存储的角度,诊断数据冗余、重复以及”僵尸“问题,降低数据维度和使用成本;
  4. 保障数据安全可控,基于数据安全策略,利用数据权限控制,通过数据服务封装等技术手段,实现对涉密数据和隐私数据的合法、合规的消费;

二、数据底座架构图

在这里插入图片描述

数据底座的建设不是一蹴而就的,需要统筹推动,以用促建;数据owner是各业务线数据底座建设的第一责任人;建设原则如下:

  1. 数据安全原则:应遵循用户权限、数据密级、隐私基本等管理要求;
  2. 需求、规划双轮驱动原则:业务规划和需求双驱动进行建设,对核心数据资产优先建设;
  3. 数据供应多场景原则:按照业务需要提供不通数据供应通道(离线/实时/物理/虚拟),满足不同的消费场景;
  4. 信息架构遵从原则:数据底座数据资产应遵从公司的信息架构;

三、数据入湖

数据入湖的标准

  1. 明确数据owner
  2. 发布数据标准
  3. 认证数据源
  4. 定义数据密级
  5. 数据质量评估
  6. 元数据注册

数据入湖的方式

  1. 批量集成
  2. 数据复制同步
  3. 消息集成
  4. 流集成
  5. 数据虚拟化

更多内容

大数据-数据湖建设

四、数据主题联接:将数据转换为信息

通过5类联接方式,将不通业务线的数据联接起来,将数据湖中的数据由原材料加工厂半成品、成品,支撑不通场景的数据消费需求;

  1. 多维模型
  2. 图模型
  3. 标签
  4. 指标数据
  5. 算法与模型

更多内容

大数据-数据建模&主题联接

参考:
《华为数据之道》


http://www.ppmy.cn/news/362738.html

相关文章

数字孪生技术,可视化平台底座

数字孪生(Digital Twin)已经走过了几十年的发展历程,只不过以前没有这样命名,而是发展到了一定阶段,人们意识到应该给这种综合化的技术起一个更确切的名字。数字孪生水利应用的软件5G支持,数字孪生技术适合…

万字长文:云原生底座之营造法式 | 平台供应商视角-第一部分

编者按:《100页ppt讲清楚云原生 作者介绍: 高磊(曾用花名世忠、胤禛) ,16年工作经验,原阿里巴巴、华为架构师,专注于云原生领域的产品规划设计以及技术架构。 21 世纪人类”繁荣昌盛”,人口持续增长的前提条件是有能够…

集成底座POC方案说明

企业的信息化建设是伴随企业发展不断延伸、不断升级的过程,而随着信息化体量的不断增大,复杂繁多的业务系统往往又成为信息化建设的瓶颈,而为了消除瓶颈,更便捷的打通系统的关联,针对企业实际业务建立集成底座平台则是…

企业数字化转型:数字化平台底座

​​​从传统的应用系统来看,业务流程往往被固化在应用系统中,大多情况下对业务流程的变化等同于系统再造,无法快速应对业务的快速变化。数智化时代,高速的业务发展、灵活的业务流程处理、动态多变的组织架构以及低成本的运营体系…

网络知识(云底座,IP)

一、云架构,云平台,云底座 什么是Docker容器? docker镜像仓库有什么用

计算机设备包装底座,一种用于计算机设备的底座的制作方法

本实用新型涉及计算机设备技术领域,具体为一种用于计算机设备的底座。 背景技术: 计算机是由硬件系统和软件系统两部分组成的,传统电脑系统的硬体单元一般可分为输入单元、输出单元、算术逻辑单元、控制单元及记忆单元,其中算术逻…

集成底座双K8S集群扩展升级方案

集成底座方案是应用于企业信息化建设的集成整合阶段,通过建立统一、标准、柔性、可复用、可扩展的IT架构,解决企业信息化建设过程中缺乏整体规划、集成整合难度大、安全管控不到位等问题,强化企业信息化的架构建设、集成整合、数据治理、安全…

阿里云专家带你揭秘云计算数据底座——对象存储

云计算是新一代的IT 技术,也是数字化转型的新基础设施。有了云计算平台,大数据技术才得以迅猛发展。 怎样获取、存储、处理、应用数据,是一整套方法论,也要有一整套的工具。 对象存储因云而生,是面向各种计算应用的存…