数据中台建设(六)—— 数据资产管理

devtools/2024/11/14 13:13:53/

数据资产管理

随着企业数据越来越大,企业意识到数据是一种无形的资产,通过对企业各业务线产生的海量数据进行合理管理和有效应用,能盘活并充分释放数据的巨大价值。如果不能对海量数据进行有效管理和应用,企业堆积如山的数据给企业带来的是高昂的成本,数据就用不起来,也用不好。
通过数据资产管理可以保证数据的全生命周期高质量的能力,还可以为各类角色用户提供数据资产的直观视图,方便用户查看和使用数据资产,构建数据资产管理的最终目的是为了提升数据价值,使数据持续赋能业务。
在这里插入图片描述
数据资产管理和传统的数据治理实际上区别不大,包含了所有数据治理内容,同时还有数据价值管理和数据共享管理内容,可以认为数据资产管理就是数据治理的升级版,是数据治理2.0版本。
数据资产管理的内容主要包括:数据标准管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据交换管理(数据共享管理)、数据生命周期管理七个方面。

数据标准管理

数据标准(Data Standards)是进行数据标准化的主要依据,构建一套完整的数据标准体系是开展数据标准管理工作的良好基础,有利于打通数据底层的互通性,提升数据的可用性。用通俗的话讲数据标准就是在组织内定义一套关于数据的规范,好让我们都能理解这些数据的含义。例如:对于银行系统中的客户,核心系统人员认为在银行开户存钱的人就是客户,信贷系统人员认为在银行中贷款的人就是客户,理财系统的人认为理财的人就是客户等。
以上如果没有统一标准的话,不仅增加沟通成本,而且项目实施、交付、信息共享、数据集成、协同工作往往会出现各种问题,而数据标准管理就是将这一套数据标准,通过各种管理活动,推动数据进行标准化的一个过程,是数据标准落地必不可少的过程。数据标准管理包括标准定义、标准查询、标准发布。

元数据管理

元数据(Meta-data)是描述数据的数据。例如一个文本数据的大小,位置,创建人,创建日期等,这些数据就是该文本文件的元数据。元数据又分为业务元数据、技术元数据、操作元数据、管理元数据。

  • 业务元数据:与业务规则、流程相关的描述性数据。例如:人员信息数据中的统计时间、统计周期、统计区域范围等。
  • 技术元数据:与存储、访问等技术底层相关描述性数据。例如:人员信息数据存储在的位置、访问的URL地址,数据存储库,对应的表名,字段有哪些等。
  • 操作元数据:与数据操作相关的描述性数据。例如:人员信息数据上传人,上传时间,修改时间等。
  • 管理元数据:与数据管理相关的描述性数据。例如:人员信息数据访问权限,安全等级,质量等级,过期时间等。

元数据就是为了准确的描述我们拥有的所有数据。其核心的目的是降低人与数据之间的沟通成本。描述的越准确,我们使用数据的成本就越低。元数据管理主要包括元数据采集、血缘分析、影响分析等。

主数据管理

主数据(Master Data)就是关于业务实体的数据。主数据是关键业务实体的最权威、最准确、价值最大的数据,用于建立交易闭环。例如对于银行来说,用户账号、贷款账号信息、理财产品等就是主数据;对于电商网站,用户、商品就是主数据等。
由于IT系统建设的历史局限性,主数据分布在不同的应用系统,而不同的应用系统之间主数据的定义、属性、编码存在众多不一致,极大影响了系统和数据之间的融合与集成,因此需要进行主数据管理建设,统一规范企业级主数据。
主数据管理主要是对企业经营活动中所涉及的各类主数据制定统一数据标准和规范,如数据编码标准、主数据接口标准等,方便开发人员使用,统一企业各类数据。

数据质量管理

数据质量就是确保组织拥有的数据完整且准确,只有完整、准确的数据才可以供企业分析、共享使用。随着公司数据的来源、形式越来越多,数据质量的战略价值也急剧上升。例如:检查某业务数据唯一性、完整性、数据流程转换过程一致性、数据真实性等。数据质量管理包括质量规则定义、质量检查、质量报告等。

数据安全管理

企业有些数据非常重要且敏感,这些数据大部分集中在应用系统中,例如银行系统中客户的联络信息、资产信息等,如果不慎泄露,不仅给客户带来损失,也会给银行带来不利的声誉影响,因此数据安全在数据管理和治理过程中是相当重要的。数据安全管理包括数据权限管理、数据脱敏、数据加密等。具体参照11章节“数据安全管理”。

数据共享管理

数据共享管理就是数据交换管理,企业中随着时间和业务增长建立了众多的信息系统,但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。例如数据仓库DM层分析人员信息中缺失数据,可以通过数据交换系统反哺到业务系统中,避免重复劳动。企业急需通过建立底层数据集成平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据,避免“数据孤岛”问题。

数据生命周期管理

任何事物都具有一定的生命周期,数据也不例外。从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法,将极少或者不再使用的数据从系统中剥离出来,并通过合适的存储设备进行保留,不仅能够提高系统的运行效率,更好地服务客户,还能大幅度减少因数据长期保存带来的储存成本。
数据生命周期一般包含在线阶段、归档阶段(有时还会进一步划分为在线归档阶段和离线归档阶段,即离线数仓和实时数仓构建,将数据存入数仓)、销毁阶段三大阶段,数据生命周期管理内容包括建立合理的数据类别,针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项等。


http://www.ppmy.cn/devtools/113137.html

相关文章

day20JS-axios数据通信

1. 什么是axios axios 是一个基于Promise 用于浏览器和 nodejs 的 HTTP 客户端,简单的理解就是ajax的封装,只不过它是Promise的实现版本。 特性: 从浏览器中创建 XMLHttpRequests从 node.js 创建 http 请求支持 Promise API拦截请求和响应转…

初学Linux(学习笔记)

初学Linux(学习笔记) 前言 本文跳过了Linux前期的环境准备,直接从知识点和指令开始。 知识点: 1.目录文件夹(Windows) 2.文件内容属性 3.在Windows当中区分文件类型是通过后缀,而Linux是通过…

Java项目: 基于SpringBoot+mybatis+maven校园资料分享平台(含源码+数据库+答辩PPT+毕业论文)

一、项目简介 本项目是一套基于SpringBootmybatismaven校园资料分享平台 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse或者idea 确保可以运行! 该系统功能完善、界面美观、操作简…

Unity程序基础框架

概述 单例模式基类 没有继承 MonoBehaviour 继承了 MonoBehaviour 的两种单例模式的写法 缓存池模块 &#xff08;确实挺有用&#xff09; using System.Collections; using System.Collections.Generic; using UnityEngine;/// <summary> /// 缓存池模块 /// 知识点 //…

Qt 基础按钮布局管理

cpp public: Content(QWidget *parent0); ~Content(); QStackedWidget *stack; QPushButton *AmendBtn; QPushButton *CloseBtn; Baseinfo *baseInfo; Contact *contact; Detail *detail; // 打开 "Content.cpp" 文件&#xff0c;添加如下代码&#xff1a; Content:…

RabbitMQ(高阶使用)死信队列

文章内容是学习过程中的知识总结&#xff0c;如有纰漏&#xff0c;欢迎指正 文章目录 一、什么是死信队列&#xff1f; 二、死信队列使用场景 三、死信队列如何使用 四、打车超时处理 1.打车超时实现 以下是本篇文章正文内容 一、什么是死信队列&#xff1f; 先从概念解释上搞…

python教程(二):python数据结构大全(附代码)

Python 中数据结构的重要性不言而喻&#xff0c;它们是构建高效、可维护代码的基础。数据结构决定了如何存储、组织和操作数据。理解和使用合适的数据结构能够极大地提升程序的性能、简洁性以及代码的可读性。 Python 的基础数据结构有 4 种&#xff0c;分别是 列表 (list)、元…

Gateway学习笔记

目录 介绍&#xff1a; 核心概念 依赖 路由 断言 基本的断言工厂 自定义断言 过滤器 路由过滤器 过滤器工厂 自定义路由过滤器 全局过滤器 其他 过滤器执行顺序 前置后置&#xff08;&#xff1f;&#xff09; 跨域问题 yaml 解决 配置类解决 介绍&#x…