读书笔记--数据治理之器

news/2024/10/23 7:22:05/

       继延续上一篇文章,对数据治理之器进行学习思考。所谓的工欲善其事,必先利其器,数据治理工具是企业数据治理体系落地的重要保证。本部分内容主要讲述了数据治理的7把利剑,包括数据模型管理工具、元数据管理工具、数据标准管理工具、主数据管理工具、数据质量管理工具、数据安全治理工具、数据集成与共享工具。数据治理的本质是管理数据资产,改善数据质量,防护数据安全和个人隐私,促进数据应用。不同的企业要根据自身的业务诉求特点,有针对性的选择技术平台和工具。同时,企业要从一开始就意识到数据治理是一项长期持续性的日常工作,数据治理工作的核心是关注对业务价值增长的助力,一般与数据相关的项目都是一项重服务或重实施的项目工作,需要长期不断的坚持和投入,可能需要投入10年或20年才能逐步见效,或者对业务价值提升起到间接提效或支撑作用,因此企业的数据治理工作需要选择长期合作、可靠的、有真货的供应商来持续开展,需要重点考察供应商的知名度、成功案例、咨询实施经验和团队人员能力,同时也要考虑总体拥有费用成本(即TCO)等等。

一、数据模型管理工具

企业信息孤岛问题导致数据难以连通,最佳解决方式是开展全局规划,构建统一的企业数据模型,形成统一数据标准,该工具帮助企业输出一组标准化的、与业务一致的数据定义,并且符合业务规则和监管要求,并具有可重用性,该工具是数据治理工作的关键推动因素。数据模型管理工具提供了可视化建模、模型管理、模型对比和分析等功能。数据模型管理工具逻辑架构见左图所示。数据模型的应用见右图所示。

二、元数据管理工具

元数据管理工具是企业数据治理工作的重要抓手,帮助企业解决数据查找难、理解难等问题,促进了数据集成共享,元数据管理工具能够更好的获取、共享、理解和应用企业数据信息,降低数据集成和管理成本,提高数据资产的透明度。元数据管理平台架构见下图。

元数据采集主要包括对业务元数据、技术元数据和操作元数据的采集。详见下表,采集方式有自动化采集和人工采集,最难采集的是业务元数据。

元数据应用主要有在数据治理中的应用、应用系统开发过程中的应用(开发库、测试库和生产库)、数据仓库中的应用(数据关系、分析、交换和共享等)。

三、数据标准管理工具

大部分情况下,数据标准管理工具整合到元数据管理平台中,作为整体提高数据治理服务,必须包括标准制定、发布、执行和监控功能,数据标准问题不是一个技术问题,要让数据标准管得好、用得好,需要管理制度、流程、数据思维、文化等方面的建设。整体架构见下图。

四、主数据管理工具

主数据作为黄金数据,具有很高的价值,是企业数据资产管理的核心,解决企业异构系统的数据标准不一致不标准的问题,保障业务连贯性,数据一致性、完整性和准确性,提升业务线间的协同能力,支撑领导的管理决策需要。主数据管理系统功能架构见下图所示,包括业务系统层、主数据集成层、主数据管理层和主数据应用层。主数据管理工具主要提供主数据建模、管理、质量、安全和主数据集成等功能,利用中央存储库来存储和管理整个企业的主数据,为企业的关键业务数据提供统一集中的数据视图,该工具需要和企业的业务系统集成使用。

五、数据质量管理工具

数据质量管理工具架构见下图,数据质量维度是数据的六性(即唯一性、一致性、准确性、完整性、关联性和及时性),数据质量指标是从业务实体角度对质量问题的简单描述,可包含一个或多个信息项。一个完整的数据质量管理方案应包括数据质量评估指标设计、数据质量管理工具构建、定期或持续的数据质量测量、持续的数据质量改进机制等。工具是数据质量持续监控和不断改进的重要支撑。

六、数据安全管理工具

数据安全治理功能架构见下图所示,主要体现在数据管理和应用层面。数据安全治理的应用功能主要有数据安全风险监测、数据安全预警、数据安全问题或风险报送、数据安全培训等。在数据的采集、存储、传输、处理和使用过程中都要涉及到安全,企业要根据自身需要选择相应的安全治理工具。

七、数据集成与共享工具

数据集成与共享工具用于实现跨单位、跨部门的数据资源集成和共享,由多个系统构件组成,实现数据的汇聚、融合、交换和共享的整体解决方案,该工具是一个工具集,通过将数据桥接、数据传输、数据处理、目录服务、元数据管理、数据质量管理等工具进行整合应用,一般包括数据交换共享系统、目录服务系统和数据管理系统等,架构图见368。

数据交换共享系统是整个平台的核心,包括交换桥接子系统、交换前置子系统、交换传输子系统、数据加工子系统、管理和监控子系统。

目录服务系统包括目录编目管理、目录注册管理、目录发布管理、目录查询管理和目录维护管理等功能,目录编目的作用是为数据资源和封装的服务建立分类目录和索引。

数据管理系统通过元数据管理和数据质量管理等功能,对交换库、共享库和目录库进行统一管理。

       最后,由于数据治理是一项长期持续性的日常工作,治理的核心是关注对业务价值增长的助力,需要选择长期合作、可靠的、有真货的供应商来开展,数据相关的项目是一项重服务或重实施的项目工作,重点考察供应商的知名度、成功案例、经验和团队人员能力等,具体给出了数据治理工具该如何选型的建议,主要从以下一个方面进行考察选择。

1.供应商综合实力:知名度、市场地位、信用、财务信息、资质、专业资质、研发能力、服务能力(咨询能力、实施能力、服务能力等)。

2.产品的架构考察:数据、技术、应用、安全和部署架构。

3.产品的功能考察:分为全面开展的数据治理和面向主题的数据治理工作。功能指标主要有工具的自动化程度,支持的数据类型,支持的数据来源,产品规划路线图,配套文档等。

4.产品的性能考察:性能、可靠性、易用性、安全性和可扩展性指标(集成能力和二次开发支持能力等)

另外,数据治理工具选型过程中要着重考虑工具选型和成本预算,即TCO(总体拥有成本),TOC=购买工具产品的成本+后期的运营和维护成本。


http://www.ppmy.cn/news/889234.html

相关文章

Java杂谈——求所有的4位吸血鬼数字

Java杂谈篇(一) 【求所有的4位吸血鬼数字】1、什么是吸血鬼数字?2、方法思考2.1、各种方法2.2、关于上述第二个解决方法的解析2.2.1、方法详情2.2.2、方法详解3、运行结果【求所有的4位吸血鬼数字】 1、什么是吸血鬼数字? 吸血鬼数字是指位数为偶数的数字,可以由一对数字…

Java求吸血鬼数

在看《Thinking In Java》,有一题是求4位数的吸血鬼数,这里做个笔记。 首先解释一下吸血鬼数字:吸血鬼数字是指位数为偶数的数字,可由一对数字相乘而得到,这对数字各包含乘积的一半位数的数字,以两个0结尾的数字是不允…

java--吸血鬼数的判断

首先解释一下吸血鬼数字:吸血鬼数字是指位数为偶数的数字,可由一对数字相乘而得到,这对数字各包含乘积的一半位数的数字,以两个0结尾的数字是不允许的。 四位数吸血鬼数字示例:126021*60,182721*87…

ThinkingInJava_吸血鬼数

package java_001;import java.util.Arrays;/*** Thinking in Java*吸血鬼数字是指位数为偶数的数字,可由一对数字相乘而得到,*这对数字各包含乘积的一半位数的数字,*其中从最初数字选取的数字可以任意排序*以两个0结尾的数字是不允许的。*四…

java编程找出吸血鬼数字,Java 找到四位数的所有吸血鬼数字 基础代码实例

Java 找出四位数的所有吸血鬼数字 基础代码实例 /** * 找出四位数的所有吸血鬼数字 * 吸血鬼数字是指位数为偶数的数字,可以由一对数字相乘而得到,而这对数字各包含乘积的一半位数的数字,其中从最初的数字中选取的数字可以任意排序. * 以两个…

Thinking in Java之吸血鬼数字

今天学习了Java的流程控制的内容,基本与C语言一样,只不过是Java多了foreach语句的一种用法,相对于C语言来说方便了很多。看了最后一道习题,是关于吸血鬼数字的,比较感兴趣于是就写了代码。但是我这个属于暴力求解&…

java吸血鬼数字_[求助]吸血鬼数字

[求助]吸血鬼数字 public class xixuegui { public static void main (String[] args) { int i,j,k,a,b,c,d,n,m; for(i1001;i<9999;i){ ai/1000; b(i-a*1000)/100; c(i-a*1000-b*100)/10; di-a*1000-b*100-c*10; for(j1;j<10;j){ for(k0;k<10;k){ if(i(j*1000)(k*100…

四位吸血鬼数

四位吸血鬼数算法 题目来自《Thinking in Java》第四版&#xff0c;第四章最后一道练习题。 下面是我的代码&#xff1a; public static void main(String args[]) { long t1 System.currentTimeMillis();int number 0;int[] combo new int[4];left:for(int left11;left&…