数据治理的关键能力是什么?如何发力?

news/2024/11/7 4:49:34/

工业时代历经百年形成的全球经济体系、治理体系,在突如其来的新冠疫情冲击和数字技术高速发展下,开始加速变革。从社会经济系统来看,未来人类社会将向“实体+数字”的二维空间发展。数字经济将是基于这个二维空间而建立的新经济模式,发展数字经济是激活数据要素、开发数字生产力、创新数字生产关系的过程,数据已经成为数字经济发展基础性、关键性、决定性的生产要素。

近年来,随着一系列与数据相关的法律法规和标准陆续发布,我国的数据基础制度体系建设不断完善。在国家陆续出台的《网络安全法》《数据安全法》及《个人信息保护法》等基础性法律之外,目前已有18个省市公布了各种数据相关条例。其中,深圳、上海、浙江和重庆出台了明确的数据条例。这些地方条例虽然立意不同、完善程度不一,但大多以促进数据利用和产业发展为基本定位,为当地加快数据流通和开发利用奠定了坚实基础。

企业是数据要素开发的市场主体。在数据要素市场化过程中,传统企业的商业模式正在发生根本性改变。作为企业的新型资产,企业的数据资产增长越来越快,价值越来越大,因此必须建立企业数据治理制度,用以规范和开发企业数据资产的价值。

一、数据治理概述

到目前为止,不同组织或机构基于不同的研究视角和侧重点对数据治理概念的阐述多种多样,尚未形成统一的一个标准定义,但其本质上都是对企业数据管理的整个过程开展监督及指导,目标均为企业创造更大的利益。总体来看,数据治理的侧重点主要体现在数据治理的范围、治理主体的职责、数据治的理目标、数据治理的过程及其规范。在当前已有的定义中,以DAMA(国际数据管理协会)、DGI(国际数据治理研究所)、IBM数据治理委员会三家机构提出的最具权威性,因而被广泛应用。

DAMA认为数据治理是对数据资产管理行使权力和控制的活动集合。DGI认为数据治理是包含信息相关过程的决策权及责任制的体系,即在企业数据管理中分配决策权和相关职责。IBM数据治理委员会认为数据治理是一种质量控制规程,并且对数据管理的整个过程开展监督及指导工作。

二、企业数据治理的必要性

1、企业实现数据资源在组织内部的对接和共享的需要

大部分企业已经完成了ERP、CRM、供应链、协同办公等企业信息化系统的建设, 但是由于数据分散在众多系统中, 缺乏统一的数据定义和数据分类, 因此在数据使用上存在数据不标准、数据不一致、数据完整性差等问题。数据不标准主要表现在不同系统之间描述同一业务问题的数据定义标准不同;数据不一致主要表现在相关联业务系统的数据不同步、各应用系统间存在数据编码规则不一致的问题, 还有重复编码的问题;数据完整性差表现为缺少关键ID。企业必须对各个系统的数据源以及输出的数据资产进行统一的数据治理, 实现数据在不同组织和系统内的交换与共享。只有解决了数据的问题, 才能实现IT的价值。

例如亿信华辰帮助佛山某区政务服务数据管理局建设的数据治理平台,就根据数据应用的需求,对人口库、卫计、工商、流管等数据建立质量规则,通过构建模型、配置规则、人工智能识别等方法对数据进行数据核查、数据清洗、数据更新及数据修复,并输出数据分析报告。

全面提升数据质量,帮助建立健全完善的考核制度,实现数据中心的统一监管,全面实现教育无纸化改革,提升办事效率,充分实现数据的全面共享应用。

2、提升海量数据资源质量的需要

大数据时代数据产生的价值越来越大, 各企业都在探索基于数据的相关技术和应用模式, 最终目的就是挖掘数据的价值, 推动企业的发展。因为数据有可能是成本, 也有可能是资产, 能给企业带来重要的价值, 是企业宝贵的资源。如果没有数据治理, 数据的质量就无法保证, 数据难以成为企业的资产, 既使再多的业务和技术投入也都是徒劳。数据质量低下会导致企业在IT方面的重复投入, 各种应用系统的价值难以有效地发挥出来, 数据的问题甚至会使得企业错失商机,损失无法估量。国内外许多学者在数据治理领域都讨论了与价值创造或提升相关的话题,从全球范围来看, 数据治理是保证数据质量的必需手段, 数据治理的价值贡献在于确保数据的准确性、可获取性、安全性、适度分享和合规使用。

例如, 湖北移动对数据服务涉及的计算资源、数据资源制定了标准化的统一管理规范, 明确了各个应用项目计算资源的初始分配、扩容、忙闲时调度等策略和流程, 制定了涵盖数据层次、数据主题、数据命名、质量检查、数据转换等11个大类的数据标准化规则体系, 降低了管理成本和应用成本。

3、数据驱动企业进行科学决策的需要

当今世界进入了数据爆炸的时代, 数据成为企业重要的资产。企业涉及的数据类型, 包括文本、图像、音频、视频等, 分为静态数据和动态数据, 实时数据和非实时数据, 结构化数据、半结构化数据和非结构化数据, 这些数据有些来源于企业的内部信息系统及设备, 有些来源于外部的供应链和社交网络。数据驱动企业的决策成为时代发展的必然。

数据治理能使企业清楚地认识自己的优势和劣势, 有利于企业提高决策的合理性, 为用户提供更加优质的服务。大数据时代, 企业可以通过对数据的整合和分析, 从中获取对企业有用的数据。新的数据技术手段, 使得信息在企业内部不同部门之间有效、快速地传递, 使得不同部门之间的交流、沟通更加透明, 使得企业不同的利益主体能广泛地参与决策, 从而提高决策的科学性和合理性。

4、企业整合数据资源提升竞争力的需要

在企业的生产经营活动中会产生大量的数据, 企业需要对事务性数据、机器生成数据、社交媒体数据等内外部数据进行整合, 特别是对与企业重大商业利益相关的数据资源的整合、分析与利用, 从而指导企业的经营与发展。数据技术带来的不仅是技术的更新, 还有管理方式的改变, 数据治理不仅局限在企业的决策层, 还包含管理层和业务层, 数据治理能改善企业管理层与其他利益相关者的关系, 大家共同关心企业的发展, 致力于企业目标的实现, 使企业变得更加敏捷和高效, 更注重用户体验的提升和需求的满足。例如, 长安汽车集团为解决日常的数据收集、数据处理效率较低、不同源系统的数据不一致的问题, 通过元数据管理系统, 建立采集元数据和元数据关系, 提升了跨系统的数据交互能力以及数据整合能力, 进一步提升了自身的竞争力。

三、企业实施数据治理的核心内容

1、元数据管理

元数据是描述数据的数据。Forrester Research将元数据定义为“用于描述数据、内容、业务流程、服务、业务规则以及组织信息系统的支持政策或为其提供上下文的信息”。元数据管理就是对元数据进行创建、组织与存储、整合与控制的相关活动。管理团队首先要弄清企业开展业务需要哪方面的数据, 生产经营活动又会产生哪些方面的数据, 如何获取支持业务活动的数据, 以及各种数据之间的相互关系。企业可以创建元数据存储库, 存储各种业务元数据和技术元数据的属性、状态及关系, 以便于不同部门、不同系统之间的共享和利用。

元数据的管理, 在一定程度上可以解决数据重复建设等问题,进一步提升数据质量。比如,东方航空公司利用普元产品的全自动采集和大数据地图的自动展现等功能,集中管理了包括技术、业务、操作在内的全企业的元数据, 分析出了海量元数据之间的关系,可视化展现出了东航数据资产全貌和数据之间的流向, 促进了东航对海量数据的有效利用。

2、主数据管理

主数据是企业业务实体的数据, 比如客户数据、产商数据、产品数据等。它广泛地分散在企业的各种业务流程、各个信息系统以及应用程序中。对于企业来说, 主数据是非常有价值的数据, 也是各业务部门和应用系统需要共享的数据。企业数据治理的目标是充分挖掘主数据的价值, 以满足不同部门对主数据的需求。针对各业务部门对数据使用的目的和要求不同, 主数据管理需要围绕业务的目标与规则并与各部门的业务流程相匹配, 同时也要得到各业务部门的支持, 具体从提高主数据的质量着手, 确立主数据管理的策略、规程和技术解决方案, 尽量保证各业务数据的合规性、一致性和相关性。

主数据管理是一项长期的实践活动, 可通过建立主数据中心来规范主数据的使用, 这不仅是一项技术工作, 还有配套的管理工作, 如确立主数据的管理规范和管理流程。2008年九州通集团开始进行主数据规划, 首先通过管理和标准来建立流程, 明确组织分工, 之后进行数据清理, 系统开发, 上线实施主数据的建设, 使信息自由流动, 提升业务效率, 为后续的数据分析、科学决策提供有价值的数据驱动, 进而提升管理水平[14]。

3、数据质量管理

Weber等人将数据质量管理定义为:以质量为导向的数据资产管理, 即计划、规定、组织、使用和处理支持决策和运营业务流程的数据, 从而持续性地提高数据质量。大数据技术的广泛应用, 使得企业对数据治理的需求日益迫切。企业数据大量分散在各个系统中, 由于缺乏一套完整的数据标准体系, 各系统之间的数据交互共享性差。由于缺乏标准化的管理和适当的控制, 数据的分散会导致相同数据存放在不同系统中, 不能被有效识别, 数据的可靠性无法等到保证。数据的质量决定了技术应用的质量;数据质量管理侧重于高质量数据的计划、组织和使用, 确保了治理对象的质量。通过数据治理, 组织能够承担数据责任, 解决技术问题, 从而进一步提高数据管理和数据质量管理的能力。

以生产男式西装为主的红领集团为例,用户在手机APP上下单之后, 测量师会到用户家里做定制测量,然后在版型库里做设计,自动排产之后就开始生产。整个过程都是基于高质量的数据驱动的,数据质量成为业务的生命线。数据质量管理需明确质量管控的规范与流程, 使相关人员明确在数据产生、存储、应用的整个生命周期中数据治理包含的工作内容、工作流程、各自的职责, 进一步提升数据治理的效率。

4、数据生命周期管理

数据生命周期是指数据从产生、利用到消亡的过程。数据对企业的重要性不言而喻, 但数据不会永久性存在, 一方面企业对数据的维护需要支付成本, 另一方面数据的价值也会发生变化, 因此企业数据治理需要根据自身的需求, 结合数据生命周期的特征, 采取不同的管理方式。数据生命周期管理的目标是在成本可控的情况下, 有效管理数据, 创造更多的价值。如, 欧洲某公用服务公司在部署电气智能仪表时, 实施大数据生命周期治理, 使得包括大数据归档和压缩在内的总体的运营成本节约了60%。数据生命周期管理首先要有一个判断标准, 确定哪些数据需要存储, 哪些数据需要进行分析利用, 哪些数据需要被剔除;然后制定数据剔除、存储、分析、应用的标准与流程, 结合数据实际应用情况, 不断优化生命周期管理流程, 最大限度地发挥数据的价值。

5、业务流程整合

数据治理围绕企业业务活动展开, 首先要识别企业的业务问题, 根据实际的业务问题初步拟定数据治理计划, 一旦问题得到解决, 业务部门会给予更多的支持, 并将数据治理的范围扩展到更多的业务活动中。业务流程整合的目的是为了便于数据治理活动的开展, 同时也是为了提高数据治理的效率。业务流程的整合将有助于规范业务流程, 有利于数据治理团队发现业务活动中的数据以及数据之间的关系。


进入数字经济时代,数据正在成为经济社会发展的核心生产要素,并将成为国家、企业、个人最具价值的未来资产之一。面对数据要素,需要重新思考传统企业经营的底层逻辑。加快推进企业数据治理建设,将促进企业面向“实体+数字”的二维空间,规范企业的数据资产,并让企业的数据资产在未来创造更大价值。

企业数据治理建设不能只针对单一企业,而要面向产业链和产业生态,整体思考数据资产的流通生命周期。企业数据治理制度的核心理念是促进数据在企业、产业链、产业生态中的流动,促进数据资产的价值实现。

 


http://www.ppmy.cn/news/569995.html

相关文章

游戏-引擎

游戏引擎是指一些已编写好的可编辑电脑游戏系统或者一些互交式实时图像应用程序的核 心组件。 这些系统为游戏设计者提供各种编写游戏所需的各种工具,其目的在于让游戏设计者能容 易和快速地做出游戏程序而不用由零开始。 大部分都支持多种操作系统平台,如 Linux、Mac OS X、微…

读 J. Gregory 之《游戏引擎架构》

J. Gregory, 叶劲峰. 游戏引擎架构. ISBN: 978-7-121-22288-7 做游戏似乎是很多玩家或者网民心中的执念,但真正愿意去付诸实践的少之又少。而这些少之又少的人当中,相当一部分还只是粗浅地学了一些简单的编程语言,只会跑一些 Demo&#xff0c…

初探Ogre 引擎!---- (1)

什么是Ogre引擎 Ogre 3D是一个成熟,稳定,可靠,灵活,跨平台,而且拥有丰富功能实时3D图形库。Ogre是引擎的简称,Ogre的全称是Object-oriented Graphics Rendering Engine,它是由一个核心小组开发并…

(五)flax Engine 游戏引擎——载具

2021SCSDUSC 上次我们讲述了flax Engine游戏引擎中的最基本的组成结构刚体和其源代码的分析。本次我将讲述flax Engine游戏引擎中的WheeledVehicle(载具)的相应的源代码的分析。 按照惯例本次我将针对flaxEngine 游戏引擎中的WheeledVehicle&am…

什么是引擎

什么是引擎 前言 引擎这个词在编程中出现越来越多,比如游戏引擎,爬虫引擎,规则引擎。引擎这个最初在汽车里面代表发动机的词,到底是指什么意思,而引擎在不同编程的语境中具体又代表了什么,本文就是为了解…

游戏引擎Flax Engine源码分析(十一)渲染

2021SCSDUSC 一、概述 这篇博客继续分析2D渲染的后续内容。 二、分析 函数DrawBezier()绘制贝塞尔曲线。参数:p1起点、p2第一个控制点、p3第二个控制点、终点、color线条颜色、thickness线条粗细。 static void DrawBezier(const Vector2&a…

Unreal Engine虚幻引擎 5

ref:http://next.poppur.com/Stylish/10596.html https://www.unrealengine.com/en-US/blog/a-first-look-at-unreal-engine-5 Author:Alex 发表时间2020-05-14 12:09:33 2012 年,Epic Games 首度展示了游戏引擎 Unreal Engine 4 的实机视频,该引擎强…