姜春宇:数据治理五大发展趋势

news/2024/11/8 14:43:03/

4月27日在2023数据治理新实践峰会上,大数据技术标准推进委员会副主席姜春宇先生以《数据治理发展趋势》为主题为大家分享了数据的价值和最新发展趋势。
以下为姜春宇先生的演讲实录,为了方便阅读,小编做了一些字句修改和文本优化。

大家上午好!非常荣幸受邀参加2023数据治理新实践峰会,也非常的荣幸作为开场嘉宾,为大家分享国内数据治理最新的发展趋势。

数据已经成为战略性资源

「数据」领域已经热了好多年,2012年左右大数据技术刚刚被引入中国,数据技术热潮开启;到2015年国家发布《促进大数据发展行动纲要》标志着数据上升到国家战略;2016年国家发布大数据发展十三五规划,大数据首次作为一个产业有了独立的五年发展规划;2022年“数据二十条”发布,数据正在成为生产要素,需要构建新的体制机制来释放其价值。

2022年6月份《中共中央国务院发布了构建数据基础制度更好发挥数据要素作用的意见》,简称“数据二十条”,对数据要素未来的基础制度建设做了大量的描述,包括数据产权制度、交易流通制度、收益分配制度、安全治理制度等。《意见》的核心目的是提高数据要素供给数量和质量,充分保障数据处理者使用数据和获得收益的权利,充分实现数据要素价值、促进全体人民共享数字经济发展红利。

从企业层面来看,很多企业都在向「数据驱动型企业」转型,其中大部分企业基本实现了业务在线化,积累了大量的数据,现在最迫切的命题就是如何构建「数据驱动型企业」,让智能化的决策和数据驱动的文化深入到每个企业的小细胞。我们认为数据驱动的企业有六大特征,分别是全面用数、实时分析、数据随时可用、柔性管控、内外贯通、闭环运营。

数据治理的三大阶段

数据治理是实现数据要素市场建设与数据驱动型企业的基础。近期,华为的孟晚舟女士在公开场合提到数字化转型数据治理是基础:只有通过对数据科学治理,数据在企业内部的流动才具有意义,不同维度的数据汇聚在一起,才能创造新的价值。数据治理的目的是数据的可得、可用、好用,释放数据价值,最终实现数据驱动的企业运营。

在这里插入图片描述

数据治理的发展大概经历了三个阶段。

第一个阶段就是信息化时代。

在这个阶段数据还没有被大量、广泛地存储下来,数据治理主要是帮助企业规范地建设IT系统,能够让IT系统之间实现信息共享,这是信息化时代的一个特点。

第二个阶段就是大数据时代。

2010年以后,我们进入大数据时代,随着摩尔定律的发展,硬件性能不断提升,使得我们拥有廉价的海量数据存储和计算能力,同时移动互联网带来了海量用户行为数据,这些数据能够被存储、计算和挖掘,应用于互联网广告、个性化推荐、智能风控等领域,数据具备了商业价值我们才进入了大数据时代。大数据时代,数据治理面临规模大、时效性高、数据类型复杂等挑战,要求具备自动化、敏捷、多元的数据治理能力。全面数据资产的管理、洞察、挖掘是大数据时代的特点。

第三个阶段就是数据要素时代。

2020年以后,我们正向数据要素时代演化,其中的逻辑就是数据在广泛的流通和互联,数据不光是在企业内部要流动,在不同企业之间也要流动起来,这种流动的需求是普遍的。数据要素时代数据治理的体系相较于之前也是不一样的,因为不光是一个企业内部数据治理的问题,还涉及到不同组织机构之间的数据治理问题。其中任何一个主体如果有安全、合规和治理的短板,那么数据就会流走,所以在数据要素的时代,数据治理的挑战在于多主体数据流动的需求。

在这里插入图片描述

关于数据治理的理论,从最早的DMBook到DMM成熟度到国内的数据管理能力成熟度模型,不断涌现各种知识框架。DMBook偏知识体系,是大家进入数据治理行业必学的一门课;而DMM成熟度模型借鉴了软件成熟度模型的形式,用于评价企业在实践过程中数据管理的能力。

在这里插入图片描述

数据治理五大发展趋势

接下来重点谈谈数据治理趋势,我自己总结了以下五个趋势:

发展趋势1:DCMM贯标推动各行业数据治理能力建设

第一个趋势就是我们看到了国内的数据治理方法论正在形成,DCMM是我国数据管理领域首个国家标准,2014年立项,2018年发布,2020年开始在全国范围内进行贯标评估工作。DCMM标准定义了8个能力域、28个能力子域、445 个条款、 5个能力等级。国家层面对DCMM的推动是不遗余力的,“数据二十条”提出了加快推进数据管理能力成熟度国家标准及数据要素管理规范贯彻执行工作。工信部大数据产业规划(2021-2025)》也提出了完善数据管理能力评估体系,推动《数据管理能力成熟度评估模型》和数据安全管理等国家标准贯标,持续提升企事业单位数据管理水平。

在这里插入图片描述
2022年是中国数据治理的爆发式增长的元年。2022年各评估机构共完成了 1000多家企业的DCMM的贯标评估工作。在各个地方政府的大力支持下,数据管理和数据治理的理念贯彻到了各行各业,DCMM认知度大大提升,数据治理的需求变热。

在这里插入图片描述

发展趋势2:数据治理亟需融入到数据开发之中

我们看到头部的企业如大型银行、大型运营商等已经搭建了较为强大的数据治理体系,但普遍存在数据治理和数据开发两张皮的问题,如何将治理能力嵌入到数据开发流程中,加速数据开发的效率,打通团队间的协作壁垒,形成数据开发、治理一体的数据生产流水线成为头部企业的迫切需求。

在这里插入图片描述
我们正在探索通过DataOps(数据研发运营一体化)来构建高效的协同机制,打造开发治理一体化的流水线,建立精细化的数据运营体系。DataOps是数据开发的一个新范式,将敏捷、精益等理念融入到数据开发里,通过对数据相关人员、工具和流程的重新组织,打破协作壁垒,构建集开发、治理、运营于一体的自动化数据流水线,不断提高数据产品交付效率与质量,实现高质量数字化发展。这是我们对它的一个定义。

信通院将逐步推动DataOps这个理念在国内实践和落地。DataOps的流水线分为四个域,分别是研发、交付、运维和价值。它有三个比较关键的保障职能,分别是组织管理、系统工具和安全管控。下图所示是Dataops的一个框架图,我们正在推动这套框架在各个企业落地,头部机构已经开始有意识的利用DataOps思想来解决自身数据生产力不足的问题。
在这里插入图片描述
DataOps标准与实践体系正在形成,2022年底我们就完成了第一个标准:研发管理的标准体系,然后也在农行、工行、浙江移动、江苏移动进行了落地实践;2023年我们计划完成交付、运维、技术工具三个标准的制定;2024年将会完成价值运营和组织管理两个标准。最终会形成7个标准,我们会陆续完善标准体系并逐步推动DataOps这套理念在中国进行落地。

在这里插入图片描述

发展趋势3:数据治理向数据资产管理跃进

光谈数据治理已经远远不够,我们了解到一些数据基础比较好的企业已经开始探索数据资产化的工作。我们从2017年开始提出数据资产这个概念,推行数据资产在中国的发展,我们发布的《数据资产管理实践白皮书 》已经更新至6.0版本。数据不光会产生一堆问题,还会产生很多的价值,这些价值怎么去在企业内外部进行衡量和体现?这里提到了数据资源化和数据资产化两个阶段。我们现在做的很多数据治理工作,其实就把原始数据能够作为数据资源治理好,那么下一步面临的就是数据价值的释放,也就是数据资产化。数据资产化有资产的估值、运营和流通三大活动,这也在白皮书里面有定义。

在这里插入图片描述

关于估值和运营,我们都有做一些相关的工作。我们看到业界其实有不少的机构在探索估值,大多都是基于Gartner的信息价值评估模型来延伸的,一共有三种评估方法:收益、成本、市场,这三种评估方法其实都有一些问题。我们认为数据资产估值需要有个框架和一些核心指标,我们正在定义估值框架和指标。有两种估值方法:货币法和非货币化。我们认为企业围绕数字化场景来进行非货币化的价值评估是比较现实的,当然完成非货币化评估和价值衡量以后,未来可以进行货币化的转化,这是两步走的关系。此外,我们正在和央国企合作相应的一些课题,当然他们的数据基础比较好,基本汇聚了全域的数据,数据质量较好,数据的应用场景比较多。所以,我们正在基于数据应用场景来去梳理数据在场景里面发挥的价值。
在这里插入图片描述
领先的企业把数据汇聚起来,并在业务端产生了不少价值,但这个价值是远远不够。因为业务对数据的感知不深,所以我们推出数据资产运营这个概念。数据团队要主动出击,要向业务来讲清楚它有什么价值。数据运营包括了资产规划,资产引入、资产推广、资产使用、资产优化这五个阶段。现在企业的数据团队普遍要做很多的工作,包括已经超出数据本身那些技术性的工作。原因无它,因为让业务来去理解这些数据内容是很难的,为了成效,数据团队必须多干一点,尽管最终的目标是让业务自己来用数、取数,但是中间必须有一个过程,那就是数据团队首先要拥抱业务,不光需要把数据整理好、汇聚好,加工好,还需要告诉业务如何使用数据,要更好地帮助业务做数据价值的释放。

在这里插入图片描述
发展趋势4:数据安全治理建设需求迫切

国家《数据安全法》要求企业建设数据安全治理体系,以应对各种数据安全风险。这个要求普遍适用于数据治理水平较高的先进企业,也就是说,规模以上的企业都必须建设体系化的数据安全治理能力。我们也正在推出数据安全治理能力评估框架,这套评估框架不仅定义了数据安全治理的概念和框架,同时也告诉大家应该如何去一步一步构建数据安全治理体系。

在这里插入图片描述
目前,我们已经在包括平安银行、浦发银行、百度、蚂蚁等先进企业率先落地,在这个过程中,我们发现这些企业至少已经做了五年以上的数据安全相关的工作。企业应该要重视起来数据安全治理,需要从安全的规划、生命周期、基础安全等去全面评估数据安全的整体能力并通过体系化的方法论来落地。

此外,数据安全治理建设路径逐渐明晰,我们在《数据安全治理实践指南2.0》提出了“规划—建设—运营—优化”的实践路径。治理规划可以做现状分析、方案规划和方案论证;治理建设是围绕数据的生命周期场景和业务运行场景来梳理进而落地。治理运营是需要做好风险的防范、内控预警和应急处理;治理优化就是内外部持续的评估和优化。

在这里插入图片描述

发展趋势5:数据治理的智能化

数据治理的智能化也是一个很重要的发展趋势,尤其是以 ChatGPT、图智能等为代表的新一代人工智能技术,可以在数据治理中发挥巨大的效应。一是能够提升数据治理的效率,减少大量的手工工作,比如分类分级;二是能增强元数据管理能力,提升血缘分析、影响分析等能力。

另外,ChatGPT 对整个数据治理产生的影响,短期内我判断是利好数据治理的,因为它需要大量的数据语料,数据治理恰好是提升数据语料的一个必备环节。

总结

最后来总结一下,数据治理是数据价值释放的前提条件。

数据治理面临五大发展趋势。

趋势一:我们国内的方法论已经逐渐形成,通过DCMM评估来去推动整个数据治理体系的建设,尤其是大型企业,利用DCMM来引起上层领导的重视。

趋势二:数据治理与数据开发要融合在一起,不能是两张皮,否则整个效能和应用价值会打折扣。DataOps是数据生产模式的创新,各行业均有一定实践,标准化工作正在进行。

趋势三:数据资产管理是数据治理2.0阶段,数据估值和价值运营成为数字化转型的“指南针”。

趋势四:数据安全成为数据利用的基本底线,体系化的数据安全治理能力对我们的企业应对各类数据风险是非常必要的,也是一个保障。

最后一个趋势是智能化,提升数据治理效率,促进数据治理价值化,未来数据治理演化的一个非常重要的趋势。

以上是数据治理趋势全部的分享!感谢大家的聆听!


http://www.ppmy.cn/news/77942.html

相关文章

Python 用Redis简单实现分布式爬虫

分布式爬虫是指将一个爬虫程序在多个计算机上同时执行,并且这些计算机相互协调工作,同时抓取数据。相较于单机爬取,分布式爬虫可以极大地提高爬取效率和稳定性。 Redis是一个基于内存的NoSQL数据库,具有高性能、高并发、支持多种…

《计算机网络——自顶向下方法》精炼——3.5.1-3.5.4

人生像攀登一座山,而找寻出路,却是一种学习的过程,我们应当在这过程中,学习稳定、冷静,学习如何从慌乱中找到生机。——席慕蓉 文章目录 TCPTCP协议概述报文段结构序号、确认号 超时问题计算RTT计算重传时间 可靠数据传输 TCP TCP协议概述 TCP是面向连接的协议,在…

数据库Mysql经典面试题之SQL语句

需要数据库表1.学生表 Student(SID,Sname,Sage,Ssex) --SID 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别 2.课程表 Course(CID,Cname,TID) --CID --课程编号,Cname 课程名称,TID 教师编号 3.教师表 Teacher(TID,Tname) --TID 教师编号,Tname 教师姓名 4.…

转辙机介绍

简介 转辙机是指用以可靠地转换道岔位置,改变道岔开通方向,锁闭道岔尖轨,反映道岔位置的重要的信号基础设备,它可以很好地保证行车安全,提高运输效率,改善行车人员的劳动强度。 分类 01、转辙机按动作时…

韩流在元宇宙中崛起,感受韩国文化的魅力!

大获成功!第一波 K-verse 土地全部售罄! 多家领先韩国文化公司,包括 SMBM、CUBE 娱乐、LINE Studio、Gravity、乐天世界、K League 等进驻 The Sandbox,并在第一波 K-verse 土地销售活动上发布了邻近这些公司的 LAND。 所有土地全…

内容好但流量差?B站流量密码可能就在这

B站知名数码UP主老师好我叫何同学(以下简称“何同学”。)时隔两个月再次更新,这支标题为《为了找到流量密码,我们做了个假B站...》的视频不仅吸引了观众的围观,更是获得了众多B站UP主们的“声援”。 如题所见&#xf…

对象友元的概念及应用

友元入门友元的使用带有命名空间的函数声明类的前向声明friend直接修饰类的好处 友元特性友元重构(友元运算符重载)类重构全局重构友元重构 友元入门 友元friend 可以将一个函数或类进行friend修饰 修饰后的函数和类可以直接在外部访问调用本类的所有成…

国内有替代Intel的选择吗?

国内有替代Intel的选择吗? 前段时间,国内服务器厂商被无端制裁,无法进口高端处理器等元器件,看的笔者是义愤填膺。不过事物总有两面性,虽然制裁会短期影响业务开展,但长远看反倒有利于国内CPU、服务器产业…