【华为数据之道学习笔记】6-3数据服务分类与建设规范

news/2024/12/22 2:27:23/
        数据服务是为了更好地满足用户的数据消费需求而产生的,因此数据消费方的差异是数据服务分类的最关键因素。具体包括两大类:数据集服务和数据API服务。

        1. 数据集服务

      (1)数据集服务定义
比较常见的数据消费者有两类:一类是真实的“人”,一类是“IT系统”。企业越来越强调各业务部门的自我运营,因此产生了大量自助分析消费者,这类消费者就是业务人员,甚至可能是管理者,他们通过各种数据分析工具,直接使用、消费数据。这种情况下,消费者是“访问”某个相对完整的“数据集”,这种消费方式称之为“数据集服务”。
  • 数据集服务最主要的特征是由服务提供方提供相对完整的数据集合,消费方“访问”数据集合,并自行决定接下来的处理逻辑。
  • 数据服务提供方被动地公开数据以供数据消费方检索。
  • 数据服务提供方并不定义数据处理逻辑,但数据和数据处理逻辑仍然由其控制。
  • 数据服务的生命周期即数据访问授权的有效期。
举例来说,数据服务供应方提供信息搜索、查询服务,但并不清楚用户的真实意图,用户可以自由地在服务提供方的地盘上“玩”数据。
(2)数据集服务建设规范
数据集服务主要面向自助分析场景提供相对完整的数据集合,因此所提供的数据主要来自数据底座,包括“数据湖”和“主题联接”。
1)允许将数据湖的同一个业务对象内的一个或多个资产封装为数据服务。
在部分实时性要求极高的场景下,例如,对于某个地区所有销售投标项目的实时状态可视化场景,可以将“投标项目(Proposal)”这个业务对象下的多个逻辑数据实体封装在一起,设计成可以支撑投标的实时可视化的数据服务。
2)允许将数据湖内单个资产及其关联主数据合并封装为数据服务。
在部分实时数据服务需求场景下,需要向用户提供相对完整的主数据或基础数据信息,以便于用户自助分析。例如,某个业务部门可能需要交付项目实施计划的数据服务,以便进行实时监控和指挥。当通过IT系统或应用实现该功能时,只需获取数据湖中原始的事务数据(交付项目实施计划明细),但在自助分析场景下,由于数据服务面对的是具体的业务人员,而业务人员不可能读懂任务ID、区域组织ID等物理层主键或外键,并且没有必要让每个自助分析人员都重复进行共性数据联接,因此可以在数据服务封装时,将必要的数据联接在一起,比如将“任务与任务资源关系”或“任务与区域组织关系”与交付项目实施计划明细合并封装为一个数据集服务。
3)不允许将数据湖中跨业务对象的多个资产合并封装为一个数据服务。
要注意数据服务合并封装的边界,数据服务的本质是将已有数据资产以服务的形式提供给消费者,而不是在服务中创建一个新的数据资产,面向OLAP的数据资产创建应该在数据主题联接完成,这在一定程度上也可以避免出现数据服务大量重复建设的情况。
      当所提供的数据来自于主题联接时,建设规范如下:
1)允许将单个主题联接的数据资产封装为一个或多个数据服务。
数据服务在面对不同消费者的不同需求时,可以适当地拆分为多个数据服务,以便更好地提供给数据消费者,减少冗余数据,提升用户体验。例如,在封装“区域损益明细实际数据”服务时,集团职能部门和具体业务部门的需求可能是不同的,具体业务部门不需要精细到产品L3以下的明细数据。如果把产品L1~L5的所有明细都提供出来,数据量将会以百倍的规模增加,会极大地影响数据分析性能,这显然是不必要的。比较恰当的方式是将两类需求分别封装为不同的数据服务,并确保这些数据服务的数据来源于同一个主题联接数据资产。
2)允许将由多个主题联接数据资产组成的多维模型整体封装为一个数据服务。
在部分情况下,主题联接数据资产并不是以宽表的形式落地,而是以多维模型的形式存在,此时可以将多维模型整体封装为一个数据集服务。例如,可以将“预测多维分析模型”中的“区域组织维表、产品维表、预算事实表”等封装为一个服务,满足区域组织经营管理的需要。
3)不允许将多个主题联接数据资产直接合并封装为一个数据服务。
数据资产之间的联接属于主题联接范畴,应该首先沉淀为公共数据主题联接资产,再封装为服务。

2. 数据API服务定义

数据服务的另外一类消费者是“IT系统”,即面向某个IT系统提供数据事件驱动的“响应”,这种服务的封装方式与前面所提到的数据集不同,称为“数据API服务”。
(1)数据API服务特征
  • 服务提供方“响应”消费方的服务请求,提供执行结果。
  • 数据服务提供方基于随机的数据事件主动地传送数据。
  • 数据服务提供方会基于事件定义数据处理逻辑,由消费方提前订阅并随机触发。
  • 服务的生命周期跟着事件走,事件关闭了,服务就终止了。
例如,华为公司给OBS(Object Storage Service,对象存储服务)提供面向客户的服务能力评估和报价复核服务。
数据API服务是对用户随机数据事件的响应,这个需求往往伴随着用户的某个任务产生,随着任务的结束,整个服务也就完成了。通过数据API服务,用户可以及时地获知任务的协同情况,并基于服务方的反馈结果,做出相应的调整。服务供给方和消费方是协同关系(互操作),而非交接棒关系(交换情报),有效提升了面向协同任务的互操作一致性。
(2)数据API服务VS数据集成服务
数据API服务与传统系统集成相比有非常明显的优势。
  • 供应/消费数据服务: 应用组件间传递的是基于数据服务契约的消息,即传递对数据进行逻辑操作的结果。
  • 高聚合: 订单服务使业务逻辑变得更加集中,易于数据同源管控。
  • 松耦合: 业务逻辑的变化对服务消费方没有直接影响。

http://www.ppmy.cn/news/1276623.html

相关文章

【深度学习】序列生成模型(六):评价方法计算实例:计算ROUGE-N得分【理论到程序】

文章目录 一、BLEU-N得分(Bilingual Evaluation Understudy)二、ROUGE-N得分(Recall-Oriented Understudy for Gisting Evaluation)1. 定义2. 计算N1N2 3. 程序 给定一个生成序列“The cat sat on the mat”和两个参考序列“The c…

AXure的情景交互

目录 导语: 1.erp多样性登录界面 2.主页跳转 3.省级联动​编辑 4. 下拉加载 导语: Axure是一种流行的原型设计工具,可以用来创建网站和应用程序的交互原型。通过Axure,设计师可以创建情景交互,以展示用户与系统的交…

mysql:查看服务端为了处理连接而创建的线程数量

使用命令show global status like Threads_created;可以查看服务端为了处理连接而创建的线程数量。 例如:

Inkscape SVG 编辑器 导入 Gazebo

概述 本教程描述了拉伸 SVG 文件的过程,这些文件是 2D 的 图像,用于在 Gazebo 中为您的模型创建 3D 网格。有时是 更容易在 Inkscape 或 Illustrator 等程序中设计模型的一部分。 在开始之前,请确保您熟悉模型编辑器。 本教程将向您展示如…

一种带缓存DSP28335 CAN程序

一、概述 在嵌入式系统中,CAN(控制器局域网络)是一种常用的通信协议。然而,为了保证数据的稳定传输和处理效率,我们需要设计一种高效的CAN驱动程序。本文将介绍一种基于DSP28335的带缓存CAN驱动程序设计,该…

VCG 获取某个顶点的邻接顶点

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 与之前的思路相同,这里我们利用VCG为我们提供的拓扑结构,获取某个顶点的邻接顶点,这在我们处理网格数据时往往很有用。 二、实现代码 //VCG #include <vcg/complex/algorithms/create/platonic.h> #inclu…

2-高可用-负载均衡、反向代理

负载均衡、反向代理 upstream server即上游服务器&#xff0c;指Nginx负载均衡到的处理业务的服务器&#xff0c;也可以称之为real server,即真实处理业务的服务器。 对于负载均衡我们要关心的几个方面如下&#xff1a; 上游服务器配置&#xff1a;使用upstream server配置上…

H-ui前端框架 —— layer.js

layer.js是由前端大牛贤心编写的web弹窗插件。 laye.js是个轻量级的网页弹出层组件..支持类型丰富的弹出层类型&#xff0c;如消息框、页面层、iframe层等&#xff0c;具有较好的兼容性和灵活性。 layer.js用法 1.引入layer.js文件。在HTML页面的头部引用layer.is文件&#x…