从“数据孤岛”、Data Fabric(数据编织)谈逻辑数据平台

devtools/2024/9/22 23:17:39/

提到逻辑数据平台,其核心在于“逻辑”,与之相对的便是“物理”。在过去,为了更好地利用和管理数据,我们通常会选择搭建数据仓库和数据湖,将所有数据物理集中起来。但随着数据量、用数需求和用数人员的持续激增,数据架构的复杂度和组织架构的复杂度对物理集中的方式带来诸多挑战。

比如,如何确保企业中的每个人都能及时获取到正确的数据,以支持他们的业务决策。再比如,企业在搭建了湖仓之后,还需要将业务数据从业务数据库迁移到湖仓之中,但由于各种性能问题,就需要将数据进一步迁移到不同类型的数据集市,这就产生了多次不必要的数据复制、计算和存储,给企业形成巨大的成本压力。

同时,由于合规和组织结构的复杂性,企业实际上并不能将所有数据集中到单一的湖仓之中,数据孤岛”广泛存在

也就是在这种背景下,逻辑数据平台开始兴起。

所谓逻辑数据平台,是一种通过数据虚拟化的技术手段,将企业多源异构数据进行逻辑层面的统一整合,形成物理分散但逻辑统一的虚拟数仓,它允许用户在不搬迁原始数据的前提下,实现多源异构数据的集成整合,并通过逻辑视图提供统一的数据服务,以及统一的数据访问控制,实现高效、轻松、灵活地访问、查询和操作数据,以便更好地支持业务决策。

逻辑数据平台兴起的背后,离不开 Data Fabric(数据编织这一全新的数据管理理念的支撑。Gartner 将其列为“2021 年十大数据和分析技术趋势”之一,其核心理念在于通过数据虚拟化的技术手段,实现数据逻辑上的集中管理。

在 Aloudata 看来,Data Fabric(数据编织)的关键在于优化跨源异构数据的发现与访问,实现数据的灵活且业务可理解的交付,在于连接数据而非集中数据,强调自助服务而非专家服务,以及主动智能而非被动人工操作。

Data Fabric(数据编织)架构通过集成数据管理功能,并运用 AI 能力进行语义探索、分析和推荐,将被动的数据治理策略转变为主动的数据治理策略。这样的转变不仅加快了数据价值实现的速度,还提高了业务适应性、数据洞察的敏捷性,有效消除了数据孤岛,降低了成本和风险,增强了业务协作和数据安全。

作为国内 Data Fabric(数据编织)架构理念的实践者和引领者,Aloudata 基于在 EB 级别数据管理领域的深厚经验,开创性地提出“NoETL”这一创新思想,与 Data Fabric(数据编织)的核心理念与技术实现高度一致,旨在消除传统的基于人工 ETL 的数据管理瓶颈,实现数据管理高度自动化,更加高效地完成数据交付和使用。

在此基础上,Aloudata 打造了 Aloudata AIR 逻辑数据平台,通过自研的数据虚拟化技术,以及查询下推和查询加速功能,帮助用户轻松实现全域数据的逻辑连接、快速访问和查询,并能够根据业务分析需求,进行跨数据源的数据整合,以及灵活开展数据分析和应用工作。

  • 多源异构的数据融合:支持 50 种不同的数据连接方式,包括传统数据库、数据湖、数据仓库、各类 API 服务和应用,以及非同步数据和用户本地数据。这使得连接全域各类数据并进行快速分析变得异常简单。
  • 逻辑化数据整合:不需要关注底层技术细节,可以通过 SQL 语言去表达和定义需求,或通过拖拽式界面来实现数据准备;支持跨源、多级逻辑视图定义,大大简化了各种复杂场景下的数据整合工作。
  • 自适应数据加速:内置的 MPP 引擎可用于提高某些高性能场景的数据源查询性能。此外,自适应物化加速和智能下推功能,确保在大规模数据量下依然能实现秒级的交互式响应速度。
  • 集中数据治理与控制:管理人员可以在 Aloudata AIR 中集中设置安全和合规的访问策略,包括细致的访问控制和对敏感数据的动态脱敏处理,确保数据的安全性。
  • 统一的数据资产目录:提供统一的数据资产目录,它不仅有技术语言描述,还包括符合业务语言的描述。用户可以使用自然语言轻松找到所需数据,甚至系统会根据用户角色和需求主动推荐相关数据。
  • 标准开放的数据服务:找到所需数据后,可以通过标准化的数据服务将这些数据连接到各种工具上,无论是用于可视化分析的工具,还是更高级的数据科学或 AI 工具,都可以在自己熟悉和喜爱的环境中进行工作。

目前,Aloudata AIR 逻辑数据平台已在多个极高复杂度的数据生产和消费环境中落地应用,帮助招商银行构建了统一的敏捷数据使用平台,使业务团队不再四处寻找所需数据,在一个地方即可统一查找和理解数据,并通过逻辑视图定义和自动化编排,更轻松地处理和准备数据,目前每月由业务团队自助生成的数据已占总数据的 70% 以上,ETL 压力显著降低。同时,动态集成和自动化编排减少了不必要的数据复制、计算和存储,至少节约了 50% 以上的存算成本。

如果您最近正关注“逻辑数据平台”,或者计划考虑通过统一数据服务平面屏蔽底层引擎的差异性,提升业务用数效率,不妨先了解下 Aloudata AIR 逻辑数据平台,或许能为您带来新的思路。


http://www.ppmy.cn/devtools/52195.html

相关文章

强大的.NET的word模版引擎NVeloDocx

在Javer的世界里,存在了一些看起来还不错的模版引擎,比如poi-tl看起来就很不错,但是那是人家Javer们专属的,与我们.Neter关系不大。.NET的世界里Word模版引擎完全是一个空白。 很多人不得不采用使用Word XML结合其他的模版引擎来…

DAY5-力扣刷题

1.两两交换链表中的节点 24. 两两交换链表中的节点 - 力扣(LeetCode) 给你一个链表,两两交换其中相邻的节点,并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题(即,只能进行节点交换…

【INTEL(ALTERA)】Nios® II无法使用基于 Ubuntu 18.04.5 的 WSL 进行构建

现象 在使用 Ubuntu 18.04.5 构建 WSL 的Nios II处理器时,任何英特尔 Quartus Prime 软件版本都可能会看到此问题。 原因 这是因为在 Nios II Command Shell 中运行命令 “wslpath -u .”时返回值不同。 正常工作:命令返回”。故障:命令返回…

Oracle VM VirtualBox虚拟机安装的 Linux系统中的虚拟机和Windows 10客户机时间不同步设置

遇到一个Oracle VM VirtualBox中间件过期,导致在Oracle VM VirtualBox搭建的应用启用失败。在网上找了一下,原因是:Oracle VM VirtualBox中的中间件在指定时间内才能使用,需要修改系统时间。 介绍我的环境,Windows10主…

PHP框架详解 - ThinkPHP框架

ThinkPHP 是一个开源的轻量级 PHP 开发框架,它遵循 Apache2 开源许可协议发布,适用于敏捷 WEB 应用开发和简化企业应用开发。以下是对 ThinkPHP 框架的一些基本介绍和特点: 轻量级:ThinkPHP 以其轻量级特性而闻名,适合…

物联网主机E6000:智慧安防的核心动力

随着科技的不断进步,物联网(IoT)技术已经深入到我们生活的各个领域,尤其是在智慧安防领域,物联网技术的应用正变得越来越广泛。物联网主机E6000作为一款高性能的智能设备,其在智慧安防系统中扮演着至关重要…

C# 泛型分析

1、object类型是一切类型的父类。 2、通过继承,子类拥有父类的一切属性和行为,任何父类出现的地方,都可以用子类来代替。 但是上面object类型的方法又会带来另外一个问题:装箱和拆箱,会损耗程序的性能。 在泛型类型…

图像处理:Python使用OpenCV进行图像锐化 (非锐化掩模、拉普拉斯滤波器)

文章目录 非锐化掩模 (Unsharp Masking)拉普拉斯滤波器 (Laplacian Filter)效果对比总结 在图像处理中,锐化操作用于增强图像的边缘和细节,使图像看起来更清晰。常见的图像锐化方法包括非锐化掩模(Unsharp Masking)和拉普拉斯滤波…