大数据产业创新服务媒体
——聚焦数据 · 改变商业
科技飞速发展，大数据浪潮席卷全球，数字化脚步日趋加快，然而数据集成在大众的认知中却似乎没有很大的变化。那么事实果真如此吗？答案是否定的。即使在AI功能日趋完善的当下，数据集成对于众多企业来说，依然必不可少。
近日，在数据猿举办的“2024第七届金猿&魔方论坛”中，谷云科技联合创始人兼CTO陆才慧作为数据集成行业的领军人物发表了关于《AI趋势下国产化数据集成技术的发展新范式》的主题演讲，深入探讨了数据集成行业的过去、现在与未来，以及谷云科技多年来深耕数据集成行业的心路历程与实践成果。
AI大势来袭，ETL再成焦点
近期，国家发展改革委、国家数据局、工业和信息化部印发《国家数据基础设施建设指引》。其中明确指出，要构建集成数据采集、存储、清洗、标注、管理、应用等功能的一体化数据基础通用工具平台，提升数据加工效率，保证数据质量。曾经不太受关注的的数据集成行业，再次以高关注度闯入大众视野。
据IDC的报告显示，全球数据集成软件市场规模在2023年达到了近200亿美元，预计到2026年将超过300亿美元。数据集成的市场规模空前巨大。另据Gartner预测2023年超过50%的大型企业将采用数据集成工具来支持其数据管理策略。这一趋势表明，数据集成技术正成为企业数字化转型的刚需。
陆才慧在演讲中针对当今数据集成行业发展的几点难题，提出了自己的看法。
第一，开发效率低下。想要随心所欲地采集数据，依然是一个庞大且复杂的工程，需要专业的第三方或者大数据专业从业者才能完成。第二，随着数据量级的不断扩大，数据集成平台的稳定性也存在较大隐患。第三，数据的实时性严重不足。尤其是AI的加入，给数据的实时性带来了更高的要求。最后，随着数据泄露事件的频发，企业对数据安全和隐私保护的重视程度日益提高，数据安全和隐私保护依然是绕不开的一个话题。
面对困境，国产数据集成如何破局？陆才慧认为，随着AI的飞速发展，ETL技术将会从幕后走向前台，在企业数字化、智能化转型的过程中起到不可或缺的作用。
“数据集成的核心在于ETL。这一过程涉及数据的清洗、整合、转换和存储，是数据从源头到应用的必经之路，是构建数据仓库和数据分析平台的基石。经过长期洞察，我们发现随着AI及大数据的快速发展，ETL工具也随之发生了质的变化。比如架构发生了变化，应用性以及实时性都得到了显著的提升，这些都将成为破除ETL发展障碍的关键。”
一站式全域数据集成平台赢在哪里？
AI趋势下，市场需求的不断变化给谷云科技带来了更多的思考。ETL如何在时刻变化的环境下，同时兼顾数据的传输稳定、实时数据的批量处理以及保障信息安全？通过与大量客户的交流以及项目的实践，谷云科技将主要精力聚焦在打造更符合国内企业使用场景的的国产化一站式全域数据集成平台。
关于一站式全域数据集成平台，陆才慧做了以下分享。
谷云科技的一站式全域数据集成平台整合了ETL/ELT、API、CDC、调度和计算等功能，不仅简化了企业的数据集成的工作流，更提升了数据处理的实时性和准确性。
谷云科技的全域数据集成平台提供了低代码以及可视化的操作界面，即使是非技术背景的业务人员也能轻松地完成数据清洗和转换、通过看板或者API发布数据等操作，大幅提升数据集成的开发效率。
针对架构的变革趋势，谷云科技采用了云原生微服务式的轻量化架构。平台可以动态地调整资源，以适应不同规模的数据集成任务，在面对庞大数据量级的情况下，依然保持较高的稳定性和执行效率，这在传统的单体架构类型的产品中是无法实现的。与此同时，云原生微服务架构在弹性、可扩展性和高可用性上更胜一筹，从而可以使谷云科技的数据集成平台能够服务无论是大中型企业还是中小型企业甚至是小团队或者个人等任意体量的客户群体。
谷云科技还十分注重对实时性数据的处理。陆才慧在演讲中进一步解释道：“我们的平台可以实时地从数据源捕获变化以及数据的及时更新，并将这些变化快速地反映到目标系统中，这样可以使得系统调用的数据更准确、更及时、来源更清晰，这种实时性的反馈对于用户决策支持来说非常有价值，特别是当下很多AI应用来说，价值更为明显。”
此外，支持反向ETL也是谷云科技数据集成产品的一个重要功能。传统ETL更关注数据从源端到数仓，然而往往业务人员则更关注干净的数据如何从数仓再次回流到业务系统产生价值，这便是反向ETL的意义所在。“我们通过大量的连接器，把数仓里面的数据推送到各种SaaS以及各种业务系统中，同时，我们在源端也支持了近百种数据源为反向ETL提供支撑。”
除了以上这些，谷云科技还完成了多项支持国产信创的相关认证，能够帮助客户快速完成全流程国产化的信息化系统搭建。“我们还通过开放社区来增强数据集成迭代的速度，希望未来可以实现自主研发而非过度依赖大数据工程师。我们的目标是成为客户最信赖的数据集成伙伴，帮助他们实现数据的价值，推动业务的增长。”陆才慧补充说。
在数据集成这条道路上，谷云科技正以“把简单留给客户，把复杂留给自己”的精神，不断探索前行。
AI趋势下，数据集成的未来谁主沉浮？
当AI大势来袭，如何让数据无缝、实时流动，赋予企业敏锐的洞察力、精准的判断力、敏捷的决策力来应对多变的市场环境是数据集成领域未来发展的机遇和竞争关键点所在。
陆才慧认为：“AI的出现对于数据集成领域来说既是挑战更是机遇。首先，我们要考虑的是如何利用AI大模型来促进数据集成的效率，比如如何利用大模型帮助我们建立数据管道，并提升数据采集的效率。其次，数据集成平台如何支撑AI Agent。在不远的将来，业务系统的所有逻辑都有可能由AI Agent来构建，在这样的情况下，如何跟AI Agent去融合是值得长期思考的问题。第三，ChatBI的出现对于数据集成提出了更高的要求，如何与ChatBI更好地融合，从而实现数据按需使用也是一个值得探索的方向。”归根结底，AI也好，数据集成也罢，最终要实现的目标依然是聚焦业务，助力企业更好地发展。
为了探索数据集成平台与AI Agent的融合，谷云科技在2024年年末推出了企业级的AI Agent智能体构建平台。它的出现也恰好验证了谷云科技对于AI趋势下数据集成未来发展的探索实践。
谷云科技在技术方面的探索从未停止，但空有技术显然无法在数据集成领域的未来占有一席之地。“在数据集成领域，我们不仅要关注数据的技术性问题，更要关注数据的业务价值。”谷云科技凭借其在数据集成领域的深厚积累，已经累积服务了超过600家企业，其中包括金融、制造、零售等多个行业，社区用户也已经突破20000人。对于未来，陆才慧也充满了信心。
而关于未来，陆才慧总结道：“随着国产化进程的进一步推动，国产数据集成平台在对市场需求的理解以及响应上会更有优势。我认为未来1—2年将会是国产数据集成工具飞速发展的一个时期。我们坚信不管是从产品功能还是市场覆盖度，都会全面超越国外的数据集成工具，包括在稳定性、操作应用方面，还将会有一个全面的提升。另外，我们会更加专注于跟AI融合的创新。国内的工具与国外的工具相比，虽然在性能上还有一定的差异，但是国内工具基于本土化的创新具有全球的领先优势，因此我们依然要不断保持这种创新能力。同时我们也会考虑，推出全球化版本，将我们的能力反向输出给全球。”
人工智能技术不断发展，卓越的数据管理变得至关重要。通过强大的集成策略、先进的技术方法以及对于AI技术融合的不断探索实践，谷云科技的数据集成能力和专业性正在被越来越多的用户认可，而越来越多的企业用户也正在借力谷云科技的数据集成方法和服务，释放自身数据资产的潜在价值，为支撑业务、增强决策以及科技创新铺平道路。
文：晴天 / 数据猿
责编：凝视深空 / 数据猿
