精彩回顾|从架构到实践,AntDB融合型数据库揭秘

news/2024/10/17 22:13:22/

当今社会中的信息除了“多”,人们对于“效率”和“速度”的要求也越来越高。譬如,对于很多企业决策者来说,在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯,现在慢慢转变为实时可视化分析企业当前的经营状况。

基于此,亚信安慧AntDB融合型数据库,为了支持用户对“实时性”的更高要求,通过原生的“流数据处理引擎”,从内核层面将流式计算与数据库进行了融合与创新。

11月3日-5日,由中国开源软件推进联盟PG分会(简称PG分会)主办的 “2023中国PostgreSQL数据库生态大会”圆满落幕。会上,亚信安慧AntDB-T负责人洪建辉先生,带来了《AntDB融合型数据库:实时流数据处理引擎揭秘》的主题演讲。

以下为该活动的部分演讲内容:

流式数据库的价值和挑战

流式处理数据库是一种专门设计用于处理大量实时流数据的数据库,是实时分析、风险监控、网络检测和物联网 (IoT) 等延迟关键型应用程序的理想选择。但在过去几十年里,数据库作为信息的核心载体,对于实时数据的处理能力,却是建立在数据库引擎之外的。

因此,数据库融入流式数据处理能力,可以通过SQL+触发器对实时数据的处理逻辑与拓扑进行定义,是这几年行业中提出的全新课题。

在亚信安慧AntDB发展的十几年历程中,我们看到运营商大量对核心数据处理加工的业务场景。这些需求中有些能够很容易地使用传统技术满足,但还有一些一定需要采用流式计算等实时处理能力才能支持。

AntDB 流式实时数仓是如何工作的?

流数据处理模式与传统数据库的内核设计有着极大的区别。其核心本质在于,传统数据库架构设计中,应用与数据库之间是“请求-响应“的关系,既业务发起SQL请求,数据库随即执行请求并返回结果。而流处理内核则是“订阅-推送“的模式,可以实时处理、实时推送结果给下游应用进行展示或入库。

亚信安慧AntDB做了大量从零开始的创新性探索与研究,于2022年底推出AntDB-S实时实时数仓,彻底将流式计算与传统交易、分析型数据存储进行了融合,让用户可以在数据库引擎内,通过标准SQL自由定义数据的结构以及实时处理逻辑。

AntDB流数据库的功能优势

技术堆栈简化:在实时流事件的处理上,AntDB流式处理一体引擎将大量的实时数据处理做到数仓内部,更进一步向通用事务靠拢。

标准SQL定义:传统流处理方式对于SQL 的处理很弱,还要写大量业务代码,而AntDB-S可以通过统一SQL语句进行处理,流的使用上更便捷。

统一数据接口:支持流批模式的转换,AntDB统一超融架构,实现了对外的接口统一,数据的采集与处理无需分开,流批都用SQL 即可全部搞定。

支持完整事务处理:传统流处理过程中不支持数据的修改,AntDB-S支持流处理中对数据的修改和事务操作。

实时结果更准确:通过分布式事务的ACID特性,解决实时流数据处理中,数据容灾和一致性的问题,可以精确判断数据故障点,完成流事件的矫正计算和重统计。

AntDB流数据库功能架构拆解

由上图可以看出,流数据库是把流处理功能融合进AntDB-T的SQL引擎中;把流数据的存储融合进AntDB-T的存储引擎;把流处理的进程体系结构融合进AntDB-T的进程体系结构中。

这样的超融合结构会带来以下几点优势:

(1)技术栈简单,稳定性好。

(2)学习和维护成本低,只需掌握数据库的使用和维护即可。

(3)完全用SQL操作所有功能,使用简单方便。SQL是被实践证明了的最好的数据处理语言,能够快速响应业务的复杂多变性。

(4)流数据处理支持数据UPDATE和DELETE、事务ACID、且可以流表JOIN。

关于AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。


http://www.ppmy.cn/news/1222779.html

相关文章

Unity3d 导入中文字体转TMPtext asset

外部字体放入unity仓库以后呢,需要把这个字体转成用立体的字体文件才可以被使用! 要想转换的话呢先放入仓库对字体点右键上面有一个Create创建里面有一个TEXT Asset,创建好就可以使用了

RT-DETR优化改进:轻量级Backbone改进 | VanillaNet极简神经网络模型 | 华为诺亚2023

🚀🚀🚀本文改进:一种极简的神经网络模型 VanillaNet,支持vanillanet_5, vanillanet_6, vanillanet_7, vanillanet_8, vanillanet_9, vanillanet_10, vanillanet_11等版本,相对于自带的rtdetr-l、rtdetr-x参数量如下: layersparametersgradientsvanillanet_5338277174…

Python爬虫批量下载图片

一、思路: 1. 分析URL,图片的URL内嵌于base_url的返回当中 2. 下载图片 二、代码 import time import requests import os from lxml import etreeclass DownloadImg():爬虫进行美女图片下载def __init__(self):self.url http://xxxxxx/4kmeinv/self…

image is being used by stopped container 7d2ff8620f3b 删除镜像失败怎么办

这个错误信息表明,镜像 55860ee0cd73 正被一个已停止的容器 7d2ff8620f3b 使用,因此无法正常删除。要解决这个问题,你有两个选择: 删除使用该镜像的容器:首先删除引用该镜像的容器,然后再删除镜像。这可以通…

python接口自动化-参数关联

前言 我们用自动化发帖之后,要想接着对这篇帖子操作,那就需要用参数关联了,发帖之后会有一个帖子的id,获取到这个id,继续操作传这个帖子id就可以了 (博客园的登录机制已经变了,不能用账号和密…

【Vue全家桶 合集 关注收藏】

【Vue全家桶】全面了解学习并实践总结Vue必备知识点 写在前面 🤗 这里是SuperYi Vue全家桶合集站! 🌻 人海茫茫,感谢这一秒你看到这里。希望我的文章对你的有所帮助! 🌟 愿你在未来的日子,保持…