Apache SeaTunnel 2.3.9 正式发布:多项新特性与优化全面提升数据集成能力

ops/2025/1/22 8:29:08/

近日,Apache SeaTunnel 社区正式发布了最新版本 2.3.9。本次更新新增了Helm 集群部署、Transform 支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行 等多个功能更新!

file

作为一款开源、分布式的数据集成平台,本次版本通过新增功能、性能优化与问题修复,为开发者与企业用户带来了更加全面的支持。

📥 2.3.9版本下载:https://seatunnel.apache.org/download/

📕 Release Note:https://github.com/apache/seatunnel/tree/2.3.9

👇👇重要功能解读,可以观看视频👇👇

版本亮点

扩展数据处理与监控能力

任务与数据监控

  • 新增Zeta 新API支持通过 REST API 提交任务并获取日志、任务日志淘汰,提供Zeta Manager UI实时可视化功能。
  • Zeta 支持提交任务排队、Rest API 提交 Hocon 格式作业配置、支持 DDL 期间暂停恢复
  • Schema 演进
    • 多个连接器(如 Oracle、StarRocks、Paimon 等)新增对 Schema Evolution(Schema 演进)的支持,进一步降低复杂数据源集成的门槛。

功能增强

  • Transform提供对多表支持、动态类型处理以及合并分库分表等新能力,为复杂数据转换场景提供灵活性。
  • Transform 支持分库分表合并
  • Transform 支持改表名/字段名
  • 支持RowKindExtractor转换操作类型
  • 支持SQL 中列转多行

多源适配

  • 扩展了对新数据源的支持,例如 Milvus 动态 Schema、多表读取和 Redis 数据删除操作等。

大幅提升任务运行效率

  • 资源调度与线程池管理
    • 优化 Zeta 引擎的 CoordinatorService 线程池配置,避免潜在的内存溢出问题。
  • 任务执行模式
    • 支持 Spark 与 Flink 、 Zeta的多表 Transform,减少任务间依赖,提升并发性能。
    • 支持 Oracle-CDC 读取 DDL。
    • Debezium 增强,支持发送到消息队列进行缓冲,支持特殊数据类型及时间类型,可通过多表/表写1个Topic。
  • 数据流传输
    • 改进了 ClickHouse、JDBC 等连接器的写入模式,提升大数据量处理场景的稳定性。

新增 DDL Sink 支持

连接器PR作者
StarRocks#8082jw-itq
Paimon#8211dailai
Oracle#7908dailai
Doris#8250deng-jeffer
Postgresql#8276hawk9821
Elasticsearch#8412zhangshenghang

Bug 修复与可靠性提升

  • 支持 Helm 快速部署集群
  • 修复了多项连接器相关问题,如 MongoDB、Kafka、Hive 等连接器的异常处理和功能失效问题。
  • 改善了 Avro 格式对 Null 值的支持,解决了 Excel 数据读取的公式与数值解析错误。
  • 优化了 Docker 部署与 CI 流程,确保系统在不同环境中的一致性。

致谢贡献者

感谢Tyrantlucifer对本次发版工作的指导和帮助,同时感谢以下社区贡献者的共同努力,让本次发版工作顺利完成:

Github IDGithub IDGithub IDGithub ID
Asura7969Cancai CaiCarl-Zhou-CNCosmosNi
Daniel DuanDavid ZolloGuangdong LiuGumKey
JarvisJastJeremyJia Fan
Mohammad ArshadNian LiuNovaOdysseus Zhang
QiaoJ-ChenSEZShashwat TiwariShiwanming
Tu-maimesTyrantluciferWanming ShiXQ
Xiaojian SunYOMO LEEZhilin Licorgy-w
czsdaigoopautoydailaideng-jeffer
dependabot[bot]dwaveeyysfcb-xiaobo
hailin0happyboy1024liminlinjianchang
litiliuluckyLJYpi-lasohurdc
tyrantluciferwelsh-wenwengysxiaochen
zhangdonghaozhouyh不忘初心丑西蒙
峰峰老王

Apache SeaTunnel 2.3.9 的发布标志着其在开源数据集成领域的进一步突破。无论是实时数据同步、批流一体化任务处理,还是复杂场景下的 Schema 管理与性能优化,SeaTunnel 都为用户提供了更强大的工具。

作为一个快速发展的 Apache 顶级项目,SeaTunnel 一直秉承社区驱动与开源精神。欢迎广大开发者与企业用户参与社区贡献,共同完善和推广这一数据集成利器。

关于白鲸开源

白鲸开源是一家开源原生的 DataOps 商业公司,已基于Apache SeaTunnel 开发的并推出了商业版软件 WhaleTunnel,提供企业级功能增强、服务、运维、Debug、定期漏洞扫描和修复,无论是产品功能、稳定性、兼容性、速度还是安全性,都比开源版 Apache SeaTunnel 有巨大的进步!感兴趣的小伙伴可以下滑添加市场经理详细咨询~

联系方式

公司网站: www.whaleops.com
联系邮箱: zenghui@whaleops.com

下滑探索更多WhaleTunnel的优势,让我们帮助你构建一个高效、安全的大数据解决方案。🚀

本文由 白鲸开源科技 提供发布支持!


http://www.ppmy.cn/ops/152147.html

相关文章

STM32 HAL库函数入门指南:从原理到实践

1 STM32 HAL库概述 STM32 HAL(Hardware Abstraction Layer)库是ST公司专门为STM32系列微控制器开发的一套硬件抽象层函数库。它的核心设计理念是在应用层与硬件层之间建立一个抽象层,这个抽象层屏蔽了底层硬件的具体实现细节,为开发者提供了一套统一的、…

电路笔记(通信模块): 基于ESP32-S3实现的XVC(Xilinx Virtual Cable) JTAG下载器硬件

目录 项目配置测试服务地址连接ESP32-S3和FPGA连接XVC 项目配置 安装并配置ARDUINO 下载项目 https://github.com/kholia/xvc-esp32,并根据本地网络配置进行修改 测试服务地址 $ for /L %i in (1,1,254) do ping -n 1 -w 100 192.168.1.%i | find "TTL" …

Pytorch使用教程(12)-如何进行并行训练?

在使用GPU训练大模型时,往往会面临单卡显存不足的情况。这时,通过多卡并行的形式来扩大显存是一个有效的解决方案。PyTorch主要提供了两个类来实现多卡并行:数据并行torch.nn.DataParallel(DP)和模型并行torch.nn.Dist…

基于注解实现去重表消息防止重复消费

基于注解实现去重表消息防止重复消费 1. 背景/问题 在分布式系统中,消息队列(如RocketMQ、Kafka)的 消息重复消费 是常见问题,主要原因包括: 网络抖动:生产者或消费者因网络不稳定触发消息重发。消费者超…

深度学习基础--LSTM学习笔记(李沐《动手学习深度学习》)

前言 LSTM是RNN模型的升级版,神经网络模型较为复杂,这里是学习笔记的记录;LSTM比较复杂,可以先看: 深度学习基础–一文搞懂RNN 深度学习基础–GRU学习笔记(李沐《动手学习深度学习》) RNN:RNN讲解参考&am…

「2024 博客之星」自研Java框架 Sunrays-Framework 使用教程

文章目录 0.序言我的成长历程遇到挫折,陷入低谷重拾信心,迎接未来开源与分享我为何如此看重这次评选最后的心声 1.概述1.主要功能2.相关链接 2.系统要求构建工具框架和语言数据库与缓存消息队列与对象存储 3.快速入门0.配置Maven中央仓库1.打开settings.…

医院管理系统小程序设计与实现(LW+源码+讲解)

专注于大学生项目实战开发,讲解,毕业答疑辅导,欢迎高校老师/同行前辈交流合作✌。 技术范围:SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:…

资料03:【TODOS案例】微信小程序开发bilibili

样式 抽象数据类型 页面数据绑定 事件传参