Apache SeaTunnel 4月回顾:明星贡献者与技术突破

news/2024/9/23 9:53:29/

各位热爱 SeaTunnel 的小伙伴们,SeaTunnel 社区 4 月份月报来啦!这里将记录 SeaTunnel 社区每月的重要更新,欢迎关注!

月度 Merge 之星

感谢以下小伙伴 4 月为 Apache SeaTunnel 做的精彩贡献(排名不分先后):

file

@TyrantLucifer,@sunxiaojian,@CosmosNi,@corgy-w,@litiliu,@LeonYoah,@hailin0,@taohaozhi1129,@L-Gryps,@Hisoka-X,@xiaochen-zhou,@shangeyao,@lightzhao,@haneeshmv,@liunaijie,@nianhua99,@dailai,@dzygoon,@ruanwenjun,@xxzuo,@liugddx,@EricJoy2048,@baicie,@YalikWang,@gitfortian

apache/seatunnel

fix

  • [fix][doc]修复死链 @liunaijie
  • [fix][zeta]修复无法释放资源的问题 @liunaijie
  • [Fix]修复Oracle类型转换器在数值类型中处理负数比例的问题 @Hisoka-X
  • [Bug Fix]将Doris的错误状态(#6753)记录下来。 @taohaozhi1129
  • [bigfix][S3 File]:Change the [SCHEMA] attribute of the [S3CONF class]为了在反序列化后避免重新赋值,需要使其非静态 @LeonYoah
  • [Hotfix][S3 Connector]将aws-java-sdk-bundle的版本更新以修复任务无法运行的问题。 @EricJoy2048
  • [Fix][Script]修复 JVM 选项文件末尾没有\n时丢失 JVM 选项的问题 @Hisoka-X
  • [fix]修复SeaTunnel获取row size时的NPE问题 @liunaijie
  • [Fix][Connector-v2]修复 Doris 和 StarRocks 数据库中创建表的 SQL 语句错误 @dailai
  • [Fix][Doc]修复了一些文档中的链接 @xxzuo
  • [Fix][connector-rocketmq]将正确的偏移量提交给broker,并减少ThreadInterruptedException日志 @YalikWang
  • [Fix][Kafka-Sink]修复Apache SeaTunnel KafkaSinkFactory选项规则 @liunaijie
  • [Fix][Doc]修复一些拼写错误 @xiaochen-zhou
  • [Fix][Doc]修复FTPSink配置键usernameuser。 @Hisoka-X
  • [fix][connector-rocketmq]修复了当checkpoint.interval设置过小时引发的空指针异常问题(#6624) @YalikWang
  • [Hotfix]修复了Apache SeaTunnel中HTTP源读取yyyy-MM-dd HH:mm:ss格式数据的bug,并优化了DateTimeUtils。 @EricJoy2048
  • [Bug] [formats]修复当内容包含文件分隔符时解析行失败的问题 @litiliu
  • [Fix][Connector-V2]修复当分区已存在时,Apache SeaTunnel增加Hive分区的错误 @Hisoka-X
  • [Fix][Zeta]解决因保存点检查机制导致的线程挂起问题 @Hisoka-X
  • [Bug]修复OrcWriteStrategy/ParquetWriteStrategy在使用Kerberos身份验证时的登录问题。 @ruanwenjun
  • [Bug][Improve][Connector-v2][ElasticsearchSource]修复当源为空时的行为,支持SourceConfig.SOURCE字段为空。 @CosmosNi
  • [Hotfix]解决 DEFAULT TABLE 问题 @EricJoy2048

improve

  • [Improve][Zeta]为Zeta任务添加Minio作为检查点存储的文档 @gitfortian
  • [Improve] [Clickhouse]当设置allow_experimental_lightweight_delete为false时,移除检查 (#6727) @shangeyao
  • [Improve][HiveSink]修复资源泄漏的风险。 @lightzhao
  • [Improve][Zeta]禁用Apache SeaTunnel检查点的HDFS文件系统缓存。 @LeonYoah
  • [Doc][Improvement]为Config-Encryption-Decryption.md添加中文支持 @xxzuo
  • [Doc][Improve]介绍文档中的多行文本功能 @nianhua99
  • [Feature][connector-v2]启用了Iceberg-sink模式变更测试 @sunxiaojian
  • [Improve][mysql-cdc/jdbc]支持MySQL 5.5版本 @hailin0
  • [Improve]优化CDC连接器中的表架构读取 @Hisoka-X
  • [Improve][mysql-cdc]当SHOW CREATE TABLE命令失败时,回退到描述表 @hailin0
  • [Improve][Hive]更新Hive 3版本 @EricJoy2048
  • [Feature][Connector-V2]冰山sink支持将数据写入分支 @sunxiaojian
  • [Improve][Transform]移除找不到字段异常 @xiaochen-zhou
  • [Feature][Zeta]在作业配置中支持配置任务重试次数。 @Hisoka-X
  • [Improve]优化Doris流加载客户端侧的错误信息 @Hisoka-X
  • [Improve]优化Parquet类型转换时的读取性能 @Hisoka-X
  • [Improve][Zeta]当任务完成后,检查点将不会写入文件。 @liunaijie
  • [Improve][Jdbc]在SQL中添加引号标识符 @hailin0
  • [Improve][Zeta]优化RestHttpGetCommandProcessor#getSeaTunnelServer()方法的逻辑 @xiaochen-zhou
  • [Doc][Improve]Sink部分支持中文 @corgy-w
  • [Doc][Improve]为Kafka连接器添加Kerberos身份验证支持 (#6653) @gitfortian
  • [Doc][Improve]为seatunnel-engine添加中文支持 @xxzuo
  • [Improve][Connector-v2]Hive连接器支持多个文件系统。 @dailai
  • [Improve][Transform]移除解析转换过程中的Fallback @xiaochen-zhou
  • [Feature][Tool]为问题6199添加连接器检查脚本 @dailai
  • [Feature][CDC]在cdc数据源中支持监听消息延迟事件。 @hailin0
  • [Improve][Test]修复ResourceManagerEventReport模块上测试的不稳定问题。 @Hisoka-X
  • [Improve][Jdbc]在自动创建表时增加类型转换器 @hailin0
  • [Improve][Connector-V2]支持PaimonSink的Hadoop HA和Kerberos认证。 @dailai
  • [Improve][CDC]当记录不包含模式字段时,提升读取性能。 @Hisoka-X
  • [feature][connector-v2]添加xugudb连接器 @L-Gryps
  • [Improve][CDC]在增量阶段优化split状态的内存分配 @hailin0
  • [Improve][Zeta][storage]更新HDFS配置,支持更多参数 @liunaijie
  • [Doc][Improve]为start-v2/locally/quick-start-flink.md和start-v2/locally/quick-start-spark.md添加中文支持。 @dzygoon
  • [Feature][starter]支持在Spark/Flink引擎上用户自定义参数。 @liunaijie
  • [Feature]Hive源/ sink支持多个表。 @ruanwenjun

others

  • [Chore]删除无用的接口 @TyrantLucifer
  • 2.3.5版本发布 @liugddx
  • [Release][2.3.5][release-note]添加发布说明 @liugddx
  • [Docs]更新Debezium JSON文档 @liunaijie
  • [E2E]修复Amazon DynamoDB IT的不稳定问题 @hailin0
  • [Docs]修复Kafka格式文档 @liunaijie
  • [E2E]启用StarRocksCDCSinkIT @liunaijie

apache/seatunnel-website

  • [Docs]更新并支持选择语言 @baicie

apache/seatunnel-web

  • [feature][datasource]主要添加数据源-jdbc-db2 @haneeshmv

本文由 白鲸开源科技 提供发布支持!


http://www.ppmy.cn/news/1460191.html

相关文章

npm install 卡在reify:rxjs: timing reifyNode的解决办法

今天要逆向跑一个electron,但是npm install一直卡在 reify:element-plus: timing reifyNode:node_modules/lodash Completed in 6664ms这里一动不动,一番研究之后发现可能跟用的镜像有关系,我原本是官方镜像,总感觉第三方镜像有一…

OpenCV 滤波方法总结

1.概述 在深度学习出现之前&#xff0c;主要有中值滤波、均值滤波、高斯滤波等. 2.理论对比 3.代码实现 #include <iostream> #include <opencv2/opencv.hpp>int main(int argc, char** argv) {if(argc ! 2) {std::cerr << "Usage: " << a…

使用train.py----yolov7

准备工作 在训练之前&#xff0c;数据集的工作和配置环境的工作要做好 数据集&#xff1a;看这里划分数据集&#xff0c;训练自己的数据集。_划分数据集后如何训练-CSDN博客 划分数据集2&#xff0c;详细说明-CSDN博客 配置环境看这里 从0开始配置环境-yolov7_gpu0是inter g…

【消息队列】消息中间件介绍

目录 电商系统引发的思考实现支付业务时使用串行操作&#xff08;同步&#xff09;串行操作存在的问题根据上述的几个问题&#xff0c;在设计系统时可以明确要达到的目标 消息中间件【MQ&#xff08;Message Queue&#xff09;】使用场景1.应用解耦2.异步提速3.流量削峰举个栗子…

2024.05.10作业

TCP服务器 头文件 #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTcpServer> #include <QTcpSocket> #include <QList> #include <QMessageBox> #include <QDebug>QT_BEGIN_NAMESPACE namespace Ui { class Widget; …

C++之大数运算

溪云初起日沉阁 山雨欲来风满楼 契子✨ 我们知道数据类型皆有范围&#xff0c;一旦超出了这个范围就会造成溢出问题 今天说说我们常见的数据类型范围&#xff1a; 我们平时写代码也会遇到数据类型范围溢出问题&#xff1a; 比如 ~ 我们之前写的学生管理系统在用 int类型 填写…

使用 Spring Boot 构建 RESTful API 的最佳实践

在现代的软件开发中&#xff0c;构建高效、稳定的 RESTful API 是非常重要的一环。Spring Boot 是一个流行的 Java 开发框架&#xff0c;它提供了简化开发的工具和约定&#xff0c;使得构建 RESTful API 变得更加简单和快速。 本文将介绍使用 Spring Boot 构建 RESTful API 的…

防火墙技术基础篇:解析防火墙应用层代理概念及功能

防火墙技术基础篇&#xff1a;解析防火墙应用层代理概念及功能 1 应用层代理的概念 应用层代理&#xff08;Application Proxy&#xff09;&#xff1a;防火墙应用层代理是网络安全领域中的一种重要技术&#xff0c;工作在OSI模型的第七层&#xff0c;即应用层。它通过代理服…