Apache Doris 2.1.7 版本正式发布

news/2024/11/16 16:17:10/

亲爱的社区小伙伴们,Apache Doris 2.1.7 版本已于 2024 年 11 月 10 日正式发布。2.1.7 版本持续升级改进,同时在湖仓一体、异步物化视图、半结构化数据管理、查询优化器、执行引擎、存储管理、以及权限管理等方面完成了若干修复。欢迎大家下载使用。

  • 立即下载:https://doris.apache.org/download
  • GitHub 下载:https://github.com/apache/doris/releases

行为变更

  • 以下全局变量会被强制设置到下列默认值
    • enable_nereids_dml: true
    • enable_nereids_dml_with_pipeline: true
    • enable_nereids_planner: true
    • enable_fallback_to_original_planner: true
    • enable_pipeline_x_engine: true
  • 审计日志增加了新的列 #42262
    • 更多信息,请参考管理指南

新功能

异步物化视图

  • 异步物化视图增加了一个属性 use_for_rewrite 用于控制是否参与透明改写 #40332

查询执行引擎

  • 在 Profile 中输出变更的session variable 列表。#41016
  • 增加了trim_inltrim_inrtrim_in 函数的支持。#42641
  • 增加了一些 URL 函数,包括对 to``p_level_domainfirst_significant_subdomaincut_to_first_significant_subdomain 支持。#42916
  • 增加了 bit_set 函数。#42099
  • 增加了count_substrings 函数。#42055
  • 增加 translateurl_encode 函数。#41051
  • 增加 normal_cdf, to_iso8601, from_iso8601_date 函数。 #40695
  • 增加 trim_inltrim_inrtrim_in 函数。#42641

存储管理

  • 增加了 information_schema.table_optionsinformation_schema.``table_properties 系统表,支持查询建表时设置的一些属性。#34384
    • 更多信息,请参考系统表:
      • table_options
      • table_properties
  • 支持 bitmap_empty 作为默认值。#40364
  • 增加了一个新的 Session 变量require_sequence_in_insert 来控制向 Unique Key 表进行insert into select 写入时,是否必须提供 Sequence 列。#41655

其他

允许在 BE WebUI 页面生成火焰图。#41044

改进提升

湖仓一体

  • 支持写入数据到 Hive Text 格式表。#40537
    • 更多信息,请参考使用 Hive 构建数据湖文档
  • 使用 MaxCompute Open Storage API 访问 MaxCompute 数据。#41610
    • 更多信息,请参考 MaxCompute 文档
  • 支持 Paimon DLF Catalog。#41694
    • 更多信息,请参考 Paimon Catalog 文档
  • 新增语法 table$partitions 语法支持直接查询 Hive 分区信息 #41230
    • 更多信息,请参考通过 Hive 分析数据湖文档
  • 支持 brotli 压缩格式的 Parquet 文件读取。#42162
  • 支持读取 Parquet 文件中的 DECIMAL 256 类型。#42241
  • 支持读取 OpenCsvSerde 格式的 Hive 表。#42939https://github.com/apache/doris/pull/42939

异步物化视图

  • 细化了异步物化视图中构建时锁持有的粒度。#40402 #41010

查询优化器

  • 优化了极端情况下统计信息收集和使用的准确性,以提升规划稳定性。#40457
  • 现在可以在更多情况下生成 Runtime Filter,以提升查询性能。 #40815
  • 提升数值,日期和字符串函数的常量折叠能力,以提升查询性能。#40820
  • 优化了列裁剪的算法,以提升查询性能。#41548

查询执行引擎

  • 支持并行的 Prepare 降低短查询的耗时。#40270
  • 修正了 Profile 中一些 Counter的名字,保持跟审计日志一致。#41993
  • 增加了新的 Local Shuffle 规则,使得部分查询更快。#40637

存储管理

  • Show Partitions 命令支持显示 Commit Version。 #28274
  • 建表时检查不合理的 Partition EXPR。#40158
  • 优化 Routine Load EOF 时的调度逻辑。#40509
  • Routine Load感知 Schema 变化。#40508
  • 优化 Routine Load Task 超时逻辑。#41135

其他

  • 支持通过 BE 配置关闭 BRPC 的内置服务端口。#41047
  • 修复审计日志缺失字段以及重复记录的问题。#41047

Bug 修复

湖仓一体

  • 修复了 INSERT OVERWRITE 的行为跟 Hive 不一致的问题。#39840
  • 清理临时创建的文件夹,解决 HDFS 上空文件夹太多的问题。#40424
  • 修复某些情况下,使用 JDBC Catalog 导致 FE 内存泄露的问题。#40923
  • 修复某些情况下,使用 JDBC Catalog 导致 BE 内存泄露的问题。#41266
  • 修复某些情况下,读取 Snappy 压缩格式错误的问题。#40862
  • 修复某些情况下,FE 端 FileSystem 可能泄露的问题。#41108
  • 修复某些情况下,通过 EXPLAIN VERBOSE 查看外表执行计划可能导致空指针的问题。#41231
  • 修复无法读取 Paimon parquet 格式表的问题。#41487
  • 修复 JDBC Oracle Catalog 兼容性改动引入的性能问题。#41407
  • 禁止下推隐式转换后的谓词条件已解决 JDBC Catalog 某些情况下查询结果不正确的问题。#42242
  • 修复 External Catalog 中表名大小写访问异常的一些问题。#42261

异步物化视图

  • 修复用户指定的 Start Time 不生效的问题。#39573
  • 修复嵌套物化视图不刷新的问题。#40433
  • 修复删除重建基表后,物化视图可能不刷新的问题。#41762
  • 修复分区补偿改写可能导致结果错误的问题。#40803
  • sql_select_limit 设置时,改写结果可能错误的问题。#40106

半结构化管理

  • 修复了索引文件句柄泄露的问题。#41915
  • 修复了特殊情况下倒排索引 count() 不准确的问题。#41127
  • 修复了未开启 Light Schema Change 时 Variant 异常的问题。#40908
  • 修复了 Variant 返回数组时内存泄漏的问题。#41339

查询优化器

  • 修正了外表查询时,可能存在过滤条件 nullable 计算错误,导致执行异常的问题。#41014
  • 修复范围比较表达式优化可能发生错误的问题。#41356

查询执行引擎

  • match_regexp 函数不能正确处理空字符串的问题。#39503
  • 解决在高并发场景下,Scanner 线程池卡死的问题。#40495
  • 修复了 data_floor 函数结果错误的问题。#41948
  • 修复了部分场景下,Cancel 消息不正确的问题。#41798
  • 修复 Arrow Flight 打印太多的 Warn 日志的问题。#41770
  • 解决部分场景下 Runtime Filter 发送失败的问题。#41698
  • 修复了一些系统表查询的时候不能正常结束或者卡住的问题。#41592
  • 修复了窗口函数结果不正确的问题。#40761
  • 修复 ENCRYPT 和 DECRYPT 函数导致 BE Core 的问题。#40726
  • 修复 CONV 函数结果错误的问题。#40530

存储管理

  • Memtable 前移在多副本情况下,有机器宕机时导入失败的问题。#38003
  • 导入过程中,Memtable 在 Flush 阶段时,统计的内存不准确。#39536
  • 修复 Memtable前移多副本容错的问题。#40477
  • 修复 Memtable前移 bvar 统计不准的问题。#40985
  • 修复 s3 Load 进度汇报不准的问题。#40987

权限管理

  • 修复了SHOW COLUMNS, SHOW SYNC, SHOW DATA FROM DB.TABLE 相关的权限问题。 #39726

Others

  • 修复 2.0 版本的审计日志插件在 2.1 版本无法使用的问题#41400

http://www.ppmy.cn/news/1547490.html

相关文章

蓝桥杯c++算法学习【3】之思维与贪心(重复字符串、翻硬币、乘积最大、皮亚诺曲线距离【难】:::非常典型的必刷例题!!!)

别忘了请点个赞收藏关注支持一下博主喵!!! 关注博主,更多蓝桥杯nice题目静待更新:) 思维与贪心 一、重复字符串 【问题描述】 如果一个字符串S恰好可以由某个字符串重复K次得到,我们就称S是K次重复字 符串…

debian 系统更新升级

系统升级能够有效避免漏洞导致的损害 不过需要做好提前和后续的测试,避免现有运行程序的错误。 debian安装参考:链接 一、清理过时和不再使用的源 1.清理源 vi /etc/apt/sources.list2.在下面的文件夹下清理不需要的 cd /etc/apt/sources.list.d二、…

ADR智能监测系统源码,B/S架构的药物不良反应智能监测系统源码,二次开发方便快捷

ADR智能监测系统源码,B/S架构的药物不良反应智能监测系统源码,ADR源码 ADR智能监测系统是基于医院临床数据中心而建立,运用信息技术实现药品不良反应的智能监测、报告管理、知识库查询、统计分析等功能。 ADR智能监测系统自动提取不良反应报…

校园二手交易网站毕业设计基于SpringBootSSM框架

目录 一、引言 二、需求分析 2.1用户需求分析 2.1.1学生用户 2.1.2管理员 2.2系统功能需求 2.3系统非功能需求 ‌2.4技术需求 ‌2.4.1 技术选择 ‌2.4.2系统架构‌ 三、详细设计 3.1系统架构设计‌ ‌3.2前端设计‌ ‌3.3后端设计‌ ‌3.4数据库设计‌ 本文介绍…

redis linux 安装

下载解压 https://download.redis.io/releases/ tar -zvxf ----redis-7.4.1编译 进入目录下 # redis 依赖c yum install gcc-cmake可能会有问题,所以记得换源# 安装到 /usr/local/redis make PREFIX/usr/local/redis installcd src ./redis-serverredis.confi…

一、文心一言问答系统为什么要分对话,是否回学习上下文?二、文心一言是知识检索还是大模型检索?三、文心一言的词向量、词语种类及多头数量

目录 一、文心一言问答系统为什么要分对话,是否回学习上下文? 二、文心一言是知识检索还是大模型检索? 三、文心一言的词向量、词语种类及多头数量 一、文心一言问答系统为什么要分对话,是否回学习上下文? 文心一言问答系统分对话的原因在于其设计初衷就是提供一个交互…

AdaBoost 二分类问题

代码功能 生成数据集: 使用 make_classification 创建一个模拟分类问题的数据集。 数据集包含 10 个特征,其中 5 个是有用特征,2 个是冗余特征。 数据集划分: 将数据分为训练集(70%)和测试集(3…

Llama架构及代码详解

Llama的框架图如图: 源码中含有大量分布式训练相关的代码,读起来比较晦涩难懂,所以我们对llama自顶向下进行了解析及复现,我们对其划分成三层,分别是顶层、中层、和底层,如下: Llama的整体组成…