IoTDB Allocate WAL Buffer Fail Because out of memory

news/2024/12/11 16:17:09/

问题及现象

数据库>时序数据库 IoTDB 集群报错:

The write is rejected because the wal directory size has reached the threshold 53687091200 bytes. You may need to adjust the flush policy of the storage storageengine or the IoTConsensus synchronization parameter`

原因及方案

  • 1.1.0 及之前版本重启可能会导致 WAL 出现堆积,出现该现象时建议升级到当前最新版本 1.3.3。
  • 在 1.3.3 版本如果依然出现该问题,可能有以下排查思路:
  • 节点状态异常:执行 show cluster 或者 show cluster details 查看各个节点状态是否有 Unknown 或者 ReadOnly 状态。如果有则查看具体日志,针对出现问题的原因进行解决。
  • 节点写入负载过大导致副本同步速度不够:如果在日志中发现存在共识组的 searchIndex 和 safeIndex 相差较多,可以尝试调整副本同步流水线并发阈值 data_region_iot_max_pending_batches_num 为 1 来提高同步效率。
  • 内存较大 / Region 数较多/ 时间分区较多:可以手动执行 flush 命令将 memtable 刷盘,之后堆积的 WAL 即可被删除。如果未来依然会堆积报错,可以手动调整 iotdb-common.properities 中的 iot_consensus_throttle_threshold_in_byte 从 53687091200(50GB) 至更大值(例如 200GB)后即可暂时规避该问题。
  • Pipe 同步任务过多:减少同步任务,或者指定 Pipe 同步类型为文件同步。

http://www.ppmy.cn/news/1554266.html

相关文章

鼠标右键单击Git Bash here不可用

最近在学习git时突然发现右键的git bash没反应,但是去点击应用图标就能正常运行,通常是因为你在安装git之后改变了它的目录名称或者位置,我就是因为安装后改变了一个文件夹的文件名导致不可用 在安装git时系统会默认给鼠标右键选项的git Bas…

菜鸟每日刷牛客HJ2

菜鸟每日刷牛客 HJ2 计算某字符出现次数 描述 写出一个程序,接受一个由字母、数字和空格组成的字符串,和一个字符,然后输出输入字符串中该字符的出现次数。(不区分大小写字母) 数据范围: 1≤n≤1000 输…

word poi-tl 表格功能增强,实现表格功能垂直合并

目录 问题解决问题poi-tl介绍 功能实现引入依赖模版代码效果图 附加(插件实现)MergeColumnData 对象MergeGroupData 类ServerMergeTableData 数据信息ServerMergeTablePolicy 合并插件 问题 由于在开发功能需求中,word文档需要垂直合并表格&…

【力扣】155. 最小栈(Java版)

文章目录 1. 题目2. 题目分析3. 代码示例 1. 题目 在线OJ 设计一个支持 push ,pop ,top 操作,并能在常数时间内检索到最小元素的栈。 实现 MinStack 类: MinStack() 初始化堆栈对象。 void push(int val) 将元素val推入堆栈。 void pop()…

硬件设计-TINA新建元器件仿真模型

目录 简介: 项目内容: 过程详情: 问题处理: 简介: 有时候,需要一些其他公司的元器件来进行仿真,这就需要使用到TINA的新建宏向导。 TINA是很好用的原理图仿真软件,先是绘制原理图,然后进行电路原理的仿真,如果原理图仿真,电路功能符合设计要求,就可以接下来把…

本地无需公网可访问开源趣味艺术画板 paint-board

paint-board 一款用于绘画或涂鸦的工具,它非常轻量而且很有趣,集成了多种创意画笔和绘画功能,能够支持形状绘制、橡皮擦、自定义画板等操作,并可以将作品保存为图片。 第一步,本地部署安装 paint-board 1&#xff0c…

ubuntu系统生成SSL证书配置https

自签名【Lets Encrypt】的测试证书,有效期三个月。 第一步:安装acme,如果没有安装git,需要提前安装 下载came资源 git clone https://github.com/Neilpang/acme.sh.git 无法访问,可以试用gitee的资源,安…

电子信息工程自动化 基于单片机的电子时钟设计

摘要 电子时钟具有长远的发展历史,它的出现使得人们对时间的概念有了进一步的认知和了解,可以说意义十分的重大。在时代的推动,以及市场的需求下,电子时钟的功能以及性能都有着质的突破,而且应用的范围也越来越广&…