IoTDB Allocate WAL Buffer Fail Because out of memory

ops/2024/12/15 7:31:04/

问题及现象

数据库>时序数据库 IoTDB 集群报错:

The write is rejected because the wal directory size has reached the threshold 53687091200 bytes. You may need to adjust the flush policy of the storage storageengine or the IoTConsensus synchronization parameter`

原因及方案

  • 1.1.0 及之前版本重启可能会导致 WAL 出现堆积,出现该现象时建议升级到当前最新版本 1.3.3。
  • 在 1.3.3 版本如果依然出现该问题,可能有以下排查思路:
  • 节点状态异常:执行 show cluster 或者 show cluster details 查看各个节点状态是否有 Unknown 或者 ReadOnly 状态。如果有则查看具体日志,针对出现问题的原因进行解决。
  • 节点写入负载过大导致副本同步速度不够:如果在日志中发现存在共识组的 searchIndex 和 safeIndex 相差较多,可以尝试调整副本同步流水线并发阈值 data_region_iot_max_pending_batches_num 为 1 来提高同步效率。
  • 内存较大 / Region 数较多/ 时间分区较多:可以手动执行 flush 命令将 memtable 刷盘,之后堆积的 WAL 即可被删除。如果未来依然会堆积报错,可以手动调整 iotdb-common.properities 中的 iot_consensus_throttle_threshold_in_byte 从 53687091200(50GB) 至更大值(例如 200GB)后即可暂时规避该问题。
  • Pipe 同步任务过多:减少同步任务,或者指定 Pipe 同步类型为文件同步。

http://www.ppmy.cn/ops/142037.html

相关文章

Ensembl数据库下载参考基因组(常见模式植物)bioinfomatics 工具37

拟南芥参考基因组_拟南芥数据库-CSDN博客 1 Ensembl数据库网址 http://plants.ensembl.org/index.html #官网 如拟南芥等 那么问题来了,基因组fa文件和gff文件在哪里? 2 参考案例 拟南芥基因组fa在这里 注释gff文件在这里

soul大数据面试题及参考答案

如何看待数据仓库? 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 从数据存储角度看,它整合了来自多个数据源的数据。这些数据源可能包括业务系统数据库、日志文件等各种结构化和非结构化数据。例如,在电商企业中,它会整合订…

RTMP推流平台EasyDSS在无人机推流直播安防监控中的创新应用

无人机与低空经济的关系密切,并且正在快速发展。2024年中国低空经济行业市场规模达到5800亿元,其中低空制造产业占整个低空经济产业的88%。预计未来五年复合增速将达到16.03%。 随着科技的飞速发展,公共安防关乎每一个市民的生命财产安全。在…

Batch Normalization和 Layer Normalization

Batch Normalization和 Layer Normalization Batch Normalization (BN) 和 Layer Normalization (LN) 是深度学习中常用的归一化技术,它们的主要目的是加速训练、提高模型的收敛速度和稳定性。以下是对这两种归一化技术的详细讲解: 1. Batch Normalizat…

国科大网络协议安全期末

完整资料仓库地址:https://gitee.com/etsuyou/UCAS-Network-Protocol-Security 部分题目: 六 论述题10*220 试讨论IPv6解决了IPv4的哪些“痛点”,以及IPv6存在的安全问题试比较IPsec与SSL的安全性 五 简答题5*315 简述MAC欺骗和ARP欺骗的…

批量合并文件夹下所有DWG文件(批量合并CAD图)——c#插件实现

批量合并文件夹下大量cad图纸,使用插件一键完成,效果如下: (使用方法:命令行输入 “netload” 加载插件,然后输入“combdwg”运行,选择文件夹即可。) 部分代码如下: pub…

Python随机抽取Excel数据并在处理后整合为一个文件

本文介绍基于Python语言,针对一个文件夹下大量的Excel表格文件,基于其中每一个文件,随机从其中选取一部分数据,并将全部文件中随机获取的数据合并为一个新的Excel表格文件的方法。 首先,我们来明确一下本文的具体需求。…

【Web——HTML 初阶】网页设计标题

HTML(HyperText Markup Language,超文本标记语言)是构建网页和Web应用的基础语言之一。它不是一种编程语言,而是一种标记语言,用于描述网页的结构和内容。HTML使用标签(tags)来标记不同类型的元…