StarRocks 生产部署一套集群,存储空间如何规划?

ops/2024/12/28 13:57:46/

背景:StarRocks 3.2,存储一体

使用场景:多分析、小查询多单但不高、数据量几百T

FE 存储

由于 FE 节点仅在其存储中维护 StarRocks 的元数据,因此在大多数场景下,每个 FE 节点只需要 100 GB 的 HDD 存储,生产建议200G SSD以上,FE-FOLLOWER节点也一样的配置。

BE 存储

预估 BE 初始存储空间

StarRocks 集群需要的总存储空间同时受到原始数据大小、数据副本数以及使用的数据压缩算法的压缩比的影响。
你可以通过以下公式估算所有 BE 节点所需的总存储空间:
磁盘大小一样,SSD盘,无需做RAID(多副本情况下)

BE 节点所需的总存储空间 = 原始数据大小 * 数据副本数/数据压缩算法压缩比原始数据大小 = 单行数据大小 * 总数据行数

在 StarRocks 中,一个表中的数据首先被划分为多个分区(Partition),每个分区建议10-20GB,如果分桶表建议每个分桶1GB左右,然后进一步被划分为多个 Tablet。Tablet 是 StarRocks 中基本数据管理逻辑单元。为保证数据的高可靠性,你可以为每个 Tablet 维护多个副本,存储于不同的 BE 节点。StarRocks 默认维护三个副本。
目前,StarRocks 支持四种数据压缩算法:zlib、Zstandard(或 zstd)、LZ4 和 Snappy(按压缩比从高至低排列)。这些数据压缩算法可以提供 3:1 到 5:1 的压缩比。
通过计算得到总存储空间后,你可以简单地将之除以集群中的 BE 节点数,估算出每个 BE 节点所需的平均存储空间。

随时添加额外存储空间

如果 BE 存储空间随着原始数据的增长而耗尽,可以进行以下选择。

  • 在 StarRocks 集群中添加新的 BE 节点
  • 在 BE 节点上添加额外的存储卷
  • 添加云存储空间

集群存储空间规划除了以上内容外,还要考虑磁盘阈值报警,业务数据未来增加大小等。


http://www.ppmy.cn/ops/145667.html

相关文章

【AIGC篇】AIGC 引擎:点燃创作自动化的未来之火

:羑悻的小杀马特.-CSDN博客 未来都是惊喜。你生来本应为高山。并非草芥。 引言: 在当今数字化的时代,人工智能生成内容(AIGC)正以一种前所未有的力量改变着我们的创作领域。它就像一个神秘而强大的魔法师,…

[论文笔记] 从生成到评估:LLM-as-a-judge 的机遇与挑战

https://arxiv.org/pdf/2411.16594 1. LLM-as-a-judge 的引入 传统的评估方法(如 BLEU 和 ROUGE)在处理生成内容的有用性、无害性等细腻属性时表现不足。随着大语言模型(LLM)的发展,提出了 “LLM-as-a-judge”(LLM 作为评估者)的新范式,用于对任务进行评分、排序或选择…

QT 控件定义为智能指针引发的bug

问题描述&#xff1a; std::unique_ptr<QStackedLayout> m_stacked_layout; 如上为定义&#xff1b; 调用&#xff1a; Line13ABClient::Line13ABClient(QWidget *parent) : BaseWidget(parent) { // 成员变量初始化 m_get_ready false; m_tittle_wnd…

青少年编程与数学 02-004 Go语言Web编程 19课题、API文档

青少年编程与数学 02-004 Go语言Web编程 19课题、API文档 一、API文档二、生成工具三、使用Swagger步骤 1&#xff1a;安装必要的工具步骤 2&#xff1a;安装Swagger相关的Go库步骤 3&#xff1a;编写API代码并添加注释步骤 4&#xff1a;生成Swagger文档步骤 5&#xff1a;运行…

获取菜单路由名称item.meta.title报错Cannot read properties of undefined (reading ‘title‘)

原代码 因为下面路由忘记配置meta&#xff0c;所以获取不到title&#xff0c;添加?进行判断即可 改为 或添加meta

使用 Three.js 创建一个 3D 人形机器人仿真系统

引言 在这篇文章中&#xff0c;我们将探讨如何使用 Three.js 创建一个简单但有趣的 3D 人形机器人仿真系统。这个机器人可以通过键盘控制进行行走和转向&#xff0c;并具有基本的动画效果。 技术栈 HTML5Three.jsJavaScript 实现步骤 1. 基础设置 首先&#xff0c;我们需要…

2024基于大模型的智能运维(附实践资料合集)

基于大模型的智能运维是指利用人工智能技术&#xff0c;特别是大模型技术&#xff0c;来提升IT运维的效率和质量。以下是一些关键点和实践案例&#xff1a; AIOps的发展&#xff1a;AIOps&#xff08;人工智能在IT运维领域的应用&#xff09;通过大数据分析和机器学习技术&…

代码随想录Day49 42. 接雨水,84.柱状图中最大的矩形。

1.接雨水 力扣题目链接(opens new window) 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图&#xff0c;计算按此排列的柱子&#xff0c;下雨之后能接多少雨水。 示例 1&#xff1a; 输入&#xff1a;height [0,1,0,2,1,0,1,3,2,1,2,1]输出&#xff1a;6解释&#xff1a…