minio报错should be less than or equal解决方案

news/2024/11/27 19:35:11/

minio报错should be less than or equal解决方案

  • 问题背景
  • 解决方案
  • Lyric: 当作你的请求

问题背景

在进行minio扩容时,报错

parity validation returned an error: parity 4 should be less than or equal to 2 <- (4, 4), for pool(2nd

解决方案

  1. minio对节点的数目是有要求的,4的倍数,如果报以上类似的错误,不能增加节点,可以去增加data文件夹的数量
    如我原本的启动命令
#!/bin/bash
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=123456789
nohup /minio/run/minio server --config-dir /minio/config --address :8009 http://192.168.3.{102...105}/minio/data/data{1...2} --console-address ":8002" > /minio/minio.log 2>&1 &

更改之后,我分别在103、104两个节点各增加了1个挂载盘/incease,每个盘增加了data{1…4} 4个文件夹

#!/bin/bash
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=123456789
nohup /minio/run/minio server --config-dir /minio/config --address :8009 http://192.168.3.{102...105}/minio/data/data{1...2} http://192.168.3.{103...104}/increase/data/data{1...4} --console-address ":8002" > /minio/minio.log 2>&1 &
  1. minio磁盘推荐
    MinIO强烈推荐直连的JBOD阵列,xfs格式的磁盘以获得最佳性能
    DAS (Direct-Attached Storage)与网络存储(NAS、SAN、NFS)相比具有显著的性能和一致性优势。
    使用非xfs文件系统(ext4、btrfs、zfs)的部署往往具有较低的性能,同时ext4等文件存储对单个目录下的文件有个数限制,容易影响可用性。
    Minio天生具有分布式存储的优势,并且内部采用纠删码,RAID或类似技术反而不能提供额外的弹性或可用性优势,而且通常会降低系统性能。
    请确保服务器池中的所有节点使用相同类型(NVMe、SSD或HDD)的驱动器,并且容量相同。MinIO不区分驱动器类型,也不能从混合存储类型中获益。此外。MinIO将每个驱动器的大小限制为部署中最小的驱动器所拥有的容量。例如,如果部署有15个10TB驱动器和1个1TB驱动器,MinIO将每个驱动器的容量限制为1TB。
    MinIO需要使用展开符号{x…y}用来表示Server Pool中每一个节点的一组磁盘驱动器,并且要求Server Pool中所有节点的磁盘驱动器序列相同。MinIO还要求物理驱动器的顺序在重新启动时保持不变,这样给定的挂载点总是指向相同的格式化驱动器。因此,MinIO强烈建议使用/etc/fstab或类似的基于文件的挂载配置。
  2. 扩容文件写策略
    MinIO不会将对象从旧的Server Pool中自动迁移到新添加的Server Pool中,即不会进行重平衡。但是,MinIO根据存储空闲大小进行加权选择,空闲空间越大的Server Pool会承担更多的写入流量,加权值是Server Pool的空闲空间量除以所有可用池上的空闲空间。

例如目前集群有3个Server Pool:

Pool A has 3 TiB of free space
Pool B has 2 TiB of free space
Pool C has 5 TiB of free space
Minio分别向各个Pool中写入的概率为:

Pool A:30% = 3 / (3 + 2 + 5)
Pool B:20% = 2 / (3 + 2 + 5)
Pool C:50% = 5 / (3 + 2 + 5)
除了可用空间加权后,如果继续写入文件会使得磁盘使用率超过99%或者空闲的inode计数低于1000,同样不会再往该Pool中写入新文件。




作为程序员第 248 篇文章,每次写一句歌词记录一下,看看人生有几首歌的时间,wahahaha …

Lyric: 当作你的请求


http://www.ppmy.cn/news/1121466.html

相关文章

【功能设计】数据分发功能设计

文章目录 设计脑图功能性非功能性 功能设计文档1. 需求分析1.1、功能性需求1.2、非功能性需求 2. 功能设计2.1 业务流程图2.2 数据流图2.3 表结构设计2.4 接口设计2.5 功能点 3.非功能性设计3.1 性能3.2 可用性3.3 并发性3.4 安全性 设计脑图 功能性 非功能性 功能设计文档 1…

差值结构的顺序偏好

( A, B )---3*30*2---( 1, 0 )( 0, 1 ) 让网络的输入只有3个节点&#xff0c;AB训练集各由5张二值化的图片组成&#xff0c;让A 中有5个点&#xff0c;B中有1个点&#xff0c;且不重合&#xff0c;统计迭代次数并排序。 第一种情况 差值结构 迭代次数 L E - - 2 10491.…

Java语言实现 比较两个Date日期的先后

在 Java 中&#xff0c;可以使用 Date 类的 compareTo() 方法或 before()、after() 方法来比较两个 Date 类型的日期的先后顺序。 使用 compareTo() 方法&#xff1a; Date date1 ...; // 第一个日期 Date date2 ...; // 第二个日期int result date1.compareTo(date2); if (…

代码大全阅读随笔(八)

对于各种规模的系统&#xff0c;都可以使用Factory Method 来代替其中的Switch语句&#xff0c;该模式可以重用于系统中任何需要创建Transaction 类型场合。 要点&#xff1a; 使用布尔表达式简单可读&#xff0c;将非常有助于提高你的代码质量。深层次的嵌套使得子程序变得难…

(二十八)mmdetection实用工具: Visualization

目录 一、基础绘制接口二、基础存储接口三、任意点位进行可视化 一、基础绘制接口 可视化器&#xff08;Visualizer&#xff09;&#xff1a;可视化器负责对模型的特征图、预测结果和训练过程中产生的结构化日志进行可视化&#xff0c;支持 Tensorboard 和 WanDB 等多种可视化…

计算机和编程语言初见

学习程序设计的目的是什么呢&#xff1f; 不一定要做出一个软件或系统出来&#xff0c;更重要的是理解计算机是如何工作的以及它的长处和短处。 计算机本身是无意识的&#xff0c;因此我们要求它为我们做事时&#xff1a;应该将步骤细化、“直”化&#xff08;规律化&#xf…

02强化学习基本概念

强化学习基本概念 前言1、State、Action、Policy等① State② Action③ State transition④ State transition probability⑤ Polity 2、Reward、Return、MDP等① Reward② Trajectory and return③ Discounted return④ Episode⑤ MDP 总结&#xff1a; 前言 本文来自西湖大学…

走心分享!天津诚筑说Java大数据培训我该如何选择?

随着互联网的发展&#xff0c;IT行业变得越来越炙手可热&#xff0c;其中较为火热的当属大数据和Java了&#xff0c;许多学员都很纠结&#xff0c;Java和大数据我应该如何选择呢?今天小编带大家了解一下Java和大数据之间的区别&#xff01; Java和大数据的关系 Java是一种面…