minio 多级目录 获取目录名 卡死问题【实战】

news/2024/9/18 21:20:17/

问题:

生产环境,由于存储文件太快,导致很快一个桶里百万文件,几个T的大小。

多级目录获取目录名是个问题,list_objects如果用recursive=true递归,当目录很多且级数多时,卡死掉。

通过客户端进入桶里,也会卡死。

但业务系统来调用minio接口,获取里面的文件,又没事,可以正常拿到。

解决方法:

核心思想:对客户端进行控制

客户端查询时需要指定目录或文件名。即,需已经知道是哪个目录或哪个文件,再去查。而非遍历或递归minio的桶里的文件来获取目录名。所以需要对minio桶里的目录名进行管理。

参考:linux目录文件太多导致卡死 存储 minio dfs【实战】

对目录有个专门管理,例如将目录名存在某张表里

原理

这就像在办公的时候,有人会用一个excel来存一些关键信息(例如文件名,目录名,项目名,重要人物的名字,等等),来提示自己。然后再去某个大的目录里(或磁区,或联络人,或大的excel)里去搜索。当然,有的人记忆好,他存在自己脑子里。

文件系统的设计参考现实中的事物。

很多设计都会来源于生活,例如token令牌。

SpringBoot 对Minio对象存储服务操作,关于多级目录如何操作_minio获取文件夹下的子目录文件名_yzcheng90的博客-CSDN博客 


http://www.ppmy.cn/news/164963.html

相关文章

PolarDB

PolarDB PolarDB 是云数据库产品,由阿里云提供,它基于 MySQL 构建而成,但在某些方面进行了优化和改进,以提供更好的性能和可伸缩性。以下是 PolarDB 和原生 MySQL 在性能方面的一些对比: 扩展性和性能:Pol…

d610网络计算机,尼康D610评测:机身细节

●尼康D610机身细节 其实机身细节这个环节,尼康D610真的没啥能说的,因为几乎全部元素都跟D600一样。改进后的快门和反光板组件,不会再出现尘屑情况了,大家可以放心(同样的招数对圣斗士是不起作用的……)。 尼康D610新增的QC静音连…

【嵌入式环境下linux内核及驱动学习笔记-(14)linux总线、设备、驱动模型之platform】

目录 1、新驱动架构的导入1.1 传统驱动方式的痛点1.2 总线设备驱动架构 2、platform 设备驱动2.1 platform总线式驱动的架构思想2.2 platform _device相关的数据类型2.2.1 struct platform_device2.2.2 struct platform_device_id2.2.3 struct resource2.2.4 struct device 2.3…

Dell Inspiron 15 5000 series 设置u盘启动

前言 昨天,帮一个学妹装 win10 ,各种问题,差点装崩溃,现在给大家整理一下。 如何给 Dell Inspiron 15 5000 series 设置u盘启动。 进入BIOS 开机看到 DELL 的图标,按 F2 直接进入 bios 或 按 F12 进入 boot menu …

运行Intel realsense L515相机

运行Intel realsense L515相机 首先去官: https://www.intelrealsense.com/sdk-2/,按照上面的提示安装各种文件,然后输入realsense-viewer出现可视化窗口。 下面进行ros演示: 按照github上的步骤编译realsense-ros。 链接: https://github…

PDPS15(Tecnomatix_15.0)安装包及安装教程分享

上图为小编前阵子自己成功安装的PDPS仿真软件,安装过程相比DELMIA/CATIA复杂繁琐,容易出错,故作此安装教程及安装包分享。 一、确认安装包内容 1.Perl和Java软件文件 2.Oracle数据库安装文件 3.Tecnomatix_15.0安装文件 4.Tecnomatix许可文件…

linux find rm grep 搭配使用

省流: find /home -name "*.log" | xargs rm -f find /opt/tomcat/logs -name "*cloud*" | grep ali | xargs rm -f 详解:find与rm实现查找并删除 linux 下用find命令查找文件,rm命令删除文件。 删除指定目录下指定文…

PSI5整体简介

REF: Specification :PSI5 浅析HiL中智能传感器PSI5整体简介-电子发烧友网 PSI5 汽车外设传感器接口 | DigiKey RDAIRBAGPSI5UG, RDAIRBAGPSI5 Airbag Reference Platform - User’s Guide RDAIRBAGPSI5-001 NXP USA Inc. | 开发板,套件,编程器 | D…

COMPUTEX2023|NVIDIA GRACE HOPPER为加速生成式AI而设计的超级芯片全面投产

黄世勋 | 生成式AI |COMPUTEX2023 英伟达 | 大模型 | 台北电脑展 |GH200 2023年是大语言模型、生成式AI、ChatGPT、AIGC大爆发的一年。GPU是大规模深度学习、高性能计算的重要硬件基础,而大语言模型,如生成式AI、ChatGPT等&#…

各类损失函数结合反向传播不调包实现前馈神经网络

各类损失函数结合反向传播不调包实现前馈神经网络 引言:基础知识前馈神经网络的手动实现插播一条感悟参数的初始化各类损失函数以及偏导向前传播反向传播更新参数以及预测代码总结(所有)总结引言:基础知识 首先我们先来回顾一下前馈神经网络的基础知识,其中在书写代码中最…

GPU服务器配置和报价

CPU: 首先确认您的模型是否需要CPU的计算力 深度学习训练,4GPU主流配置10核CPU,8GPU建议配置12核以上 内存: 显存的总和再加32G基本能满足需求(如4卡3090显存总和为96G,加32G等于128G) 硬盘&…

存储卡中的Flash文件没声音了怎么恢复

存储卡中的Flash文件没声音了怎么恢复 这但是我求了兄弟好频频才贱价帮我做出的一个flash文件,其时开会订价的时分我都懵了,几百块钱就想要做下来,这不是跟我开玩笑吗?固然,这种归于向导班子的集会是没有我们底下人到场的份儿的&…

华为鸿蒙5s手机价格,华为5s报价以及外观【图文】

华为不仅拥有非常高端的华为旗舰系列以及mate系列,同时它拥有非常高性价比的荣耀畅享系列。其中荣耀畅享5s就是非常不错的一款智能手机,这款智能手机就是专 门 为市场上的一些中低端消费群体所设计生产的,它不仅拥有联发科 MT6753T 在处理协同…

诺基亚n85玩java_阳刚之选 全能机皇诺基亚N85报价2580

【8月10日太平洋电脑网辽宁讯】诺基亚N系手机主攻多媒体娱乐,配置高,功能更富,造型也非常的时尚。深深的吸引了众多的时尚一族。近日笔者了解到,诺基亚 N85 图 库 评 测 论 坛 报 价 网购实价作为全能机皇近日再次登录沈…

华为刀片服务器虚拟化方案,华为刀片服务器配置报价指导e9000.pptx

华为服务器配置报价指导(E9000) 目 录 1 Click to add Title Click to add Title 2 华为E9000服务器介绍 华为E9000 IO系统介绍 Click to add Title 3 配置报价工具介绍 Click to add Title 4 实例演示 E9000产品全景图 机框 E9000 机框 机框 计算节点 CH121 V3 交换模块 交换模…

手机闪存速度排行_手机速度太慢?闪存真的很重要

在实际使用体验中,闪存性能对于使用体验的影响其实非常大。所以今天,我们就好好看看UFS和eMMC究竟有什么区别,值得大家这样大张旗鼓地去折腾么? 首先我们需要知道UFS和eMMC各有什么技术特点,有文章说到过UFS、eMMC和NVMe的区别&a…

计算机硬件选型报价,组装电脑硬件该怎么选择?这几个硬件要舍得花钱,千万别买错了!...

原标题:组装电脑硬件该怎么选择?这几个硬件要舍得花钱,千万别买错了! 组装电脑是多硬件组合的产物,每一个硬件对于电脑的性能都是有影响的,影响的大小与电脑的硬件有直接关系,有些硬件就要舍得花…

如何在企业微信上实现报价的快捷审批

场景描述: 在客户关系管理系统中,销售人员新增的报价后,会给到他的上级领导进行审核,报价信息将通过企业微信企业号发送卡片消息到上级领导的企业微信号中,领导通过卡片消息查看报价信息,并且进行审核操作…

三星三星t311 android,三星t311平板手机报价以及评测

平板电脑 大家应该不陌生吧!在智能手机的不断推动下平板电脑问世了,它其实跟智能手机没什么区别,唯一不同的是它的屏幕变大了,在视觉上给人的感觉不一样,提起平板电脑三星做的是最早的了,当然了三星生产平板的技术也是…

股票代码名称

{ 000001: 平安银行, 000002: 万科A, 000003: PT金田A, 000004: 国农科技, 000005: 世纪星源, 000006: 深振业A, 000007: 全新好, 000008: 神州高铁, 000009: 中国宝安, 000010: 美丽生态, 000011: 深物业A, 000012: 南玻A, 000013: *ST石化A, 000014: 沙河股份, 000015: PT中浩…