hadoop中块的概念

devtools/2024/10/18 5:40:15/

块概念

目录

1.分块的原因

2.分块的大小 默认为128M

3.机架

4.在块的分布上

hadoop%E4%B8%8A%E4%BC%A0%E6%95%B0%E6%8D%AE%E7%9A%84%E6%AD%A5%E9%AA%A4%EF%BC%88%E9%87%8D%E8%A6%81%EF%BC%89-toc" style="margin-left:40px;">5.hadoop上传数据的步骤(重要)

6.读过程


1.分块的原因

存储的角度 分布式存储

计算角度 生产环境中 4G

2.分块的大小 默认为128M

块的大小不宜过大 也不宜过小 都会使查询速度变慢

3.机架

4.在块的分布上

当客户端,在某一台电脑上,那么,就会在当前电脑分布一个块,另外一块会在另外一机架上,第三块和第二块一样,第四块开时,就随机了,但能要保证不会在某个机架上过多。

hadoop%E4%B8%8A%E4%BC%A0%E6%95%B0%E6%8D%AE%E7%9A%84%E6%AD%A5%E9%AA%A4%EF%BC%88%E9%87%8D%E8%A6%81%EF%BC%89">5.hadoop上传数据的步骤(重要)

1)客户端和namenode联系

2)创建账本

3)获取一个输出流

4)datanode传递数据

5)datanode通过Pipeline向下一个datanode传递数据

6)如果有一个数据传递失败了 跳过

7)如果所有数据传输失败 那么namenode重新发送一份 重复上述操作

6.读过程


http://www.ppmy.cn/devtools/23425.html

相关文章

vue的build先上部署的 devServer不生效的场景记录

文章目录 Nginx 相关命令VUE项目devServer.proxy(正向代理)匹配请求中的地址工作流程开发期间代理proxy的配置项目打包上线出现的问题描述 Nginx 相关命令 //运行命令 start nginx 启动nginx服务//运行命令 nginx -s stop 停止nginx服务//运行命令 ngin…

司库是什么?和资金管理有什么异同?

一、司库是什么? 司库,从广义上来说,是一个企业或机构的资金管理中心,负责集中管理和调度企业的资金、资产和负债。它不仅涉及到企业的现金流管理、风险管理、投资决策等方面,还涉及到企业与外部金融机构、供应商、客…

Hadoop-Hive-Spark-离线环境搭建

一、版本描述 apache-hive-2.3.9-bin.tar.gz hadoop-2.7.0.tar.gz spark-2.4.0-bin-hadoop2.7.tgz 下载链接: https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz https://archive.apache.org/dist/hadoop/common/hadoop-2.7.…

STM32使用PWM控制舵机

系列文章目录 STM32单片机系列专栏 C语言术语和结构总结专栏 文章目录 1. 舵机简介 2. 硬件连接 3. 代码实现 3.1 PWM.c 3.2 PWM.h 3.3 Servo.c 3.4 Servo.h 3.5 main.c 3.6 完整工程文件 PWM和OC输出详解: STM32定时器的OC比较和PWM​​​​​​​ 1. …

如果把软路由的网段更换成169.254.0.0/16会咋样?

前言 这几天有小伙伴在折腾软路由系统,然后问题就来了。 他咨询的是:为啥电脑连接软路由之后,无法访问软路由的管理页? 嗯。。。确实不是什么大事。但不注意看,还以为软路由没有正常获取到ip。 熟悉网络的小伙伴们都…

汕头联想 ibm x3500 M5服务器上门维修记录

汕头联想服务器现场检修;汕尾IBM服务器故障维修;揭阳戴尔服务器维修;汕头ERP服务器维修;潮阳地区各种服务器故障维修;各类服务器主板齐全; 分享一例从东莞到汕头某染料厂维修ibm system x3500 M5服务器的真…

LLaMA Factory多卡微调的实战教程

大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…

深入浅出MySQL-05-【OPTIMIZE TABLE】

文章目录 1.用途2.如何使用3.注意事项4.查看表的碎片化程度5.替代方案6.性能影响 OPTIMIZE TABLE 是 MySQL 中的一个命令,用于优化表的存储。当 MySQL 表的存储空间由于删除或更新操作而变得不连续时,OPTIMIZE TABLE 可以帮助重新组织表数据和索引&#…