【Hadoop-HDFS】HDFS中Fsimage与Edits详解

news/2024/11/23 20:16:29/

【Hadoop-HDFS】HDFS中Fsimage与Edits详解

  • 1)概述
  • 2)NameNode元数据解析
  • 3)Fsimage
    • 3.1.Fsimage 的作用
    • 3.2.FSimage 的文件信息查看
  • 4)Edits
    • 4.1.Edits 的作用
    • 4.2.Edits 的文件信息查看
  • 5)元数据信息目录的配置

1)概述

在HDFS中,NameNode 保存了整个 HDFS 的元数据信息,而这些数据最终会被持久化到 Fsimage 文件和 EditLog 文件。

换而言之,NameNode 的元数据信息FsimageEditlog 组成。

Fsimage 存放上次 checkpoint 生成的文件系统元数据。

EditLog 则存放文件系统的操作日志,也就是用户对目录、文件的每个写操作(包括创建、删除、写入等)都会被记录到 Editlog 文件中。

注意

Fsimage,Editlog 主要用于在集群启动时将集群的状态恢复到关闭前的状态。为了达到这个目的,集群启动时将 Fsimage、Editlog 加载到内存中进行合并,合并后恢复完成。

2)NameNode元数据解析

1、`第一次启动 NameNode 格式化后,创建 Fsimage 和 Edits 文件。如果不是第一次启动,直接加载 Edits 和 Fsimage 文件到内存。

2、客户端对元数据进行增删改的请求。

3、NameNode 记录操作日志,更新滚动日志。

4、NameNode 在内存中对数据进行增删改查。

在这里插入图片描述

3)Fsimage

3.1.Fsimage 的作用

Fsimage 保存了最新的元数据检查点,在 HDFS 启动时加载 Fsimage 的信息,包含了整个 HDFS 文件系统的所有目录和文件的信息。

  • 对于文件来说包括了数据块描述信息、修改时间、访问时间等。

  • 对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。

3.2.FSimage 的文件信息查看

使用命令:hdfs oiv

cd  /export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas/current
hdfs oiv -i fsimage_0000000000000000864 -p XML -o hello.xml

在这里插入图片描述

4)Edits

4.1.Edits 的作用

Editlog 主要是在 NameNode 已经启动情况下对 HDFS 进行的各种更新操作进行记录,HDFS 客户端执行所有的写操作都会被记录到 Editlog 中。

4.2.Edits 的文件信息查看

查看命令:hdfs oev

cd  /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits/current
hdfs oev -i  edits_0000000000000000865-0000000000000000866 -o myedit.xml -p XML

5)元数据信息目录的配置

hdfs-site.xml 当中

<property><name>dfs.namenode.name.dir</name><value>file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/namenodeDatas</value>
</property>
<property><name>dfs.namenode.edits.dir</name><value>file:///export/servers/Hadoop-2.6.0-cdh5.14.0/HadoopDatas/dfs/nn/edits</value>
</property>

http://www.ppmy.cn/news/53770.html

相关文章

报告打印的相关CAPL函数,实例代码演示汇总

🍅 我是蚂蚁小兵,专注于车载诊断领域,尤其擅长于对CANoe工具的使用🍅 寻找组织 ,答疑解惑,摸鱼聊天,博客源码,点击加入👉【相亲相爱一家人】🍅 玩转CANoe,博客目录大全,点击跳转👉 目录 📙1 测试用例中报告打印相关1.1 TestCaseTitle1.2 TestCaseDescripti…

PAt A1015 Reversible Primes

1015 Reversible Primes 分数 20 作者 CHEN, Yue 单位 浙江大学 A reversible prime in any number system is a prime whose "reverse" in that number system is also a prime. For example in the decimal system 73 is a reversible prime because its rever…

C# WebService的开发以及客户端调用

目录 1、WebService简介 1.1 什么是XML&#xff1f; 1.2 什么是Soap&#xff1f; 1.3 什么是WSDL&#xff1f; 2、WebService与WebApi的区别与优缺点 2.1 WebService与WebApi的区别&#xff1a; 2.2 WebService的优缺点&#xff1a; 2.3 WebApi的优缺点&#xff1a; 3…

【C++】C++内存管理,模板

目录 C内存管理operator new 和 operator delete关于 new C[N] 和 delete[ ]定位new 模板函数模板类模板 C内存管理 C中通过 new 和 delete 两个操作符实现动态内存管理 为自定义类型设计&#xff0c;可以在申请空间得同时初始化使用 new 先申请空间&#xff0c;再调用构造使…

03 KVM虚拟机镜像制作

文章目录 03 KVM虚拟机镜像制作3.1 概述3.2 制作镜像3.2.1 使用root用户安装qemu-img软件包3.2.2 使用qemu-img工具的创建镜像文件 3.3 修改镜像磁盘空间大小3.3.1 查询当前虚拟机镜像磁盘空间大小3.3.2 修改镜像磁盘空间大小3.3.3 查询修改后的镜像磁盘空间大小 03 KVM虚拟机镜…

你的 Redis为什么变慢了?一文讲透Redis性能优化如何做

一、Redis为什么变慢了 1.Redis真的变慢了吗&#xff1f; 对 Redis 进行基准性能测试 例如&#xff0c;我的机器配置比较低&#xff0c;当延迟为 2ms 时&#xff0c;我就认为 Redis 变慢了&#xff0c;但是如果你的硬件配置比较高&#xff0c;那么在你的运行环境下&#xff…

守正创新,核心业务系统助推财务公司数字化转型

为落实国资委加快建设世界一流财务管理体系&#xff0c;推进财务公司数字化转型工作要求&#xff0c;交流总结财务公司同业工作经验&#xff0c;由中国电子主办、中电金信承办的“新核心 新动能——财务公司数字化转型专题研讨会”在京召开。会上中电金信发布了财务公司核心业务…

云出阿里见月明(三)

目录 1.使命奠定品牌王座 2.技术突破登录品牌巅峰 3.品牌出海的本土化运营策略 品牌出海的本地化运营策略 2020年&#xff0c;IDC发布的《全球云计算IT基础设施市场预测报告》显示&#xff0c;中国公有云市场在2021年下半年同比增长43.0%&#xff0c;相较上半年48.8%的增速明显…