HDFS常用命令

devtools/2024/9/20 1:23:07/ 标签: hdfs, npm, hadoop

文章目录

    • HDFS常用命令
      • 1. `hdfs dfs -ls`:列出目录内容。
      • 2. `hdfs dfs -mkdir`:创建目录
      • 3. `hdfs dfs -put`:将本地文件上传到 HDFS
      • 4. `hdfs dfs -get`:从 HDFS 下载文件到本地文件系统
      • 5. `hdfs dfs -rm`:删除 HDFS 上的文件或目录
      • 6. `hdfs dfs -rmdir`:删除 HDFS 上的空目录
      • 7. `hdfs dfs -du`:显示目录或文件的磁盘使用情况
      • 8. `hdfs dfs -chown`:更改文件或目录的所有者
      • 9. `hdfs dfs -chmod`:更改文件或目录的权限
      • 10. `hdfs dfs -chgrp`:更改文件或目录的组
      • 11. `hdfs dfs -copyFromLocal`:将本地文件复制到 HDFS
      • 12. `hdfs dfs -copyToLocal`:将 HDFS 文件复制到本地文件系统
      • 13. `hdfs dfs -cat`:显示 HDFS 文件的内容
      • 14. `hdfs dfs -moveFromLocal`:将本地文件移动到 HDFS
      • 15. `hdfs dfs -moveToLocal`:将 HDFS 文件移动到本地文件系统
      • 16. `hdfs dfs -count`:统计目录中的文件数、目录数和空间使用情况
      • 17. `hdfs dfs -df`:显示 HDFS 文件系统的磁盘空间使用情况
      • 18. `hdfs dfs -stat`:显示文件或目录的状态信息
      • 19. `hdfs dfs -tail`:显示文件的最后部分内容
      • 20. `hdfs dfs -test`:测试文件、目录或符号链接的存在性和类型

Hadoop 分布式文件系统(HDFS)是 Hadoop 生态系统中的核心组件之一。以下是一些常用的 HDFS 命令及其详细解释和示例。

HDFS常用命令

hdfs_dfs_ls_3">1. hdfs dfs -ls:列出目录内容。

功能:列出目录内容。

语法

hdfs dfs -ls [path]

示例

hdfs dfs -ls /user/hadoop

解释:列出 /user/hadoop 目录下的所有文件和子目录。

hdfs_dfs_mkdir_19">2. hdfs dfs -mkdir:创建目录

功能:创建目录。

语法

hdfs dfs -mkdir [path]

示例

hdfs dfs -mkdir /user/hadoop/newdir

解释:在 /user/hadoop 目录下创建一个名为 newdir 的新目录。

hdfs_dfs_put_HDFS_35">3. hdfs dfs -put:将本地文件上传到 HDFS

功能:将本地文件上传到 HDFS。

语法

hdfs dfs -put [local_path] [hdfs_path]

示例

hdfs dfs -put /home/user/localfile.txt /user/hadoop/

解释:将本地文件 /home/user/localfile.txt 上传到 HDFS 的 /user/hadoop/ 目录下。

hdfs_dfs_get_HDFS__51">4. hdfs dfs -get:从 HDFS 下载文件到本地文件系统

功能:从 HDFS 下载文件到本地文件系统。

语法

hdfs dfs -get [hdfs_path] [local_path]

示例

hdfs dfs -get /user/hadoop/hdfsfile.txt /home/user/

解释:将 HDFS 上的文件 /user/hadoop/hdfsfile.txt 下载到本地目录 /home/user/ 下。

hdfs_dfs_rm_HDFS__67">5. hdfs dfs -rm:删除 HDFS 上的文件或目录

功能:删除 HDFS 上的文件或目录。

语法

hdfs dfs -rm [path]

示例

hdfs dfs -rm /user/hadoop/hdfsfile.txt

解释:删除 HDFS 上的文件 /user/hadoop/hdfsfile.txt

hdfs_dfs_rmdir_HDFS__83">6. hdfs dfs -rmdir:删除 HDFS 上的空目录

功能:删除 HDFS 上的空目录。

语法

hdfs dfs -rmdir [path]

示例

hdfs dfs -rmdir /user/hadoop/emptydir

解释:删除 HDFS 上的空目录 /user/hadoop/emptydir

hdfs_dfs_du_99">7. hdfs dfs -du:显示目录或文件的磁盘使用情况

功能:显示目录或文件的磁盘使用情况。

语法

hdfs dfs -du [path]

示例

hdfs dfs -du /user/hadoop

解释:显示 /user/hadoop 目录下的所有文件和子目录的磁盘使用情况。

hdfs_dfs_chown_115">8. hdfs dfs -chown:更改文件或目录的所有者

功能:更改文件或目录的所有者。

语法

hdfs dfs -chown [owner][:group] [path]

示例

hdfs dfs -chown newuser:newgroup /user/hadoop/hdfsfile.txt

解释:将 /user/hadoop/hdfsfile.txt 文件的所有者更改为 newuser,组更改为 newgroup

hdfs_dfs_chmod_131">9. hdfs dfs -chmod:更改文件或目录的权限

功能:更改文件或目录的权限。

语法

hdfs dfs -chmod [mode] [path]

示例

hdfs dfs -chmod 755 /user/hadoop/hdfsfile.txt

解释:将 /user/hadoop/hdfsfile.txt 文件的权限更改为 755

hdfs_dfs_chgrp_147">10. hdfs dfs -chgrp:更改文件或目录的组

功能:更改文件或目录的组。

语法

hdfs dfs -chgrp [group] [path]

示例

hdfs dfs -chgrp newgroup /user/hadoop/hdfsfile.txt

解释:将 /user/hadoop/hdfsfile.txt 文件的组更改为 newgroup

hdfs_dfs_copyFromLocal_HDFS_163">11. hdfs dfs -copyFromLocal:将本地文件复制到 HDFS

功能:将本地文件复制到 HDFS。

语法

hdfs dfs -copyFromLocal [local_path] [hdfs_path]

示例

hdfs dfs -copyFromLocal /home/user/localfile.txt /user/hadoop/

解释:将本地文件 /home/user/localfile.txt 复制到 HDFS 的 /user/hadoop/ 目录下。

hdfs_dfs_copyToLocal_HDFS__179">12. hdfs dfs -copyToLocal:将 HDFS 文件复制到本地文件系统

功能:将 HDFS 文件复制到本地文件系统。

语法

hdfs dfs -copyToLocal [hdfs_path] [local_path]

示例

hdfs dfs -copyToLocal /user/hadoop/hdfsfile.txt /home/user/

解释:将 HDFS 上的文件 /user/hadoop/hdfsfile.txt 复制到本地目录 /home/user/ 下。

hdfs_dfs_cat_HDFS__195">13. hdfs dfs -cat:显示 HDFS 文件的内容

功能:显示 HDFS 文件的内容。

语法

hdfs dfs -cat [path]

示例

hdfs dfs -cat /user/hadoop/hdfsfile.txt

解释:显示 HDFS 上的文件 /user/hadoop/hdfsfile.txt 的内容。

hdfs_dfs_moveFromLocal_HDFS_211">14. hdfs dfs -moveFromLocal:将本地文件移动到 HDFS

功能:将本地文件移动到 HDFS。

语法

hdfs dfs -moveFromLocal [local_path] [hdfs_path]

示例

hdfs dfs -moveFromLocal /home/user/localfile.txt /user/hadoop/

解释:将本地文件 /home/user/localfile.txt 移动到 HDFS 的 /user/hadoop/ 目录下。

hdfs_dfs_moveToLocal_HDFS__227">15. hdfs dfs -moveToLocal:将 HDFS 文件移动到本地文件系统

功能:将 HDFS 文件移动到本地文件系统。

语法

hdfs dfs -moveToLocal [hdfs_path] [local_path]

示例

hdfs dfs -moveToLocal /user/hadoop/hdfsfile.txt /home/user/

解释:将 HDFS 上的文件 /user/hadoop/hdfsfile.txt 移动到本地目录 /home/user/ 下。

hdfs_dfs_count_243">16. hdfs dfs -count:统计目录中的文件数、目录数和空间使用情况

功能:统计目录中的文件数、目录数和空间使用情况。

语法

hdfs dfs -count [path]

示例

hdfs dfs -count /user/hadoop

解释:统计 /user/hadoop 目录中的文件数、目录数和空间使用情况。

hdfs_dfs_df_HDFS__259">17. hdfs dfs -df:显示 HDFS 文件系统的磁盘空间使用情况

功能:显示 HDFS 文件系统的磁盘空间使用情况。

语法

hdfs dfs -df [path]

示例

hdfs dfs -df /

解释:显示 HDFS 文件系统的磁盘空间使用情况。

hdfs_dfs_stat_275">18. hdfs dfs -stat:显示文件或目录的状态信息

功能:显示文件或目录的状态信息。

语法

hdfs dfs -stat [format] [path]

示例

hdfs dfs -stat "%b %y" /user/hadoop/hdfsfile.txt

解释:显示 /user/hadoop/hdfsfile.txt 文件的大小和最后修改时间。

hdfs_dfs_tail_291">19. hdfs dfs -tail:显示文件的最后部分内容

功能:显示文件的最后部分内容。

语法

hdfs dfs -tail [path]

示例

hdfs dfs -tail /user/hadoop/hdfsfile.txt

解释:显示 /user/hadoop/hdfsfile.txt 文件的最后部分内容。

hdfs_dfs_test_307">20. hdfs dfs -test:测试文件、目录或符号链接的存在性和类型

功能:测试文件、目录或符号链接的存在性和类型。

语法

hdfs dfs -test -[ezd] [path]

示例

hdfs dfs -test -e /user/hadoop/hdfsfile.txt

解释:测试 /user/hadoop/hdfsfile.txt 文件是否存在。

通过这些命令,你可以有效地管理和操作 HDFS 文件系统。每个命令都有其特定的用途和参数,可以根据需要进行组合和使用。


http://www.ppmy.cn/devtools/95398.html

相关文章

成长:思维的转变

今天,突然把之前的经历都整合为了一些理论,上升到了另一个层次,我对这段时间的体会还是很深的,在我与同学一起学习的这段时间,我思考问题的方式竟然是被有意引导的,不得不说,对人性的理解确实上…

第八季完美童模全球总冠军·韩嘉潞 破浪扬帆写就传奇

梦想的舞台上,星光璀璨,每一步都闪耀着坚持与努力的光芒。在这个盛夏,我们共同见证了一个关于勇气、才华与梦想的辉煌篇章——星光女孩韩嘉潞,在第八季完美童模的璀璨舞台上,以非凡的魅力与不懈的努力,勇夺…

网络协议 十一 ARP,RARP,icmp,websocket,webservice,HTTPDNS,FTP,邮件相关的协议, SMTP,POP,IMAP

ARP 已知IP 求 MAC 的过程 RARP 已知MAC 求 IP 的过程,已被DHCP取代 ICMP websocket 协议,html5中提出的前端使用协议 webservice 技术,已过时 HTTPDNS 之前我们要获得 某一个域名的 IP ,要通过DNS协议 去 运营商的ISP 查询&…

SQL注入(head、报错、盲注)

目录 【学习目标、重难点知识】 【学习目标】 【重难点知识】 1. 报错注入 1.1 那么什么是报错注入呢? 1.2 报错注入原理 extractvalue函数 updatexml函数 1.3 靶场解析 靶场练习 2. HEAD注入 2.1 相关全局变量 2.2 靶场解析 burp暴力破解 靶场练习 3…

【vue】在页面右下角添加悬浮按钮组件

效果图&#xff1a; 如上图所示&#xff0c;需要在页面的左下角添加一个悬浮按钮&#xff0c;鼠标放上去时候展示更多详细按钮&#xff0c;点击触发相应方法。 <div class"floating-component"><!-- 悬浮内容 --><el-tooltip placement"left&qu…

深入探讨程序化广告的广告上报阶段:关键细节与最佳实践

个人名片 &#x1f393;作者简介&#xff1a;java领域优质创作者 &#x1f310;个人主页&#xff1a;码农阿豪 &#x1f4de;工作室&#xff1a;新空间代码工作室&#xff08;提供各种软件服务&#xff09; &#x1f48c;个人邮箱&#xff1a;[2435024119qq.com] &#x1f4f1…

基于springboot的医药管理系统

TOC springboot194基于springboot的医药管理系统 绪论 1.1 选题背景 当人们发现随着生产规模的不断扩大&#xff0c;人为计算方面才是一个巨大的短板&#xff0c;所以发明了各种计算设备&#xff0c;从结绳记事&#xff0c;到算筹&#xff0c;以及算盘&#xff0c;到如今的…

Excel工作表同类数据合并工具

下载地址&#xff1a;https://pan.quark.cn/s/81b1aeb45e4c 在Excel表格中&#xff0c;把多行同类数据合并为一行是件令人无比头痛的事情&#xff1a;首先&#xff0c;你得确定哪几条记录是可合并的同类数据&#xff0c;人工对比多个字段难免顾此失彼挂一漏万&#xff1b;其次&…

在进行等保测评时,如何确保资产识别的全面性和准确性?

在进行等保测评时&#xff0c;确保资产识别的全面性和准确性是至关重要的&#xff0c;以下是一些关键步骤&#xff1a; 1. 明确资产定义&#xff1a;首先明确什么是资产&#xff0c;包括硬件、软件、数据、服务、人员等。 2. 资产清单&#xff1a;创建一个详细的资产清单&…

Myc抗体选择避坑指南

同学&#xff1a; 最近在为买Myc抗体发愁&#xff0c;真害怕买错了&#xff0c;不但损失几千块钱&#xff0c;更害怕实验数据出问题&#xff01;c-Myc和Myc-Tag区别是什么呢&#xff1f; 龙宝&#xff1a; c-Myc 基因 是 Myc 基因家族的重要成员之一&#xff0c;他与多种肿…

C++引用和指针的区别还分不清楚?

不像其他语言&#xff0c;c既有引用的概念、又有指针的概念。 很多人用着用着就懵了。 不用慌&#xff0c;给你画个表格协助判断。 总体上&#xff0c;我们可以总结为以下五个区别&#xff1a; 一、定义方式&#xff1a; 指针通过使用 * 来定义&#xff0c;例如&#xff1…

Qt之2048项目的介绍

文章目录 前言项目介绍项目截图技术介绍1. Qt 框架2. 界面绘制3. 用户输入4. 游戏逻辑5. 音效处理总结前言 2048 是一款流行的益智游戏,通过滑动屏幕上的数字方块,使相同的数字合并并生成更大的数字,最终目标是生成2048这个数字。本文介绍了基于 Qt 框架开发的一个 2048 游…

【前端】NodeJS:记账本案例优化(会话控制)——登录、注册

文章目录 1 checkLoginMiddleware.js2 auth.js3 app.js4 设置公益404&#xff1a;404.ejs 1 checkLoginMiddleware.js //检测登录的中间件 module.exports (req, res, next) > {//判断if(!req.session.username){return res.redirect(/login);}next(); }2 auth.js var ex…

YOLOv8改进 | 融合改进 | C2f融合轻量化视觉Transformer【完整代码】

秋招面试专栏推荐 &#xff1a;深度学习算法工程师面试问题总结【百面算法工程师】——点击即可跳转 &#x1f4a1;&#x1f4a1;&#x1f4a1;本专栏所有程序均经过测试&#xff0c;可成功执行&#x1f4a1;&#x1f4a1;&#x1f4a1; 专栏目录 &#xff1a;《YOLOv8改进有效…

python实现每天定时发送邮件

文章目录 步骤 1: 安装所需的库步骤 2: 编写发送电子邮件的 Python 脚本步骤 3: 配置电子邮件发送服务步骤 4: 运行脚本进一步扩展 要编写一个用于自动发送每日电子邮件报告的 Python 脚本&#xff0c;并配置它在每天的特定时间发送电子邮件&#xff0c;使用 smtplib 和 emai…

【功能全局变量】设计模式讲解

1.什么是功能全局变量&#xff08;FGV&#xff09;&#xff1f; FGV是一种标准的LabVIEW数据结构&#xff0c;允许对数据或资源进行受控访问&#xff0c;通常允许执行各种操作。每次调用FGV时&#xff0c;框图只会执行一次&#xff0c;要么进行数据更新&#xff0c;要么进行读取…

MySQL——单表查询(二)按条件查询(2)带 IN 关键字的查询

IN 关键字用于判断某个字段的值是否在指定集合中&#xff0c;如果字段的值在集合中&#xff0c;则满足条件&#xff0c;该字段所在的记录将被查询出来。其语法格式如下所示&#xff1a; SELECT *|字段名 1,字段名 2,… FROM 表名 WHERE 字段名 [NOT〕IN(元素 1,元素 2,…) 在上…

WPS真题题库导入刷题小程序:百思考个人使用经验分享

这篇文章的诞生&#xff0c;是因为我即将踏上一场超级有趣的挑战——备考全国计算机等级二级WPS Office高级应用与设计的冒险之旅&#xff01; WPS的分值&#xff1a; 单项选择题20分(含公共基础知识部分10分)。 WPS处理文字文档操作题30分。 WPS处理电子表格操作题30分。 …

Electron:摄像头录制和屏幕录制

摄像头录制 main.js const { app, BrowserWindow} require(electron)let mainWin null const createWindow () > {mainWin new BrowserWindow({width: 800,height: 600,title: 自定义菜单,webPreferences: {// 允许渲染进程使用nodejsnodeIntegration: true,// 允许渲…

SpringBoot-配置加载顺序

目录 前言 样例 内部配置加载顺序 ​ 样例 小结 前言 我之前写的配置文件&#xff0c;都是放在resources文件夹&#xff0c;根据当前目录下&#xff0c;优先级的高低&#xff0c;判断谁先被加载。但实际开发中&#xff0c;我们写的配置文件并不是&#xff0c;都放…