Hadoop HDFS命令操作实例

news/2024/12/22 0:41:47/

  • 一.创建与查看HDFS目录

每次重启后,Jps和java -version执行出来的结果不符合就使用

`source ~/.bash_profile` 是在 Unix/Linux 系统上用来重新加载用户的 Bash 配置文件 `~/.bash_profile` 的命令。这条命令的作用是使得当前的 Bash 环境重新读取并应用 `~/.bash_profile` 中的设置和变量定义。

首先检查master0、slave0虚拟机网络和java版本(”1.7.0_71”),检查后再启动hadoop

[csu@master0 ~]$ cd   ~/hadoop-2.6.0

[csu@master0  hadoop-2.6.0]$ sbin/start-all.sh   (启动)

[csu@master0  hadoop-2.6.0]$ sbin/stop-all.sh   (关闭)

再检查是否启动成功

1、创建HDFS目录:

-p可以递归创建

2、查看之前创建的HDFS目录

注意:因为登录的用户为csu,所以会显示/user/csu下的目录。

3、查看HDFS完整目录

因为hadoop fs -ls只能查看一级目录,所以必须逐级查看:

4、查看所有的HDFS子目录

HDFS提供了一个方便的选项 -R 可以递归查看目录

5、一次性创建所有HDFS子目录

逐级创建很麻烦,但是可以添加参数-p,来一次性创建多级目录:

  • 二.从本地计算机复制文件到HDFS

1、复制本地文件到HDFS:

准备工作,创建本地文件

随便写的内容进去lc.txt

按Esc 再:wq保存退出

2、列出文件内容:

可以使用:hadoop fs -cat /user/hduser/test/test1.txt | more   进行分页显示

3、如果复制到HDFS的文件已经存在,会报错,此时可以使用-f 参数,强制复制重复文件到HDFS目录:

4、从本地复制多个文件到HDFS,中间用空格分割即可。

5、从本地复制整个目录到HDFS:

6、列出HDFS目录下的所有文件(包括这个目录下子目录的文件)

7、使用put复制文件到HDFS,这个参数与copyFromLocal的不同之处在于:

-put更宽松,可以把本地或者HDFS上的文件拷贝到HDFS中;而-copyFromLocal则更严格限制只能拷贝本地文件到HDFS中。如果本地和HDFS上都存在相同路径,则-put跟趋于优先取HDFS的源。(不用太深究两者区别,更多用-put)

  • 三.从HDFS上复制文件到本地

1、参数 -copyToLocal

2、同样的也可以用参数-get完成上述操作:

  • 四.复制与删除HDFS文件

1、使用-cp参数,在HDFS上进行复制文件

2、使用-rm参数,删除HDFS上的文件;添加-R参数,删除目录:

完成实验后一定要关闭hadoop,避免下次启动虚拟机时hadoop出现问题。

                                                                                                                              ————学习笔记


http://www.ppmy.cn/news/1535097.html

相关文章

node配置swagger

安装swagger npm install swagger-jsdoc swagger-ui-express 创建 swagger.js 配置文件 ​ const path require(path); const express require(express); const swaggerUI require(swagger-ui-express); const swaggerJsDoc require(swagger-jsdoc); // 修改 swaggerDoc…

基于大数据的健身器材销售数据分析及可视化系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏:…

21.第二阶段x86游戏实战2-C++实现寻路

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 本次游戏没法给 内容参考于:微尘网络安全 本人写的内容纯属胡编乱造,全都是合成造假,仅仅只是为了娱乐,请不要…

华为 HCIP-Datacom H12-821 题库 (32)

🐣博客最下方微信公众号回复题库,领取题库和教学资源 🐤诚挚欢迎IT交流有兴趣的公众号回复交流群 🦘公众号会持续更新网络小知识😼 1.当一个运行 MSTP 协议的交换设备端口收到一个配置BPDU 时,会与设备保存的全局配…

三、数据链路层(下)

目录 3.6以太网 以太网的分类 Mac地址 以太网数据格式 3.7互联网 数据是如何传输的? 3.8以太网、局域网、互联网的区别 总结: 3.9 vlan基本概念与基本原理 Vlan实现 划分 VLAN 例题 3.10广域网及相关协议 ppp协议 PPP协议所满足的要求 P…

10款好用的开源 HarmonyOS 工具库

大家好,我是 V 哥,今天给大家分享10款好用的 HarmonyOS的工具库,在开发鸿蒙应用时可以用下,好用的工具可以简化代码,让你写出优雅的应用来。废话不多说,马上开整。 1. efTool efTool是一个功能丰富且易用…

flutter_鸿蒙next_Dart基础②List

目录 代码示例 代码逐段解析 1. 创建和打印列表 2. 强类型列表 3. 创建可扩展的空列表 4. 创建填充列表 5. 列表扩展 6. 使用可选展开操作符 7. 获取列表长度 8. 列表反转 9. 添加多个元素 10. 移除元素 11. 根据索引移除元素 12. 在特定位置插入元素 13. 清空列…

数据结构与算法篇((原/反/补)码 进制)

目录 讲解一:原/反/补)码 一、原码 二、反码 三、补码 四、有符号位整型 五、无符号位整型 六、Java中的整型 七、整数在底层存储形式 讲解二:进制 一、简介 二、常用的进制 十进制 二进制 八进制 十六进制 知识补充 三、进制转换 1. 二…