20230529_Hadoop_集群操作命令

HDFS_集群操作命令：

一、集群启停命令

 # 启动Hadoop的HDFS进程start-dfs.sh# 关闭Hadoop的HDFS进程stop-dfs.sh# 单独关闭某一个进程hadoop-daemon.sh start[/stop] namenode[/datanode/secondarynamenode]

二、HDFS文件系统的基本信息

数据的路径表达方式：

# Linux: file:///
# HDFS: hdfs://namenode:port/

如上路径：

# linux: file:///usr/local/hello.txt
# HDFS: hdfs://node1:8020/usr/local/hello.txt

HDFS文件系统的操作命令：

老版本：hadoop fs [generic options]
新版本：hdfs dfs [generic options]

创建文件夹：

# hadoop fs -mkdir [-p] <path> ...
# hdfs dfs -mkdir [-p] <path> ...
# [-p]: 与linux中的一致， 需要时创建上层目录，如目录早已存在则不当作错误
# path: 待创建目录

查看指定目录下内容：

# hadoop fs -ls [-h] [-R] [<path> ...]
# hdfs dfs -ls [-h] [-R] [<path> ...]
# path 指定目录路径
# -h 人性化显示文件Size
# 递归查看指定目录及其子目录

上传文件到HDFS指定目录下

# hadoop fs -put [-f] [-p] <localsrc> ... <dst>
# hdfs dfs -put [-f] [-p] <localsrc> ... <dst>
# -f 如果目标文件已存在覆盖目标文件
# -p 保留访问和修改时间，所有权和权限
# local linux本地文件系统地址
# dst 目标文件系统(HDFS)

查看HDFS文件内容

# hadoop fs -cat <src> ...
# hdfs dfs -cat <src> ...
# cat 指定读取文件的全部内容，并显示在标准输出控制台
# hadoop fs -cat /itcast/word.txt
# 读大文件可以使用管道符配合more
# hadoop fs -cat /itcast/word.txt | more
# more : 翻页命令

下载HDFS文件

# hadoop fs -get [-f] [-p] <src> ... <loacldst>
# hdfs dfs -get [-f] [-p] <src> ... <loacldst>
# -f 如果目标文件已存在覆盖目标文件
# -p 保留访问和修改时间，所有权和权限

复制/改名HDFS文件

# hadoop fs -cp [-f] [-p] <src> ... <dst>
# hdfs dfs -cp [-f] [-p] <src> ... <dst>
# -f 如果目标文件已存在覆盖目标文件
# 实例：hadoop fs -cp -f /test.txt /home/abc.txt

追加数据到HDFS文件中

HDFS只有追加和删除文件两种功能

# hadoop fs -appendToFile <loacldst> ... <dst>
# hdfs dfs -appendToFile <loacldst> ... <dst>
# 将所有给定本地文件的内容追加到给定dst文件
# dst如果文件不存在，将创建该文件
# 如果<localSrc>为-，则输入为从标准输入中读取

HDFS数据移动操作

# hadoop fs -mv <scr> ... <dst>
# hdfs dfs mv <scr> ... <dst>
# 移动到指定文件夹下面
# 可以使用该命令移动数据，并且重命名文件名称

HDFS删除文件操作

# hadoop fs -rm -r [-skipTrash] URI [URI ...]
# hdfs dfs -rm -r [-skipTrash] URI [URI ...]
# 删除指定路径的文件或者文件夹
# -skipTrash 跳过回收站，之间删除
# 回收站功能默认关闭，如果要开启需要在core-site.xml中配置
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
"""
1440:表示回收站保存多久，保持七天
"""
<property>
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>
"""
120：多久检查一次，两小时检查一次
"""
# 不需要重启集群，在那个机器配置的，就在那个机器执行命令就生效
# 回收站默认位置在：/user/用户名(hadoop)/.Trash

命令官方指导文档

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html
使用web界面操作hadoop系统。
```
http://node1:9870/dfshealth.html#tab-startup-progress
```
web界面又用权限问题只保留读权限，并不能删除文件，一般不建议配置删除权限，多数操作是做不了的。如果要以特权用户在浏览器中进行操作，需要配置如下内容到core-site.xml并重启集群。
```
<property>
<name>hadoop.http.staticuser.user</name>
<value>hadoop</value>
</property>
```