Hadoop 常用命令汇总

ops/2025/2/26 6:19:22/

Hadoop 常用命令汇总

  • 查看帮助信息
  • 查看指定目录文件列表
  • 上传文件
  • 下载文件
  • 移动文件/重命名
  • 拷贝文件
  • 查找文件
  • 查看内容
  • 其他命令

HDFS 文件操作命令风格有两种,两种命令效果一样

hadoop fs 开头
hdfs dfs 开头

查看帮助信息

hadoop fs -help [cmd]

查看指定目录文件列表

-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]

-C # 只显示文件和目录的路径。
-d # 目录以普通文件的形式列出。
-h # 以人类可读的方式格式化文件的大小而不是字节数。
-q # 打印 ? 而不是不可打印的字符。
-R # 递归地列出目录的内容。
-t # 根据修改时间(最近的先修改)对文件进行排序。
-S # 按大小排序文件。
-r # 颠倒排序的顺序。
-u # 使用最后访问时间代替修改显示和排序。
-e # 显示文件和目录的擦除编码策略。

上传文件

将文件从本地文件系统复制到fs。如果文件已经存在会复制失败,除非指定了-f标志。

-put [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>   

-p # 保存时间戳、所有权和模式。
-f # 如果目标已经存在,则覆盖它。
-t # 使用的线程数,默认为1。
-l # 允许DataNode将文件延迟持久化到磁盘。强制复制因子为1。这个标志将导致耐久性下降。小心使用。
-d # 跳过临时文件的创建(.COPYING)

下载文件

将匹配文件模式的文件复制到本地。复制多个文件时,目标必须是一个目录。-f 如果目标已经存在则覆盖目标,-p 保留访问和修改时间、所有权和方式。

-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst> 

移动文件/重命名

-mv <src> ... <dst>  #移动多个文件时,目标必须是一个目录。

拷贝文件

将匹配文件模式的文件复制到目标。当复制多个文件,目标必须是一个目录。

-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst> #如果目标已存在,传递-f将覆盖

查找文件

查找与指定表达式和匹配的所有文件,将选定的操作应用于它们。如果不指定默认为当前工作目录。

-find <path> ... <expression> ...

查看内容

-cat [-ignoreCrc] <src> ...  # 获取所有匹配文件模式的文件,并显示其内容在stdout。

其他命令

从配置中获取配置值

hdfs getconf [cmd]

  -namenodes			# 获取群集中的namenode列表。-secondaryNameNodes	# 获取集群中secondaryNameNode的列表。-backupNodes			# 获取群集中的备份节点列表。-journalNodes			# 获取群集中的日志节点列表。-includeFile			# 获取定义可加入群集的datanode的包含文件路径。-excludeFile			# 获取定义需要退役的datanode的排除文件路径。-nnRpcAddresses		# 获取namenode RPC地址-confKey [key]		# 从配置中获取特定的key

over~

http://www.ppmy.cn/ops/161364.html

相关文章

DeepSeek 助力 Vue 开发:打造丝滑的滚动动画(Scroll Animations)

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享一篇文章&#xff01;并提供具体代码帮助大家深入理解&#xff0c;彻底掌握&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f495; 目录 Deep…

OpenCvSharp编译

前言 算法部分我们使用opencv4.10作为开发&#xff0c;那么我们在.net winform做UI界面开发时&#xff0c;需要进行相关调用。比较简单的方式是直接从NuGet中直接搜索OpencvSharp进行安装。OpecvSharp对Opencv进行了二次封装&#xff0c;在.net中可以快速操作相关对象和算子&am…

如何保存爬虫获取商品评论的数据?

保存爬取的评论数据是爬虫项目中的一个重要环节。根据需求&#xff0c;你可以选择将数据保存为本地文件&#xff08;如CSV、JSON、TXT&#xff09;&#xff0c;或者存储到数据库&#xff08;如MySQL、MongoDB等&#xff09;。以下是几种常见的数据保存方式及其示例代码。 1. 保…

反制无人机详细全面介绍

一、反制系统的核心架构 侦测识别层 采用雷达、光电/红外传感器、无线电频谱监测等技术实现全空域覆盖。毫米波雷达可探测微型无人机&#xff0c;声学探测适用于低噪声环境4&#xff0c;而被动射频定位技术可追踪2-8公里范围内的目标。多传感器融合技术&#xff08;如雷达光电A…

MySql:Authentication plugin ‘caching sha2 password‘ cannot be loaded

报错问题解释 在 MySQL 数据库中&#xff0c;如果你尝试使用 caching_sha2_password 插件进行认证&#xff0c;但是遇到错误信息 "Authentication plugin caching sha2 password cannot be loaded"&#xff0c;这通常意味着客户端库或者连接器不兼容或者没有正确配置…

Android NFC功能开发指南

在 Android 平台上开发 NFC&#xff08;近场通信&#xff09;功能&#xff0c;主要涉及以下几个步骤&#xff1a; 1. 权限声明 首先&#xff0c;在 AndroidManifest.xml 文件中声明 NFC 权限&#xff1a; <uses-permission android:name"android.permission.NFC&quo…

企业业务安全进阶之路:AI技术与数据分析的应用

在数字化时代&#xff0c;企业业务安全面临着前所未有的挑战。从网络安全到数据保护&#xff0c;每一个环节都至关重要。本文将探讨如何通过AI技术和数据分析来提升企业业务安全防护能力&#xff0c;确保企业在不断变化的安全威胁面前保持领先地位。 企业业务安全的重要性 企…

企业为什么要选择软件测试外包公司?湖南软件测试公司有哪些?

在当今快速发展的技术背景下&#xff0c;软件测试已成为软件开发生命周期的重要一环。随着企业对软件质量要求的不断提高&#xff0c;软件测试外包公司逐渐被越来越多的企业所青睐。 软件测试外包公司通过将软件测试从内部团队外包出去&#xff0c;帮助企业减少开发成本、提升…