官方参数文档

Apache Hadoop 3.3.5 – HDFS Users Guide

Hadoop是一个分布式存储和计算框架，由以下几个组件组成：

1. Hadoop Distributed File System (HDFS)：Hadoop分布式文件系统，用于存储大量数据，并提供高可靠性和高可用性。

2. MapReduce：一种编程模型，用于处理大规模数据集。它将数据分成小块，并在分布式计算集群上并行处理。

3. YARN (Yet Another Resource Negotiator)：Hadoop的资源管理器，用于管理集群中的计算资源，并分配任务给不同的节点。

4. Hadoop Common：包含Hadoop所需的共享库和工具。

5. Hadoop Ozone：Hadoop的对象存储层，用于存储和管理大规模的非结构化数据。

6. Hadoop Archives：Hadoop的存档工具，用于将文件和目录压缩成一个单独的归档文件。

7. Hadoop KMS (Key Management Server)：Hadoop的密钥管理器，用于管理和保护数据加密密钥。

8. Hadoop HttpFS：Hadoop的HTTP文件系统，提供了一个REST接口，可以通过HTTP访问Hadoop文件系统。

以下是一些关于Hadoop组件的链接：

1. HDFS：Apache Hadoop 3.3.5 – HDFS Users Guide

2. MapReduce：Apache Hadoop 3.3.5 – MapReduce Tutorial

3. YARN：Apache Hadoop 3.3.5 – Apache Hadoop YARN

4. Hadoop Common：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/CommonJars.html

5. Hadoop Ozone：https://hadoop.apache.org/docs/stable/hadoop-ozone/index.html

6. Hadoop Archives：https://hadoop.apache.org/docs/stable/hadoop-archive-logs/HadoopArchives.html

7. Hadoop KMS：Hadoop KMS – Hadoop Key Management Server (KMS) - Documentation Sets

8. Hadoop HttpFS：HttpFS – Hadoop HDFS over HTTP - Documentation Sets

代码相关的问题，请提供具体问题和代码。

基础环境准备

jdk包上传并且解压

添加jdk环境变量

配置免密登录

ssh-keygen -t加密算法 -b密钥长度（用于生成ssh密钥），将公钥分发到远程主机上

Hadoop伪分布式集群搭建

hadoop的搭建(压缩包的解压)

添加环境变量

sudo vim /etc/profile.d/hadoop.sh

export HADOOP HOME=/opt/module/hadoop-2.7.7

export PATH=$PATH:$HADOOP HOME/bin:$HADOOP HOME/sbin

source /etc/prorifle #配置生效

hadoop version

bin目录

sbin目录（管理hadoop的脚本）

配置hdfs

1、官方网址查询

---

• http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml
• http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
• http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
• http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

通过这些网址，可以了解最新的全部的hadoop 配置信息，而且包括一些过时的定义标识，从而更好地维护您的集群。

(2条消息) hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍_蜗牛!Destiny的博客-CSDN博客

(都是在解药的hadoop文件里编辑)

1、配置core-site.xml

2、配置hdfs-site.xml

3、配置mapred-site.xml

4、配置yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.hostname</nam

<value>hadoop</value> #主机名字

</property>

<property>

<name>yarn.nodemanager.aux-services</nam

<value>mapreduce_shuffle</value>

伪分布式配置slaves（简单版本）

伪分布式配置slaves是一种在单台计算机上模拟分布式计算的方法。在这种配置中，我们将单台计算机视为一个集群，然后在该计算机上启动多个slave节点来模拟多台计算机的情况。

为了配置伪分布式，我们需要安装和配置Hadoop和其他必要的软件。然后，我们需要在单台计算机上启动多个slave节点。这可以通过在不同的端口上启动多个Hadoop进程来实现。

在伪分布式配置中，所有的slave节点都运行在同一台计算机上，因此它们共享相同的资源，如内存和硬盘空间。这种配置适合于开发和测试Hadoop应用程序，但不适合生产环境。

需要注意的是，伪分布式配置不同于真正的分布式配置，因为它只是在单台计算机上模拟了分布式环境。在真正的分布式环境中，我们需要多台计算机来构建一个集群，并且每台计算机都运行着一个或多个slave节点。

直接在hadoop文件目录下配置

cd hadoop

vim slaves

添加主机的名字

格式化NameNode

格式化NameNode是指将Hadoop分布式文件系统（HDFS）上的NameNode节点的元数据清空，以便重新开始使用。这通常是在重新启动集群之前执行的操作。

hdfs namenode -format

启动hadoop

jps查看进程、

jps是Java Virtual Machine Process Status Tool的缩写，它是用于查看Java进程的命令行工具。jps命令可以显示当前系统中所有正在运行的Java进程的进程ID和进程名。

$ jps

12345 Jps

67890 MyJavaApp

ui界面

hdfs上传文件

hadoop fs -put /path/to/local/file /path/in/hdfs