CentOS7 服务器安装 Hadoop 和 Hive

ops/2025/3/15 21:18:55/

CentOS 服务器安装 Hadoop 和 Hive流程

请将以下的路径更换为自己的路径

1. 环境准备

1.1 安装 JDK

Hadoop 和 Hive 需要 Java 运行环境,这里安装 OpenJDK 1.8:

# 查看 Java 版本
java -version

1.2 创建 Hadoop 用户(可选)

useradd hadoop
passwd hadoop

2. 安装 Hadoop

2.1 下载 Hadoop 3.3.6

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2.2 解压并移动到目标目录

tar -zxvf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/CJY/hadoop

2.3 配置环境变量

编辑 /etc/profile~/.bashrc,添加以下内容:

export HADOOP_HOME=/opt/CJY/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后执行:

source /etc/profile

2.4 修改 Hadoop 配置

进入 Hadoop 配置目录:

cd $HADOOP_HOME/etc/hadoop
hadoopenvsh_53">2.4.1 修改 hadoop-env.sh
export JAVA_HOME=/usr  自己的javahome
2.4.2 配置 core-site.xml

自己的地址,localhost使用服务器的内网地址比如:10.9.6.8

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
2.4.3 配置 hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration>

2.5 初始化 HDFS

hdfs namenode -format

2.6 启动 Hadoop

start-dfs.sh

访问 Web UI 进行验证:

3. 安装 Hive

3.1 下载 Hive 3.1.3

wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

3.2 解压并移动到目标目录

tar -zxvf apache-hive-3.1.3-bin.tar.gz
mv apache-hive-3.1.3-bin /opt/CJY/hive

3.3 配置环境变量

编辑 /etc/profile~/.bashrc,添加以下内容:

export HIVE_HOME=/opt/CJY/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/opt/CJY/hadoop

然后执行:

source /etc/profile

3.4 配置 Hive 使用 MySQL 作为元数据库

3.4.1 创建 Hive 元数据库和用户

也可以使用navicate手动创建

mysql -u root -p

在 MySQL 中执行:

CREATE DATABASE hive_metastore DEFAULT CHARACTER SET utf8;
CREATE USER 'hiveuser'@'localhost' IDENTIFIED BY 'hivepassword';
GRANT ALL PRIVILEGES ON hive_metastore.* TO 'hiveuser'@'localhost';
FLUSH PRIVILEGES;
EXIT;
3.4.2 安装 MySQL JDBC 驱动

从 MySQL 官方网站下载 mysql-connector-java-8.0.26.jar,或者从本地maven仓库拉一个。然后执行:

cp mysql-connector-java-8.0.26.jar /opt/CJY/hive/lib/
hivesitexml_152">3.4.3 创建 hive-site.xml

在/opt/CJY/hive/conf目录下创建创建 hive-site.xml

cd /opt/CJY/hive/conf
vim hive-site.xml
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hiveuser</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hivepassword</value></property><property><name>hive.metastore.warehouse.dir</name><value>/opt/CJY/hive/warehouse</value></property>
</configuration>

3.5 初始化 Hive 元数据库

/opt/CJY/hive/bin/schematool -initSchema -dbType mysql -driver com.mysql.cj.jdbc.Driver

3.6 测试 Hive

/opt/CJY/hive/bin/hive

在 Hive CLI 中执行:

SHOW DATABASES;
CREATE TABLE test_table (id INT, name STRING);
INSERT INTO test_table VALUES (1, 'Spark');
SELECT * FROM test_table;

如果返回预期结果,说明 Hive 配置成功!
在这里插入图片描述

在这里插入图片描述


http://www.ppmy.cn/ops/166043.html

相关文章

JS—如何判断数据类型:全能判断方式Object.prototype.toString.call()

个人博客&#xff1a;haichenyi.com。感谢关注 1. 目录 1–目录2–typeof 操作符3–instanceof 操作符4–Object.prototype.toString.call()5–Array.isArray()6– 严格相等7–constructor 属性8–Symbol.toStringTag&#xff08;ES6&#xff09; 2. typeof 操作符 ​功能&…

【网络通信安全】子专栏链接及简介

目录 操作系统安全&#xff1a;筑牢网络安全根基​ 网络协议安全&#xff1a;守护数据传输通道​ Web 站点安全开发&#xff1a;打造安全的网络交互平台​ 在数字化浪潮席卷的当下&#xff0c;网络通信已深度融入生活与工作的方方面面&#xff0c;从日常的线上购物、社交互动…

Linux网络套接字编程——UDP服务器

Linux网络套接字编程——创建并绑定-CSDN博客 前面已经介绍了网络套接字的创建和绑定&#xff0c;这篇文章会通过UDP套接字实现一个UDP服务器。 先介绍将使用的接口。 recvfrom ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags,struct sockaddr *src_addr,…

2011-2020年 全国省市县-数字普惠金融指数数字经济指数绿色金融指数县域数字乡村指数

2011-2020 全国省市县-数字普惠金融指数&数字经济指数&绿色金融指数&县域数字乡村指数https://download.csdn.net/download/2401_84585615/90214687 https://download.csdn.net/download/2401_84585615/90214687 在2011年至2020年期间&#xff0c;中国各省、市、县…

Java---JavaSpringMVC解析(1)

Spring Web MVC 是基于 Servlet API 构建的原始 Web 框架&#xff0c;从⼀开始就包含在 Spring 框架中。它的正式名称“Spring Web MVC”来⾃其源模块的名称(Spring-webmvc)&#xff0c;但它通常被称为"Spring MVC" 1.MVC MVC是Model View Controller的缩写&#…

数组的介绍

1.数组的概念 数组是一组相同类型元素的集合&#xff0c;从这个描述中我们知道&#xff1a; 数组中存放1个或多个数据&#xff0c;但是数组的元素个数不为0。数组中存放的多个数据&#xff0c;类型是相同的。 数组分为一维数组和多维数组&#xff0c;多维数组一般比较多见的…

大模型微调中warmup(学习率预热)是什么

大模型微调中warmup(学习率预热)是什么 在大模型微调中,添加warmup(学习率预热)是指在训练初期逐步增加学习率,避免直接使用高学习率导致参数震荡。 🔧 为什么需要warmup? 大模型参数敏感:预训练模型的参数已接近最优,初期用大学习率可能剧烈扰动参数(如“急刹车…

3.JVM-内部结构

1.栈结构 1.1 动态链接 栈中的对象指向堆中的实际引用 符号引用: 比如一个类的名称 直接引用: 具体堆中数据信息 1.2 方法返回 栈中上一层的结果和下一层的指令 1.3 操作数栈 1.4 局部变量 该线程中需要的变量 2. 虚拟机栈是如何工作 程序计数器:存当前执行到那一步 操作…