hive搭建

server/2024/11/18 0:59:53/

1.准备环境

  1. 三台节点主机
  2. 已安装hadoop
  3. mysql数据库

2.环境

hadoopcoresitexml_7">2.1修改三台节点上hadoop的core-site.xml

<!-- 配置 HDFS 允许代理任何主机和组 -->
<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>

hive_20">2.2下载hive

使用官网下载,需要梯子
hive官网对应hadoop版本

wget https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

解压

tar -zxvf apache-hive-3.1.3-bin.tar.gz && mv apache-hive-3.1.3-bin hive

2.3 mysql-connector

我直接使用本地maven里面的mysql-connector-j-8.0.31,版本向下兼容
移动到lib文件夹

mv mysql-connector-j-8.0.31.jar hive/lib

hiveenvsh_39">2.4 conf/hive-env.sh修改

export HADOOP_HOME=/root/hadoop-3.3.2
export HIVE_CONF_DIR=/root/hive/conf
export HIVE_AUX_JARS_PATH=/root/hive/lib

hivesitexml_46">2.5 新建hive-site.xml

cd hive/conf&&vi hive-site.xml

mysql账号密码和驱动,根据实际情况改,我是用的mysql5.7驱动,mysql自己创建hive_meta数据库

<configuration>
<!-- mysql 配置--><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.10.9:3306/hive_meta?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><!-- hive 配置--><property><name>hive.server2.thrift.bind.host</name><value>node1</value></property><property><name>hive.metastore.uris</name><value>thrift://node1:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><!-- 允许模拟用户--><property><name>hive.server2.enable.doAs</name><value>true</value></property><!-- 管理员权限--><property><name>hive.users.in.admin.role</name><value>root</value></property><!-- 管理员授权--><property><name>hive.security.authorization.createtable.user.grant</name><value>admin:all</value></property>
</configuration>

2.6 初始化数据库

初始化mysql

./schematool -initSchema -dbType mysql -verbos

hive_111">2.7 启动hive

启动hdfs和yarn后,在hive目录新建logs文件夹,然后在bin目录启动,日志输出到hive//logs/metastore.log

nohup ./hive --service metastore >> ../logs/metastore.log 2>&1 &

hive_117">2.8 hive客户端

./hive

完成
在这里插入图片描述

hiveServer2__125">2.9 hiveServer2 对外提供端口

nohup ./hive --service hiveserver2>> ../logs/hiveserver2.log 2>&1 &

使用beeline连接

./bin/beeline

操作栏输入

!connect jdbc:hive2://node1:10000

根据提示输入账号密码即可


http://www.ppmy.cn/server/142771.html

相关文章

Linux中虚拟内存详解

一、虚拟内存的概念 虚拟内存是现代操作系统为了有效管理内存资源、提高内存利用率以及实现多任务处理等目的而引入的一种重要的内存管理机制。它为每个程序&#xff08;通常对应一个进程&#xff09;提供了一个看似连续且容量较大的地址空间&#xff0c;而这个地址空间并不一…

行业类别-金融科技-子类别区块链技术-细分类别智能合约-应用场景供应链金融课题

1.大纲分析 针对题目“行业类别-金融科技-子类别区块链技术-细分类别智能合约-应用场景供应链金融课题”的大纲分析,以下是一个详细的结构: 一、引言 简述金融科技的发展背景与重要性引出区块链技术在金融科技中的应用强调智能合约作为区块链技术的重要细分类别提出供应链金…

Qwen2-VL:发票数据提取、视频聊天和使用 PDF 的多模态 RAG 的实践指南

概述 随着人工智能技术的迅猛发展&#xff0c;多模态模型在各类应用场景中展现出强大的潜力和广泛的适用性。Qwen2-VL 作为最新一代的多模态大模型&#xff0c;融合了视觉与语言处理能力&#xff0c;旨在提升复杂任务的执行效率和准确性。本指南聚焦于 Qwen2-VL 在三个关键领域…

Flink执行sql时报错

[ERROR] Could not execute SQL statement. Reason: java.lang.ClassNotFoundException: org.apache.flink.table.planner.delegation.ParserFactory flink-1.15.4的lib里面存在flink-sql-connector-hive-3.1.2_2.12-1.15.4.jar时&#xff0c;似乎会跟hdfs产生冲突&#xff0c…

Android - Pixel 6a 手机OS 由 Android 15 降级到 Android 14 操作记录

Pixel 6a 手机由 Android 14 升级到 Android 15了&#xff0c;但是由于一些原因又想降级回 Android 14&#xff0c; 能降吗&#xff1f;该怎么降级呢&#xff1f;本篇文章来记述实际操作过程&#xff0c;希望能给想做相同操作的人一些帮助。 答案当然是能降&#xff0c;而且我…

SpringBoot多环境+docker集成企业微信会话存档sdk

SpringBoot多环境docker集成企业微信会话存档sdk 文章来自于 https://developer.work.weixin.qq.com/community/article/detail?content_id16529801754907176021 SpringBoot多环境docker集成企业微信会话存档sdk 对于现在基本流行的springboot环境&#xff0c;官方文档真是比…

uni-app快速入门(四)--maninfest.json及pages.json配置

一、manifest.jaon设置 manifest.json有很多配置项&#xff0c;见下图&#xff1a; 包括基础配置、App图标配置、App启动界面配置、App模块配置、App权限配置、App原生插件配置、App常用其他设置、Web配置、微信小程序配置等。微信小程序需要配置小程序的AppId&#xff0c;可以…

sql server 查看io资源使用

USE AdventureWorks2022; GO SET STATISTICS IO ON; GO SELECT * FROM Production.ProductCostHistory WHERE StandardCost < 500.00; GO SET STATISTICS IO OFF; GO 如果输出physical reads 或者 read-ahead reads 大于0 &#xff0c;则表示有物…