文章目录
1.Hive概述
hive时 hadoop一个数据仓库工具，可以将结构化数据映射为一张表，并提供SQL查询功能。
- Hive本质
重点：
hive会将用户使用的sql语句转换为MR程序。
由于最终运行程序还是在yarn上，因此hive也是yarn的客户端。
1.2.Hive架构原理
-
Metastore指的是元数据访问接口
-
Metastore只提供元数据访问接口，不提供元数据
-
HiveServer2提供JDBC或ODBC访问接口，或用户认证相关信息
-
HiveCLI只能在安装hive的本地机器使用，命令行客户端
-
Hive组件之间交互过程
Driver的运行逻辑就是将用户sql语句转化为MR计算程序；
此外driver编译sql语句需要用到元数据信息
若使用是select查询语句，那么hive客户端会拉取到最终的查询语句到客户端进行展示给用户。
1.3Driver
（1）解析器（SQLParser）：将SQL字符串转换成抽象语法树（AST）
（2）语义分析（Semantic Analyzer）：将AST进一步划分为QeuryBlock
获取hive中的元数据信息，将其赋值给QeuryBlock
将第一个AST进一步划分为 QeuryBlock
（3）逻辑计划生成器（Logical Plan Gen）：将语法树生成逻辑计划
将语法树生产单一的逻辑计划组合
（4）逻辑优化器（Logical Optimizer）：对逻辑计划进行优化
（5）物理计划生成器（Physical Plan Gen）：根据优化后的逻辑计划生成物理计划
（6）物理优化器（Physical Optimizer）：对物理计划进行优化Map join
（7）执行器（Execution）：执行该计划，得到查询结果并返回给客户端
抽象语法树AST如下所示：
- 每一个token表示每一个节点
逻辑计划如下所示：
2.Hive最小化模式安装部署
-
最小化模式会将数据保存在derby数据库中部署如下所示
-
前置条件-安装hadoop集群3.1.3
- 上传hive安装包，尚硅谷给的资料有
-
解压到module
-
添加环境变量
etc/profile.d/my_env.sh
- 初始化元数据库默认是derby数据库
/schematool -dbType derby -initSchema
- 初始化完成后出现metastore_db就是存储数据的文件夹
- 建表
建表是可以指定路径的，不指定则使用默认路径
默认存储user路径
路径存储到源数据库中
若我向stu表插入数据，那么hdfs该路径下出现该数据
- 插入一条数据进行测试
刚刚程序没有向Yarn提交任务
最小化模式部署的问题
hive_170">3.生产环境hive安装部署
derby数据库仅允许一个进程使用，生产环境一般将元数据使用Mysql数据库保存，这样允许多个客户端同时访问。解决了先前的问题。
- mysql安装
- 离线安装
- 在线安装（集群节点可以连接外网）
将尚硅谷资料的两个包上传到hadoop102的software
- 解压
tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar
- 删除centos7自带的软件包
sudo rpm -qa | grep mariadb | xargs sudo rpm -e --nodeps
- 逐步安装mysql依赖
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm
pkgs.org
各种包下载地址
- 启动mysql
- mysql启动命令
sudo systemctl start mysqld
- 第一次启动时查看mysql密码
sudo cat /var/log/mysqld.log | grep password
所有的mysql环境配置建议参考hive课程的MySQL部署
hiveMysql_253">4.将hive的元数据存储到Mysql
4.1创建metastore源数据库放到mysql中
4.2将mysql的驱动拷贝到hive下的lib目录下
4.3hive中创建配置文件
4.4初始化hive源数据库
最终使用DG进行连接
元数据元数据就是存url的表
不论什么数据库，建表时候都存在默认路径。
而查询语句就是查询HDFS的路径的表，那么源数据库不论使用哪个，只要默认路径存在值，select就能查出来。
5.元数据库概述
- COLUMNS_v2表示存储字段相关数据
6.Hive服务的部署
6.1HiveServer2
作用为用户提供一个jdbc、odbc的接口，供用户远程访问Hive数据的功能
- HiveServer2部署前置条件，必须部署到能够往yarn提交任务，能够访问HDFS集群的节点上。
- 用户发起一个sql语句，hiveserver2接收将任务提交yarn，yarn进行MR程序将结果返回给用户
未启用模拟用户效果：不论你使用任何客户端提交任务，HiveServer2提交任务的user都是Hiveserver启动用户atguigu。
若开启模拟用户：提交客户端提交任务user使用当前客户端用户。
生产环境：推荐开启用户模拟功能，开启权限之后，才能够保证各个用户之间的权限隔离。
A操作B表
C操作D表
.
.
.
- Hive模拟用户权限配置在hadoop的core-site.xml中
注：上述配置完成后不要忘记分发core-sie.xml
具体配置参考Hive3.1.3教程world
- hiveserver2启动在bin下且是一个监听窗口，进程名为RunJar
- 查看更详细的进程信息：
jps -ml
- 使用nohub将监听进程挂载到后台使用，避免我们关闭ssh窗口连接的时候进程挂断。配合nohub一起使用的还有一个&
nohub bin/hiveserver2 &
- 进一步将日志丢进垃圾箱1>/dev/null
nohub bin/hiveserver2 1>/dev/null &
-
linux每一个进程启动之后都会打开很多文件，每一个文件都有一个文件描述符
- 0表示标准输入
- 1表示标准输出
- 2表示标准错误文件
- 若省略数字，默认标准输出
>/dev/null #表示标准输出 == 1>/dev/null- 若1和2去的是同一个地址，那么标准输出可以简化
x nohub bin/hiveserver2 1>/dev/null 2>&1 &- 2>&1等价2>/dev/null，因为2和1去的地址相同。
6.2Metastore
Metastore的作用是提供Hive CLI的元数据访问接口
-
MetasTore运行模式
-
1.嵌入式模式
嵌入式模式，是所有的CLI，HiveServer2直接访问Mysql元数据库
- 2.独立模式
独立模式，Metastore成为一个代理，所有客户统统访问代理即可，代理来进行访问元数据库，这样的好处：这样Metastore可以作为消息队列的作用，当数据量过载，Metasotre可以很好的减缓数据库压力。
7.HiveServer2使用
- 本案例使用DataGrip数据库管理工具连接hiveserver2
端口默认10000
修改name，其他密码没有设置不用填没事
7.1Metastore嵌入模式配置
7.2Metastore独立模式配置*
- 生产环境重点
-
独立模式所有的客户配置metastore地址即可，metastore配置jdbc客户端即可。
-
Metastore服务地址配置,端口号默认9083
将hive-site.xml中jdbc驱动信息修改为上述即可由嵌入模式转换为独立模式，
metastore节点仅需要在hive-site.xml配置jdbc即可
metastore启动命令
hive --service metastore
- 若hive-site.xml同时配置了metastore地址和jdbc参数，那么优先访问MetaStore。
记忆方法：企业开发为Metastore独立模式运行
关于离线数仓，一般使用脚本方式，非交互式使用模式，定期执行hive命令
- 非交互式命令
太他妈熟悉了
hive -e "sql命令"
非交互式一般用在脚本中定时执行的命令，该命令执行完毕后，直接进行进程释放，不占用资源，离线数仓就是该设计。
hive -f file.sql
- 若sql过多可以撰写sql文件，使用非交互式命令hive -f f表示file
hive_524">8.hive常用的参数配置方式
- 默认配置
- 命令行参数配置
仅对本次启动有效
bin/hive -hiveconf 要配置的参数=配置值
客户端CLI内部配置
hive_554">9.hive人性化配置
- 所有配置在hive-site.xml
1.客户端显示当前库和表头
<property><name>hive.cli.print.header</name><value>true</value><description>Whether to print the names of the columns in query output.</description>
</property>
<property><name>hive.cli.print.current.db</name><value>true</value><description>Whether to include the current database in the Hive prompt.</description>
</property>
hive_583">2.配置hive日志文件路径
hive-log4j2.properties文件在conf下，原先 是template，你可以将后缀去掉再更改。
hive-log4j2.properties文件进行配置
默认日志文件路径存储到temp/hive启动用户名下
hive.log文件
3.关于JVM堆内存的配置
- hive启动时默认堆内存申请256M
先将文件更名
mv hive-env.sh.template hive-env.sh
