Hive安装部署

ops/2024/9/24 21:20:46/

Apache Hive是一个基于Hadoop分布式文件系统、使用MapReduce算法执行大规模离线数据分析的数据仓库,本文主要描述Hive的安装部署。

图片

如上所示,Hive总体应用架构图,其中,Hive基于HBase或者使用Hadoop分布式文件系统执行MapReduce的分布式计算

图片

如上所示,Hive执行离线数据分析的总体流程图,其中,主要流程包括Hive解析SQL、Hive生成SQL的执行计划、Hadoop生成执行任务、Hadoop使用MapReduce分布式计算执行数据分析任务、Hive数据仓库的元数据信息存储在METASTORE中

MySQL Server Master

192.168.0.130

MySQL Server Slave

192.168.0.131

MySQL Server Slave

192.168.0.132

NameNode1  Master

ZooKeeper1

HBase Master

192.168.0.136

DataNode1

NameNode2  Slave

ZooKeeper2

HBase Master Backup

RegionServer1

192.168.0.137

DataNode2

ZooKeeper3

ReginServer2

192.168.0.138

DataNode3

RegionServer3

192.168.0.139

如上所示,Hive应用架构涉及到服务器节点信息,其中,MySQL Server存储Hive数据仓库的元数据信息,HBase是NoSQL数据库,Hadoop分布式文件系统用于分布式存储以及分布式计算

图片

如上所示,在Hadoop分布式文件系统的主索引节点中,设置Hive运行时环境变量

图片

如上所示,在Hadoop分布式文件系统的主索引节点中,设置命名空间的主机映射信息

图片

如上所示,在Hadoop分布式文件系统的主索引节点中,创建Hive数据仓库文件目录

图片

如上所示,在Hadoop分布式文件系统的主索引节点中,使用Hive客户端命令行工具

图片

图片

如上所示,在Hadoop分布式文件系统的主索引节点中,设置Hive数据仓库的元数据存储数据库信息

图片

如上所示,在Hadoop分布式文件系统的主索引节点中,从MySQL官方下载数据库连接驱动文件到Hive

图片

图片

图片

如上所示,在Hadoop分布式文件系统的主索引节点中,初始化Hive数据仓库的元数据存储数据库完成


http://www.ppmy.cn/ops/27578.html

相关文章

华为鸿蒙HarmonyOS应用开发者高级认证答案

判断 1只要使用端云一体化的云端资源就需要支付费用(错) 2所有使用Component修饰的自定义组件都支持onPageShow,onBackPress和onPageHide生命周期函数。(错) 3 HarmonyOS应用可以兼容OpenHarmony生态(对…

免费通配符证书申请

通配符证书是一种 SSL/TLS 证书,可用于保护多个域(主机),由域名字段中的通配符 (*) 指示。 如果您有很多需要保护的域或子域,这会很有帮助,因为它可以节省您的时间和金钱。 本文将讨论通配符证书、它们的工…

帕金森患者的福音?

在传统医学的宝库中,五行学说是一颗璀璨的明珠。刘家峰中医凭借深厚的中医理论基础和丰富的临床经验,创新性地将五行理论应用于帕金森病的治疗中,研发出“五行通脉汤”,为无数患者带来了希望。 刘家峰,一位执着于中医事…

SVN--基本原理与使用(超详细)

目录 一、SVN概述二、SVN服务端软件安装三、SVN服务端配置四、SVN客户端软件安装与使用五、SVN三大指令六、SVN图标集与忽略功能6.1 图标集6.2 忽略功能 七、SVN版本回退八、SVN版本冲突九、SVN配置多仓库与权限控制9.1 配置多仓库9.2 权限控制 十、服务配置与管理十一、模拟真…

Stable Diffusion中的embedding

Stable Diffusion中的embedding 嵌入,也称为文本反转,是在 Stable Diffusion 中控制图像样式的另一种方法。在这篇文章中,我们将学习什么是嵌入,在哪里可以找到它们,以及如何使用它们。 什么是嵌入embedding&#xf…

Rust Web开发实战:构建高效稳定的服务端应用

如果你厌倦了缓慢、占用大量资源且不稳定的模板化Web开发工具,Rust就是你的解决方案。Rust服务提供了稳定的安全保证、非凡的开发经验,以及能够自动防止常见错误的编译器。 《Rust Web开发》教你使用Rust以及重要的Rust库(如异步运行时的Tokio、用于Web…

liceo靶机复现

liceo-hackmyvm 靶机地址:https://hackmyvm.eu/machines/machine.php?vmLiceo 本机环境:NAT模式下,使用VirtualBox 信息收集: 首先局域网内探测靶机IP 发现IP为10.0.2.4 开启nmap扫描一下看看开了什么端口 扫描期间看一下web页…

XY_RE复现(六)

馒头 考数据结构的好像 有一个建树的函数 __int64 __fastcall initHuffmanTree(void **a1) {__int64 v1; // rcx__int64 v2; // rdxchar v4; // [rsp27h] [rbp-9h]int j; // [rsp28h] [rbp-8h]int i; // [rsp2Ch] [rbp-4h]*a1 malloc(0x3C0ui64);for ( i 1; i < 47; i )…