hive3.1.2编译spark3安装包

devtools/2024/11/24 0:16:21/

此安装包是《去破解站长》在公司真实生产环境所使用的安装包。

引言:Hive引擎包括:默认MR、tez、spark

Download:www.qupojie.com

1、Hive on Spark

1、Hive onSpark:Hive既作为存储元数据又负责SQL的解析优化,语法是HQL语法,执行引擎变成了Spark,Spark负责采用RDD执行。

2、Spark on Hive : Hive只作为存储元数据,Spark负责SQL解析优化,语法是Spark
SQL语法,Spark负责采用RDD执行。

hive312_14">2、hive3.1.2编译

  • 使用hive3.1.2和spark3.0.0配置hive on
    spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容。
  • hive3.1.2默认支持的版本为spark2.3.0,而spark3.0对应的hadoop版本是hadoop2.6或hadoop2.7或更高。
  • 所以,如果想要使用高版本的hivehadoop,我们要重新编译hive,兼容spark3.0.0。
  • 目前,有关hive3.1.2编译的帖子相对较少,,除了兼容spark3.0.0外,还将hive3.1.3的guava的版本提升到了hadoop3.x一致,以兼容hadoop3.2.0。
  • 另外还修复官方hive3.1.2release版本的一些bug,详见hive3.1.2修复bug。

http://www.ppmy.cn/devtools/136411.html

相关文章

解决Ubuntu18.04及以上版本高分辨率下导致字体过小问题

解决Ubuntu18.04及以上版本高分辨率下导致字体过小问题 Chapter1 解决Ubuntu18.04及以上版本高分辨率下导致字体过小问题Chapter2 windows主机和ubuntu互传文件的4种方法 博文链接:Chapter3 安装好VMware tools后无法复制粘贴文本、拖拽文件的解决办法 Chapter1 解…

springboot基于微信小程序的旧衣回收系统的设计与实现

摘 要 微信小程序的旧衣回收系统是一种专为环保生活设计的应用软件。这款小程序的主要功能包括:系统首页、个人中心、用户管理、回收人员管理、旧衣服分类管理、旧衣信息管理、回收预约管理、回收派单管理、回收订单管理、积分商品管理、积分兑换管理、管理员管理、…

《剖析 Spring 原理:深入源码的旅程(一)》

一、Spring 工作原理概述 Spring 是一个全面的企业应用开发解决方案,它通过控制反转(IOC)和面向切面编程(AOP)等技术,实现了轻量级、灵活的开发模式。Spring 框架由多个模块组成,包括核心容器、…

【系统架构设计师】真题论文: 论软件需求获取技术及应用(包括解题思路和素材)

更多内容请见: 备考系统架构设计师-专栏介绍和目录 文章目录 真题题目(2011年 试题4)解题思路论文素材参考软件需求获取的目标与重要性软件需求获取技术软件需求获取技术的应用案例真题题目(2011年 试题4) 软件需求是指用户对新系统在功能、行为、性能、设计约束等方面的…

什么是UGFC?模块电脑(核心板)规范标准简介四

1. 概念 UGFC是Unified Gold Finger Core Board的缩写(意指:统一接口定义金手指核心板),为武汉万象奥科电子有限公司基于企业标准定义的一种针对嵌入式、低功耗、通用型的小型计算机模块标准,采用204Pin金手指连接器…

043 商品详情

文章目录 详情页数据表结构voSkuItemVo.javaSkuItemSaleAttrVo.javaAttrValueAndSkuIdVo.javaSpuAttrGroupVo.javaGroupAttrParamVo.java pom.xmlSkuSaleAttrValueDao.xmlSkuSaleAttrValueDao.javaAttrGroupDao.xmlAttrGroupServiceImpl.javaSkuInfoServiceImpl.javaSkuSaleAtt…

CSS3中的弹性布局之侧轴的对齐方式

1.对齐方式 (1)单行的情况: (2)多行的情况:

【OpenGL】GLFW环境配置 + 扩展GLFW使其可以成为MFC子窗口

文章目录 OpenGL环境配置GLFW配置GLFW创建窗口扩展GLFW使其可以成为MFC子窗口MFC中使用GLFW 现代OpenGL项目推荐使用GLFW GLAD来配置使用OpenGL。配置环境: VS2017glfw-3.4glad-opengl4.6-core OpenGL环境配置 opengl32.lib已经包含在Microsoft SDK里了&#xf…