Hadoop学习全程记录——hive入门

news/2024/10/18 16:51:23/

hive是Facebook的产品,很不错。
官方文档:http://wiki.apache.org/hadoop/Hive/GettingStarted有很详细说明。

基本上根据文档能对hive快速入门。在使用过程中可能会出现以下问题:

当执行下面命令时:

Java代码

  1. $ $HIVE_HOME/bin/hive  

$ $HIVE_HOME/bin/hive


可能会出现Invalid maximum heap size: -Xmx4096m提示。

那是因为hive默认hadoop heap size为4096m。如果出现这个提示,你需要修改hadoop heap size的大小。方法如下:

1.执行命令。

Java代码

  1. $ sudo gedit $HIVE_HOME/bin/ext/util/execHiveCmd.sh  

$ sudo gedit $HIVE_HOME/bin/ext/util/execHiveCmd.sh



2.在打开的sh文件中修改HADOOP_HEAPSIZE的值(如将默认的4096改为1024),保存,退出。

Java代码

  1. # increase the threashold for large queries   
  2. HADOOP_HEAPSIZE=4096   

  # increase the threashold for large queries

  HADOOP_HEAPSIZE=4096


改为

Java代码

  1. # increase the threashold for large queries   
  2. HADOOP_HEAPSIZE=1024   

http://www.ppmy.cn/news/71901.html

相关文章

虚拟机虚拟环境中安装dirmap并更改Bin目录

在 Red Hat Enterprise Linux 8 中安装 dirmap 可以按照以下步骤进行: 激活虚拟环境:打开终端或命令提示符,并导航到虚拟机的工作目录。输入命令来激活虚拟环境。具体的命令取决于您使用的虚拟环境管理工具,例如 virtualenv 或 c…

香农信息论的基本理论探究

摘要:信息是自从人类出现以来就存在于这个世界上了,天地万物,飞禽走兽,以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息,传播信息,以及利用信息。从原来的西汉时期的造纸&…

云厂商纷纷降价开启新一轮价格大战,行业竞争加剧未来何从?

5月16日晚间,腾讯云和移动云两大云服务商相继宣布对旗下多款核心产品进行降价。其中,腾讯云降价幅度最高达40%,移动云部分产品直降60%。 而就在20天前4月26日阿里云2023合作伙伴大会上,阿里巴巴CEO张勇率先宣布启动“史上最大规模…

基于SpringBoot的人事管理系统的设计与实现

背景 人事管理管理方面的任务繁琐,以至于公司每年都在人事管理这方面投入较多的精力却效果甚微,人事管理系统的目标就是为了能够缓解人事管理工作方面面临的压力,让人事管理方面的工作变得更加高效准确。 系统架构 考虑到实际生活中在人事管理方面的需要以及对该系统认真的分…

MNN-YOLOv8 c++ 推理+交叉编译

使用 https://github.com/wangzhaode/yolov8-mnn.git 进行图片检测推理 1,下载MNN 2,ubuntu编译MNN cd MNN\ mkdir build && cd build && cmake .. -DMNN_BUILD_OPENCV=ON -DMNN_IMGCODECS=ON && make -j8 3,新建CLion共享动态库工程 新建src,includ…

RK系列(RK3568)SATA MSATA调试和无法识别问题

SOC:RK3568 Linux:kernel-4.19 Android:12 芯片资源介绍 RK3568 资源 速率 支持 PM 芯片扩展 PHY 复用 SATA0

LSTM-理解 Part-2(RNN的局限性)

之前写过一部分LSTM-理解 Part-1(RNN:循环神经网络) 这是其中的第二部分,阐述RNN的局限性。 The Problem of Long-Term Dependencies 长期依赖问题 长期依赖问题指的是在序列数据中,某些元素之间存在着较长时间的依赖…

C语言实现学生管理系统

学习完C语言之后,我们可以通过简单写一个学生管理系统来检验自己学的怎么样。很多计算机系大学生都会学到C语言,对于C语言课程的设计作业可能会感到困难,该篇博客的核心点就是带领读者单独完成学生管理系统,此篇博客附有整个学生管…