【大数据技术基础 | 实验十一】Hive实验:新建Hive表

news/2024/11/22 1:59:09/

在这里插入图片描述

文章目录

    • 一、实验目的
    • 二、实验要求
    • 三、实验原理
    • 四、实验环境
    • 五、实验内容和步骤
      • (一)启动Hive
      • (二)创建表
      • (三)显示表
      • (四)显示表列
      • (五)更改表
      • (六)删除表(或列)
    • 六、实验结果
    • 七、实验心得


一、实验目的

  1. 学会创建Hive的表;
  2. 显示Hive中的所有表;
  3. 显示Hive中表的列项;
  4. 修改Hive中的表并能够删除Hive中的表。

二、实验要求

  1. 要求实验结束时;
  2. 每位学生均能够完成Hive的DDL操作;
  3. 能够在Hive中新建,显示,修改和删除表等功能。

三、实验原理

Hive没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织Hive中的表,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。

Hive中所有的数据都存储在HDFS中,Hive中包含以下数据模型:表(Table),外部表(External Table),分区(Partition),桶(Bucket)。

Hive中Table和数据库中Table在概念上是类似的,每一个Table在Hive中都有一个相应的目录存储数据。例如,一个表pvs,它在HDFS中的路径为:/wh/pvs,其中,wh是在hive-site.xml中由${hive.metastore.warehouse.dir}指定的数据仓库的目录,所有的Table数据(不包括External Table)都保存在这个目录中。

四、实验环境

  • 云创大数据实验平台:
    在这里插入图片描述
  • Java 版本:jdk1.7.0_79
  • Hadoop 版本:hadoop-2.7.1
  • Hive 版本:hive-1.2.1

五、实验内容和步骤

点击一键搭建,将实验环境搭建完成。具体部署Hive详细步骤参考:【大数据技术基础 | 实验十】Hive实验:部署Hive

(一)启动Hive

我们在master虚拟机上首先进入hivebin目录下,然后执行hive命令即可启动:

cd /usr/cstor/hive/
bin/hive

在这里插入图片描述

(二)创建表

默认情况下,新建表的存储格式均为Text类型,字段间默认分隔符为键盘上的Tab键。

创建一个有两个字段的pokes表,其中第一列名为foo,数据类型为INT,第二列名为bar,类型为STRING。

hive> CREATE TABLE pokes (foo INT, bar STRING) ;

在这里插入图片描述

创建一个有两个实体列和一个(虚拟)分区字段的invites表。

hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING) ;

在这里插入图片描述

注意:分区字段并不属于invites,当向invites导入数据时,ds字段会用来过滤导入的数据。

(三)显示表

显示所有的表。

hive> SHOW TABLES ;

在这里插入图片描述

显示表(正则查询),同MySQL中操作一样,Hive也支持正则查询,比如显示以.s结尾的表。

hive> SHOW TABLES '.*s';

在这里插入图片描述

(四)显示表列

hive> DESCRIBE invites;

在这里插入图片描述

(五)更改表

修改表events名为3koobecaf (自行创建任意类型events表):

hive> CREATE TABLE events (foo INT, bar STRING) ;
hive> ALTER TABLE events RENAME TO 3koobecaf;
hive> SHOW TABLES ;

在这里插入图片描述

将pokes表新增一列(列名为new_col,类型为INT):

hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);
hive> DESCRIBE pokes;

在这里插入图片描述

将invites表新增一列(列名为new_col2,类型为INT),同时增加注释“a comment”:

hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');
hive> DESCRIBE invites;

在这里插入图片描述

替换invites表所有列名(数据不动):

hive> ALTER TABLE invites REPLACE COLUMNS (foo INT, bar STRING, baz INT COMMENT 'baz replaces new_col2');
hive> DESCRIBE invites;

在这里插入图片描述

(六)删除表(或列)

删除invites表bar和baz两列:

hive> ALTER TABLE invites REPLACE COLUMNS (foo INT COMMENT 'only keep the first column');
hive> DESCRIBE invites;

在这里插入图片描述

删除pokes表:

hive> DROP TABLE pokes;
hive> SHOW TABLES ;

在这里插入图片描述

六、实验结果

实验结果见实验步骤每步的运行结果。

七、实验心得

  通过本次Hive的DDL操作实验,我深刻体验到了Hive在大数据处理中的灵活性和强大功能。在实验中,我成功创建了不同类型的表,如普通表和分区表,并掌握了显示表、显示表列、修改表和删除表等基本的DDL操作。这些操作不仅让我对Hive的数据定义语言有了更深入的理解,也为我今后在大数据处理中提供了实用的技能。

  此外,我还深刻体会到了Hive与Hadoop之间的紧密集成关系。Hive利用Hadoop的分布式存储和计算能力,能够高效地处理大规模数据集。这种集成关系不仅提高了数据处理效率,也为我提供了更多的数据处理和分析手段。

  总的来说,本次Hive的DDL操作实验让我对Hive有了更深入的理解和实践经验。我将把这次实验中学到的知识和技能应用到今后的学习和工作中,不断提高自己的数据处理和分析能力。同时,我也期待在未来的课程中能够学习更多关于大数据处理和分析的知识和技能。


http://www.ppmy.cn/news/1548907.html

相关文章

【MYSQL】Where和Having的区别

假设我们有一个 Orders 表,包含以下数据: idcustomer_idamount1110021200321504330053250645074100 1. 使用 WHERE 子句 目标 查询每个客户的总订单金额,并且只考虑订单金额大于 150 的订单。 查询 sqlSELECT customer_id, SUM(amount)…

postgresql.conf与postgresql.auto.conf区别

1. 简介 PostgreSQL 9.4版本开始引入postgresql.auto.conf 配置文件,作为postgresql.conf文件的补充,在配置文件格式上,它和postgresql.conf保持一致 1.1 postgresql.conf 这是一个静态的参数文件,包含了数据库服务器的基本配置…

2024年11月19日随笔

又是将近一个月没有写博客了,最近是真的很忙啊,11月9号去考了软考,是真的难啊,当时报名的自己是真不知道天高地厚啊,九月份报名,学了俩月,而且还是课余时间学的,根本没学多少东西&am…

从0开始学习Linux教程目录

从0开始学习Linux教程旨在帮助大家从0开始入手学习Linux,该教程将会一直更新。 Linux教程目录 从0开始学习Linux——简介&安装 从0开始学习Linux——搭建属于自己的Linux虚拟机 从0开始学习Linux——文本编辑器 从0开始学习Linux——Yum工具 从0开始学习Linux—…

element ui 搜索框中搜索关键字标红展示

示例如图 el-select上绑定remote-method属性 <el-select v-model"checkForm.type" filterable remote reserve-keyword :remote-method"remoteMethod" :loading"loading"><el-option v-for"item in options" :key"ite…

VRT: 关于视频修复的模型

&#x1f3e1;作者主页&#xff1a;点击&#xff01; &#x1f916;编程探索专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2024年11月15日14点34分 神秘男子影, 秘而不宣藏。 泣意深不见, 男子自持重, 子夜独自沉。 论文链接 点击开启你的论文编程之旅…

用 Python 与 Turtle 创作属于你的“冰墩墩”!

用 Python 与 Turtle 创作属于你的“冰墩墩”&#xff01; &#x1f980; 前言 &#x1f980;&#x1f41e;往期绘画&#x1f41e;&#x1f40b; 效果图 &#x1f40b;&#x1f409; 代码 &#x1f409; &#x1f980; 前言 &#x1f980; 冰墩墩是2022年北京冬季奥林匹克运动会…

微店商品详情 API 接口如何获取

要获取微店商品详情API接口&#xff0c;你需要遵循以下步骤&#xff1a; 注册与认证&#xff1a;首先&#xff0c;你需要在微店平台完成注册&#xff0c;并进行必要的认证流程&#xff0c;以确保具备获取API接口的资格。 深入研究政策&#xff1a;仔细阅读并理解微店关于API使…