Hadoop学习总结(Hive的远程服务、数据模型操作、数据操作)

embedded/2024/9/23 15:23:47/

      在启动hive时要先启动Hadoop。

在SecurityCRT 或者在 Xshell 进行虚拟机链接

(这里使用Xshell )

一、Hive 的管理

1、CLI 方式

(1)启动 Hive

直接输入 hive

(2)退出

直接输入以下一条命令,命令如下:

exit;
quit;

(3)查看数据仓库中的表

命令如下:

show tables;

(4)查看数据仓库中的内置函数

命令如下:

show functions;

以上结果是还未截图完的

(5)清屏

命令如下:

!clear;

2、远程服务

      在启动hive时要先启动Hadoop。先启动hive 然后再启动 hiveserver2

      输入 hiveserver2 之后不需要在操作,不能关闭当前会话,复制一个会话

复制新的会话,以下操作在新会话中

在新会话中输入 jps 进行查看,出现图片以下进程,表示启动 hiveserver2 成功

进行数据库远程连接

输入远程连接命令
beeline输入远程连接协议,连接到指定 Hive 服务(hadoop0)的主机名和端口号(默认10000)
!connect jdbc:hive2://hadoop0:10000输入用户名和密码查看数据库
show databases;

      执行 show databases; 命令成功,说明远程连接成功。

二、数据模型操作

1、Hive 数据库操作

(1)创建一个数据库

语法:
create database 数据库名;

(2)显示数据库

​语法:
show databases;

(3)查看数据库详情

语法:
desc database 数据库名;

(4)切换数据库

语法:
use 数据库名;

(5)修改数据库

语法:
alter 数据库名 set dbproperties
(property_name = property_value,...)

(6)删除数据库

语法:
drop database 数据库名;

2、Hive 内部表的操作

创建一个数据表

创建一个数据表
create table complex(
col1 array<int>,
col2 map<int,string>,
col3 struct<a:string,b:int,c:double>);查看数据表
show tables;

(1)基本类型建表

      为了方便操作克隆一个新的会话

      首先在hadoop0的 /home 目录下 创建 hivedata 目录,在该文件下创建 user.txt 文件,并添加以下内容:

user.txt

1,allen,18

2,tom,23

3,jerry,28

进入 /home 目录
cd /home创建 hivedata 目录
mkdir hivedata查看
ll进入 hivedata 目录
cd hivedata创建 user.txt 文件,并添加内容
vi user.txt查看 user.txt 文件内容
cat user.txt

建表语法:

create table t_表名(字段1 字段类型, 字段2 字段类型, ...) row format 
delimited fields terminated by '字符分隔符';

法一:

创建数据表

      创建表中的 ',' 表示在数据中用 , 来间隔

create table t_user(id int,name string,age int) row format delimited fields terminated by ',';

把文件 user.txt上传到 hdfs集群上

上传命令

hadoop fs -put user.txt /user/hive/warehouse/itcast.db/t_user

查看数据表,就能看到数据

法二:

创建数据表

      创建表中的 ',' 表示在数据中用 , 来间隔

create table t_user(id int,name string,age int) row format delimited fields terminated by ',';

将数据加载到 hdfs上

load data local inpath '/home/hivedata/user.txt/' into table t_user;
select * from t_user;

(2)删除数据表

drop table 数据库名;

(3)复杂类型建表

建表语句:

create table t_表名(字段1 字段类型, 字段2 字段类型, ...) 
row format delimited fields terminated by '字符分隔符'
collection items terminated by '字符分隔符' 
map keys terminated by '字符分隔符';

例子:

      首先创建一个文件名为student.txt添加以下内容

将内容上传到虚拟机上

查看

创建表:

create table t_student(id int, name string, hobby map<string, string>) 
row format delimited fields terminated by ',' 
collection items terminated by '-' 
map keys terminated by ':';

加载驱动:

load data local inpath '/home/hivedata/student.txt/' into table t_student;

查询表: 

select * from t_student;

3、Hive 外部表的操作

      首先在HDFS上创建文件夹,传输数据到文件夹上

创建文件夹
hadoop fs -mkdir /hivedata
传输数据
hadoop fs -put /home/hivedata/user.txt /hivedata

建表语句:

create external table t_表名(字段1 字段类型, 字段2 字段类型, ...) row format 
delimited fields terminated by '字符分隔符'  location 'hdfs上的文件路径'
1、创建表
create external table t_表名(字段1 字段类型, 字段2 字段类型, ...) row format 
delimited fields terminated by '字符分隔符'  location 'hdfs上的文件路径'2、装载数据(上传到HDFS) /home/hivedata/student.txt --> 表所在的文件夹(/user/hive/warehouse/itcast.db/t_student)

创建表:

create external table t_student2(id int,name string ,age int) row format delimited fields terminated by ',' location '/hivedata';

查询表:

select * from t_student2;


http://www.ppmy.cn/embedded/12721.html

相关文章

深圳杯东三省联赛数学建模挑战赛2024B题

批量工件并行切割下料问题 板材切割下料是工程机械领域重要的生产环节。热切割机由固定板材的底部轨道和发出激光&#xff08;或火焰&#xff09;的多刀具系统构成。在一块板材下料过程中&#xff0c;底部轨道&#xff08;下面简称轨道&#xff09;只能沿着板材的长边&#xff…

CSS基础——1.CSS样式

CSS 是“Cascading Style Sheet”的缩写,中文意思为“层叠样式表”,用于描述网页的表现形式(例如网页元素的位置、大小、颜色等。css的主要作用是定义网页的样式 CSS样式 1. 行内样式 行内样式:直接定义在 HTML 标签的 style 属性中 <!DOCTYPE html> <html la…

Java 随笔记: 面向对象编程(三)

目录 1. 类变量 2. 类方法 3. main 方法 4. 代码块 5. 单例设计模式 6. final 关键字 8. 抽象类 9. 模板设计模式 10. 接口 11. 内部类 1. 类变量 在Java中&#xff0c;类变量也被称为静态变量&#xff0c;用关键字“static”声明。类变量属于整个类&#xff0c;而不…

idea 通过maven构建无法使用@SpringBootApplication

问题描述 SpringBootApplication标红&#xff0c;没有提示&#xff0c;无法启动springboot使用maven构建。通过idea的标准版本构建 原因 springboot构建启动依赖spring-boot-maven-plugin idea的标准版本没有指定构建版本&#xff0c;然后在springboot-parent里面没有指定默…

大学生在线考试|基于SprinBoot+vue的在线试题库系统系统(源码+数据库+文档)

大学生在线考试目录 基于SprinBootvue的在线试题库系统系统 一、前言 二、系统设计 三、系统功能设计 试卷管理 试题管理 考试管理 错题本 考试记录 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取&#xff1a; 博主介绍&#…

达梦(DM)数据库管理表

达梦DM数据库管理表 管理表管理表的准则表的存储空间上限表的存储位置 创建表创建普通表指定表的聚集索引查询建表更改表删除表清空表查看表定义查看表空间使用 表是数据库中数据存储的基本单元&#xff0c;是对用户数据进行读和操纵的逻辑实体&#xff0c;表由列和行组成&…

Rust常用特型之TryFrom和TryInto特型

在Rust标准库中&#xff0c;存在很多常用的工具类特型&#xff0c;它们能帮助我们写出更具有Rust风格的代码。 我们前面学习了了From和Into特型&#xff0c;今天我们来学们一下两个相似的特型TryFrom和TryInto。看名字就知道他们是试图转换的意思&#xff0c;那为什么有试图转换…

材质系统(1):起源与概念

目录 前言 1. 材质系统的源头 2. 材质系统与光照模型的关系 前言 材质系统是计算机图形学的一部分。在图形学中&#xff0c;材质(Material)是一种描述表面外观的属性。在三维计算机图形中&#xff0c;通常需要为每个物体指定材质&#xff0c;以便在渲染时准确地呈现物体的外…