shell中执行hive指令以及hive中执行shell和hdfs指令语法

devtools/2024/11/13 9:56:48/

0. 简介

主要介绍了三种环境命令执行语法:

  1. shell中执行hive指令
  2. hive中执行shell指令
  3. hive中执行hdfs指令

hive_7">1. shell中执行hive指令

语法:hive [-hiveconf x=y]* [<-i filename>]* [<-f filename> | <-e query-string>] [-S]
说明:

  1. -i 从文件初始化HQL。执行sql文件并留在hive交互窗口;hive -i sql_string.hql
    我们先创建一个sql_string.hql文件:vim sql_string.sql
    i切换到输入模式,输入如下sql,再按esc,输入:wq回车保存脚本文件;
    在这里插入图片描述
    然后再执行hive -i指令
    在这里插入图片描述
    输出后,停留再hive交互窗口

  2. -e从命令行执行指定的HQL;
    比如执行一条hive执行并将输出的数据重定向到当前工作目录:hive -e "use mydb;select appid,game_type from dim_game_info limit 10" > game_info.txt;当然也可以把hive参数设置语句配里边,多条语句英文分号分隔即可:hive -e "set mapred.reduce.tasks=10;select appid,game_type from mydb.dim_game_info limit 10;"参数配置只对该会话生效;

  3. -f 执行HQL脚本:hive -f sql_string.hql;这个sql_string.hql是一个包含hive命令的文本文件,案例类同hive -i指令。

  4. -v 输出执行的HQL语句到控制台

  5. -p connect to Hive Server on port number

  6. -hiveconf x=y Use this to set hive/hadoop configuration variables.可用来配置一些hive参数,比如:hive -hiveconf mapred.reduce.tasks=10;设置reduce个数为10个;

  7. -S 设置静默状态,不输出ok等消息;

hiveshell_25">2. hive中执行shell指令

只需要在指令最前方加上!号再以;结尾即可

比如查看/usr/local/hive/hive_data目录下的文件:!ls /usr/local/hive/hive_data;
在这里插入图片描述清除窗口内容指令:!clear;

查看文本文件前两行:!head /usr/local/hive/hive_data/target_game.txt -n2;
在这里插入图片描述
需要注意的是,以下两类不可行:

  1. 重定向,比如(前两行保存到test.txt文件中):!head /usr/local/hive/hive_data/target_game.txt -n2 > test.txt
  2. 管道用法(查看前两行):!cat /usr/local/hive/hive_data/target_game.txt | head -n2

hivehdfs_38">3. hive中执行hdfs指令

在Hive窗口中执行hdfs命令。直接Hadoop命令中的关键字“hadoop”去掉,指令以dfs开头,以分号;结尾即可,例如,

查看HDFS目录下的文件情况:dfs -ls /user/hive/warehouse/mydb.db/;

复制文件到本地系统:
!pwd;查看工作目录

在这里插入图片描述
复制到工作目录下:
dfs -get /user/hive/warehouse/mydb.db/ads_mg_core_target_value ./hive_data/target_name_get.txt;

再查看本地系统目录下的文件:!ls ./hive_data;出现了命名为target_name_get.txt的本地文件

在这里插入图片描述

更多hdfs命令:点我查看常用hdfs指令


http://www.ppmy.cn/devtools/132873.html

相关文章

u盘怎么重装电脑系统_u盘重装电脑系统步骤和详细教程【新手宝典】

u盘怎么重装电脑系统&#xff1f;一个u盘怎么重装电脑系统呢&#xff0c;需要将u盘制作成u盘启动盘pe&#xff0c;然后通过U盘启动盘进入pe进行安装系统&#xff0c;下面小编就教大家u盘重装电脑系统步骤和详细教程。 u盘启动是什么意思&#xff1f; U盘启动盘是一种具有特殊功…

Redis - 主从复制

在分布式系统中为了解决单点问题&#xff0c;通常会把数据复制多个副本部署到其他服务器&#xff0c;满⾜故障恢 复和负载均衡等需求。Redis也是如此&#xff0c;它为我们提供了复制的功能&#xff0c;实现了相同数据的多个Redis副 本。复制功能是⾼可⽤Redis的基础&#xff0c…

编译ffmpeg动态库时设置RPATH为$ORIGIN

原本&#xff0c;我这样编译: ./configure \--enable-xxx \--disable-yyy \...为了设置 RPATH, 尝试了在 configure 后面设置&#xff0c;如下几种都无效: --extra-ldsoflags"-Wl,-rpath,$ORIGIN" 没有 RPATH--extra-ldsoflags"-Wl,-rpath,$ORIGIN" 没有…

【前端】Svelte:核心语法和组件基础

本教程将详细介绍 Svelte 的核心语法和组件基础&#xff0c;包括 <script>、<style> 和 HTML 模板的使用方法。我们将通过实例掌握双向数据绑定、条件渲染、循环等基本语法&#xff0c;最后编写简单的交互式组件。 Svelte 组件机制 Svelte 使用组件化结构来组织代…

Chromium127编译指南 Mac篇(二)- 安装Xcode

1. 概述 在Chromium开发的道路上&#xff0c;为Mac平台搭建正确的环境是至关重要的第一步。本文将聚焦于Xcode的安装过程&#xff0c;它作为Mac上不可或缺的开发工具&#xff0c;为Chromium的编译提供了必要的编译器和工具链。 我们将详细解析如何选择、下载并安装适合Chromium…

springboot系列--web相关知识探索七

一、前言 web相关知识探索六中研究了接口数据响应与简单的内容协商的底层原理。本次主要是探索一下内容协商的底层原理。 二、内容协商 一、什么是内容协商 根据客户端接收能力不同&#xff0c;返回不同媒体类型的数据。 二、内容协商过程演示 一、问题 在项目开发中&#xf…

全排列(DFS)

给定一个不含重复数字的数组 nums &#xff0c;返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 示例 1&#xff1a; 输入&#xff1a;nums [1,2,3] 输出&#xff1a;[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]]示例 2&#xff1a; 输入&#xff1a;nums …

unity实习生面试

北京教育中厂的成都分部 11.5 时长有28分钟 一面二面合并了 面试官人挺好的&#xff0c;也不是特别急&#xff0c;答的不是很好的问题面试官直接跳过了 顺序不是很统一 只写记得的部分 1.问了值类型和引用类型的区别 2. 问了ugui的组件有哪些 ugui有哪些优化方案 答用打图集…