sqoop导入hdfs,hive

server/2024/12/23 7:06:16/

sqoop将mysql中的表导入到hdfs

sqoop import \
> --connect jdbc:mysql://192.168.52.150/test \
> --username root \
> --password 123456 \
> --table emp \
> --delete-target-dir \
> --target-dir '/sqoop_works/emp_1'

在这里插入图片描述
将数据导入hive中,首先要在hive中创建目标表

create database hivesqoop;
use hivesqoop;
create table hivesqoop.emp_add_hive(id int,hon string,street string,city string
)
row format delimited fields terminated by '\t'
stored as orc;

然后导入

 sqoop import --connect jdbc:mysql://192.168.52.150/test --username root --password 123456 --table emp_add --hcatalog-database hivesqoop --hcatalog-table emp_add_hive -m 1

将增量数据导入hdfs
加上 --where id >= 120

hive导出到MySQL 是换个方向。


http://www.ppmy.cn/server/152429.html

相关文章

多进程、多线程、分布式测试支持-pytest-xdis插件

pytest-xdist是pytest测试框架的一个插件,它提供了多进程、多线程和分布式测试的支持,可以显著提高测试效率。以下是对pytest-xdist的详细介绍: 一、安装 要使用pytest-xdist,首先需要安装pytest和pytest-xdist。可以通过pip进行…

国际抖音TikTok矩阵运营的关键要素有哪些?

在全球化的今天,TikTok作为新兴的社交媒体平台,为国际品牌提供了前所未有的营销机遇。通过构建TikTok矩阵,品牌可以迅速扩大国际影响力,精准触达目标受众,提升品牌认知度和用户粘性。本文将详细探讨国际抖音TikTok矩阵…

css代码加密

CSS代码加密是一种手段,目的是保护CSS代码不被轻易查看或修改。然而,需要注意的是,这种加密并不是绝对安全的,因为它可以被解密。以下是一种简单的CSS加密方法,使用了简单的替换加密: function encryptCSS…

C语言入门指南:从零开始的编程之路

记得我刚开始接触编程时,也像很多初学者一样充满疑惑。编程看起来很神奇,但要如何开始呢?经过多年编程经验的积累,今天和大家分享如何入门C语言编程。 C语言诞生于1972年,由Dennis Ritchie在贝尔实验室开发。它的出现彻底改变了计算机编程的历史。虽然现在有很多更新的编程语…

strongswan测试证书生成

环境如下 $ openssl version OpenSSL 3.0.15 3 Sep 2024 (Library: OpenSSL 3.0.15 3 Sep 2024) $ $ openssl version | sed -re s/^OpenSSL ([0-9])\..*/\1/ 3生成证书的目录及证书文件。 testing/hosts/winnetou/etc/ca$ ls bliss ed25519 …

2.6 网络面试问题

tcp 与 udp的区别 1.tcp 是基于连接的 UDP是基于数据包 2.处理并发的方式不通 a.tcp用epoll进行监听的 b. udp是模拟tcp的连接过程,服务端开放一个IP端口,收到连接后,服务端用另一个IP和端口发包给客户端。 3.tcp根据协议MTU黏包及…

递归实现指数型枚举(递归)

92. 递归实现指数型枚举 - AcWing题库 每个数有选和不选两种情况 我们把每个数看成每层,可以画出一个递归搜索树 叶子节点就是我们的答案 很容易写出每dfs函数 dfs传入一个u表示层数 当层数大于我们n时,去判断每个数字的选择情况,输出被选…

Python实现应用最小二乘法融合SVM-LSTM回归模型电力负荷预测项目实战

说明:这是一个机器学习实战项目(附带数据代码文档视频讲解),如需数据代码文档视频讲解可以直接到文章最后关注获取。 1.项目背景 随着全球能源需求的不断增长,电力系统的稳定性和效率变得至关重要。准确的电力负荷预测…