sqoop导入hdfs,hive

ops/2024/12/23 0:14:05/

sqoop将mysql中的表导入到hdfs

sqoop import \
> --connect jdbc:mysql://192.168.52.150/test \
> --username root \
> --password 123456 \
> --table emp \
> --delete-target-dir \
> --target-dir '/sqoop_works/emp_1'

在这里插入图片描述
将数据导入hive中,首先要在hive中创建目标表

create database hivesqoop;
use hivesqoop;
create table hivesqoop.emp_add_hive(id int,hon string,street string,city string
)
row format delimited fields terminated by '\t'
stored as orc;

然后导入

 sqoop import --connect jdbc:mysql://192.168.52.150/test --username root --password 123456 --table emp_add --hcatalog-database hivesqoop --hcatalog-table emp_add_hive -m 1

将增量数据导入hdfs
加上 --where id >= 120

hive导出到MySQL 是换个方向。


http://www.ppmy.cn/ops/144170.html

相关文章

Linux Systemd基础教程

一、什么是systemd? systemd是Linux系统的一套基本构建模块。它提供了一个系统和服务管理器,作为PID 1运行并启动系统的其余部分。 systemd提供积极的并行化功能,使用套接字和D-Bus激活来启动服务,提供按需启动守护进程&#xf…

【Elasticsearch05】企业级日志分析系统ELK之集群工作原理

Elasticsearch 集群工作原理 官方说明 Elasticsearch Guide [8.17] | Elastichttps://www.elastic.co/guide/en/elasticsearch/reference/current/index.html 单机节点 ES 存在单点可用性和性能问题,可以实现Elasticsearch多机的集群解决 Elasticsearch 支持集群模式 能够提…

利用CNN与多尺度特征、注意力机制的融合实现低分辨率人脸表情识别,并给出模型介绍与代码实现

大家好,我是微学AI,今天给大家介绍一下利用CNN与多尺度特征、注意力机制的融合实现低分辨率人脸表情识别,并给出模型介绍与代码实现。在当今社会,人脸识别技术已广泛应用,但特定场景下的低质量图像仍是一大挑战。 低分…

Docker:Docker Compose(补充三)

Docker:Docker Compose 1. Docker Compose 批量管理容器的工具 1. Docker Compose 批量管理容器的工具 Docker Compose 是一个用于定义和运行多容器 Docker 应用程序的工具。通过一个 YAML 文件来配置应用服务,它允许用户编排、组合和配置多个容器的部署…

K8s docker-compose的入门

一、Docker Compose 简介 什么是 Docker Compose? 用于定义和运行多容器 Docker 应用的工具。Docker Compose 的主要功能 使用 docker-compose.yml 文件定义服务。一键启动和管理多容器环境。安装与环境准备 安装 Docker 和 Docker Compose。检查版本:d…

王佩丰24节Excel学习笔记——第十五讲:条件格式与公式

【以 Excel2010 系列学习,用 Office LTSC 专业增强版 2021 实践】 【本章小技巧】 简单条件格式的设置多个条件叠加使用时,会覆盖之前格式条件格式新建规则使用公式自定义时,注意绝对引用单元格 一、使用简单的条件格式 1、为特定范围的数值…

在 Spark 上实现 Graph Embedding

在 Spark 上实现 Graph Embedding 主要涉及利用大规模图数据来训练模型,以学习节点的低维表示(嵌入)。这些嵌入能够捕捉和反映图中的节点间关系,如社交网络的朋友关系或者物品之间的相似性。在 Spark 上进行这一任务,可…

sqlite3 支持位运算 和view和 triger

数据设置条件以后可以.根据门限自动调整其他的值 由数据库记录修改时间,及记录-> 网元设备的告警产生时间,设置超时清除时间,记录系统的原始时间戳 CPp 有 sqlite 支持 json 导出字符串,json 库将字符串,映射为结构体 triger update table 更新到一个 可设置参数列表 ,view …