DataX（Doris同步数据到SelectDB）

news/2024/9/18 14:46:20/ 标签: 数据仓库

背景

由于之前的doris数仓在本地的服务器，当数据量越来越大，服务器的性能达不到要求，查询数据经常超时，故需要把本地的doris数仓部署到云上，本文以阿里云为例，迁移工具使用的阿里开源的datax。
datax官方文档

准备

首先使用navicat连接上源数据库与目标数据库

在这里插入图片描述
阿里云数仓
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在目标数据创建需要迁移的表

源数据库上面执行下面的语句得到建表语句

show CREATE TABLE your_table;

在这里插入图片描述

然后拿到建表语句去目标数据库执行。

datax工具安装

环境

Linux或者windows
JDK(1.8以上，推荐1.8)
Python(2或3都可以)
Apache Maven 3.x (Compile DataX)

方法一、直接下载DataX工具包：DataX下载地址

下载后解压至本地某个目录，进入bin目录，即可运行同步作业：

$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}

自检脚本： python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json

方法二、下载DataX源码，自己编译：DataX源码

(1)、下载DataX源码：

$ git clone git@github.com:alibaba/DataX.git

(2)、通过maven打包：

$ cd  {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功，日志显示如下：

[INFO] BUILD SUCCESS
[INFO] -----------------------------------------------------------------
[INFO] Total time: 08:12 min
[INFO] Finished at: 2015-12-13T16:26:48+08:00
[INFO] Final Memory: 133M/960M
[INFO] -----------------------------------------------------------------

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/，结构如下：

$ cd  {DataX_source_code_home}
$ ls ./target/datax/datax/
bin		conf		job		lib		log		log_perf	plugin		script		tmp

配置示例：从stream读取数据并打印到控制台

第一步、创建作业的配置文件（json格式）

可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}

$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py -r streamreader -w selectdbwriter

PS C:\Users\zhubayi\Downloads\datax\datax\bin> python datax.py -r streamreader -w selectdbwriterDataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.Please refer to the streamreader document:https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.mdPlease refer to the selectdbwriter document:https://github.com/alibaba/DataX/blob/master/selectdbwriter/doc/selectdbwriter.mdPlease save the following configuration as a json file and  usepython {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json
to run the job.{"job": {"content": [{"reader": {"name": "streamreader","parameter": {"column": [],"sliceRecordCount": ""}},"writer": {"name": "selectdbwriter","parameter": {"column": [],"connection": [{"jdbcUrl": "","selectedDatabase": "","table": []}],"loadProps": {},"loadUrl": [],"password": "","postSql": [],"preSql": [],"username": ""}}}],"setting": {"speed": {"channel": ""}}}
}

dorisreader和selectdbwriter配置

{"core":{"transport": {"channel": {"speed": {"byte": 536870912000,"record": 1000000}}}},"job": {"content": [{"reader": {"name": "dorisreader","parameter": {"column": ["id", "name", "nick_name", "age"],"connection": [{"jdbcUrl": ["jdbc:mysql://127.0.0.1:9030/test?useSSL=false"],"table": ["t1"]}],"username": "root","password": "123456","splitPk": "id","where": ""}},"writer": {"name": "selectdbwriter","parameter": {"loadUrl": ["192.168.3.123:8080"],"loadProps": {"file.type": "json","file.strip_outer_array": true},"column": ["id", "name", "nick_name", "age"],"username": "admin","password": "123456","postSql": [],"preSql": [],"connection": [{"jdbcUrl": "jdbc:mysql://192.168.3.123:9030/test?useSSL=false","table": ["t1"],"selectedDatabase": "test"}],"maxBatchRows": 1000000,"maxBatchByteSize": 536870912000}}}],"setting": {"speed": {"channel": "1"},"errorLimit": {"record": 0,"percentage": 0}}}
}

这个任务配置文件包含了一个名为“job”的任务，它有两个子节点：setting和content。其中，setting节点包含了任务的一些设置，例如并发通道数；content节点则包含了数据读取和写入的详细配置信息。

core与job参数介绍

配置说明
core.transport.channel.speed.byte单个channel容纳最多的字节数
core.transport.channel.speed.record单个channel容纳最多的record数
job.setting.speed.channel该job所需要的channel的个数
job.setting.speed.byte该job最大的流量
job.setting.speed.record该job最大的record流量

reader参数说明

官方dorisreader配置地址

  • jdbcUrl

    • 描述：描述的是到对端数据库的JDBC连接信息，使用JSON的数组描述，并支持一个库填写多个连接地址。之所以使用JSON数组描述连接信息，是因为阿里集团内部支持多个IP探测，如果配置了多个，DorisReader可以依次探测ip的可连接性，直到选择一个合法的IP。如果全部连接失败，DorisReader报错。 注意，jdbcUrl必须包含在connection配置单元中。对于阿里集团外部使用情况，JSON数组填写一个JDBC连接即可。

    • 必选：是

    • 默认值：无

  • username

    • 描述：数据源的用户名

    • 必选：是

    • 默认值：无

  • password

    • 描述：数据源指定用户名的密码

    • 必选：是

    • 默认值：无

  • table

    • 描述：所选取的需要同步的表。使用JSON的数组描述，因此支持多张表同时抽取。当配置为多张表时，用户自己需保证多张表是同一schema结构，DorisReader不予检查表是否同一逻辑表。注意，table必须包含在connection配置单元中。

    • 必选：是

    • 默认值：无

  • column

    • 描述：所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。用户使用代表默认使用所有列配置，例如['']。
      支持列裁剪，即列可以挑选部分列进行导出。
      支持列换序，即列可以不按照表schema信息进行导出。
      支持常量配置，用户需要按照Doris SQL语法格式: [“id”, “table”, “1”, “‘bazhen.csy’”, “null”, “to_char(a + 1)”, “2.3” , “true”] id为普通列名，table为包含保留字的列名，1为整形数字常量，'bazhen.csy’为字符串常量，null为空指针，to_char(a + 1)为表达式，2.3为浮点数，true为布尔值。

    • 必选：是

    • 默认值：无

  • splitPk

    • 描述：DorisReader进行数据抽取时，如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片，DataX因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能。
      推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。
      目前splitPk仅支持整形数据切分，不支持浮点、字符串、日期等其他类型。如果用户指定其他非支持类型，DorisReader将报错！
      如果splitPk不填写，包括不提供splitPk或者splitPk值为空，DataX视作使用单通道同步该表数据。

    • 必选：否

    • 默认值：空

  • where

    • 描述：筛选条件，DorisReader根据指定的column、table、where条件拼接SQL，并根据这个SQL进行数据抽取。在实际业务场景中，往往会选择当天的数据进行同步，可以将where条件指定为gmt_create > $bizdate 。注意：不可以将where条件指定为limit 10，limit不是SQL的合法where子句。
      where条件可以有效地进行业务增量同步。如果不填写where语句，包括不提供where的key或者value，DataX均视作同步全量数据。

    • 必选：否

    • 默认值：无

  • querySql

    • 描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id
      当用户配置querySql时，DorisReader直接忽略table、column、where条件的配置，querySql优先级大于table、column、where选项。

    • 必选：否

    • 默认值：无

类型转换
目前DorisReader支持大部分Doris类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。

下面列出DorisReaderr针对Doris类型转换列表:

DataX 内部类型doris 数据类型
Longint, tinyint, smallint, int, bigint,Largint
Doublefloat, double, decimal
Stringvarchar, char, text, string, map, json, array, struct
Datedate, datetime
BooleanBoolean

请注意:

tinyint(1) DataX视作为整形。

writer配置参数说明

官方selectdbwriter配置地址

  • jdbcUrl

    • 描述：selectdb 的 JDBC 连接串，用户执行 preSql 或 postSQL。
    • 必选：是
    • 默认值：无

  • loadUrl

    • 描述：作为 selecdb 的连接目标。格式为 “ip:port”。其中 IP 是 selectdb的private-link，port 是selectdb 集群的 http_port
    • 必选：是
    • 默认值：无

  • username

    • 描述：访问selectdb数据库的用户名
    • 必选：是
    • 默认值：无

  • password

    • 描述：访问selectdb数据库的密码
    • 必选：否
    • 默认值：空

  • connection.selectedDatabase

    • 描述：需要写入的selectdb数据库名称。
    • 必选：是
    • 默认值：无

  • connection.table

    • 描述：需要写入的selectdb表名称。
      • 必选：是
      • 默认值：无

  • column

    • 描述：目的表需要写入数据的字段，这些字段将作为生成的 Json 数据的字段名。字段之间用英文逗号分隔。例如: “column”: [“id”,“name”,“age”]。
    • 必选：是
    • 默认值：否

  • preSql

    • 描述：写入数据到目的表前，会先执行这里的标准语句。
    • 必选：否
    • 默认值：无

  • postSql

    • 描述：写入数据到目的表后，会执行这里的标准语句。
    • 必选：否
    • 默认值：无

  • maxBatchRows

    • 描述：每批次导入数据的最大行数。和 batchSize 共同控制每批次的导入数量。每批次数据达到两个阈值之一，即开始导入这一批次的数据。
    • 必选：否
    • 默认值：500000

  • batchSize

    • 描述：每批次导入数据的最大数据量。和 maxBatchRows 共同控制每批次的导入数量。每批次数据达到两个阈值之一，即开始导入这一批次的数据。
    • 必选：否
    • 默认值：90M

  • maxRetries

    • 描述：每批次导入数据失败后的重试次数。
    • 必选：否
    • 默认值：3

  • labelPrefix

    • 描述：每批次上传文件的 label 前缀。最终的 label 将有 labelPrefix + UUID 组成全局唯一的 label，确保数据不会重复导入
    • 必选：否
    • 默认值：datax_selectdb_writer_

  • loadProps

    • 描述：COPY INOT 的请求参数

      这里包括导入的数据格式：file.type等，导入数据格式默认我们使用csv，支持JSON，具体可以参照下面类型转换部分

    • 必选：否

    • 默认值：无

  • clusterName

    • 描述：selectdb could 集群名称

    • 必选：否

    • 默认值：无

  • flushQueueLength

    • 描述：队列长度

    • 必选：否

    • 默认值：1

  • flushInterval

    • 描述：数据写入批次的时间间隔，如果maxBatchRows 和 batchSize 参数设置的有很大，那么很可能达不到你这设置的数据量大小，会执行导入。

    • 必选：否

    • 默认值：30000ms

类型转换
默认传入的数据均会被转为字符串，并以\t作为列分隔符，\n作为行分隔符，组成csv文件进行Selectdb导入操作。

默认是csv格式导入，如需更改列分隔符， 则正确配置 loadProps 即可：

"loadProps": {"file.column_separator": "\\x01","file.line_delimiter": "\\x02"
}

如需更改导入格式为json， 则正确配置 loadProps 即可：

"loadProps": {"file.type": "json","file.strip_outer_array": true
}

启动DataX

$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./doris2selecdb.json

同步结束，显示日志如下：

2024-08-26 17:10:18.721 [job-0] INFO  JobContainer - PerfTrace not enable!
2024-08-26 17:10:18.721 [job-0] INFO  StandAloneJobContainerCommunicator - Total 12976386 records, 1444190303 bytes | Speed 2.33MB/s, 21993 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 28.820s |  All Task WaitReaderTime 308.386s | Percentage 100.00%
2024-08-26 17:10:18.722 [job-0] INFO  JobContainer -
任务启动时刻                    : 2024-08-26 17:00:24
任务结束时刻                    : 2024-08-26 17:10:18
任务总计耗时                    :                593s
任务平均流量                    :            2.33MB/s
记录写入速度                    :          21993rec/s
读出记录总数                    :            12976386
读写失败总数                    :                   0

http://www.ppmy.cn/news/1516790.html

相关文章

client网络模块的开发和client与server端的部分联动调试

client网络模块的开发和client与server端的部分联动调试

客户端网络模块的开发 我们需要先了解socket通信的流程 socket通信 server端的流程 client端的流程 对于closesocket()函数来说 closesocket()是用来关闭套接字的,将套接字的描述符从内存清除,并不是删除了那个套接字,只是切断了联系,所以我们如果重复调用,不closesocket()…
阅读更多...
20240828 每日AI必读资讯

20240828 每日AI必读资讯

8岁女孩玩转AI编程，45分钟打造聊天机器人，Karpathy都看呆了 - 新晋顶流AI代码编辑器——Cursor，已经进化到了“0手工代码”阶段。 - 提供了多个AI模型，包括GPT-4、GPT-4o和Claude 3.5 Sonnet等，可以通过跟大模型聊天…
阅读更多...
微服务——远程调用

微服务——远程调用

为什么需要远程调用？ 在微服务架构中，每个服务都是独立部署和运行的，它们之间需要相互协作以完成复杂的业务逻辑。因此，远程调用成为微服务之间通信的主要方式。通过远程调用，一个服务可以请求另一个服务执行某些操作或…
阅读更多...
【Python机器学习】NLP概述——词序和语法

【Python机器学习】NLP概述——词序和语法

词的顺序很重要，那些在词序列（如句子）中控制词序的规则被称为语言的语法（也被称为文法）。这是之前的词袋或词向量例子中所丢弃的信息。在大多数简短的短语甚至许多完整的句子中，上述词向量近似方法都可以奏…
阅读更多...
设计模式 7 桥接模式

设计模式 7 桥接模式

设计模式 7 创建型模式（5）：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式结构型模式（7）：适配器模式、桥接模式、组合模式、装饰者模式、外观模式、享元模式、代理模式行为型模式&#xff0…
阅读更多...
整合sentinel遇到的小问题

整合sentinel遇到的小问题

1.运行jar包 ，端口为默认8080 正确命令 java -Dserver.port8090 -Dcsp.sentinel.dashboard.server127.0.0.1:8090 -Dproject.namesentinel-dashboard -jar sentinel-dashboard-1.8.6.jar -D这些指令要在 -jar前面 在宝塔部署时，直接复制到运行命令后…
阅读更多...
vue事件监听

vue事件监听

我们可以使用 v-on 指令 (简写为 ) 来监听 DOM 事件，并在事件触发时执行对应的 1.回车事件（点击回车触发） confirm 适用uni-app keyup.enter 适用vue3 运用场景：通常在文本框输入的时候使用 2.点击事件（鼠标左键…
阅读更多...
Cubase操作：如何修改每个音频块的名字 写歌习惯

Cubase操作：如何修改每个音频块的名字 写歌习惯

如何修改每个音频块的名字 我对命名比较注重，之前用Cubase12，导入我手机中编辑过的Cubasis的工程时，发现中文部分有乱码…… 而且好像改名改得很费劲…… 后面通过多方咨询和探索思考，终于找到方法了！ 可以先把信息…
阅读更多...
【C#】【EXCEL】BumblebeeComponentsAnalysisGH_Ex_Ana_CondTopCount

【C#】【EXCEL】BumblebeeComponentsAnalysisGH_Ex_Ana_CondTopCount

这段代码定义了一个名为 GH_Ex_Ana_CondTopCount 的 Grasshopper 组件。它的主要功能是为 Excel 中的一个范围添加条件格式，具体是根据数值的大小高亮显示前N个（或后N个）数值。以下是该组件的详细介绍： 功能概述： 组件…
阅读更多...
灵办AI搜索引擎和文档总结工具

灵办AI搜索引擎和文档总结工具

前言—— 在信息爆炸的时代，如何高效地获取和处理知识成为了每个人面临的挑战。随着人工智能技术的迅猛发展，本文将深入探讨这一创新工具的功能与优势，以及如何在日常生活和工作中充分利用它，开启智能化的信息获取新篇章。 点击…
阅读更多...
Part3-DOM学习笔记-操作元素

Part3-DOM学习笔记-操作元素

5.操作多个元素 5.1 排他思想 前面所述均为操作一个元素，给一个元素注册事件，如果是一组元素，就需要用循环的方式给元素注册事件。 我们想要给当前的元素实现某种样式，而其他的元素没有这个样式，这就需要用到排他思…
阅读更多...
P2709 小B的询问

P2709 小B的询问

*原题链接* 非常简单的莫队板子题，让我们求出区间[l,r]中每个数出现次数的平方和，设枚举到,原来答案是res，如果加上后，则原来的变为，即res相比原来加上，删除同理。知道如何维护一个数的添加和删除后&#…
阅读更多...
WIFI 配网

WIFI 配网

配网:指的是外部向WiFi模块提供SSID和密码，以便Wi-Fi模块可以连接指定的热点 常见的配网方式有:-键配网smart config、SoftAP配网、蓝牙配网、屏幕配网。 1.0 一键配网 2.0 蓝牙配网 一键配网的模式对应的厂加模式 3.0 状态机WIFI模组物联网 4.0 创建枚举结构体 ty…
阅读更多...
Vue3.0项目实战（二）——大事件管理系统登录注册功能实现

Vue3.0项目实战（二）——大事件管理系统登录注册功能实现

目录 1. 登录注册页面 [element-plus 表单 & 表单校验] 1.1 注册登录 静态结构 & 基本切换 2. 注册功能 2.1 实现注册校验 2.2 注册前的预校验 2.3 封装 api 实现注册功能 3. 登录功能 3.1 实现登录校验 3.2 登录前的预校验 & 登录成功 1. 登录注册页面 […
阅读更多...
Go反射四讲---第三讲：如何使用反射操作函数，获取函数的相关信息？

Go反射四讲---第三讲：如何使用反射操作函数，获取函数的相关信息？

反射-函数 这是我们反射四讲的第三讲，本次给大家讲解如何使用反射处理函数相关的操作。 在这一部分，向大家展示如何输出方法的信息并执行调用。 输出信息，包含方法名，方法参数，返回值。 最后，如何使用反…
阅读更多...
【小趴菜前端实习日记4】

【小趴菜前端实习日记4】

el-table数据更新视图不更新的问题、el-dialog居中展示、el-form表单验证之对象属性验证、vue2过滤器 一、el-table数据更新视图不更新的问题二、el-dialog居中展示三、el-form表单验证之对象属性验证四、vue2过滤器 一、el-table数据更新视图不更新的问题 手动触发元素更新&a…
阅读更多...
Linux：Socket网络编程

Linux：Socket网络编程

目录 1. 理解源 IP 地址和目的 IP 地址 2：认识端口号 3：端口号范围划分 4：理解源端口号和目的端口号 5：理解Socket(套接字) 6：两个传输协议 （TCP/UDP） 6.1：User Datagram Prot…
阅读更多...
打卡55天------图论(并查集)

打卡55天------图论(并查集)

图论这里我学的不是很好，作为一名JavaScript前端开发工程师，我能说我基本上在工作中都没用到过吗？ 一、并查集理论基础 这个说句实话，我平常工作很少用到，上学的时候好像也没学过，可能我只是本科生吧&…
阅读更多...
USB3.2 摘录（10）

USB3.2 摘录（10）

系列文章目录 USB3.2 摘录（一） USB3.2 摘录（二） USB3.2 摘录（三） USB3.2 摘录（四） USB3.2 摘录（五） USB3.2 摘录（六） USB3.2 摘录&…
阅读更多...
如何使用双重IP代理实现更安全的网络访问

如何使用双重IP代理实现更安全的网络访问

在进行网络爬虫或其他需要隐匿真实IP的操作时，单一的代理IP有时并不能完全满足我们的需求。为了进一步提高安全性和隐私保护，我们可以使用双重IP代理。本文将详细介绍如何使用Java实现双重IP代理，帮助你在网络环境中更加游刃有余。 什么是双重…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站