oracle库中数据利用datax工具同步至mysql库

news/2024/12/31 4:12:20/

查看oracle版本

$sqlplus aaa/aaaa@192.168.1.1/lcfaSQL*Plus: Release 19.0.0.0.0 - Production on Tue Oct 17 15:56:46 2023
Version 19.15.0.0.0Copyright (c) 1982, 2022, Oracle.  All rights reserved.Last Successful login time: Tue Oct 17 2023 15:56:03 +08:00Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.15.0.0.0SQL> exit
Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.15.0.0.0

查看mysql版本

$mysql -V
mysql  Ver 14.14 Distrib 5.7.43, for linux-glibc2.12 (x86_64) using  EditLine wrapper

查看主机版本

$cat /etc/redhat-release 
Red Hat Enterprise Linux Server release 7.6 (Maipo)```

查看主机jdk和python版本

$ java -version
openjdk version "1.8.0_181"
OpenJDK Runtime Environment (build 1.8.0_181-b13)
OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode)$python --version
Python 2.7.5

注意点:
1、部署datax的主机需要jdk1.8和python2.7.5以上版本,主机、数据库版本没有要求

2、部署datax的主机需要安装python控件cx_Oracle-7.3.0来登录oracle

3、部署datax的主机需要和mysql、oracle主机网络是通的且能登录数据库

4、mysql和oracle库中表的字段必须要统一,josn配置文件中字段要一样

5、Mysql保留字处理:
ID,ip,port,desc 等mysql的关键字被认为是保留字,这个不能用在json文件中

第一步:解压datax

tar -zxvf datax.tar.gz 
ls -rlt
total 810304
-rw-rw-r--  1 lcims lcims 829749309 Oct 16 14:34 datax.tar.gz
drwxr-x--- 14 lcims lcims       236 Oct 16 14:52 datax

datax目录包含:
在这里插入图片描述

bin:程序的执行目录,里面的data.py是控制台执行该程序的启动文件
log:执行后的日志,每执行一次生成一个日志文件,可以清楚的看到报错信息
plugin:reader和writer插件,比如reader里的mysqlreader为mysql的读取插件
3ajob:是自定义的文件夹,写入了要迁移的表信息 

3ajob目录下为要迁移表数据的josn文件配置信息:
python /datax/datax/bin/datax.py -r mysqlreader -w oraclewriter --查看josn格式模板

./3ajob/tables_name.josn
解释:
{"job": {"setting": {"speed": {"channel": 16    #(这个是多线程,我们是16核cpu,所以用的是16)}}, "content": [{"reader": {"name": "oraclereader", #(oracle的信息配置,从oracle读取)"parameter": {"username": "test", #(oracle的用户和密码)"password": "test", #(oracle的用户和密码)"column": [   #(column[]中是oracle表中的字段信息)"aaa",
"bbb",
"ccc"],"where":" 1=1 ","connection": [{"table": ["表名" #(要迁移的表)], "jdbcUrl": ["jdbc:oracle:thin:@ip:端口/实例"#(oracle表数据源配置)]}]}}, "writer": {"name": "mysqlwriter", #(mysql写入配置)"parameter": {"writeMode": "update", #(mysql写入配置)"username": "test", "password": "test", "column": [ #(mysql字段)"aaa",
"bbb",
"ccc"], "session": ["set session sql_mode='ANSI'"], "preSql": ["select 1 from 表名"], "connection": [#(mysql链接信息){"jdbcUrl": "jdbc:mysql://ip:端口/实例?useUnicode=true&characterEncoding=utf8", "table": ["表名"]}]}}}]}
}

配置完成进入bin目录执行脚本,查看日志

进入bin目录
cd  ./datax/bin
执行命令:nohup python ./datax.py /路径/脚本名 &
例:
$  nohup python ./datax.py ../3ajob/aaa.json &
查看日志:tail -100f nohup.out 

在这里插入图片描述

数据同步完成,即可查看mysql中的数据


http://www.ppmy.cn/news/1159246.html

相关文章

Linux 6种日志查看方法

Linux查看日志的命令有多种: tail、cat、head、echo等,本文只介绍几种常用的方法。 1、tail 这个是我最常用的一种查看方式 用法如下: tail -n 10 test.log 查询日志尾部最后10行的日志; tail -n 10 test.log 查询10行之后的所有日志; ta…

单片机判断语句与位运算的坑

一.问题描述 在我判断Oled的某点的值是否为1时,用到了如下判断语句 if(oled[x][y/8] &1<<(y%8)但是,当我将其改为如下的判断语句,代码却跑出BUG了 if((oled[x][y/8]&1<<(y%8))1)二.原因分析 1.if语句理解错误 首选让我们看看下面的代码运行结果 #inc…

“优化用户体验!前端开发者必备的防抖和限流技巧“

&#x1f3ac; 江城开朗的豌豆&#xff1a;个人主页 &#x1f525; 个人专栏 :《 VUE 》 《 javaScript 》 &#x1f4dd; 个人网站 :《 江城开朗的豌豆&#x1fadb; 》 ⛺️ 生活的理想&#xff0c;就是为了理想的生活 ! 目录 &#x1f4d8; 防抖与限流 &#x1f4d8; 防…

5.MidBook项目经验之MongoDB,Nacos,网关

1.医院查询接口 //系统1(signsignMD5加密后) ----> 系统2(数据库signMD5加密 相对比),好处在于网络之间传输不会得到直接得到sign 2.上传和删除科室信息 //map转jsonString,然后再转为对象//保存需要查数据库是否存在,存在修改,不存在添加//接口的包引入不对导致调用引包错误…

【初识Linux】:常见指令(2)

朋友们、伙计们&#xff0c;我们又见面了&#xff0c;本期来给大家解读一下有关Linux的基础知识点&#xff0c;如果看完之后对你有一定的启发&#xff0c;那么请留下你的三连&#xff0c;祝大家心想事成&#xff01; C 语 言 专 栏&#xff1a;C语言&#xff1a;从入门到精通 数…

【SA8295P 源码分析 (一)】06 - SA8295P XBL Loader 阶段 sbl1_main_ctl 函数代码分析

【SA8295P 源码分析】06 - SA8295P XBL Loader 阶段 sbl1_main_ctl 函数代码分析 一、XBL Loader 汇编源码分析1.1 解析 boot\QcomPkg\XBLLoader\XBLLoader.inf1.2 boot\QcomPkg\XBLDevPrg\ModuleEntryPoint.S:跳转 sbl1_entry 函数1.3 XBLLoaderLib\sbl1_Aarch64.s:跳转 sbl…

基于springboot实现民宿管理平台项目【项目源码+论文说明】

摘要 随着科学技术的飞速发展&#xff0c;各行各业都在努力与现代先进技术接轨&#xff0c;通过科技手段提高自身的优势&#xff1b;对于民宿管理平台系统当然也不能排除在外&#xff0c;随着网络技术的不断成熟&#xff0c;带动了民宿管理平台系统&#xff0c;它彻底改变了过…

TCP/IP(十八)TCP 实战抓包分析(二)TCP 三次握手和四次挥手

一 TCP三次握手和四次挥手 说明&#xff1a; 本文三次握手和四次挥手 无异常情况下的分析目标&#xff1a; 通过抓取和分析 HTTP 协议网络包,理解 TCP 三次握手和四次挥手的工作原理 ① 抓包和测试准备 1、 服务端事先执行 tcpdump 抓包 --> 172.25.2.100tcpdump -i b…