idea本地debug调试DATAX插件运行

news/2024/11/22 5:38:40/

datax官方github地址:GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

接触datax是看重他的数据采集功能和可以扩展插件的功能,根据官方说明,DATAX是以python来调用插件的运行json配置,但对于二次开发插件的同学来说,需要本地调试。那么根据我的经验,贴出我的调试方式,有问题可以联系

1.源码部署方式请查阅 DataX/userGuid.md at master · alibaba/DataX · GitHub

 2.将源码下载放入idea中后,执行上图的命令打包,如果要运行。需要从源码入口类Engine.java运行,点击右上角Edit Configuration

 点击 + 号,按照下图配置,添加VM options,Program arguments

 VM options处填入  -Ddatax.home=C:\Users\clj\Documents\DataXPlus\target\datax\datax,具体路径根据你自己项目而定

Program arguments 填入 -mode standalone -jobid -1 -job C:\Users\clj\Documents\DataXPlus\json\httpreaderToMysql.json    其中json文件的路径根据你自己的文件地址而定

改完如下图

 

点击OK保存,点击运行按钮或者debug启动按钮,打入断点即可调试

 

 

需要注意的时,这种方式调试如果修改了代码,需要重新在DATAX目录执行打包后,新的代码才能生效,才能进入断点。

 


http://www.ppmy.cn/news/20846.html

相关文章

6.kafka--日志存储

文章目录消息日志存储消息日志存储 server.properties中配置了存储log的目录 log.dirs/opt/server/kafka/kafka_2.12-3.0.0/kafka-logs-1 以first主题为例,该主题有4个分区,3个副本 [rootnode2 kafka-logs-1]# ../bin/kafka-topics.sh --bootstrap-ser…

通用`Query`解决方案

文章目录通用Query解决方案简介什么是QueryQuery类别Query基本使用SQL Query基本使用自定义Query基本使用现状方案通过Json数据或方法动态生成Query 通过Select Sql语句动态生成Query通过Query生成动态Query支持传统的Query并通过参数形式生成Query列定义通用Query,…

Unity使用本地UPM包的实现方式

实现1:项目根路径实现优点:1.不必有额外操作2.本地包随项目版控,不会丢失包产生错误3.按需升级包缺点:1.包的修改随项目版控,增加日志冗余2.不利于包全局管理建议使用场景多人合作,开发底子较弱的团队。实现…

Segmenter论文解读

Segmenter: Transformer for Semantic Segmentation 论文:[2105.05633] Segmenter: Transformer for Semantic Segmentation (arxiv.org) 代码:[rstrudel/segmenter: ICCV2021] Official PyTorch implementation of Segmenter: Transformer for Semanti…

Flutter基础语法(二)字典Map

Flutter基础 第二章 Flutter字典Map的使用 文章目录Flutter基础前言一、字典是什么?二、字典的定义1.直接赋值2.先声明后添加3.of创建方法4.fromEntries创建方法5.identity创建方法6.unmodifiable创建方法7.fromIterables创建方法三、字典的常用属性1.字典长度2.是…

【自然语言处理】【大模型】PaLM:基于Pathways的大语言模型

PaLM:基于Pathways的大语言模型《PaLM: Scaling Language Modeling with Pathways》论文地址:https://arxiv.org/pdf/2204.02311.pdf 相关博客 【自然语言处理】【大模型】PaLM:基于Pathways的大语言模型 【自然语言处理】【chatGPT系列】大语…

不平衡数据集的建模的技巧和策略

不平衡数据集是指一个类中的示例数量与另一类中的示例数量显著不同的情况。 例如在一个二元分类问题中,一个类只占总样本的一小部分,这被称为不平衡数据集。类不平衡会在构建机器学习模型时导致很多问题。 不平衡数据集的主要问题之一是模型可能会偏向多…

Mac 打开JD-GUI报错:ERROR launching ‘JD-GUI‘

目录一、JD-GUI下载二、JD-GUI报错信息三、解决方案1、查找JD-GUI包内容2、修改universalJavaApplicationStub.sh文件一、JD-GUI下载 JD-GUI下载地址:https://github.com/java-decompiler/jd-gui/releases 二、JD-GUI报错信息 Mac系统版本:11.3 JD-GUI…