ETL中如何执行Python脚本

server/2024/11/9 16:45:03/
Python的解读

Python 是一种高级、通用的编程语言,由荷兰程序员吉多·范罗苏姆(Guido van Rossum)于1990年代初设计并发布。Python的设计哲学强调代码的可读性和简洁性,它的语法清晰且表达力强,使得开发者能够以更少的代码行数表达复杂的概念。这使得Python成为了编程入门者的理想选择,同时也被专业开发者广泛用于快速开发各种应用程序。

Python作为一个胶水语言具有简单易学、高可读性、丰富强大的库与框架、跨平台支持、动态类型、广泛的社区支持、适用领域广泛,可以通过Python丰富的第三方库达到你想要的任意结果。而ETLCLoud连接python之后可以增加数据获取来源,也可以对数据进行自定义的清理和处理。

ETL中Python脚本使用和注意细节

配置抽取数据到Python脚本中然后修改最后输出的流程image

库表输入配置

选择完数据库和表之后,配置字段非必要配置内容

image

如果要配置点击下一步,sql语句可以自己添加条件

image

字段配置

image

Python命令要根据自己的Python选择,有的要填Python3。平台Python环境使用的是用户自身的Python环境,所以缺库少什么东西在自己本地下载安装就好。

image

脚本来源:当我们选择Python文件之后会显示"Python文件"的输入框,填写Python文件路径就好,不过下面也有提示,使用Python文件后,后面编写的Python脚本就没有用了

image

输入参数:这个主要是学习ETL参数的使用。一个是变量的设置,另一个是变量在节点获取方法。我简单说一下变量的使用方法,局部变量全局变量都是 局部变量 i d ∗ ∗ 这种方式引用的, ∗ ∗ 公共变量 ∗ ∗ 的使用是这样子的 ∗ ∗ {局部变量id}** 这种方式引用的,**公共变量**的使用是这样子的 ** 局部变量id这种方式引用的,公共变量的使用是这样子的{$config.变量id}

而我们的上一节点数据属于局部变量,以这个为例就算不输入${data},还是可以输出数据 。如果不是上一节点的数据就要保存到全局变量里然后设置变量参数image

返回数据编码:根据自己的编码来就行,不过要注意一点,之前有人反馈即使设置了utf-8和gbk输出的都是乱码,这就要注意设置Python命令了,这个时候设置一下Python3就好。具体根据自身Python版本来。

执行Python脚本

image

输出完成,系统转给Python的是个list。不一定所有的数据都是list,各位拿来用的时候可以先看一下

image

拿取数据演示

image

查看数据输出

image

总结

在ETLCloud中Python脚本使用的是你自己系统的环境,平台是不带Python环境的。Python命令填写,要根据自己版本来填写,如果不知道用哪个版本,就使用3.12版本,其他的就正常使用Python就行。在Python脚本里,可以根据自己的需要将数据加工成想要的。


http://www.ppmy.cn/server/39528.html

相关文章

C++语法|可调用对象和函数对象

在本文中,我想先详细讲解C中的可调用对象和函数对象的定义,最后讲解二者的联系和区别 可调用对象 C中,可调用对象(Callable Object)是一个可以被调用执行的对象,类似于函数。任何类型的对象,主要的可调用对象有以下几…

【已解决】chrome/其他浏览器:你的连接不是私密连接

一、问题原因 这个问题一般是https的网址会有,它是安全的访问连接,在原来的基础上SSL/TLS协议进行加密和身份验证。 这里可能是证书过期了,其实 二、解决方法【亲测有效】 方法1:点击高级,如果有继续访问对应的http…

第Ⅷ章-Ⅰ 组合式API初识

第Ⅷ章-Ⅰ 组合式API初识 简介setup 函数 为什么要使用Composition API逻辑复用和组织更灵活的逻辑组合适应未来的 Vue 生态系统 options API存在的问题代码重复:逻辑分散缺乏复用性 Composition API 中的 setup()入口props 参数context 参数 ref 响应式监听reactiv…

Elastic Stack--04-1--Kibana查数

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 Kibana查数1.查询所有记录2.匹配id字段matchterm 3.bool[复合查询]4.业务查询 Kibana查数 在ElasticSearch中支持两种检索方式 通过使用REST request URL 发送检索…

神经网络与空间变换关系

神经网络的隐藏层实际上就是在进行一次空间变换,隐藏层中神经元的个数就是变换后空间的维度,代表可以升维也可以降维。 不同是 神经网络的一层运算不只有矩阵乘法,还会有一个加法。以及 进行完线性计算后,还要经过非线性的激活函…

sdut java lab7.2

7-2 sdut-JAVA-Words Containing AB 分数 9 全屏浏览 切换布局 作者 马新娟 单位 山东理工大学 Write a program that requests a word as input containing the two letters a and b (in this order). Examples of valid words would include, abacus, cab, and anybody, …

【MySQL基本查询(下)】

文章目录 一、update案例 二、Delete案例注意:delete 全表数据的行为慎用!truncate 三、插入查询结果案例 四、了解一些函数1.count函数2.sum函数3. avg函数4.max函数5. min函数 五、group by子句的使用案例having和where 一、update 该关键字的功能就是…

ExcelVBA取序号与合计之间的数据

今天有人提出这样一个问题, ExcelVBA取序号与合计之间的数据 数据如下: 分析一下,问题关键: 问题:1.我要在“序号”两字后面开始取数,因为序号是合并的,所以。。。2.我要取合计前面的数据,所以要…