kettle开发-Day40-AI分流之case/switch

news/2024/10/22 11:00:51/

前言:

        前面我们讲到了很多关于数据流的AI方面的介绍,包括自定义组件和算力提升这块的,今天我们来学习一个关于kettle数据分流处理非常重要的组件Switch / Case 。当我们的数据来源于类似日志、csv文件等半结构化数据时,我们需要在数据流将类似空数据、不想要的数据进行分流加工时,我们应该怎么做呢?

 一、Switch / Case 

        1、组件介绍

        如上图所示,我们的 Switch / Case 组件,主要包括Switch字段,即我们用于判断的字段,

然后就是指定字符串的类型,掩码和小数点的符号等用来处理一些特殊数据。下面的case 值就是通过Switch字段里面的不同值,执行不同的目标步骤。

        下面的默认目标步骤即当Switch字段数值都不在case值里头就执行默认目标步骤。

类似:

         case when Switch字段=1 then 目标步骤1 

        when Switch字段=2 then 目标步骤2

        else 默认目标步骤。

        2、总结

        Switch / Case,从命名我们就知道,这是一个类似if的条件判断组件。因此当我们需要对转换数据流进行判断时,我们就可以利用它来实现我们很多复杂的需求,如将非数据记录至异常数据表中。具体可参考下面的文章介绍。

kettle 条件判断 Switch Case - 程序员大本营kettle 条件判断 Switch Case,程序员大本营,技术文章内容聚合第一站。icon-default.png?t=N6B9https://www.pianshen.com/article/50411833604/        今天我们来介绍一个不一样的,我们来将数据进行分类并处理后存入我们的数据表里头,具体我们可以看下面的案例。

二、实际案例

        1、坏数据变成好数据

        

         如图所示,我们的一份CSV文件的检测数据,里面的日期字段因为机器故障,导致里面的日期变成类似2023/7/12 2:59:58 、23.7.12 上午 7:11:45、23.7.11 下午 11:07:46、਍23.7.11 下午 9:36:02、਍23.7.12 上午 7:11:45等等多种格式的数据,其中2023/7/12 2:59:58才是我们想要 的数据,很明显我们处理这个日期数据,我们只能按string的格式来处理。因为我们需要将23.转换成2023/,下午 9:36变成下午 9+12:36级21:36等等。

        因为日期+后面的样品名称是数据同步的组合组件,因此我们需要在数据流里面将数据处理成我们需要的数据,而不能再数据同步后再去处理。因此最初正常的同步作业是这样的。

         2、Switch / Case数据分流

        为了将那一堆乱七八糟的数据处理好,首先我们将数据大致分为三大类,一类是2023/7/12 2:59:58的正常数据,一种是包含中文上午的数据,一种是包含中文下午的数据。因此我们将数据利用Switch / Case分流。具体转换如下图所示。为了方便大家直接看结果我将分流后的数据输出至EXCEL中方便查看。

         如上图所示我们利用switch/case组件成功将三大类的数据输出到不同的EXCEL表中。对应switch/case 组件的配置如下图所示,需要注意的是我们需勾选“使用字符串包含比较”。

三、效果

        在前面我们完成了对应的配置开发,最后我们来查看最后的开发效果吧。如下图所示成功将三大类数据输出至不同的EXCEL中,完成了我们数据的分流,当下次你不会用的时候,可以收藏点击查看,希望对你有用。

 

 


http://www.ppmy.cn/news/856531.html

相关文章

tcpdump 使用入门

tcpdump 使用入门 简单就是美! 1.首先:查看接口 $sudo tcpdump -D 查看接口号和接口名称(--list-interfaces) 使用时, 一般用户命令前需加sudo 前缀, root 用户不用. 观者注意鉴别. 用ifconfig 也可以查看接口名称, 但不如tcpdump -D 能给出接口号 2. 使用 $sudo tcpdump -i &…

ps钢笔路径转曲线

1.新建图层 2.选择钢笔工具画路径 3.选择画笔工具(粗细自定) 4.打开路径窗口选择该路径,描边路径 5.弹框选择画笔,勾选模拟压力 (曲线画好)

PhotoShop钢笔工具创建直线和曲线

创建直线: 1、选择钢笔工具(P) 2、单击鼠标创建第一个锚点 3、在第二个锚点所在的位置上单击鼠标即可生成一条直线 创建曲线: 1、选择钢笔工具(P) 2、单击鼠标创建第一个锚点 3、创建第二个锚点并按住鼠…

ps钢笔工具的使用1

ps中的钢笔工具属于矢量绘图工具,其优点是可以勾画平滑的曲线,在缩放或者变形之后仍能保持平滑效果。画出来的矢量图形称为路径。 在ps上新建画布。在工具栏里面找到钢笔工具。钢笔工具里面有几种小工具。 最基础的钢笔工具,画出折现&#xf…

Photoshop中钢笔工具

一、要使用钢笔工具就会接触到矢量图,因为制作矢量图形最基本的工具就是钢笔工具(快捷:P),钢笔工具组绘制路径,而路径是辅助制图的矢量图形工具,并不是实际的图像,路径可以按CtrlEnt…

PS和Ai钢笔工具的使用及差异

**加粗样式**PS使用的工具有20多种,但比较重要的有套索、钢笔、渐变等工具,下面我们就来讲解钢笔工具的使用及功能。钢笔工具的作用:把一个图片进行临摹,达到与原图相似度99%以上,也就是大家所说的抠图。钢笔工具里有几…

ps入门教程(3)

一、钢笔工具使用 在ps中钢笔是基于画笔后的最常用的工具 属性栏有个这个 里面有路径和形状两个选择,选择路径的话,就只是生成路径,点击形状的话可以生成形状 比如这样。点击形状后属性栏也有变化 点击填充 出现此图,上面…

PS提取图形轮廓

需要做图形轮廓相关的程序,所以记录一下其中的一些处理过程备忘,和程序没有太大关系。 打开文件 启动PS软件,从文件——打开中,打开JPG格式的图片,如下: 查找边缘 滤镜——风格化——查找边缘 为了…