使用Kettle做数据迁移

news/2024/11/22 13:21:38/

1.Kettle简介

Kettle是一个颇受认可的开源ETL(Extract-Transform-Load 的缩写,即数据抽取、转换、装载的过程)工具,2006年被Pentaho收购,2015年又被Hitachi Vantara收购,正式命名为PDI。 PDI EE(企业商用版)改进了PDI CE(开源社区版)在作业调度监控、系统安全机制、高可用性架构、对接SAP、对接Hadoop、对接AI/ML、 自助式DI/BI等方面之不足,尤其是凭借着原厂兜底的专业技术支持服务保障,获得企业客户广泛青睐。

Kettle使用纯Java编写,可以在Window、Linux、Unix上运行,无需安装。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许用户管理来自不同存储方式的数据,通过提供一个图形化的管理工具来设计转换过程。Kettle中有两种脚本文件,transformation(转换)和job(作业),transformation完成针对数据的基础转换,job则完成整个工作流的控制。

源码地址:GitHub - pentaho/pentaho-kettle: Pentaho Data Integration ( ETL ) a.k.a Kettle

官方下载地址: https://www.hitachivantara.com/en-us/products/pentaho-platform/data-integration-analytics/pentaho-community-edition.html

2.Kettle的核心组件

2.1.主要工具介绍

  1. Spoon:启动GUI的编辑工具,用来设计转换和作业。
  2. Pan:命令行工具,用于执行转换。
  3. Kitchen:用于执行作业的命令行工具。Pan的参数与Kitchen基本一致。
  4. Carte:启用一个轻量级的Web容器,用于建立专用、远程的ETL Server。

2.2.概念模型

Kettle 的执行分为两个层次:Job(作业,.kjb 后缀)和 Transformation(转换,.ktr 后缀)。转换是执行任务的最小单位,包括各种数据结构及存储方式的转换,可以通过Pan命令单独执行。若一个转换中包含多个数据转换,则并发执行这些数据转换,所以转换是数据流,关注数据来源和转换结果及目的地。作业完成转换之外的其他工作,可以集成多个转换和作业,一般以Start节点开始,以Success结束。作业专注的是操作流程,是按指定顺序支持的。

 3.部署

待续...

参考:

Kettle教程一:Kettle简介和Kettle的部署安装-腾讯云开发者社区-腾讯云

kettle入门实战 - 知乎

大数据 ETL 处理工具 Kettle 入门实践 - 知乎

Use Command Line Tools to Run Transformations and Jobs - Hitachi Vantara Lumada and Pentaho Documentation


http://www.ppmy.cn/news/503178.html

相关文章

某网页在线视频有声音无图像

1.某网页在线视频打开有声音无图像,使用谷歌浏览器,360浏览器(极速模式)都是一样,检查后关闭谷歌浏览器“使用硬件加速模式”,360浏览器“智能开启硬件加速”。重启浏览器就可以正常观看。不过这类问题不一…

网页在线视频只有声音没有图像

Windows Media Player-->Tools-->Performance-->Video acceleration 设置为"None"。

HTML_video标签播放本地视频只有声音没有图像 解决办法

今天做项目,需要播放视频功能,想到用HTML5中的video标签,但是播放本地视频时只有声音没有图像 换成网上视频播放时一切正常,不知是何原因? 看到有篇文章说是视频的编码问题,抱着试试看的心态,…

HTML中 video标签播放MP4只有声音没有图像

HTML5中的video标签播放MP4&#xff0c;只有声音没有图像 <video id"myv" width"600" height"400" src"video.mp4" ></video>mp4的视频编码有三种&#xff1a;MPEG4(DivX)、MPEG4(Xvid)、AVC(H264)&#xff0c; 在格式…

升级win8后视频没有图像只有声音的一个解决方法

我11年初买的是索尼的VPCEA38EC。最近看微软的优惠升级了win8专业版。看没想到的是&#xff0c;升级后发现视频只有图像&#xff0c;没有声音。 上网一看&#xff0c;这种问题很多人都遇到了。 而我这款笔记本的ATI显卡&#xff0c;说的是索尼定制版&#xff0c;官方也不支持…

转换MP4后浏览器播放只有声音没有图像的问题

这边想要的是对上传COS的视频在浏览器中直接播放 但是对于MOV的格式浏览器是没法分段请求播放的 所以这边首先想的解决方案是把mov格式直接后台转换成MP4格式 这个方案就导致了如题所示的问题 转换部分代码如下 public class VideoUtil {public static void convertMp4File(Str…

moviepy 生成的视频只有声音没有图像

问题描述&#xff1a; PDF转成视频 用moviepy 将图片生成视频的时候,生成的视频 有些播放器 播放只有声音没有图像. 解决方案&#xff1a; 查看源码后发现在 ffmpeg_writer.py 文件里面有一段这样的代码. if ((codec libx264) and(size[0] % 2 0) and(size[1] % 2 0)):cmd…