「ETL趋势」FDL定时任务区分开发/生产模式、API输入输出支持自定义响应解析

embedded/2024/9/23 1:44:44/

FineDataLink作为一款市场上的顶尖ETL工具,集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,进行了新的维护迭代。本文把FDL4.1.7最新功能作了介绍方便大家对比:(产品更新详情:4.1.7最新功能体验)

模块更新
定时同步
区分开发模式和生产模式
运行记录存储到1ogdb&支持清理
JSON生成\SparkSQL+导入导出视觉优化
编辑界面优化
数据同步API输入、输出支持自定义响应解析的编码方式
数据管道同步标记时间戳优化

定时任务区分开发模式和生产模式

对于定时任务,支持开发模式和生产模式,实现代码的隔离。

开发模式的任务可一键发布上线,将任务发布为生产模式。

💠详情:开发模式与生产模式

定时任务运行记录存储到logdb&支持清理 

fine_dp_work_exec_record表迁移到LogDB中,表名不变,后续数据均写入迁移后数据表。升级后会将历史运行记录迁移到LogDB中。详情参见:LogDB 表结构

定时任务运行记录可直接使用日志清理功能进行手动/自动清理,如下图所示:

💠详情:日志简介

记录读写过程日志\异常和错误日志使用过程中产生的过程日志,支持将运行记录导出为文件,以供查看和使用

💠详情:定时任务运维—运行记录

定时任务JSON生成\SparkSQL+导入导出视觉优化

💠详情:JSON生成、SparkSQL、定时任务导入导出

定时任务编辑界面优化

  • 支持界面搜索:可对节点/算子进行搜索,并快速定位选中节点/算子

  • 支持导航器功能:显示画布内容的缩略图;支持拖拽移动视图;支持点击导航器其它区域,可快速定位画布内容

  • 对搜索和视图导航功能提供新手引导

  • 每次打开定时任务,画布内容居中

  • 拖拽画布时,不关闭节点面板

💠详情:数据开发页面介绍

API输入、输出支持自定义响应解析的编码方式

「高级配置」中支持指定响应数据字符编码方式

💠详情:数据同步-API

数据管道同步标记时间戳优化

  • 2.1 之后版本的 StarRocks,在管道任务中,支持「同步时标记时间戳」功能。

  • 2.0 版本之后的 Doris,在管道任务中,支持「同步时标记时间戳」功能。

  • 来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段,实时同步时会屏蔽这些字段

  • 目标表选择已存在表且已存在表包含「_fdl_marked_deleted」字段时,支持使用源端逻辑删除功能,支持「同步时标记时间戳」功能

同步时标记时间戳、源端删除数据💠详情:同步时标记时间戳、源端删除数据

升级版本支持上传更新

支持「上传更新」,即前端手动上传 JAR 包进行更新升级,解决每个月发布的中间版本不能提供一键升级的问题,如下图所示:

💠详情:FineDataLink一键升级

FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具,可在Windows或Linux环境上单机/集群部署,全程基于B/S浏览器端进行任务开发和任务运维,更多精彩功能,邀您体验,希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题,让流动的数据更有价值。

更新详情:4.1.7更新日志-FineDataLink帮助文档(fanruan.com)

功能体验链接

技术文档参考:FineDataLink文档


http://www.ppmy.cn/embedded/56376.html

相关文章

百日筑基第十一天-看看SpringBoot

百日筑基第十一天-看看SpringBoot 创建项目 Spring 官方提供了 Spring Initializr 的方式来创建 Spring Boot 项目。网址如下: https://start.spring.io/ 打开后的界面如下: 可以将 Spring Initializr 看作是 Spring Boot 项目的初始化向导&#xff…

HTMLCSS(入门)

HTML <html> <head><title>第一个页面</title></head><body>键盘敲烂&#xff0c;工资过万</body> </html> <!DOCTYPE>文档类型声明&#xff0c;告诉浏览器使用哪种HTML版本显示网页 <!DOCTYPE html>当前页面采取…

STM32F1+HAL库+FreeTOTS学习3——任务创建(动态和静态两种)

STM32F1HAL库FreeTOTS学习3——任务创建&#xff08;动态和静态两种&#xff09; 任务创建API函数任务创建流程代码实现1. 动态任务创建和删除2. 静态任务创建和删除 上期我们学习了STM32移植FreeRTOS搭建基准工程&#xff0c;现在我们来学习任务创建 任务创建API函数 前面我们…

Spring Boot 创建定时任务

在现代应用程序开发中&#xff0c;定时任务是一个常见的需求。Spring Boot作为一个强大的框架&#xff0c;提供了简单易用的定时任务调度功能。本文将详细介绍如何在Spring Boot中创建和管理定时任务&#xff0c;并提供完整的代码示例。 1. 什么是定时任务 定时任务是指在预定…

Unity-延迟函数--Invoke

Unity-延迟函数–Invoke 延时函数顾名思就是会延时执行的函数,Invoke具有唤醒的意思,那么延迟就是每个一定的时间唤醒某个函数,也就是每个一定时间执行某个函数 我们可以自己设定延时要执行的函数和具体延时的时间,延迟函数是MonoBehaviour基类中实现好的方法,直接拿来用即可…

opencv-yolo-tiny车辆检测 ----20240705

opencv-yolo-tiny 实现车辆检测 opencv.dnn模块已经支持大部分格式的深度学习模型推理,该模块可以直接加载tensorflow、darknet、pytorch等常见深度学习框架训练出来的模型,并运行推理得到模型输出结果。opecnv.dnn模块已经作为一种模型部署方式,应用在工业落地实际场景中。…

数字经济时代:AI+引领企业数字化新高度

随着新一轮科技革命和产业变革深入发展&#xff0c;5G、大数据、云计算等技术的广泛应用&#xff0c;数字经济不仅在中国&#xff0c;且在全球范围内&#xff0c;都被视为推动经济增长的关键动力。以人工智能&#xff08;AI&#xff09;为例&#xff0c;《全球数字经济白皮书&a…

从硬件角度看Linux的内存管理

1. 分页机制 分段机制的地址映射颗粒度太大&#xff0c;以整个进程地址空间为单位的分配方式导致内存利用率不高。 分页机制把这个分配机制的单位继续细化为固定大小的页(Page)&#xff0c;进程的虚拟地址空间也按照页来分割&#xff0c;这样常用的数据和代码就可以以页为单位…