【任务调度】Apache DolphinScheduler快速入门

embedded/2024/10/31 1:22:47/
Apache DolphinScheduler基本概念
概念:分布式、去中心化、易扩展的可视化DAG工作流任务调度系统。
作用:解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

架构图

Apache DolphinScheduler是一款开源的调度工具,使用java语言开发,共分为ApiApplicationServer、MasterServer、WorkerServer、LoggerServer、AlertServer五大模块。DolphinScheduler 组件依赖Zookeeper和HDFS两个大数据组件,其中ZK用于master和worker注册使用,HDFS用于资源文件管理使用。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
登录admin账号,创建一个租户,创建一个用户,将用户跟租户关联起来
在这里插入图片描述
在这里插入图片描述
新建一个告警组,分配给上边新建的用户
在这里插入图片描述
登录新建用户
在这里插入图片描述
项目管理中新建项目,进入之后进行工作流定义
在这里插入图片描述
此处以shell脚本为例:
shell脚本中使用自定义参数
在这里插入图片描述
工作流定义好之后便可以上线了,需要再修改的还得先下线
上线之后会生成一个工作流实例,这边便可以看到相关的日志信息了
在这里插入图片描述

B站视频,快速上手Apache DolphinScheduler
https://www.bilibili.com/video/BV1dp4y1S7zT/?spm_id_from=333.337.search-card.all.click&vd_source=e093a8beebd274a58351e637a7c32cbb

http://www.ppmy.cn/embedded/9368.html

相关文章

声明式事务

文章目录 1.事务分类1.传统方式解决事务2.声明式事务 2.声明式事务案例1.需求分析2.解决方案分析3.数据表创建4.编写GoodsDao.java1.编写配置文件JdbcTemplate_ioc.xml2.单元测试 5.编写GoodsService.java6.配置事务管理器JdbcTemplate_ioc.xml7.进行测试 3.debug事务管理器Dat…

大模型日报2024-04-22

大模型日报 2024-04-22 大模型资讯 Mistral与Mixtral大型语言模型对比:7B、8x7B及8x22B 摘要: 最近,IT新闻频道广泛报道了新公开的Mixtral 8x22B模型,该模型在多项基准测试中超越了ChatGPT 3.5版本,尤其在MMLU等测试中表现突出。本…

Python爬虫数据可视化分析

Python爬虫用于从网络上获取数据,数据可视化分析则是将获取的数据进行可视化展示和分析,帮助我们更好地理解数据、发现规律、做出决策。下面是一个基本的Python爬虫数据可视化分析的流程: 步骤一:数据爬取 1.选择合适的爬虫工具&a…

关于FastJson转换map集合为json字符串解析时格式出错的问题

在Java中使用Fastjson将包含Map类型key的Map集合转换为String时,如果直接使用Fastjson的JSON.toJSONString()方法,可能会因为JavaScript的安全性限制(例如对象的key必须是字符串)而在前端JavaScript解析时出现问题。 因为当 转换时…

将自己的项目上传至Git

一、安装Git 官网:Git (git-scm.com) 二、注册gitee 官网:工作台 - Gitee.com 进入“我的”出现以下界面 三、创建仓库 点击加号,新建仓库 根据自己的需求取名,描述仓库,开源还是私有,点击创建即可,点击我的即可…

Stable Diffusion XL优化终极指南

如何在自己的显卡上获得SDXL的最佳质量和性能,以及如何选择适当的优化方法和工具,这一让GenAI用户倍感困惑的问题,业内一直没有一份清晰而详尽的评测报告可供参考。直到全栈开发者Flix San出手。 在本文中,Flix介绍了相关SDXL优化…

JS stacktrace 堆内存耗尽

javascript 堆内存耗尽 问题 是 npm run dev 的时候 报错 如下 <--- JS stacktrace --->FATAL ERROR: MarkCompactCollector: young object promotion failed Allocation failed - JavaScript heap out of memory在大多数情况下&#xff0c;默认情况下 Node.js 的堆内存…

MySQL的索引类型有哪些

MySQL的索引类型有哪些 MySQL数据库系统中的索引是用来加快搜索和检索数据库记录的数据结构。这些索引类似于书籍的目录&#xff0c;帮助MySQL快速定位数据表中的数据&#xff0c;而无需逐行扫描整个表。 索引解释 主键索引&#xff08;PRIMARY KEY&#xff09; 在MySQL中&…