dolphinscheduler服务注册中心源码解析(二)基于zookeeper实现注册中心源码解析

ops/2024/12/21 13:45:22/

1.概述

DolphinScheduler的架构遵循分布式设计,其核心包括多个组件,每个组件负责特定的功能,这样可以避免单点故障并提供可扩展性。

  • Master节点:负责管理调度任务的调度流程、协调任务的执行和状态监控。Master节点还负责任务的调度调度策略的选择(例如负载均衡)以及资源的分配。
  • Worker节点:负责实际执行任务。每个Worker节点负责执行特定的任务,如果任务需要调度,Master节点会指派任务给空闲的Worker节点。
  • Zookeeper:用于协调Master节点之间的通信,保持系统一致性,选举Master节点,保证在Master节点宕机时其他节点可以接管工作。Zookeeper还用来存储任务的元数据,确保数据的一致性。
  • 数据库:DolphinScheduler使用数据库来持久化任务元数据、执行状态、任务日志、工作流定义等。数据库是系统的核心存储介质,可以使用关系型数据库(如MySQL)来存储这些信息。

Zookeeper的高可用性、强一致性、临时节点、事件通知和分布式协调能力,使它成为一个理想的注册中心解决方案。它能够处理服务的注册、发现、健康检查等任务,确保服务在分布式环境中的高可用


http://www.ppmy.cn/ops/143767.html

相关文章

【LuaFramework】LuaFramework_UGUI_V2框架学习

GitHub - jarjin/LuaFramework_UGUI_V2: 基于tolua的热更新框架V2 旧版本是Unity 5.0,这个是新版本支持更高版本的 导入工程后先清除wrap 然后重新生成wrap,你会发现有个报空null,框架的问题总结下所有的框架wrap相关报错问题和修复方法&…

c# 后台任务自动执行

如果有些任务需要在后台自动执行,且时不时需要添加一个任务,且按照优先级顺序执行,那么可以参考本文的方法。 后台任务类 定义一个后台任务类BackgroundTaskThread,其中Start方法是用来启动任务的,循环查询是否有添加…

Spring Boot 技术详解:核心特性、运行方式与应用实践

1.为什么要用SpringBoot Spring Boot 是一个用于创建独立的、生产级别的基于 Spring 的应用程序的框架。它通过简化配置和依赖管理,使开发者能够快速上手并构建应用程序。以下是使用 Spring Boot 的一些主要原因: 自动配置:Spring Boot 会根…

数据挖掘与机器学习(part 9) 规则挖掘Rules Mining关联规则(Association Rules) Apriori算法

基于规则的分类器:Classification using rule based classifier 互斥规则(Mutually exclusive rules): 分类器包含互斥规则,如果这些规则彼此独立。 每条记录最多被一条规则覆盖。 穷尽规则(Exhaustive …

第一章 操作系统引论

本文总结了操作系统第一章的重点知识,非常时候预习和复习的小伙伴们。大家可以根据目录先考考自己能回忆起多少知识! 目录 1、 理解操作系统的目标、作用和定义 2、 脱机 I/O 方式 3、 多道程序设计的概念及引入的原因 4、 多道批处理系统的优缺点 …

barin.js(十四)GRU实战教程 - 文本情感分析之有害内容检测

系列文章: (一):brain.js概要介绍(二):项目集成方式(三):手把手教你配置和训练神经网络(四):利用异步训练和交叉验证来优…

uniapp小程序抽奖怎么做?直接使用【almost-lottery转盘组件】或者【自定义宫格转盘】

直接使用almost-lottery 地址:GitHub - ialmost/almost-components_uniapp: uni-app 使用的多端组件集合,支持APP、H5、小程序uni-app 使用的多端组件集合,支持APP、H5、小程序. Contribute to ialmost/almost-components_uniapp developmen…

图书馆管理系统(四)基于jquery、ajax--完结篇

任务3.6 后端代码编写 任务描述 这个部分主要想实现图书馆管理系统的后端,使用 Express 框架来处理 HTTP 请求,并将书籍数据存储在一个文本文件 books.txt 中。 任务实施 3.6.1 引入模块及创建 Express 应用 const express require(express); cons…