大数据调度组件之Apache DolphinScheduler

server/2024/11/25 6:42:05/

Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

主要特性

  • 易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes
  • 易于使用，可以通过四种方式创建和管理工作流，包括Web UI、Python SDK和Open API
  • 高可靠高可用，多主多从的去中心化架构，原生支持横向扩展
  • 高性能，性能比其他编排平台快N倍，每天可支持千万级任务
  • Cloud Native，DolphinScheduler支持编排多云/数据中心工作流，支持自定义任务类型
  • 对工作流和工作流实例（包括任务）进行版本控制
  • 工作流和任务的多种状态控制，支持随时暂停/停止/恢复它们
  • 多租户支持
  • 其他如补数支持（Web UI 原生），包括项目和数据源的权限控制

单节点部署

安装包下载

  • JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。
  • 二进制包：在下载页面下载 DolphinScheduler 二进制包

解压并启动 DolphinScheduler

二进制压缩包中有 Standalone 启动的脚本，解压后即可快速启动。

切换到有sudo权限的用户，运行脚本:

# 解压并运行 Standalone Server
tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
cd apache-dolphinscheduler-*-bin
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。

默认的用户名和密码是 admin/dolphinscheduler123

启停服务

脚本 ./bin/dolphinscheduler-daemon.sh 除了可以快捷启动 standalone 外，还能停止服务运行，全部命令如下

# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server

配置数据库

Standalone server 使用 H2 数据库作为其元数据存储数据，这是为了上手简单，用户在启动服务器之前不需要启动数据库。

但是如果用户想将元数据库存储在 MySQL 或 PostgreSQL 等其他数据库中，他们必须更改一些配置。

请参考 数据源配置 Standalone 切换元数据库 创建并初始化数据库

伪集群部署

安装包下载

伪分布式部署 Apache DolphinScheduler 需要有外部软件的支持

  • JDK：下载JDK (1.8+)，安装并配置 JAVA_HOME 环境变量，并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在，可以跳过这步。
  • 二进制包：在下载页面下载 DolphinScheduler 二进制包
  • 数据库：PostgreSQL (8.2.15+) 或者 MySQL (5.7+)，两者任选其一即可，如 MySQL 则需要 JDBC Driver 8.0.16
  • 注册中心：ZooKeeper (3.4.6+)，下载地址
  • 进程树分析
    • macOS安装pstree
    • Fedora/Red/Hat/CentOS/Ubuntu/Debian安装psmisc

注意:\ DolphinScheduler 本身不依赖 Hadoop、Hive、Spark，但如果你运行的任务需要依赖他们，就需要有对应的环境支持

配置用户免密及权限

创建部署用户，并且一定要配置 sudo 免密。以创建 dolphinscheduler 用户为例

# 创建用户需使用 root 登录
useradd dolphinscheduler# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers# 修改目录权限，使得部署用户对二进制包解压后的 apache-dolphinscheduler-*-bin 目录有操作权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-*-bin

启动zookeeper

进入 zookeeper 的安装目录，将 zoo_sample.cfg 配置文件复制到 conf/zoo.cfg，并将 conf/zoo.cfg 中 dataDir 中的值改成 dataDir=./tmp/zookeeper

# 启动 zookeeper
./bin/zkServer.sh start

修改 install_env.sh 文件

文件 install_env.sh 描述了哪些机器将被安装 DolphinScheduler 以及每台机器对应安装哪些服务。

您可以在路径 bin/env/install_env.sh 中找到此文件，可通过以下方式更改env变量,export =，配置详情如下。 

# ---------------------------------------------------------
# INSTALL MACHINE
# ---------------------------------------------------------
# Due to the master, worker, and API server being deployed on a single node, the IP of the server is the machine IP or localhost
ips="localhost"
sshPort="22"
masters="localhost"
workers="localhost:default"
alertServer="localhost"
apiServers="localhost"# DolphinScheduler installation path, it will auto-create if not exists
installPath=~/dolphinscheduler# Deploy user, use the user you create in section **Configure machine SSH password-free login**
deployUser="dolphinscheduler"

修改 dolphinscheduler_env.sh 文件

文件 ./bin/env/dolphinscheduler_env.sh 描述了下列配置：

  • DolphinScheduler 的数据库配置，详细配置方法见初始化数据库
  • 一些任务类型外部依赖路径或库文件，如 JAVA_HOME 和 SPARK_HOME都是在这里定义的
  • 注册中心zookeeper
  • 服务端相关配置，比如缓存，时区设置等

如果不使用某些任务类型，可以忽略任务外部依赖项，但必须根据环境更改 JAVA_HOME、注册中心和数据库相关配置。

# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=${JAVA_HOME:-/opt/soft/java}# Database related configuration, set database type, username and password
export DATABASE=${DATABASE:-postgresql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"
export SPRING_DATASOURCE_USERNAME={user}
export SPRING_DATASOURCE_PASSWORD={password}# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=${MASTER_FETCH_COMMAND_NUM:-10}# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE=${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-localhost:2181}# Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME=${HADOOP_HOME:-/opt/soft/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/soft/hadoop/etc/hadoop}
export SPARK_HOME1=${SPARK_HOME1:-/opt/soft/spark1}
export SPARK_HOME2=${SPARK_HOME2:-/opt/soft/spark2}
export PYTHON_HOME=${PYTHON_HOME:-/opt/soft/python}
export HIVE_HOME=${HIVE_HOME:-/opt/soft/hive}
export FLINK_HOME=${FLINK_HOME:-/opt/soft/flink}
export DATAX_HOME=${DATAX_HOME:-/opt/soft/datax}export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$PATH

初始化数据库

DolphinScheduler 元数据存储在关系型数据库中，目前支持 PostgreSQL 和 MySQL。

下面分别介绍如何使用 MySQL 和 PostgresQL 初始化数据库。

如果使用 MySQL 需要手动下载 mysql-connector-java 驱动 (8.0.16) 并移动到 DolphinScheduler 的每个模块的 libs 目录下，其中包括 api-server/libs 和 alert-server/libs 和 master-server/libs 和 worker-server/libs。

对于MySQL 5.6 / 5.7：

mysql -uroot -pmysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;# 修改 {user} 和 {password} 为你希望的用户名和密码
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost' IDENTIFIED BY '{password}';mysql> flush privileges;

对于MySQL 8：

mysql -uroot -pmysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;# 修改 {user} 和 {password} 为你希望的用户名和密码
mysql> CREATE USER '{user}'@'%' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'%';
mysql> CREATE USER '{user}'@'localhost' IDENTIFIED BY '{password}';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO '{user}'@'localhost';
mysql> FLUSH PRIVILEGES;

对于 PostgreSQL：

# 采用命令行工具登陆 PostgreSQL
psql
# 创建数据库
postgres=# CREATE DATABASE dolphinscheduler;
# 修改 {user} 和 {password} 为你希望的用户名和密码
postgres=# CREATE USER {user} PASSWORD {password};
postgres=# ALTER DATABASE dolphinscheduler OWNER TO {user};
# 退出 PostgreSQL
postgres=#\q
# 在终端执行如下命令，向配置文件新增登陆权限，并重载 PostgreSQL 配置，替换 {ip} 为对应的 DS 集群服务器 IP 地址段
echo "host    dolphinscheduler   {user}    {ip}     md5" >> $PGDATA/pg_hba.conf
pg_ctl reload

然后修改./bin/env/dolphinscheduler_env.sh，将username和password改成你在上一步中设置的用户名{user}和密码{password}

对于 MySQL：

# for mysql
export DATABASE=${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://127.0.0.1:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME={user}
export SPRING_DATASOURCE_PASSWORD={password}

对于 PostgreSQL：

# for postgresql
export DATABASE=${DATABASE:-postgresql}
export SPRING_PROFILES_ACTIVE=${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:postgresql://127.0.0.1:5432/dolphinscheduler"
export SPRING_DATASOURCE_USERNAME={user}
export SPRING_DATASOURCE_PASSWORD={password}

完成上述步骤后，您已经为 DolphinScheduler 创建一个新数据库，现在你可以通过快速的 Shell 脚本来初始化数据库

bash tools/bin/upgrade-schema.sh

启动 DolphinScheduler

使用上面创建的部署用户运行以下命令完成部署，部署后的运行日志将存放在 logs 文件夹内。

bash ./bin/install.sh

注意:\ 第一次部署的话，可能出现 5 次sh: bin/dolphinscheduler-daemon.sh: No such file or directory相关信息，此为非重要信息直接忽略即可

登录 DolphinScheduler

浏览器访问地址 http://localhost:12345/dolphinscheduler/ui 即可登录系统UI。默认的用户名和密码是 admin/dolphinscheduler123

启停服务

# 一键停止集群所有服务
bash ./bin/stop-all.sh# 一键开启集群所有服务
bash ./bin/start-all.sh# 启停 Master
bash ./bin/dolphinscheduler-daemon.sh stop master-server
bash ./bin/dolphinscheduler-daemon.sh start master-server# 启停 Worker
bash ./bin/dolphinscheduler-daemon.sh start worker-server
bash ./bin/dolphinscheduler-daemon.sh stop worker-server# 启停 Api
bash ./bin/dolphinscheduler-daemon.sh start api-server
bash ./bin/dolphinscheduler-daemon.sh stop api-server# 启停 Alert
bash ./bin/dolphinscheduler-daemon.sh start alert-server
bash ./bin/dolphinscheduler-daemon.sh stop alert-server

Docker 部署

使用 standalone-server 镜像

使用 Standalone-server 镜像启动一个 DolphinScheduler standalone-server 容器应该是最快体验 DolphinScheduler 的方法。

通过这个方式 你可以最快速的体验到 DolphinScheduler 的大部分功能，了解主要和概念和内容。

DOLPHINSCHEDULER_VERSION=3.1.5
docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333 -d apache/dolphinscheduler-standalone-server:"${DOLPHINSCHEDULER_VERSION}"

注意：请不要将 apache/dolphinscheduler-standalone-server 镜像作为生产镜像，应该仅仅作为快速体验 DolphinScheduler 的功能的途径。
除了因为他将全部服务运行在一个进程中外，还因为其使用内存数据库 H2 储存其元数据，当服务停止时内存数据库中的数据将会被清空。 另外 apache/dolphinscheduler-standalone-server 仅包含 DolphinScheduler 核心服务，部分任务组件（如 Spark 和 Flink 等）， 告警组件（如 Telegram 和 Dingtalk 等）需要外部的组件或对应的配置后

使用 docker-compose 启动服务

使用 docker-compose启动服务相比 standalone-server 的优点是 DolphinScheduler 的各个是独立的容器和进程，相互影响降到最小，且能够在服务重启的时候保留元数据（如需要挂载到本地路径需要做指定）。

更健壮，能保证用户体验更加完整的 DolphinScheduler 服务。

这种方式需要先安装 docker-compose，链接适用于 Mac，Linux，Windows。

安装完成 docker-compose 后我们需要修改部分配置以便能更好体验 DolphinScheduler 服务，我们需要配置不少于 4GB 的空闲内存：

  • Mac：点击 Docker Desktop -> Preferences -> Resources -> Memory 调整内存大小
  • Windows Docker Desktop：
    • Hyper-V 模式：点击 Docker Desktop -> Settings -> Resources -> Memory 调整内存大小
    • WSL 2 模式 模式：参考 WSL 2 utility VM 调整内存大小

配置完成后我们需要获取 docker-compose.yaml 文件，通过下载页面下载对应版本源码包可能是最快的方法，源码包对应的值为 "Total Source Code"。

当下载完源码后就可以运行命令进行部署了。

DOLPHINSCHEDULER_VERSION=3.1.5
tar -zxf apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src.tar.gz
# Mac Linux 用户
cd apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src/deploy/docker
#  Windows 用户, `cd apache-dolphinscheduler-"${DOLPHINSCHEDULER_VERSION}"-src\deploy\docker`# 如果需要初始化或者升级数据库结构，需要指定profile为schema
docker-compose --profile schema up -d# 启动dolphinscheduler所有服务，指定profile为all
docker-compose --profile all up -d

提醒：通过 docker-compose 启动服务时，除了会启动 DolphinScheduler 对应的服务外，还会启动必要依赖服务，如数据库 PostgreSQL(用户 root, 密码 root, 数据库 dolphinscheduler) 和 服务发现 ZooKeeper。

沿用已有的 PostgreSQL 和 ZooKeeper 服务

使用 docker-compose 启动服务会新启动数据库，以及 ZooKeeper 服务。

如果你已经有在运行中的数据库，或者 ZooKeeper 且不想启动新的服务，可以使用这个方式分别启动 DolphinScheduler 容器。

DOLPHINSCHEDULER_VERSION=3.1.5
# 初始化数据库，其确保数据库 <DATABASE> 已经存在
docker run -d --name dolphinscheduler-tools \-e DATABASE="postgresql" \-e SPRING_DATASOURCE_URL="jdbc:postgresql://localhost:5432/<DATABASE>" \-e SPRING_DATASOURCE_USERNAME="<USER>" \-e SPRING_DATASOURCE_PASSWORD="<PASSWORD>" \--net host \apache/dolphinscheduler-tools:"${DOLPHINSCHEDULER_VERSION}" tools/bin/upgrade-schema.sh
# 启动 DolphinScheduler 对应的服务
docker run -d --name dolphinscheduler-master \-e DATABASE="postgresql" \-e SPRING_DATASOURCE_URL="jdbc:postgresql://localhost:5432/dolphinscheduler" \-e SPRING_DATASOURCE_USERNAME="<USER>" \-e SPRING_DATASOURCE_PASSWORD="<PASSWORD>" \-e REGISTRY_ZOOKEEPER_CONNECT_STRING="localhost:2181" \--net host \-d apache/dolphinscheduler-master:"${DOLPHINSCHEDULER_VERSION}"
docker run -d --name dolphinscheduler-worker \-e DATABASE="postgresql" \-e SPRING_DATASOURCE_URL="jdbc:postgresql://localhost:5432/dolphinscheduler" \-e SPRING_DATASOURCE_USERNAME="<USER>" \-e SPRING_DATASOURCE_PASSWORD="<PASSWORD>" \-e REGISTRY_ZOOKEEPER_CONNECT_STRING="localhost:2181" \--net host \-d apache/dolphinscheduler-worker:"${DOLPHINSCHEDULER_VERSION}"
docker run -d --name dolphinscheduler-api \-e DATABASE="postgresql" \-e SPRING_DATASOURCE_URL="jdbc:postgresql://localhost:5432/dolphinscheduler" \-e SPRING_DATASOURCE_USERNAME="<USER>" \-e SPRING_DATASOURCE_PASSWORD="<PASSWORD>" \-e REGISTRY_ZOOKEEPER_CONNECT_STRING="localhost:2181" \--net host \-d apache/dolphinscheduler-api:"${DOLPHINSCHEDULER_VERSION}"
docker run -d --name dolphinscheduler-alert-server \-e DATABASE="postgresql" \-e SPRING_DATASOURCE_URL="jdbc:postgresql://localhost:5432/dolphinscheduler" \-e SPRING_DATASOURCE_USERNAME="<USER>" \-e SPRING_DATASOURCE_PASSWORD="<PASSWORD>" \-e REGISTRY_ZOOKEEPER_CONNECT_STRING="localhost:2181" \--net host \-d apache/dolphinscheduler-alert-server:"${DOLPHINSCHEDULER_VERSION}"

注意：如果你本地还没有对应的数据库和 ZooKeeper 服务，但是想要尝试这个启动方式，可以先安装并启动 PostgreSQL(8.2.15+) 以及 ZooKeeper(3.8.0)

本文完！

本文由 白鲸开源科技 提供发布支持！


http://www.ppmy.cn/server/144722.html

相关文章

C++详细笔记（七）（string底层初步实现）

C++详细笔记（七）（string底层初步实现）

1.string库简介 C 的string库提供了std::string类型&#xff0c;用于方便地处理文本字符串。它是 C 标准模板库&#xff08;STL&#xff09;的一部分&#xff0c;相比于 C 语言中以\0结尾的字符数组&#xff08;C - 风格字符串&#xff09;&#xff0c;std::string提供了更安全…
阅读更多...
Dkron 架构与设计

Dkron 架构与设计

Dkron 是一个分布式、容错的任务调度系统&#xff0c;基于 Raft 共识算法&#xff0c;专注于高可用和扩展性。它被广泛用于调度和管理周期性任务&#xff0c;例如在分布式系统中运行批处理任务。以下是 Dkron 的主要架构和组件&#xff1a; 1. 核心组件 a. Server 节点 角色&…
阅读更多...
本地安装YAPI

本地安装YAPI

项目中用到很多的RESTAPI&#xff0c;光靠人工管理或者普通文档肯定是不行的&#xff0c;翻了很多的RESTAPI管理工具&#xff0c;还是选择了YAPI&#xff0c;原因有2&#xff0c;一个是接口位于内网&#xff0c;外网网站上管理测试不到内网接口&#xff0c;另外一个是使用方式&…
阅读更多...
防火墙第一天（day035）

防火墙第一天（day035）

1.表与链 表是对功能的分类&#xff0c;防火墙功能filter表&#xff0c;共享上网&#xff0c;端口转发nat表,其他raw表&#xff0c;mangle表 链对数据流进行处理&#xff0c;需要使用不同的链&#xff08;数据流入&#xff08;INPUT&#xff09;,数据流出&#xff08;output&…
阅读更多...
CodeTON Round 9 (Div. 1 + Div. 2, Rated, Prizes! ABCDE题) 视频讲解

CodeTON Round 9 (Div. 1 + Div. 2, Rated, Prizes! ABCDE题) 视频讲解

A. Shohag Loves Mod Problem Statement Shohag has an integer n n n. Please help him find an increasing integer sequence 1 ≤ a 1 < a 2 < … < a n ≤ 100 1 \le a_1 \lt a_2 \lt \ldots \lt a_n \le 100 1≤a1​<a2​<…<an​≤100 such that …
阅读更多...
开源网络安全检测工具——伏羲 Fuxi-Scanner

开源网络安全检测工具——伏羲 Fuxi-Scanner

伏羲是一款开源的网络安全检测工具&#xff0c;适用于中小型企业对企业信息系统进行安全巡航检测 本系统通过模块化提供多种安全功能 基于插件的漏洞扫描功能持续化漏洞管理多种协议的弱口令检测企业子域名收集企业 IT 资产管理及服务发现端口扫描AWVS(Acunetix Web Vulnerab…
阅读更多...
【漏洞复现】广州锦铭泰软件 F22服装管理软件系统 Load.ashx 任意文件读取漏洞

【漏洞复现】广州锦铭泰软件 F22服装管理软件系统 Load.ashx 任意文件读取漏洞

免责声明： 本文旨在提供有关特定漏洞的信息，以帮助用户了解潜在风险。发布此信息旨在促进网络安全意识和技术进步，并非出于恶意。读者应理解，利用本文提到的漏洞或进行相关测试可能违反法律或服务协议。未经授权访问系统、网络或应用程序可能导致法律责任或严重后果…
阅读更多...
Spring Boot与MyBatis-Plus的高效集成

Spring Boot与MyBatis-Plus的高效集成

Spring Boot与MyBatis-Plus的高效集成 引言 在现代 Java 开发中&#xff0c;MyBatis-Plus 作为 MyBatis 的增强工具&#xff0c;以其简化 CRUD 操作和无需编写 XML 映射文件的特点&#xff0c;受到了开发者的青睐。本篇文章将带你一步步整合 Spring Boot 与 MyBatis-Plus&…
阅读更多...
最新文章

Copyright @ 2022~2023