dolphinScheduler(海豚调度器)分布式机群安装

server/2024/9/24 5:33:42/
1、安装包准备

下载好安装包 apache-dolphinscheduler-3.0.0-bin.tar.gz,上传至 /opt

2、解压,重命名
cd /opt
tar -zxvf apache-dolphinscheduler-3.0.0-bin.tar.gz
mv apache-dolphinscheduler-3.0.0-bin/ dolphin_install
3、在MySQL8中创建dolphinscheduler数据库
mysql -uroot -p
​
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
​
mysql> GRANT ALL ON dolphinscheduler.* TO 'dolphinscheduler'@'%' IDENTIFIED BY 'Pw#123456';
​
mysql> flush privileges;
4、 修改application.yaml配置文件
vim /opt/dolphin_install/alert-server/conf/application.yaml
vim /opt/dolphin_install/api-server/conf/application.yaml
vim /opt/dolphin_install/master-server/conf/application.yaml
vim /opt/dolphin_install/worker-server/conf/application.yaml

找到on-profile: mysql

      on-profile: mysqldatasource:driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://{ip}:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=trueusername: dolphinschedulerpassword: Pw#123456

{ip}为mysql8数据库ip

vim /opt/dolphin_install/api-server/conf/application.yaml
vim /opt/dolphin_install/master-server/conf/application.yaml
vim /opt/dolphin_install/worker-server/conf/application.yaml

找到type: zookeeper

  type: zookeeperzookeeper:namespace: dolphinschedulerconnect-string: bigdata1:2181,bigdata2:2181,bigdata3:2181

bigdata1:2181,bigdata2:2181,bigdata3:2181 为大数据zookeeper集群

5、 修改common.properties配置文件
vim /opt/dolphin_install/alert-server/conf/common.properties
vim /opt/dolphin_install/api-server/conf/common.properties
vim /opt/dolphin_install/master-server/conf/common.properties
vim /opt/dolphin_install/worker-server/conf/common.properties

修改以下配置

data.basedir.path=/opt/dolphinscheduler
resource.storage.type=HDFS
fs.defaultFS=hdfs://ns:8020
yarn.resourcemanager.ha.rm.ids=bigdata1,bigdata2

ns为HDFS的命名空间

bigdata1和bigdata2为安装了resource manager的主机名

5、 修改运行时的参数
vim /opt/dolph_install/bin/env/dolphinscheduler_env.sh

修改以下配置

export JAVA_HOME=${JAVA_HOME:-/usr/local/java/jdk1.8.0_231}
export DATABASE=${DATABASE:-mysql}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-GMT+8}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=${REGISTRY_ZOOKEEPER_CONNECT_STRING:-bigdata1:2181,bigdata2:2181,bigdata3:2181}
export HADOOP_HOME=${HADOOP_HOME:-/opt/cloudera/parcels/CDH/lib/hadoop}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop}
export HIVE_HOME=${HIVE_HOME:-/opt/cloudera/parcels/CDH/lib/hive}
6、修改一键部署的相关配置文件(具体内容根据自己的实际规划进行修改)
vim /opt/dolph_install/bin/env/install_env.sh

修改以下配置

ips=${ips:-"bigdata10,bigdata11,bigdata12"}
sshPort=${sshPort:-"10022"}
masters=${masters:-"bigdata10,bigdata11"}
workers=${workers:-"bigdata10:default,bigdata11:default,bigdata12:default"}
alertServer=${alertServer:-"bigdata10"}
apiServers=${apiServers:-"bigdata11"}
installPath=${installPath:-"/opt/dolphinscheduler"}
​
7、将core-site.xml和hdfs-site.xml文件拷贝到api-server/conf目录下
cp /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/core-site.xml /opt/dolph_install/api-server/conf
cp /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/hdfs-site.xml /opt/dolph_install/api-server/conf
8、将mysql-connector-java-8.0.17.jar放入api-server/libs目录下
cp mysql-connector-java-8.0.17.jar /opt/dolph_install/api-server/libs
9、初始化数据库
mysql -uroot -pPw#123456 < /opt/dolph_install/tools/sql/sql/dolphinscheduler_mysql.sql
10、执行安装命令
sh /opt/dolph_install/bin/install.sh

FAQ:
1.解决客户端无法访问mysql8问题
use mysql;
update user set host='%' where user='root';
FLUSH PRIVILEGES;

http://www.ppmy.cn/server/46229.html

相关文章

crossover玩游戏缺少文件怎么办 为什么游戏打开说缺失文件 crossover支持的游戏列表 CrossOver 提示 X 11 缺失怎么办?

CrossOver是一款类虚拟机软件&#xff0c;可以实现在Mac电脑上运行exe程序。不少Mac用户为了玩游戏&#xff0c;选择使用CrossOver这款软件玩Windows平台的游戏。 一、CrossOver支持的软件多吗 CrossOver是一款基于Wine的兼容工具&#xff0c;它可以让你在Mac或Linux上运行许多…

React 组件通信

1.从父组件向子组件传递参数: 父组件可以通过props将数据传递给子组件。子组件通过接收props来获取这些数据。 // 父组件 const ParentComponent () > {const data Hello, Child!;return <ChildComponent childData{data} />; }; ​ // 子组件 const ChildCompone…

有向图的拓扑排序

文章目录 概念及模板例题 杂务 概念及模板 有向图的拓扑排序是指将有向无环图中的所有顶点排成一个线性序列&#xff0c;使得图中任意一对顶点u和v&#xff0c;若边(u, v)在图中&#xff0c;则u在该序列中排在v的前面。 例如&#xff0c;假设有n个任务&#xff0c;这些任务需…

Java项目:92 基于SSM的办公管理系统

作者主页&#xff1a;舒克日记 简介&#xff1a;Java领域优质创作者、Java项目、学习资料、技术互助 文中获取源码 基于SSM的办公管理系统 1、项目介绍 基于SSM的办公管理系统主要是对于办公用品的申领进行管理&#xff0c;系统分为三种角色&#xff0c;超级管理员、企业 职…

【AVL Design Explorer DOE】

AVL Design Explorer DOE 1、关于DOE的个人理解2、DOE参考资料-知乎2.1 DOE发展及基本类型2.2 DOE应用场景2.3 Mintab 中的 DOE工具3、AVL Design Explorer DOE示例 1、关于DOE的个人理解 仿真和试验一样&#xff0c;就像盲人摸象&#xff0c;在不知道大象的全景之前&#xff…

整数乘除法练习题

#define _CRT_SECURE_NO_WARNINGS #include<stdio.h> #include<stdlib.h> #include<time.h> #include<Windows.h>void show1(); .//开始界面 int getchoice(); //选择界面 int dowork(int n); //随机做乘除法 int num(); //用户确定做题的数量 v…

[NISACTF 2022]easyssrf、[NISACTF 2022]level-up

[NISACTF 2022]easyssrf 使用dirsearch扫描后没发现什么路径 尝试访问127.0.0.1&#xff0c;成功了 访问127.0.0.1/flag.php提示有文件/fl4g 使用file://协议读取文件/fl4g&#xff0c;提示除此页面外还有一个ha1x1ux1u.php页面。 file:///fl4g 直接访问&#xff0c;发现GET…

2024.5.31学习记录

1、面经复习&#xff1a;webpack 2、rosebush 开发完成&#xff1a; rosebush官网