Apache Doris (八) :Doris分布式部署(五) Broker部署及Doris集群启动脚本

news/2025/1/12 18:20:33/

目录

1.Broker部署及扩缩容

1.1 BROKER 部署

1.2 BROKER 扩缩容

2. Apache Doris集群启停脚本


进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!


1.Broker部署及扩缩容

Broker 是 Doris 集群中一种可选进程,主要用于支持 Doris 读写远端存储上的文件和目录。建议每一个 FE 和 BE 节点都部署一个 Broker。

Broker 通过提供一个 RPC 服务端口来提供服务,是一个无状态的 Java 进程,负责为远端存储的读写操作封装一些操作,如 open,pread,pwrite 等等。除此之外,Broker 不记录任何其他信息,所以包括远端存储的连接信息、文件信息、权限信息等等,都需要通过参数在 RPC 调用中传递给 Broker 进程,才能使得 Broker 能够正确读写文件。

Broker 仅作为一个数据通路,并不参与任何计算,因此仅需占用较少的内存。通常一个 Doris 系统中会部署一个或多个 Broker 进程。并且相同类型的 Broker 会组成一个组,并设定一个 名称(Broker name)。

Broker 在 Doris 系统架构中的位置如下:

1.1 BROKER 部署

在节点划分中我们将要在node1~node5节点上部署Broker。具体操作步骤如下:

1. 准备Broker安装包

在资料中将“apache-doris-dependencies-1.2.1-bin-x86_64.tar.xz”文件进行解压,其中有“apache_hdfs_broker”文件夹,将该文件夹复制到node1~node5各个节点的 /software/doris-1.2.1目录中。

[root@node1 ~]# scp -r /software/doris-1.2.1/apache_hdfs_broker/ node2:/software/doris-1.2.1/
[root@node1 ~]# scp -r /software/doris-1.2.1/apache_hdfs_broker/ node3:/software/doris-1.2.1/
[root@node1 ~]# scp -r /software/doris-1.2.1/apache_hdfs_broker/ node4:/software/doris-1.2.1/
[root@node1 ~]# scp -r /software/doris-1.2.1/apache_hdfs_broker/ node5:/software/doris-1.2.1/

2. 启动Broker

在node1~node5节点上启动Borker:

cd /software/doris-1.2.1/apache_hdfs_broker/bin
chmod +x ./start_broker.sh 
chmod +x ./stop_broker.sh
./start_broker.sh --daemon

​​​​​​​3. 将Broker加入到Doris集群中

在node1通过mysql客户端连接Doris集群,执行SQL命令将启动的Borker加入到Doris集群中。

#通过mysql 客户端连接Doris集群
[root@node1 ~]# cd /software/mysql-5.7.22-client/bin/
[root@node1 bin]# ./mysql -uroot -P9030 -h192.168.179.4 -p123456#将各个Broker加入到集群中
mysql> ALTER SYSTEM ADD BROKER broker_name "node1:8000","node2:8000","node3:8000","node4:8000","node5:8000";
Query OK, 0 rows affected (0.02 sec)

​​​​​​​4. 查看broker信息

以上Broker节点加入成功后,可以通过如下SQL命令来进行查询:

# MySQL客户端查询Broker信息
mysql> SHOW PROC "/brokers";

结果如下:

 同时也可以登录node1~node5任意节点的8030端口,查看broker信息,如下:

 ​​​​​​​

1.2 BROKER 扩缩容

Broker 实例的数量没有硬性要求。通常每台物理机部署一个即可。Broker 的添加和删除可以通过以下命令完成,这里不再演示。

ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port"; 
ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port"; 
ALTER SYSTEM DROP ALL BROKER broker_name;

 Broker 是无状态的进程,可以随意启停。当然,停止后,正在其上运行的作业会失败,重试即可。

​​​​​​​2. Apache Doris集群启停脚本

Apache Doris部署后集群中角色包括FE、BE、Broker,这些节点都可以动态扩缩容。部署集群完成后,启动集群时依次启动FE、BE、Broker即可。停止集群依次按照Broker、BE、FE停止即可。以当前搭建的5节点为例,停止集群命令如下:

#停止Broker(node1~node5节点)
cd /software/doris-1.2.1/apache_hdfs_broker/bin
./stop_broker.sh#停止BE(node3~node5节点)
cd /software/doris-1.2.1/apache-doris-be/bin
./stop_be.sh#停止FE(node1~node5节点)
cd /software/doris-1.2.1/apache-doris-fe/bin
./stop_fe.sh 

启动集群命令如下:

#启动FE(node1~node5节点)
cd /software/doris-1.2.1/apache-doris-fe/bin
./start_fe.sh  --daemon#启动BE(node3~node5节点)
cd /software/doris-1.2.1/apache-doris-be/bin
./start_be.sh --daemon#启动Broker(node1~node5节点)
cd /software/doris-1.2.1/apache_hdfs_broker/bin
./start_broker.sh --daemon

也可以自己写脚本来完成Doris集群的启停,将脚本存入node1节点/software/doris-1.2.1目录下,启动脚本 start_doris.sh 内容如下:

#! /bin/bash
echo -e "start apache doris cluster on node1~node5\n"echo "start apache doris FE on node1~node5 >>>>>"
for fenode in node1 node2 node3 node4 node5
dossh $fenode "sh /software/doris-1.2.1/apache-doris-fe/bin/start_fe.sh --daemon"
donesleep 2
echo -e "\n"
for fenode in node1 node2 node3 node4 node5
doecho "***** check FE on $fenode jps *****"ssh $fenode "jps |grep PaloFe"
doneecho -e "\n"
echo "start apache doris BE on node3~node5 >>>>>"
for benode in node3 node4 node5
dossh $benode "source /etc/profile;sh /software/doris-1.2.1/apache-doris-be/bin/start_be.sh --daemon"
donesleep 2
echo -e "\n"
for benode in node3 node4 node5
doecho "***** check BE on $benode  *****"ssh $benode "ps aux |grep doris_be"
doneecho -e "\n"
echo "start apache doris BROKER on node1~node5 >>>>>"
for brokernode in node1 node2 node3 node4 node5
dossh $brokernode "sh /software/doris-1.2.1/apache_hdfs_broker/bin/start_broker.sh --daemon"
donesleep 2
echo -e "\n"
for brokernode in node1 node2 node3 node4 node5
doecho "***** check BROKER on $brokernode jps *****"ssh $brokernode "jps |grep BrokerBootstrap"
done

停止脚本stop_doris.sh 内容如下:

#! /bin/bash
echo -e "stop apache doris cluster on node1~node5\n"echo "stop apache doris BROKER on node1~node5 >>>>>"
for brokernode in node1 node2 node3 node4 node5
dossh $brokernode "sh /software/doris-1.2.1/apache_hdfs_broker/bin/stop_broker.sh"
donesleep 2
echo -e "\n"
for brokernode in node1 node2 node3 node4 node5
doecho "***** check BROKER on $brokernode jps *****"ssh $brokernode "jps |grep BrokerBootstrap"
doneecho -e "\n"
echo "stop apache doris BE on node3~node5 >>>>>"
for benode in node3 node4 node5
dossh $benode "source /etc/profile;sh /software/doris-1.2.1/apache-doris-be/bin/stop_be.sh"
donesleep 2
echo -e "\n"
for benode in node3 node4 node5
doecho "***** check BE on $benode  *****"ssh $benode "ps aux |grep doris_be"
doneecho -e "\n"
echo "stop apache doris FE on node1~node5 >>>>>"
for fenode in node1 node2 node3 node4 node5
dossh $fenode "sh /software/doris-1.2.1/apache-doris-fe/bin/stop_fe.sh"
donesleep 2
echo -e "\n"
for fenode in node1 node2 node3 node4 node5
doecho "***** check FE on $fenode jps *****"ssh $fenode "jps |grep PaloFe"
done

启停脚本编写完成后,可以通过以下方式调用:

[root@node1 ~]# cd /software/doris-1.2.1/
[root@node1 doris-1.2.1]# sh start_doris.sh
[root@node1 doris-1.2.1]# sh stop_doris.sh 


http://www.ppmy.cn/news/666564.html

相关文章

我在深圳的工作历程

题记 毕业已经有两年多了,也又到了学弟学妹们找工作的季节,一直没有时间来写一下自己工作两年多来的经历,而这种经历,算是自己对自己以前所走过的路的一种回味,也算是给学弟学妹们一份参考的经验。当然,经…

深圳多所学校试点电子书包 作业当堂批改

http://www.sznews.com/news/content/2012-12/10/content_7481793.htm 深圳多所学校试点电子书包 作业当堂批改 http://www.sznews.com 2012-12-10 08:50 来源: 深圳特区报 有 1 人参与评论 【字号:大 中 小】 深圳多所学校试点“电子书包” 课堂作…

Android 权限的一个类型系统模型

作者 | 陈泓旭 整理 | 编程语言 Lab 陈泓旭 华为可信实验室高级工程师,南洋理工大学博士。研究领域是程序分析、软件安全、编程理论等。 视频回顾: Android 权限的一个类型系统模型 本文主要和大家分享一下我读博期间做的和类型系统相关一篇文章&#xf…

两句话写的很好

只要你经商,就会有钱赚。 备注: 1.有这个想法,主要来源于最近倒卖几块电路板,赚了几百快钱,发现钱来得太容易了,我只是在网上和人聊聊天而已,虽然我不是陪聊,但是他们给我送钱了。 2.经商…

2022璞跃中国第二期武汉创新加速营入营名单出炉!

7月8日,2022璞跃中国第二期武汉创新加速营甄选日在武汉落幕。本次加速营以“新一代汽车为载体的智慧城市解决方案Ⅱ”为主题,继续在智慧城市与智慧汽车的发展上深挖技术、创新场景。活动聚焦“车载元宇宙”“智慧交通” “智慧园区” 等技术赛道&#xf…

多媒体数字互动技术的应用有哪些?

互动多媒体技术是宣传推广和展厅设计的展示方式和手段,结合多媒体技术进行多媒体展厅设计,具有新颖性、互动性和操作性等优点,新起典文旅科技详解多媒体数字互动技术的应用有哪些? 1、虚拟翻书、电子翻书、投影翻书 虚拟翻书系统…

【CVPR2019】【CVPR腾讯】【CVPR 腾讯AI Lab】2019年腾讯AI Lab共33篇:解读六大前沿方向

本文将分组介绍计算机视觉顶级会议 CVPR 中腾讯 AI Lab 的重点研究方向和入选论文。 计算机视觉顶级会议 CVPR 2019 将于 6 月 15 日– 6 月 21 日在加利福尼亚州长滩举办,今年腾讯公司共有 58 篇论文入选,其中腾讯 AI Lab 33 篇(含 8 篇oral…

5G将给普通人,带来哪些黄金红利期?

本文将不说废话,简洁明要,脚踏实地,给普通人,尤其是还没有翻身的普通DIAO丝青年一条明路,未来5G的道路上,我们有哪些地方可以发财。 在昨天刚刚结束的2018年中央经济工作会议上,5G已作为2019年…