doris:负载均衡

news/2025/3/24 5:11:58/

用户通过 FE 的查询端口（query_port，默认 9030）使用 MySQL 协议连接 Doris。当部署多个 FE 节点时，用户可以在多个 FE 之上部署负载均衡层来实现 Doris 查询的高可用。

本文档介绍多种适用于 Doris 的负载均衡方案，并介绍如何通过 Proxy Protocol 实现客户端 IP 透传。

负载均衡​

本文使用以下三个 FE 节点作为示例进行步骤演示：

192.168.1.101:9030
192.168.1.102:9030
192.168.1.103:9030

代理服务器所在节点：

192.168.1.100

01 JDBC URL​

使用 JDBC URL 中自带的负载均衡配置。

jdbc:mysql:loadbalance://192.168.1.101:9030,192.168.1.102:9030,192.168.1.103:9030/test_db

详细可以参考 MySQL 官网文档

02 Nginx​

使用 Nginx TCP 反向代理实现 Doris 的负载均衡。

安装 Nginx​

请参看 Nginx 官网正确安装 Nginx，这里以 Ubuntu 系统中安装 Nginx 1.18.0 版本为例展示 Nginx 的编译安装步骤。

  1. 安装编译依赖

    sudo apt-get install build-essential
sudo apt-get install libpcre3 libpcre3-dev 
sudo apt-get install zlib1g-dev
sudo apt-get install openssl libssl-dev

  2. 安装 Nginx

    sudo wget http://nginx.org/download/nginx-1.18.0.tar.gz
sudo tar zxvf nginx-1.18.0.tar.gz
cd nginx-1.18.0
sudo ./configure --prefix=/usr/local/nginx --with-stream --with-http_ssl_module --with-http_gzip_static_module --with-http_stub_status_module
sudo make && make install

配置反向代理​

新建配置文件：

vim /usr/local/nginx/conf/default.conf

内容如下：

events {
worker_connections 1024;
}
stream {upstream mysqld {hash $remote_addr consistent;server 192.168.1.101:9030 weight=1 max_fails=2 fail_timeout=60s;server 192.168.1.102:9030 weight=1 max_fails=2 fail_timeout=60s;server 192.168.1.103:9030 weight=1 max_fails=2 fail_timeout=60s;}server {# Proxy portlisten 6030;proxy_connect_timeout 300s;proxy_timeout 300s;proxy_pass mysqld;}
}

启动 Nginx​

指定配置文件启动：

cd /usr/local/nginx
/usr/local/nginx/sbin/nginx -c conf.d/default.conf

验证​

使用代理端口进行连接：

mysql -uroot -P6030 -h192.168.1.100mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| test               |
+--------------------+
2 rows in set (0.00 sec)

03 HAProxy​

HAProxy 是一个使用 C 语言编写高性能 TCP/HTTP 负载均衡器。

安装 HAProxy​

  1. 下载 HAProxy

    下载地址：https://src.fedoraproject.org/repo/pkgs/haproxy/

  2. 解压

    tar -zxvf haproxy-2.6.15.tar.gz -C /opt/
mv haproxy-2.6.15 haproxy
cd haproxy

  3. 编译

    yum install gcc gcc-c++ -y
make TARGET=linux-glibc PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy

配置 HAProxy​

  1. 配置 haproxy.conf 文件

    打开配置文件：

    vim /etc/rsyslog.d/haproxy.conf

    内容如下：

    $ModLoad imudp 
$UDPServerRun 514
local0.* /usr/local/haproxy/logs/haproxy.log
&~

  2. 开启远程日志

    vim /etc/sysconfig/rsyslog

    添加内容：

    SYSLOGD_OPTIONS="-c 2 -r -m 0"

    参数说明：

    • -c 2：使用兼容模式，默认是 -c 5。
    • -r：开启远程日志。
    • ·-m 0`：标记时间戳。单位是分钟，为 0 时，表示禁用该功能。

    使修改生效：

    systemctl restart rsyslog

  3. 编辑负载均衡文件

    vim /usr/local/haproxy/haproxy.cfg


    globalmaxconn         2000ulimit-n        40075log             127.0.0.1 local0 infouid             200gid             200chroot          /var/emptydaemongroup           haproxyuser            haproxydefaultslog globalmode httpretries 3option redispatchtimeout connect 5000timeout client 5000timeout server 5000timeout check 2000frontend agent-frontbind *:6030mode tcpdefault_backend forward-febackend forward-femode tcpbalance roundrobinserver fe-1 192.168.1.101:9030 weight 1 check inter 3000 rise 2 fall 3server fe-2 192.168.1.102:9030 weight 1 check inter 3000 rise 2 fall 3server fe-3 192.168.1.103:9030 weight 1 check inter 3000 rise 2 fall 3

启动 HAProxy​

  1. 启动服务

    /opt/haproxy/haproxy -f /usr/local/haproxy/haproxy.cfg

  2. 查看服务状态

    netstat -lnatp | grep -i haproxy

验证​

mysql -h 192.168.1.100 -uroot -P6030 -p

04 ProxySQL​

ProxySQL 是基于 MySQL 的开源数据库代理软件，用 C 语言编写。能实现连接管理、读写分离、负载均衡、故障切换等功能，具有高性能、可配置、动态管理等优势，常用于 Web 服务、大数据平台、云数据库等场景。

安装 ProxySQL​

请参考 官方文档 正确安装 ProxySQL。

配置 ProxySQL​

ProxySQL 包含配置文件 /etc/proxysql.cnf 与配置数据库文件 /var/lib/proxysql/proxysql.db。

需特别注意，若 /var/lib/proxysql 目录下存在 "proxysql.db" 文件，ProxySQL 服务仅在首次启动时读取并解析 proxysql.cnf，后续启动不再读取。

若要使 proxysql.cnf 配置在重启后生效，需先删除 /var/lib/proxysql/proxysql.db 再重启服务，这相当于初始化启动，会生成新的 proxysql.db 文件，原配置规则将被清除。

以下是配置文件 proxysql.cnf 的主要内容：

datadir="/var/lib/proxysql"         #数据目录
admin_variables=
{admin_credentials="admin:admin"  # Admin databse username and password.mysql_ifaces="0.0.0.0:6032"    # Admin database port, used for connecting admin database of ProxySQL
}
mysql_variables=
{threads=4max_connections=2048default_query_delay=0default_query_timeout=36000000have_compress=truepoll_timeout=2000interfaces="0.0.0.0:6030"default_schema="information_schema"stacksize=1048576server_version="5.7.99"connect_timeout_server=3000monitor_username="monitor"monitor_password="monitor"monitor_history=600000monitor_connect_interval=60000monitor_ping_interval=10000monitor_read_only_interval=1500monitor_read_only_timeout=500ping_interval_server_msec=120000ping_timeout_server=500commands_stats=truesessions_sort=trueconnect_retries_on_failure=10
}
mysql_servers =
(
)
mysql_users:
(
)
mysql_query_rules:
(
)
scheduler=
(
)
mysql_replication_hostgroups=
(
)

连接 ProxySQL 管理数据库​
mysql -uadmin -padmin -P6032 -hdoris01


ProxySQL > show databases;
+-----+---------------+-------------------------------------+
| seq | name          | file                                |
+-----+---------------+-------------------------------------+
| 0   | main          |                                     |
| 2   | disk          | /var/lib/proxysql/proxysql.db       |
| 3   | stats         |                                     |
| 4   | monitor       |                                     |
| 5   | stats_history | /var/lib/proxysql/proxysql_stats.db |
+-----+---------------+-------------------------------------+
5 rows in set (0.000 sec)
ProxySQL > use main;ProxySQL > show tables;
+--------------------------------------------+
| tables                                     |
+--------------------------------------------+
| global_variables                           |
| mysql_collations                           |
| mysql_group_replication_hostgroups         |
| mysql_query_rules                          |
| mysql_query_rules_fast_routing             |
| mysql_replication_hostgroups               |
| mysql_servers                              |
| mysql_users                                |
| proxysql_servers                           |
| runtime_checksums_values                   |
| runtime_global_variables                   |
| runtime_mysql_group_replication_hostgroups |
| runtime_mysql_query_rules                  |
| runtime_mysql_query_rules_fast_routing     |
| runtime_mysql_replication_hostgroups       |
| runtime_mysql_servers                      |
| runtime_mysql_users                        |
| runtime_proxysql_servers                   |
| runtime_scheduler                          |
| scheduler                                  |
+--------------------------------------------+
20 rows in set (0.000 sec)

doris-fe">ProxySQL 配置后端 Doris FE​

使用 INSERT 语句将需要被代理的 FE 节点和端口添加到 mysql_servers 表中。

其中：hostgroup_id 为 10 表示写组，为 20 表示读组。我们这里不需要读写分离，所以可以任意设置。

mysql -uadmin -padmin -P6032 -h127.0.0.1


ProxySQL > insert into mysql_servers(hostgroup_id,hostname,port) values(10,'192.168.0.101',9030);
Query OK, 1 row affected (0.000 sec)ProxySQL > insert into mysql_servers(hostgroup_id,hostname,port) values(10,'192.168.0.102',9030);
Query OK, 1 row affected (0.000 sec)ProxySQL > insert into mysql_servers(hostgroup_id,hostname,port) values(10,'192.168.0.103',9030);
Query OK, 1 row affected (0.000 sec)

查看结果：

ProxySQL > select hostgroup_id,hostname,port,status,weight from mysql_servers;
+--------------+---------------+------+--------+--------+
| hostgroup_id | hostname      | port | status | weight |
+--------------+---------------+------+--------+--------+
| 10           | 192.168.0.101 | 9030 | ONLINE | 1      |
| 20           | 192.168.0.102 | 9030 | ONLINE | 1      |
| 20           | 192.168.0.103 | 9030 | ONLINE | 1      |
+--------------+---------------+------+--------+--------+
3 rows in set (0.000 sec)

如果在插入过程中，出现报错：

ERROR 1045 (#2800): UNIQUE constraint failed: mysql_servers.hostgroup_id, mysql_servers.hostname, mysql_servers.port

说明可能之前就已经定义了其他配置，可以清空这张表，或者删除对应 host 的配置：

ProxySQL > select * from mysql_servers;
ProxySQL > delete from mysql_servers;
Query OK, 6 rows affected (0.000 sec)

保存信息：

ProxySQL > load mysql servers to runtime;
Query OK, 0 rows affected (0.006 sec)ProxySQL > save mysql servers to disk;
Query OK, 0 rows affected (0.348 sec)

doris-fe-节点配置">监控 Doris FE 节点配置​

添加 Doris FE 节点之后，还需要监控这些后端节点。

首先在 Doris 中创建一个用于监控的用户名：

mysql -uroot -P9030 -h192.168.0.101


Doris > create user monitor@'192.168.0.100' identified by 'P@ssword1!';
Query OK, 0 rows affected (0.03 sec)Doris > grant ADMIN_PRIV on *.* to monitor@'192.168.0.100';
Query OK, 0 rows affected (0.02 sec)

然后回到 ProxySQL 代理层节点上配置监控

mysql -uadmin -padmin -P6032 -h127.0.0.1


ProxySQL > set mysql-monitor_username='monitor';
Query OK, 1 row affected (0.000 sec)ProxySQL > set mysql-monitor_password='P@ssword1!';
Query OK, 1 row affected (0.000 sec)

保存配置并退出：

ProxySQL > load mysql servers to runtime;
Query OK, 0 rows affected (0.006 sec)ProxySQL > save mysql servers to disk;
Query OK, 0 rows affected (0.348 sec)

验证监控结果。

ProxySQL 监控模块的指标都保存在 monitor.log 表中。

连接监控：

ProxySQL > select * from mysql_server_connect_log;
+---------------+------+------------------+-------------------------+---------------+
| hostname      | port | time_start_us    | connect_success_time_us | connect_error |
+---------------+------+------------------+-------------------------+---------------+
| 192.168.0.101 | 9030 | 1548665195883957 | 762                     | NULL          |
| 192.168.0.102 | 9030 | 1548665195894099 | 399                     | NULL          |
| 192.168.0.103 | 9030 | 1548665195904266 | 483                     | NULL          |
| 192.168.0.101 | 9030 | 1548665255883715 | 824                     | NULL          |
| 192.168.0.102 | 9030 | 1548665255893942 | 656                     | NULL          |
| 192.168.0.101 | 9030 | 1548665495884125 | 615                     | NULL          |
| 192.168.0.102 | 9030 | 1548665495894254 | 441                     | NULL          |
| 192.168.0.103 | 9030 | 1548665495904479 | 638                     | NULL          |
| 192.168.0.101 | 9030 | 1548665512917846 | 487                     | NULL          |
| 192.168.0.102 | 9030 | 1548665512928071 | 994                     | NULL          |
| 192.168.0.103 | 9030 | 1548665512938268 | 613                     | NULL          |
+---------------+------+------------------+-------------------------+---------------+
20 rows in set (0.000 sec)

心跳监控：

ProxySQL > select * from mysql_server_ping_log;
+---------------+------+------------------+----------------------+------------+
| hostname      | port | time_start_us    | ping_success_time_us | ping_error |
+---------------+------+------------------+----------------------+------------+
| 192.168.0.101 | 9030 | 1548665195883407 | 98                   | NULL       |
| 192.168.0.102 | 9030 | 1548665195885128 | 119                  | NULL       |
...........
| 192.168.0.102 | 9030 | 1548665415889362 | 106                  | NULL       |
| 192.168.0.103 | 9030 | 1548665562898295 | 97                   | NULL       |
+---------------+------+------------------+----------------------+------------+
110 rows in set (0.001 sec)

客户端 IP 透传​

多数情况下，通过代理服务连接到后端 Doris 服务后，客户端 IP 信息会丢失，Doris 服务端只能获取到代理服务器的 IP 地址信息。

自 2.1.1 版本开始，Doris 支持 Proxy Protocol 协议。利用这个协议，可以是实现客户端 IP 透传，从而在经过负载均衡后，Doris 依然可以获取客户端的真实 IP，实现白名单等权限控制。

下面分别介绍如何在 Nginx 和 Haproxy 中开启 Proxy Protocol。

doris-开启-proxy-protocol-支持">Doris 开启 Proxy Protocol 支持​

在 FE 的 fe.conf 中添加：

enable_proxy_protocol = true

  1. 仅支持 Proxy Protocol V1。

  2. 仅支持并作用于 MySQL 协议端口，不支持和影响 HTTP、ADBC 等其他协议端口。

  3. 在 Doris 3.1 版本之前，开启后，必须使用 Proxy Protocol 协议进行连接，否则连接失败。3.1 版本开始，开启 Proxy Protocol 后，依然可以使用标准的 MySQL 连接协议进行连接。

01 Nginx​

在配置文件的 server 部分新增：proxy_protocol on;：

events {
worker_connections 1024;
}
stream {upstream mysqld {hash $remote_addr consistent;server 192.168.1.101:9030 weight=1 max_fails=2 fail_timeout=60s;server 192.168.1.102:9030 weight=1 max_fails=2 fail_timeout=60s;server 192.168.1.103:9030 weight=1 max_fails=2 fail_timeout=60s;}server {# Proxy portlisten 6030;proxy_connect_timeout 300s;proxy_timeout 300s;proxy_pass mysqld;# Enable Proxy Protocol to the upstream serverproxy_protocol on;}
}

02 HAProxy​

在 haproxy.cfg 的 backend 部分新增 send-proxy 参数：

backend forward-femode tcpbalance roundrobinserver fe-1 192.168.1.101:9030 weight 1 check inter 3000 rise 2 fall 3 send-proxyserver fe-2 192.168.1.102:9030 weight 1 check inter 3000 rise 2 fall 3 send-proxyserver fe-3 192.168.1.103:9030 weight 1 check inter 3000 rise 2 fall 3 send-proxy

验证 IP 透传是否成功​

通过代理连接 Doris：

mysql -uroot -P6030 -h192.168.1.100

验证

mysql> show processlist;
+------------------+------+------+-------------------+---------------------+----------+------+---------+------+-------+-----------------------------------+------------------+
| CurrentConnected | Id   | User | Host              | LoginTime           | Catalog  | Db   | Command | Time | State | QueryId                           | Info             |
+------------------+------+------+-------------------+---------------------+----------+------+---------+------+-------+-----------------------------------+------------------+
| Yes              |    1 | root | 192.168.1.101:34390 | 2024-03-17 16:32:22 | internal |      | Query   |    0 | OK    | 82edc460d93f4e28-8bbed058a068e259 | show processlist |
+------------------+------+------+-------------------+---------------------+----------+------+---------+------+-------+-----------------------------------+------------------+
1 row in set (0.00 sec)

如果在 Host 列看到的真实的客户端 IP，则说明验证成功。否则，只能看到代理服务的 IP 地址。

同时，在 fe.audit.log 中也会记录真实的客户端 IP。


http://www.ppmy.cn/news/1581158.html

相关文章

XSS 绕过分析：一次循环与两次循环的区别

XSS 绕过分析：一次循环与两次循环的区别

目录 代码分析 代码流程： 一次循环的问题 原因分析：删除顺序导致遗漏 两次循环修复方案 两种绕过方式 绕过方法 1：DOM破环 绕过方法 2：SVG XSS（双 SVG 绕过） 1. 为什么 "一个SVG注定失败&…
阅读更多...
[特殊字符] 2025蓝桥杯备赛Day8——B2118 验证子串

[特殊字符] 2025蓝桥杯备赛Day8——B2118 验证子串

🔍 2025蓝桥杯备赛Day8——B2118 验证子串 🚀 题目速览 题目难度：⭐️ 适合掌握字符串基本操作 考察重点：子串判断、字符串查找、条件分支处理 B2118 验证子串 题目描述 输入两个字符串，验证其中一个串是否为另一…
阅读更多...
光影香江聚四海，蓝陵科技扬帆数字内容新蓝海

光影香江聚四海，蓝陵科技扬帆数字内容新蓝海

3月20日，第29届香港国际影视展（FILMART）圆满收官，这场亚洲顶级行业盛会吸引了34个国家和地区逾760家机构参展，搭建起全球影视产业深度对话的桥梁。蓝陵科技携三大创新数字解决方案惊艳亮相，与各国行业领袖共…
阅读更多...
如何通过Python实现自动化任务：从入门到实践

如何通过Python实现自动化任务：从入门到实践

在当今快节奏的数字化时代，自动化技术正逐渐成为提高工作效率的利器。无论是处理重复性任务，还是管理复杂的工作流程，自动化都能为我们节省大量时间和精力。本文将以Python为例，带你从零开始学习如何实现自动化任务，并通过一个实际案例展示其强大功能。 一、为什么选择Pyt…
阅读更多...
【PCIe 总线及设备入门学习专栏 3.2 -- PCIe 在进行大数据搬运时是如何组包的？】

【PCIe 总线及设备入门学习专栏 3.2 -- PCIe 在进行大数据搬运时是如何组包的？】

文章目录 Overview1. PCIe数据传输的核心机制(1) 数据分割(2) TLP头部构造(3) 数据链路层封装(4) 物理层传输2. GPU从内存搬运数据的组包流程场景示例：3. 优化机制(1) 大页传输（TLP合并）(2) 流量控制与信用机制(3) 地址对齐优化4. 完整示例5. 性能影响Overview 本文将详细介…
阅读更多...
现代美学工业风品牌海报徽标设计PSAI无衬线英文字体安装包 Moldin – Condensed Sans Serif Font

现代美学工业风品牌海报徽标设计PSAI无衬线英文字体安装包 Moldin – Condensed Sans Serif Font

现代几何工业风品牌海报徽标设计无衬线英文字体安装包 Moldin — Condensed Sans Serif Font Moldin 是一个粗体浓缩的无衬线字体系列，旨在为显示和标题提供最大的影响。Moldin 有 6 种粗细可供选择，从常规到黑色，提供静态和可变格式&#x…
阅读更多...
基于大模型的下颌前突畸形预测及治疗方案研究报告

基于大模型的下颌前突畸形预测及治疗方案研究报告

目录 一、引言 1.1 研究背景 1.2 研究目的 1.3 研究意义 二、大模型技术原理与应用现状 2.1 大模型的基本原理 2.2 在医疗领域的应用案例 2.3 在下颌前突畸形研究中的可行性分析 三、下颌前突畸形概述 3.1 定义与分类 3.2 流行病学特征 3.3 病因与发病机制 3.4 对…
阅读更多...
FIT Framework 社区 v3.5.0-M1 版本发布

FIT Framework 社区 v3.5.0-M1 版本发布

这是 FIT Framework 社区 3.5.0 版本的第一个里程碑的发布！ FIT 函数平台 ⭐ 新特性 IoC 插件化容器能力 ● 支持 Bean 的管理，包括 Bean 的创建、实例化、注入等能力，并建立 Bean 对象之间的依赖关系。 ● 支持 Bean 的生命周期管理。 ●…
阅读更多...
最新文章

Copyright @ 2022~2023