Elasticsearch 集群

server/2024/12/28 14:09:11/

集群结构

        以三台物理机为例。在这三台物理机上,搭建了 6 个 ES 的节点,三个 data 节点,三个 master 节点(每台物理机分别起了一个 data 和一个 master),3 个 master 节点,目的是达到(n/2) +1 等于 2 的要求,这样挂掉一台 master 后(不考虑 data),n 等于 2,满足参数,其他两个 master 节点都认为 master 挂掉之后开始重新选举.
master 节点上
node.master = true
node.data = false
discovery.zen.minimum_master_nodes = 2
data 节点上
node.master = false
node.data = true

集群搭建

所有之前先运行:sysctl -w vm.max_map_count=262144
我们只是测试,所以临时修改。永久修改使用下面
#防止 JVM 报错
echo vm.max_map_count=262144 >> /etc/sysctl.conf
sysctl -p

准备 docker 网络

Docker 创建容器时默认采用 bridge 网络,自行分配 ip,不允许自己指定。

在实际部署中,我们需要指定容器 ip,不允许其自行分配 ip,尤其是搭建集群时,固定 ip
是必须的。
我们可以创建自己的 bridge 网络 : mynet,创建容器的时候指定网络为 mynet 并指定 ip
即可。
 
#查看网络模式
docker network ls;
#创建网络
docker network create --driver bridge --subnet=172.18.12.0/16 --gateway=172.18.1.1
mynet
#查看网络信息
docker network inspect mynet
以后使用--network=mynet --ip 172.18.12.x 指定 ip

docker-compose

设置权限:chmod -R 777 /

  elasticsearch1:

    # 使用elasticsearch:7.5.1镜像

    image: elasticsearch:7.17.2

    container_name: elasticsearch1

    # 设置环境变量:集群名称为elasticsearch,以确保节点互相发现

    environment:

      ES_JAVA_OPTS: "-Xms251m -Xmx251m"

    # 将9200端口映射到主机端口

    ports:

      - "9201:9201"

      - "9301:9301"

    # 挂载elasticsearch数据目录

    volumes:

      - /docker/elasticsearch1/data:/usr/share/elasticsearch/data

      - /docker/elasticsearch1/plugins:/usr/share/elasticsearch/plugins

      - /docker/elasticsearch1/logs:/usr/share/elasticsearch/logs

      - /docker/elasticsearch1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

    restart: always

    network_mode: "host"

  elasticsearch2:

    # 使用elasticsearch:7.5.1镜像

    image: elasticsearch:7.17.2

    container_name: elasticsearch2

    # 设置环境变量:集群名称为elasticsearch,以确保节点互相发现

    environment:

      ES_JAVA_OPTS: "-Xms251m -Xmx251m"

    # 将9200端口映射到主机端口

    ports:

      - "9202:9202"

      - "9302:9302"

    # 挂载elasticsearch数据目录

    volumes:

      - /docker/elasticsearch2/data:/usr/share/elasticsearch/data

      - /docker/elasticsearch2/plugins:/usr/share/elasticsearch/plugins

      - /docker/elasticsearch2/logs:/usr/share/elasticsearch/logs

      - /docker/elasticsearch2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

    restart: always

    network_mode: "host"

  elasticsearch3:

    # 使用elasticsearch:7.5.1镜像

    image: elasticsearch:7.17.2

    container_name: elasticsearch3

    # 设置环境变量:集群名称为elasticsearch,以确保节点互相发现

    environment:

      ES_JAVA_OPTS: "-Xms251m -Xmx251m"

    # 将9200端口映射到主机端口

    ports:

      - "9203:9203"

      - "9303:9303"

    # 挂载elasticsearch数据目录

    volumes:

      - /docker/elasticsearch3/data:/usr/share/elasticsearch/data

      - /docker/elasticsearch3/plugins:/usr/share/elasticsearch/plugins

      - /docker/elasticsearch3/logs:/usr/share/elasticsearch/logs

      - /docker/elasticsearch3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

    restart: always

    network_mode: "host"

elasticsearch.yml

master节点的配置

cluster.name: my-es #集群的名称,同一个集群该值必须设置成相同的

node.name: es-master-1 #该节点的名字

node.master: true #该节点有机会成为 master 节点

node.data: false #该节点可以存储数据

network.host: 0.0.0.0

http.host: 0.0.0.0 #所有 http 均可访问

http.port: 9201

transport.tcp.port: 9301

#discovery.zen.minimum_master_nodes: 2 #设置这个参数来保证集群中的节点可以知道其它 N 个有 master 资格的节点。官方推荐(N/2)+1

discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时 ping 连接的超时时间

discovery.seed_hosts: ["192.168.1.145:9301", "192.168.1.145:9302", "192.168.1.145:9303"] #设置集群中的 Master 节点的初始列表,可以通过这些节点来自动发现其他新加入集群的节点,es7 的新增配置

cluster.initial_master_nodes: ["es-master-1", "es-master-2", "es-master-3"] #新集群初始时的候选主节点,es7 的新增配置

slave节点的配置 

cluster.name: my-es #集群的名称,同一个集群该值必须设置成相同的

node.name: es-master-1 #该节点的名字

node.master: false #该节点有机会成为 master 节点

node.data: true#该节点可以存储数据

network.host: 0.0.0.0

http.host: 0.0.0.0 #所有 http 均可访问

http.port: 9204

transport.tcp.port: 9304

#discovery.zen.minimum_master_nodes: 2 #设置这个参数来保证集群中的节点可以知道其它 N 个有 master 资格的节点。官方推荐(N/2)+1

discovery.zen.ping_timeout: 10s #设置集群中自动发现其他节点时 ping 连接的超时时间

discovery.seed_hosts: ["192.168.1.145:9301", "192.168.1.145:9302", "192.168.1.145:9303"] #设置集群中的 Master 节点的初始列表,可以通过这些节点来自动发现其他新加入集群的节点,es7 的新增配置

cluster.initial_master_nodes: ["es-master-1", "es-master-2", "es-master-3"] #新集群初始时的候选主节点,es7 的新增配置

 测试集群

http://192.168.1.145 :9201/_nodes/process?pretty 查看节点状况
http://192.168.1.145 :9201/_cluster/stats?pretty 查看集群状态
http://1192.168.1.145 :9201/_cluster/health?pretty 查看集群健康状况
http://192.168.1.145 :9202/_cat/nodes 查看各个节点信息
$ curl localhost:9200/_cat
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
/_cat/nodeattrs
/_cat/repositories
/_cat/snapshots/{repository}

 


http://www.ppmy.cn/server/153932.html

相关文章

YOLO11改进-注意力-引入自调制特征聚合模块SMFA

本篇文章将介绍一个新的改进机制——SMFA(自调制特征聚合模块),并阐述如何将其应用于YOLOv11中,显著提升模型性能。随着深度学习在计算机视觉中的不断进展,目标检测任务也在快速发展。YOLO系列模型(You Onl…

软考-信息安全-网络安全体系与网络安全模型

4.1 网络安全体系概述 网络安全保障是一项复杂的系统工程,是安全策略,多种技术,管理方法和人员安全素质的综合。 4.1.1 网络安全体系概念 现代的网络安全问题变化莫测,要保障网络系统的安全,应当把相应的安全策略&a…

虚幻引擎是什么?

Unreal Engine,是一款由Epic Games开发的游戏引擎。该引擎主要是为了开发第一人称射击游戏而设计,但现在已经被成功地应用于开发模拟游戏、恐怖游戏、角色扮演游戏等多种不同类型的游戏。虚幻引擎除了被用于开发游戏,现在也用于电影的虚拟制片…

Android14 OTA升级速度过慢问题解决方案

软件版本:Android14 硬件平台:QCS6115 问题:OTA整包升级接近20min,太长无法忍受。 该问题为Android高版本的虚拟AB分区压缩技术所致,其实就是时间换空间,个人推测AB分区压缩会节约硬件存储空间&#xff0…

EKF 自动匹配维度 MATLAB代码

该 M A T L A B MATLAB MATLAB代码实现了扩展卡尔曼滤波( E

Python 和 Pandas 版本的对应关系

在使用 Python 和 Pandas 时,确保它们的版本兼容是非常重要的。以下是 Python 和 Pandas 版本的对应关系,帮助你选择合适的版本。 安装示例 如果你使用的是 Python 3.9,并希望安装与之兼容的 Pandas 版本,可以使用以下命令&#…

Milvus 中,FieldSchema 的 dim 参数和索引参数中的 “nlist“ 的区别

在 Milvus 中,FieldSchema 的 dim 参数和索引参数中的 "nlist" 是两个完全不同的概念,它们分别用于不同的目的。下面我将详细解释两者的区别: 1. FieldSchema 中的 dim 参数 定义:dim 参数用于指定向量字段的维度&…

商品线上个性定制,并实时预览3D定制效果,是如何实现的?

商品线上3D个性化定制的实现涉及多个环节和技术,以下是详细的解释: 一、实现流程 产品3D建模: 是实现3D可视化定制的前提,需要对产品进行三维建模。可通过三维扫描仪或建模师进行建模,将产品的外观、结构、材质等细…