Kubernetes 分布式存储后端:指南

ops/2024/11/28 10:05:53/

在 Kubernetes 中实现分布式存储后端对于管理跨集群的持久数据、确保高可用性、可扩展性和可靠性至关重要。在 Kubernetes 环境中,应用程序通常被容器化并跨多个节点部署。虽然 Kubernetes 可以有效处理无状态应用程序,但有状态应用程序需要持久存储来维护数据完整性和可用性。分布式存储后端通过在集群中提供可扩展、有弹性且可访问的存储来提供解决方案,从而允许应用程序可靠地访问和存储数据。本指南探讨了在 Kubernetes 中设置分布式存储后端的基本概念、优点和实际步骤。
在这里插入图片描述

为什么分布式存储很重要

在 Kubernetes 环境中,分布式存储后端在管理有状态应用程序的数据方面发挥着至关重要的作用。无状态应用程序可以轻松扩展和管理,因为它们不维护请求之间的任何内部状态。然而,有状态的应用程序,例如数据库、内容管理系统和大数据处理应用程序,需要持久存储才能正常运行。分布式存储系统通过提供可靠且可扩展的方式来跨多个节点存储数据来满足这一需求,确保应用程序即使在遇到节点故障或扩展事件时也能保持状态。

分布式存储的好处

分布式存储提供了对现代云原生应用程序至关重要的几个关键优势:

  • 可扩展性:分布式存储系统可以通过添加更多节点来水平扩展,从而允许存储容量和性能随着应用程序的需求而增长。
  • 高可用性:数据在多个节点之间复制,确保即使某些节点出现故障,数据仍然可用。
  • 数据一致性:分布式存储确保整个集群内数据的一致性,保持完整性和可靠性。
  • 灵活性:支持各种存储类型和访问模式,支持不同的工作负载和用例。

何时使用分布式存储

分布式存储应该用在数据持久性、高可用性和可扩展性至关重要的 Kubernetes 环境中。它特别有利于:

  • 有状态应用程序:需要持久数据存储的应用程序(例如数据库和内容管理系统)受益于分布式存储的可靠性和可扩展性。
  • 大数据工作负载:需要可扩展且可靠存储的大规模数据处理应用程序可以利用分布式存储来有效处理大量数据。
  • 灾难恢复:数据冗余和故障转移功能对于业务连续性至关重要的场景可以依靠分布式存储来确保即使在发生故障时数据也保持可用和一致。

为什么分布式存储很重要

在 Kubernetes 环境中,应用程序通常被容器化并跨多个节点部署。虽然 Kubernetes 可以有效管理无状态应用程序,但有状态应用程序需要持久存储来维护数据完整性和可用性。分布式存储后端通过在集群中提供可扩展、有弹性且可访问的存储来提供解决方案,从而允许应用程序可靠地访问和存储数据。

分布式存储的好处

  • 可扩展性:分布式存储系统可以通过添加更多节点来水平扩展,从而允许存储容量和性能随着应用程序的需求而增长。
  • 高可用性:数据在多个节点之间复制,确保即使某些节点出现故障,数据仍然可用。
  • 数据一致性:分布式存储确保整个集群内数据的一致性,保持完整性和可靠性。
  • 灵活性:支持各种存储类型和访问模式,支持不同的工作负载和用例。

流行的 Kubernetes 分布式存储解决方案

多种分布式存储解决方案与 Kubernetes 无缝集成,提供强大的存储功能。一些最受欢迎的选项包括:

1. Ceph

Ceph 是一个高度可扩展的分布式存储系统,可在单一平台中提供对象、块和文件存储。它通过 Rook 操作符与 Kubernetes 很好地集成。
在这里插入图片描述

主要特点
Ceph 提供了支持对象、块和文件存储的统一存储系统。它具有高度可扩展性和弹性,能够处理 PB 级的数据。 Ceph 具有自我修复和自我管理功能,使其成为满足复杂存储需求的可靠选择。

用例:设置高可用数据库
在此用例中,我们将使用 Ceph 作为后端存储来设置一个高可用的 PostgreSQL 数据库。目标是确保数据库能够处理节点故障而不丢失数据。

操作步骤:

安装 Rook Operator

首先,为 Rook 创建命名空间并部署 Rook Operator。将以下配置保存到名为rook-operator.yaml的文件中:

apiVersion: v1
kind: Namespace
metadata:name: rook-ceph
---
apiVersion: apps/v1
kind: Deployment
metadata:name: rook-ceph-operatornamespace: rook-ceph
spec:replicas: 1template:metadata:labels:app: rook-ceph-operatorspec:containers:- name: rook-ceph-operatorimage: rook/ceph:v1.5.9

应用配置:

kubectl apply -f rook-operator.yaml

部署Ceph集群

通过将以下配置保存到名为rook-cluster.yaml的文件来创建 Ceph 集群:

apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:name: rook-cephnamespace: rook-ceph
spec:cephVersion:image: ceph/ceph:v15.2.4dataDirHostPath: /var/lib/rookmon:count: 3dashboard:enabled: truenetwork:hostNetwork: falsestorage:useAllNodes: trueuseAllDevices: true

应用配置:

kubectl apply -f rook-cluster.yaml

创建存储类

定义一个 StorageClass 以使用 Ceph 的 RBD 进行动态配置。将以下配置保存到名为rook-storageclass.yaml的文件中:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: rook-ceph-block
provisioner: rook-ceph.rbd.csi.ceph.com
parameters:clusterID: rook-cephpool: replicapoolimageFormat: "2"imageFeatures: layering
reclaimPolicy: Retain

应用配置:

kubectl apply -f rook-cluster.yaml

部署 PostgreSQL

最后,使用新创建的 StorageClass 部署 PostgreSQL 数据库。将以下配置保存到名为postgres-deployment.yaml的文件中:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: postgres-pvc
spec:accessModes:- ReadWriteOnceresources:requests:storage: 10GistorageClassName: rook-ceph-block
---
apiVersion: apps/v1
kind: Deployment
metadata:name: postgres
spec:replicas: 1selector:matchLabels:app: postgrestemplate:metadata:labels:app: postgresspec:containers:- name: postgresimage: postgres:12env:- name: POSTGRES_PASSWORDvalue: "yourpassword"volumeMounts:- mountPath: /var/lib/postgresql/dataname: postgres-storagevolumes:- name: postgres-storagepersistentVolumeClaim:claimName: postgres-pvc

应用配置:

kubectl apply -f postgres-deployment.yaml

2.GlusterFS

GlusterFS 是一个可扩展的网络文件系统,与 Kubernetes 集成以提供持久存储。它以其简单性和易于部署而闻名。
在这里插入图片描述

主要特点

GlusterFS 具有可扩展性和分布式性,提供高性能和简单的配置。它允许轻松添加存储节点并通过数据复制提供高可用性。

使用案例:为 Web 应用程序设置共享存储

在此用例中,我们将设置 GlusterFS 为需要跨多个副本访问相同文件的 Web 应用程序提供共享存储。

操作步骤:

安装 GlusterFS

首先,设置一个 GlusterFS 集群。在每个 GlusterFS 节点上,安装 GlusterFS 并创建 GlusterFS 卷。

sudo apt-get install glusterfs-server
sudo systemctl start glusterd
sudo gluster peer probe <other-node-ip>
sudo gluster volume create gv0 replica 2 <node1-ip>:/data/brick1/gv0 <node2-ip>:/data/brick2/gv0
sudo gluster volume start gv0

部署 GlusterFS DaemonSet

在 Kubernetes 中部署 DaemonSet 以在每个节点上挂载 GlusterFS 卷。将以下配置保存到名为glusterfs-daemonset.yaml的文件中:

apiVersion: v1
kind: PersistentVolume
metadata:name: glusterfs-pv
spec:capacity:storage: 10GiaccessModes:- ReadWriteManyglusterfs:endpoints: glusterfs-clusterpath: gv0readOnly: false
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: glusterfs-pvc
spec:accessModes:- ReadWriteManyresources:requests:storage: 10Gi

应用配置:

kubectl apply -f glusterfs-pv-pvc.yaml

创建持久卷和持久卷声明

定义 PersistentVolume (PV) 和 PersistentVolumeClaim (PVC) 以使用 GlusterFS 卷。将以下配置保存到名为glusterfs-pv-pvc.yaml的文件中:

apiVersion: apps/v1
kind: Deployment
metadata:name: webapp
spec:replicas: 3selector:matchLabels:app: webapptemplate:metadata:labels:app: webappspec:containers:- name: webappimage: nginxvolumeMounts:- mountPath: /usr/share/nginx/htmlname: webapp-storagevolumes:- name: webapp-storagepersistentVolumeClaim:claimName: glusterfs-pvc

应用配置:

kubectl apply -f webapp-deployment.yaml

部署 Web 应用程序

部署使用 GlusterFS PVC 进行共享存储的 Web 应用程序。将以下配置保存到名为webapp-deployment.yaml的文件中:

apiVersion: apps/v1
kind: Deployment
metadata:name: webapp
spec:replicas: 3selector:matchLabels:app: webapptemplate:metadata:labels:app: webappspec:containers:- name: webappimage: nginxvolumeMounts:- mountPath: /usr/share/nginx/htmlname: webapp-storagevolumes:- name: webapp-storagepersistentVolumeClaim:claimName: glusterfs-pvc

应用配置:

kubectl apply -f webapp-deployment.yaml

3. OpenEBS

OpenEBS 是 Kubernetes 原生存储解决方案,提供容器附加存储。它提供对存储的精细控制,是 DevOps 工作流程的理想选择。
在这里插入图片描述

主要特点

OpenEBS 是 Kubernetes 原生的,提供对存储的精细控制。它支持多种存储引擎,使其灵活且适用于广泛的用例。

使用案例:设置具有持久存储的 CI/CD 管道

在此用例中,我们将设置 OpenEBS 为 Jenkins CI/CD 管道提供持久存储。这可确保跨管道运行保留构建工件和日志。

操作步骤:

安装OpenEBS

使用 Helm 安装 OpenEBS。首先,添加 OpenEBS Helm 存储库并安装 OpenEBS 图表。

helm repo add openebs https://openebs.github.io/charts
helm install openebs --namespace openebs openebs/openebs

创建存储类
为 OpenEBS 定义存储类。将以下配置保存到名为openebs-storageclass.yaml的文件中:

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:name: openebs-sc
provisioner: openebs.io/provisioner-iscsi
parameters:openebs.io/storage-pool: "default"

应用配置:

kubectl apply -f openebs-storageclass.yaml

部署Jenkins

使用 OpenEBS StorageClass 部署 Jenkins 进行持久存储。将以下配置保存到名为jenkins-deployment.yaml的文件中:

apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: jenkins-pvc
spec:accessModes:- ReadWriteOnceresources:requests:storage: 20GistorageClassName: openebs-sc
---
apiVersion: apps/v1
kind: Deployment
metadata:name: jenkins
spec:replicas: 1selector:matchLabels:app: jenkinstemplate:metadata:labels:app: jenkinsspec:containers:- name: jenkinsimage: jenkins/jenkins:ltsenv:- name: JAVA_OPTSvalue: "-Djenkins.install.runSetupWizard=false"volumeMounts:- mountPath: /var/jenkins_homename: jenkins-storagevolumes:- name: jenkins-storagepersistentVolumeClaim:claimName: jenkins-pvc

应用配置:

kubectl apply -f jenkins-deployment.yaml

实施分布式存储的最佳实践

在 Kubernetes 中实现分布式存储涉及多种最佳实践,以确保最佳性能、可扩展性和可靠性。这些实践包括选择正确的存储解决方案、优化存储配置以及持续监控和维护存储系统。

选择正确的存储解决方案

选择合适的存储后端对于满足应用程序的性能、可扩展性和可靠性要求至关重要。不同的存储解决方案提供独特的功能和优势,使其适合各种用例。

例如,Ceph 非常适合需要能够处理具有高可扩展性和弹性的对象、块和文件存储的统一存储系统的环境。 GlusterFS 适用于需要简单、高性能网络文件系统的应用程序。 OpenEBS 非常适合需要对存储进行精细控制的 Kubernetes 原生环境。

优化存储配置

微调存储设置对于优化性能至关重要。这包括调整复制因子、启用缓存机制以及配置网络设置以减少延迟并提高吞吐量。

对于Ceph,您可以调整复制因子以在性能和数据冗余之间取得平衡。增加副本数量可以增强数据可用性,但可能会影响写入性能。

调整Ceph复制因子的示例:

apiVersion: ceph.rook.io/v1
kind: CephCluster
metadata:name: rook-cephnamespace: rook-ceph
spec:cephVersion:image: ceph/ceph:v15.2.4dataDirHostPath: /var/lib/rookmon:count: 3dashboard:enabled: truenetwork:hostNetwork: falsestorage:useAllNodes: trueuseAllDevices: truereplication:size: 3  # Adjust the replication factor here

对于 GlusterFS,调整卷配置有助于优化性能。例如,设置适当的块大小并启用性能选项可以提高特定工作负载的吞吐量。

调整 GlusterFS 卷配置的示例:

sudo gluster volume set gv0 performance.cache-size 256MB
sudo gluster volume set gv0 performance.write-behind on
sudo gluster volume set gv0 performance.quick-read on

监控和维护

持续监控和维护存储系统对于确保其健康和性能至关重要。使用 Prometheus 等监控工具来跟踪关键指标并及早发现问题。

对于 Ceph,您可以设置 Prometheus 来监控存储运行状况。创建一个 ServiceMonitor 以从 Ceph 管理器中抓取指标。

使用Prometheus监控Ceph的示例:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:name: rook-ceph-mgrnamespace: rook-ceph
spec:selector:matchLabels:app: rook-ceph-mgrendpoints:- port: http-metricsinterval: 15spath: /metrics

应用配置:

kubectl apply -f servicemonitor.yaml

对于 GlusterFS,您可以使用 Gluster Prometheus Exporter 来监控 GlusterFS 卷的运行状况。将导出器部署为 DaemonSet 以确保每个节点都受到监控。

部署 Gluster Prometheus Exporter 的示例:

apiVersion: apps/v1
kind: DaemonSet
metadata:name: glusterfs-exporternamespace: monitoring
spec:selector:matchLabels:app: glusterfs-exportertemplate:metadata:labels:app: glusterfs-exporterspec:containers:- name: glusterfs-exporterimage: prom/glusterfs-exporterports:- containerPort: 9189name: metrics

应用配置:

kubectl apply -f glusterfs-exporter.yaml

对于 OpenEBS,使用 Prometheus Operator 监控卷和存储引擎的运行状况。为 OpenEBS 设置 ServiceMonitor。

使用Prometheus监控OpenEBS的示例:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:name: openebs-monitornamespace: monitoring
spec:selector:matchLabels:app: openebsendpoints:- port: http-metricsinterval: 15spath: /metrics

应用配置:

kubectl apply -f openebs-monitor.yaml

进一步阅读

有关分布式存储后端及其与 Kubernetes 集成的更深入信息,请参阅以下资源:

  • Rook Ceph文档:https://rook.io/docs/rook/v1.5/ceph-storage/
  • GlusterFS文档: https://docs.gluster.org/en/latest/
  • OpenEBS文档: https://openebs.io/docs

http://www.ppmy.cn/ops/137321.html

相关文章

养宠宠物空气净化器哪个好?实测热销品牌安德迈、希喂、小米

最近啊&#xff0c;猫咪们开始换毛了&#xff0c;不少铲屎官们正打算买个养宠宠物空气净化器呢&#xff0c;但面对众多选择&#xff0c;是不是有点儿犯愁不知道该咋挑&#xff1f;别担心&#xff0c;作为养猫多年的老手&#xff0c;我今天就来实测三款特别火的养宠宠物空气净化…

裸金属服务器和专属主机的区别是什么?

在当今互联网时代&#xff0c;人们越来越重视服务器的使用。裸金属服务器和专属主机是两种常见的服务器形式。裸金属服务器和云主机有什么区别呢&#xff1f; 一、定义和概念 裸金属服务器和云主机都是租用物理服务器的一种方式。 裸金属服务器是指没有安装虚拟化技术的物理…

WordCloud参数的用法:

-------------词云图集合------------- 用WordcloudPyQt5写个词云图生成器1.0 WordCloud去掉停用词&#xff08;fit_wordsgenerate&#xff09;的2种用法 通过词频来绘制词云图&#xff08;jiebaWordCloud&#xff09; Python教程95&#xff1a;去掉停用词词频统计jieba.toke…

HTTP有哪些风险?是怎么解决的?

一、风险 HTTP是通过明文传输的&#xff0c;存在窃听风险、篡改风险以及冒充风险。 二、如何解决 HTTPS在HTTP的下层加了一个SSL/TLS层&#xff0c;保证了安全&#xff0c;通过混合加密解决窃听风险、数字签名解决篡改风险、数字证书解决冒充风险。 &#xff08;1&#xff0…

Ubuntu20.04运行msckf_vio

文章目录 环境配置修改编译项目运行MSCKF_VIO运行 Launch 文件运行 rviz播放 ROSBAG 数据集 运行结果修改mskcf 保存轨迹EVO轨迹评价EVO轨迹评估流程实操先把euroc的真值转换为tum&#xff0c;保存为data.tum正式评估 报错1问题描述 报错2问题描述问题分析问题解决 参考 环境配…

Error executing a python function in exec_func_python() autogenerated

具体错误 ERROR: docker-ce-20.10.25-cegit791d8ab87747169b4cbfcdf2fd57c81952bae6d5-r0 do_unpack: Error executing a python function in exec_func_python() autogenerated:The stack trace of python calls that resulted in this exception/failure was: File: exec_fu…

解决虚拟机中 GitHub 无法通过 HTTPS 访问的问题

目录 1.在虚拟机中可以ping通github&#xff0c;但无法curl2.防火墙问题参考 1.在虚拟机中可以ping通github&#xff0c;但无法curl damondamon-virtual-machine:~/SchurVINS_ws/src$ ping github.com PING github.com (20.205.243.166) 56(84) bytes of data. 64 字节&#x…

《OpenCV 图像缩放、翻转与变换全攻略:从基础操作到高级应用实战》

简介&#xff1a;本文详细阐述了 OpenCV 在图像操作中的关键技术&#xff0c;包括缩放&#xff08;确定尺寸缩放与按比例缩放&#xff09;、翻转&#xff08;沿不同轴的翻转方式&#xff09;以及变换&#xff08;平移、旋转、三点确定变换和四点确定变换即透视变换&#xff09;…