K8S中的数据存储之基本存储

embedded/2025/1/30 6:31:19/

基本存储类型

EmptyDir

  • 描述：当 Pod 被调度到节点上时，Kubernetes 会为 Pod 创建一个空目录，所有在该 Pod 中的容器都可以访问这个目录。
  • 特点：
    • 生命周期与 Pod 绑定，Pod 删除时，数据也会丢失。
    • 适用于临时存储需求，如缓存或临时计算数据。
    • 支持多种存储类型（如 tmpfs）可以根据需求选择。

HostPath

  • 描述：将主机节点上的文件或目录挂载到 Pod 中的容器内。
  • 特点：
    • 允许 Pod 访问宿主机的文件系统。
    • 数据存储在节点上，如果 Pod 被调度到不同的节点上，数据不可用。
    • 适用于单节点集群或测试环境中，不推荐在生产环境中使用。
    • 存在潜在的安全风险，因为容器可以访问宿主机的文件系统。

NFS

  • 描述：网络存储解决方案将存储分布到多个节点或机器，Kubernetes 可以使用这些存储系统作为 PV 后端。
  • 特点：
    • 提供集群级别的共享存储，支持多个 Pod 挂载相同的卷。
    • 适用于需要共享数据的应用，如分布式数据库。
    • 支持高可用性、数据复制、故障恢复等功能。
    • 需要额外的配置和管理，通常适用于大型分布式应用或企业级场景。

EmptyDir详解

EmptyDir 是一种轻量级的存储选项，用于 Pod 内部容器之间的数据共享或临时存储。下面是一些关于 EmptyDir 的补充信息：

  • 生命周期：EmptyDir 的生命周期与 Pod 绑定。当 Pod 被创建时，EmptyDir 被创建并挂载到 Pod 中所有需要它的容器上。当 Pod 被删除时，EmptyDir 及其内容也会被删除。

  • 使用场景：

    • 临时存储：对于需要临时写入和读取数据，但不要求数据持久化的场景，如缓存或会话数据。

    • 容器间数据共享：当 Pod 中运行多个容器需要共享文件时，EmptyDir 可以作为一个共享存储空间。

    • 数据处理：在数据被处理并存储到更持久的存储解决方案之前，可以临时存储在 EmptyDir 中。

  • 性能：EmptyDir 存储的性能通常与宿主机的磁盘性能相当，因为它直接存储在宿主机上。

  • 限制：由于 EmptyDir 与 Pod 的生命周期绑定，因此它不适合存储需要跨 Pod 持久化的数据。此外，EmptyDir 不保证数据的备份或复制，所以在 Pod 重启或重建时数据可能会丢失。

  • 配置：EmptyDir 可以通过 Pod 定义中的 spec.volumes 字段来配置，无需指定宿主机上的路径。

  • 安全性：EmptyDir 默认只对 Pod 内部的容器可见，提供了一定程度的隔离。

在一个Pod中准备两个容器nginx和busybox，然后声明一个Volume分别挂在到两个容器的目录中，然后nginx容器负责向Volume中写日志，busybox中通过命令将日志内容读到控制台。

[root@k8s-master ~]# vim volume-emptydir.yaml
[root@k8s-master ~]# kubectl apply -f volume-emptydir.yaml 
Error from server (NotFound): error when creating "volume-emptydir.yaml": namespaces "test" not found
[root@k8s-master ~]# kubectl create ns test
namespace/test created
[root@k8s-master ~]# kubectl apply -f volume-emptydir.yaml 
pod/volume-emptydir created
[root@k8s-master ~]# kubectl get pod -n test -o wide
NAME              READY   STATUS              RESTARTS   AGE   IP       NODE        NOMINATED NODE   READINESS GATES
volume-emptydir   0/2     ContainerCreating   0          35s   <none>   k8s-node1   <none>           <none>
[root@k8s-master ~]# kubectl get pod -n test -w
NAME              READY   STATUS              RESTARTS   AGE
volume-emptydir   0/2     ContainerCreating   0          40s
volume-emptydir   2/2     Running             0          56s
^C[root@k8s-master ~]# kubectl exec -it volume-emptydir -n test /bin/bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
Defaulted container "nginx" out of: nginx, busybox
root@volume-emptydir:/# echo 'This is EmptyDir test' > /usr/share/nginx/html/index.html 
root@volume-emptydir:/# exit
exit
[root@k8s-master ~]# kubectl get pod -n test -o wide
NAME              READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
volume-emptydir   2/2     Running   0          80s   10.244.36.81   k8s-node1   <none>           <none>
[root@k8s-master ~]# curl 10.244.36.81
This is EmptyDir test
[root@k8s-master ~]# kubectl logs -f volume-emptydir -n test -c busybox 
10.244.235.192 - - [25/Jan/2025:09:39:19 +0000] "GET / HTTP/1.1" 200 22 "-" "curl/7.29.0" "-"
10.244.235.192 - - [25/Jan/2025:09:39:40 +0000] "GET / HTTP/1.1" 200 22 "-" "curl/7.29.0" "-"
10.244.235.192 - - [25/Jan/2025:09:39:41 +0000] "GET / HTTP/1.1" 200 22 "-" "curl/7.29.0" "-"

 通过curl命令进行访问，可以看到访问成功的日志信息；

 

HostPath详解

  • EmptyDir中数据不会被持久化，它会随着Pod的结束而销毁，如果想简单的将数据持久化到主机中，可以选择HostPath。

  • HostPath就是将Node主机中一个实际目录挂在到Pod中，以供容器使用，这样的设计就可以保证Pod销毁了，但是数据依据可以存在于Node主机上。

    • 数据持久性：与 EmptyDir 不同，HostPath 卷将 Node 主机上的一个目录挂载到 Pod 中，使得 Pod 内的容器可以访问和修改该目录上的文件。由于这些文件存储在 Node 主机上，因此即使 Pod 被删除，数据仍然可以在 Node 主机上保持。

    • 用途：HostPath 适用于需要持久化数据的场景，例如数据库文件、配置文件等。然而，由于 HostPath 直接使用了 Node 主机的文件系统，可能会带来一些安全和管理上的挑战，例如权限管理、数据一致性等问题。

[root@k8s-master ~]#  vim volume-hostpath.yaml
[root@k8s-master ~]# kubectl apply -f volume-hostpath.yaml 
pod/volume-hostpath created
[root@k8s-master ~]#  kubectl get pod -n test -w
NAME              READY   STATUS    RESTARTS   AGE
volume-emptydir   2/2     Running   0          9m26s
volume-hostpath   2/2     Running   0          6s
^C[root@k8s-master ~]# kubectl describe pod volume-hostpath -n test
Name:         volume-hostpath
Namespace:    test
Priority:     0
Node:         k8s-node1/192.168.58.232
Start Time:   Sat, 25 Jan 2025 04:47:14 -0500
Labels:       <none>
Annotations:  cni.projectcalico.org/containerID: 12d55de1744ff89a73d0fb3c4f9cf45427847f3ca631f130147e2a41b9916c53cni.projectcalico.org/podIP: 10.244.36.82/32cni.projectcalico.org/podIPs: 10.244.36.82/32
Status:       Running
IP:           10.244.36.82
IPs:IP:  10.244.36.82
Containers:nginx:Container ID:   docker://c0c42dab2b85a9d336abcba543be34740ce44c19453d41435882cc4e356ea18eImage:          nginx:1.17.1Image ID:       docker-pullable://nginx@sha256:b4b9b3eee194703fc2fa8afa5b7510c77ae70cfba567af1376a573a967c03dbbPort:           80/TCPHost Port:      0/TCPState:          RunningStarted:      Sat, 25 Jan 2025 04:47:16 -0500Ready:          TrueRestart Count:  0Environment:    <none>Mounts:/var/log/nginx from logs-volume (rw)/var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-bqnr4 (ro)busybox:Container ID:  docker://ee04657f326faa26619d0ffe9acb277885aa792737aed9d3e343c570d17ff0a8Image:         busybox:1.30Image ID:      docker-pullable://busybox@sha256:4b6ad3a68d34da29bf7c8ccb5d355ba8b4babcad1f99798204e7abb43e54ee3dPort:          <none>Host Port:     <none>Command:/bin/sh-ctail -f /logs/access.logState:          RunningStarted:      Sat, 25 Jan 2025 04:47:16 -0500Ready:          TrueRestart Count:  0Environment:    <none>Mounts:/logs from logs-volume (rw)/var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-bqnr4 (ro)
Conditions:Type              StatusInitialized       True Ready             True ContainersReady   True PodScheduled      True 
Volumes:logs-volume:Type:          HostPath (bare host directory volume)Path:          /root/logsHostPathType:  DirectoryOrCreatekube-api-access-bqnr4:Type:                    Projected (a volume that contains injected data from multiple sources)TokenExpirationSeconds:  3607ConfigMapName:           kube-root-ca.crtConfigMapOptional:       <nil>DownwardAPI:             true
QoS Class:                   BestEffort
Node-Selectors:              <none>
Tolerations:                 node.kubernetes.io/not-ready:NoExecute op=Exists for 300snode.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:Type    Reason     Age   From               Message----    ------     ----  ----               -------Normal  Scheduled  25s   default-scheduler  Successfully assigned test/volume-hostpath to k8s-node1Normal  Pulled     23s   kubelet            Container image "nginx:1.17.1" already present on machineNormal  Created    23s   kubelet            Created container nginxNormal  Started    23s   kubelet            Started container nginxNormal  Pulled     23s   kubelet            Container image "busybox:1.30" already present on machineNormal  Created    23s   kubelet            Created container busyboxNormal  Started    23s   kubelet            Started container busybox
[root@k8s-master ~]#  kubectl get pod -n test -o wide
NAME              READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
volume-emptydir   2/2     Running   0          10m   10.244.36.81   k8s-node1   <none>           <none>
volume-hostpath   2/2     Running   0          98s   10.244.36.82   k8s-node1   <none>           <none>

 describe中看的pod调度到node1节点，在master节点执行curl进行访问，到node1节点下查看是否存在/root/logs目录，并查看日志信息：

[root@k8s-node1 ~]# ll /root/logs/
total 4
-rw-r--r--. 1 root root 95 Jan 25 04:49 access.log
-rw-r--r--. 1 root root  0 Jan 25 04:47 error.log[root@k8s-node1 ~]# tail -f /root/logs/access.log 
10.244.235.192 - - [25/Jan/2025:09:49:00 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
10.244.235.192 - - [25/Jan/2025:09:49:48 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"

 

NFS

  • 虽然 HostPath 可以用于解决数据持久化的问题，但它并不适用于跨节点的数据共享和高可用性场景。一旦 Pod 从一个节点迁移到另一个节点，HostPath 卷中的数据就无法访问。这是因为 HostPath 卷依赖于特定节点上的文件系统，而不是一个独立的网络存储系统。

  • 为了解决这个问题，确保数据在节点迁移时仍然可用，通常推荐使用网络文件存储系统，如 NFS (Network File System) 或 CIFS (Common Internet File System)。这两种协议允许 Pod 访问远程存储系统上的数据，就好像它们是本地文件一样。

  • NFS 是一种网络文件系统协议，它允许客户端计算机访问服务器上的文件和目录，就像它们是本地文件一样。通过设置 NFS 服务器，您可以将 Pod 中的存储直接连接到 NFS 系统上。这样，即使 Pod 从一个节点迁移到另一个节点，只要网络连接正常，Pod 就可以继续访问数据。

需要在每个机器上都安装NFS

yum install nfs-utils -y
[root@k8s-master ~]# mkdir /nfstest
[root@k8s-master ~]# vim /etc/exports
[root@k8s-master ~]# systemctl restart rpcbind.service nfs-server.service[root@k8s-master ~]# vim volume-nfs.yaml 
[root@k8s-master ~]# kubectl apply -f volume-nfs.yaml 
pod/volume-nfs created
[root@k8s-master ~]# kubectl get pod -n test -w 
NAME         READY   STATUS              RESTARTS   AGE
volume-nfs   0/2     ContainerCreating   0          2s
volume-nfs   0/2     ContainerCreating   0          3s
volume-nfs   2/2     Running             0          3s
^C[root@k8s-master ~]kubectl get pod -n test -o wide
NAME         READY   STATUS    RESTARTS   AGE   IP             NODE        NOMINATED NODE   READINESS GATES
volume-nfs   2/2     Running   0          16s   10.244.36.88   k8s-node1   <none>           <none>
[root@k8s-master ~]# cd /nfstest/
[root@k8s-master nfstest]# ll
total 4
-rw-r--r--. 1 root root 95 Jan 25 05:18 access.log
-rw-r--r--. 1 root root  0 Jan 25 05:18 error.log
[root@k8s-master nfstest]# tai -f access.log 
-bash: tai: command not found
[root@k8s-master nfstest]# tail -f access.log 
10.244.235.192 - - [25/Jan/2025:10:18:20 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
10.244.235.192 - - [25/Jan/2025:10:18:47 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"

在node1和node2节点执行如下命令：

[root@k8s-node1 ~]# showmount -e 192.168.58.231
Export list for 192.168.58.231:
/nfstest 192.168.58.0/24

在master节点使用curl命令进行测试，查看master节点/nfstest目录下是否存在访问日志：
 

[root@k8s-master ~]# curl  10.244.36.88
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>body {width: 35em;margin: 0 auto;font-family: Tahoma, Verdana, Arial, sans-serif;}
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p><p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p><p><em>Thank you for using nginx.</em></p>
</body>
</html>
[root@k8s-master nfstest]# tail -f access.log 
10.244.235.192 - - [25/Jan/2025:10:18:20 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
10.244.235.192 - - [25/Jan/2025:10:18:47 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"


http://www.ppmy.cn/embedded/158006.html

相关文章

【Qt 常用控件】显示类控件2（QLCDNumber、QProgressBar、QCalenderWidget）

【Qt 常用控件】显示类控件2（QLCDNumber、QProgressBar、QCalenderWidget）

目录 1.QLCDNumber 例&#xff1a;实现倒计时 1.使用Qt定时器、结合信号槽 2.用循环&#xff0c;休眠函数 segmentStyle 数字显示风格 2.QProgressBar 进度条 例&#xff1a;按时间增长的进度条、每隔1000ms&#xff0c;让进度条的数值1&#xff0c;直到100. 前置声明 …
阅读更多...
Android Studio 新版本24.2.2 运行后自动切到 LogCat

Android Studio 新版本24.2.2 运行后自动切到 LogCat

最近更新了 Android studio 版本&#xff0c;发现有个问题&#xff1a; 每次 Run app 之后。都会自动切换到 run 标签。这让我非常不习惯。我个人习惯在app 运行后查看Logcat 最后靠 deepSeek 找到一种解决方案&#xff1a; Android Studio 中截图如下&#xff1a;
阅读更多...
Linux初识：【冯诺依曼体系结构】【操作系统概念】【进程部分概念（进程状态）（进程优先级）（进程调度队列）】

Linux初识：【冯诺依曼体系结构】【操作系统概念】【进程部分概念（进程状态）（进程优先级）（进程调度队列）】

目录 一.冯诺依曼体系结构 二.操作系统 2.1概念 2.2设计OS的目的 2.3核心功能 2.4如何理解管理 2.5系统调用和库函数概念 理解系统调用 理解库函数 三.进程 3.1进程的基本概念与基本操作 3.1.1描述进程 3.1.2tast_struct 3.1.3查看进程 创建进程 查看进程 小知识…
阅读更多...
DRG/DIP 2.0时代下基于PostgreSQL的成本管理实践与探索（下）

DRG/DIP 2.0时代下基于PostgreSQL的成本管理实践与探索（下）

五、数据处理与 ETL 流程编程实现 5.1 数据抽取与转换（ETL） 在 DRG/DIP 2.0 时代的医院成本管理中，数据抽取与转换（ETL）是将医院各个业务系统中的原始数据转化为可供成本管理分析使用的关键环节。这一过程涉及从医院 HIS 系统中抽取患者诊疗数据，并对其进行格式转换、字…
阅读更多...
C语言初阶力扣刷题——349. 两个数组的交集【难度：简单】

C语言初阶力扣刷题——349. 两个数组的交集【难度：简单】

1. 题目描述 力扣在线OJ题目 给定两个数组&#xff0c;编写一个函数来计算它们的交集。 示例&#xff1a; 输入&#xff1a;nums1 [1,2,2,1], nums2 [2,2] 输出&#xff1a;[2] 输入&#xff1a;nums1 [4,9,5], nums2 [9,4,9,8,4] 输出&#xff1a;[9,4] 2. 思路 直接暴力…
阅读更多...
Hive之加载csv格式数据到hive

Hive之加载csv格式数据到hive

场景&#xff1a; 今天接了一个需求&#xff0c;将测试环境的hive数据导入到正式环境中。但是不需要整个流程的迁移&#xff0c;只需要迁移ads表 解决方案&#xff1a; 拿到这个需求首先想到两个方案&#xff1a; 1、将数据通过insert into语句导出&#xff0c;然后运行脚本 …
阅读更多...
数据流中的第 K 大元素(703)

数据流中的第 K 大元素(703)

703. 数据流中的第 K 大元素 - 力扣&#xff08;LeetCode&#xff09; 解答&#xff1a; class KthLargest { public: //使用nums作为_q的底层存储&#xff0c;节省内存 KthLargest(int k, vector<int>& nums) : _k(k),…
阅读更多...
基于Springboot + vue实现的美发门店管理系统

基于Springboot + vue实现的美发门店管理系统

💖学习知识需费心， 📕整理归纳更费神。 🎉源码免费人人喜， 🔥码农福利等你领！ 💖常来我家多看看， 📕网址：扣棣编程， 🎉感谢支持常陪伴， 🔥点赞关注别忘记！ 💖山高路远坑又深， 📕大军纵横任驰奔， 🎉谁敢横刀立马行？ 🔥唯有点赞+关注成！ �…
阅读更多...
最新文章

Copyright @ 2022~2023