安装k8s+docker
sealos resetsealos run registry.cn-shanghai.aliyuncs.com/labring/kubernetes-docker:v1.27.7 registry.cn-shanghai.aliyuncs.com/labring/helm:v3.9.4 registry.cn-shanghai.aliyuncs.com/labring/cilium:v1.13.4 --single英伟达Ubuntu驱动下载地址：https://us.download.nvidia.cn/XFree86/Linux-x86_64/550.78/NVIDIA-Linux-x86_64-550.78.run./NVIDIA-Linux-x86_64-550.78.runnvidia-smiFri Jul 12 23:18:31 2024
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.78 Driver Version: 550.78 CUDA Version: 12.4 |
|-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce GTX 1060 6GB Off | 00000000:02:00.0 On | N/A |
| 38% 39C P8 8W / 150W | 273MiB / 6144MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------++-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 969 G /usr/lib/xorg/Xorg 184MiB |
| 0 N/A N/A 1597 G /usr/bin/gnome-shell 65MiB |
| 0 N/A N/A 2143 G ...in/bin/sunloginclient --cmd=autorun 11MiB |
| 0 N/A N/A 2379 G ...) Chrome/58.0.3029.81 Safari/537.36 1MiB |
| 0 N/A N/A 2405 G ...en=DA4D3A8EA9B98D974368ACD3390ED795 5MiB |distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update --fix-missing
sudo apt-get install -y nvidia-container-toolkit nvidia-docker2
sudo apt-get --only-upgrade install nvidia-docker2sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{"registry-mirrors": ["https://yxzrazem.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart dockersudo docker run --rm -it --gpus all nvidia/cuda:11.8.0-devel-ubuntu22.04 /bin/bashkubernetes 使用运行时 docker，需要编辑通常存在的配置文件 /etc/docker/daemon.json, 以设置 nvidia-container-runtime 为默认的低级运行时：
{
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}
然后重新启动 docker：
sudo systemctl restart docker
NVIDIA 设备插件
安装工作的 CUDA 驱动程序、设置 NVIDIA 容器工具包和将 containerd 配置为使用 NVIDIA 运行时环境，我们现在可以使用其 Helm chart 来应用 NVIDIA 设备插件。
代码语言：javascript
复制
helm repo add nvdp https://nvidia.github.io/k8s-device-plugin
helm repo update
helm upgrade -i nvdp nvdp/nvidia-device-plugin \--namespace nvidia-device-plugin \--include-crds \--create-namespace \--version 0.14.3时间切片(可选)
NVIDIA 设备插件的默认行为是将整个 GPU 分配给单个 pod，这意味着如果有多个 pod 请求 GPU 时间，每次只会调度一个 pod。
为了克服这个问题，我们可以配置 GPU 的时间切片，即 GPU 在 pod 之间共享。
首先创建一个 ConfigMap，配置最大 10 个副本(第 14 行)来配置时间切片。
代码语言：javascript
复制
# cm-time-slicing.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: cm-time-slicingnamespace: nvidia-device-plugin
data:time-slicing: |-version: v1sharing:timeSlicing:resources:- name: nvidia.com/gpureplicas: 10然后应用 ConfigMap，并通过名称(第 5 行)和提供的默认配置键(第 8 行)配置 nvidia-device-plugin 使用它。
代码语言：javascript
复制
kubectl apply -f cm-time-slicing.yamlhelm upgrade nvdp nvdp/nvidia-device-plugin \--reuse-values \--set config.name=cm-time-slicing \--set config.default=time-slicing现在您应该通过运行下面的命令看到每个节点每个 GPU 有 10 个 nvidia.com/gpu 的容量：
代码语言：javascript
复制
kubectl get node -o 'jsonpath={.items[*].status.capacity}' | jq代码语言：javascript
复制
{..."nvidia.com/gpu": "10",...
}请注意，工作负载从同一 GPU 获取副本，每个工作负载都可以访问相同的 GPU 内存，并在同一故障域中运行，这意味着如果一个工作负载崩溃，它们都会崩溃。
有关配置设备插件的更多详细信息，请参阅 GitHub 上的自述文件。
运行工作负载
假设配置都正常，我们现在可以尝试运行一个测试工作负载，通过启动一个请求 GPU 资源的 pod 来使用 GPU(第 11-13 行)。
代码语言：javascript
复制
apiVersion: v1
kind: Pod
metadata:name: cuda-vectoraddnamespace: cuda-test
spec:restartPolicy: OnFailurecontainers:- name: cuda-vectoraddimage: "nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda11.7.1-ubuntu20.04"resources:limits:nvidia.com/gpu: "1"代码语言：javascript
复制
kubectl create ns cuda-test
kubectl apply -f cuda-vectoradd.yaml如果一切顺利，工作负载的日志应该显示:
代码语言：javascript
复制
kubectl logs -n cuda-test cuda-vectoradd
[Vector addition of 50000 elements]
... Test PASSED如果一切正常，只需在每个您想要访问 GPU 资源的工作负载上添加 nvidia.com/gpu 的资源限制即可。
代码语言：javascript
复制
resources:limits:nvidia.com/gpu: "1"查看请求 GPU 资源的 pod 内部，我们也会发现两个与 NVIDIA 相关的环境变量:
代码语言：javascript
复制
kubectl exec -it <pod> -- env | grep NVIDIA
NVIDIA_DRIVER_CAPABILITIES=compute，video，utility
NVIDIA_VISIBLE_DEVICES=GPU-<UUID>这表明我们在 pod 中有可用的 GPU 加速计算和视频编码/解码。
故障排除
如果您遇到类似的 pod 启动错误:
代码语言：javascript
复制
0/1 nodes are available: 1 Insufficient nvidia.com/gpu. preemption: 0/1 nodes are available: 1 No preemption victims found for incoming pod..可能是您没有足够的 GPU 资源，请尝试从“时间切片”部分增加时间切片副本数量，或者购买另一个 GPU，无论对您更划算。
我也遇到过这样的错误，即在重新启动节点后，多个长时间运行的工作负载试图启动时发生错误。重新启动 nvidia-device-plugin pod 和请求 GPU 资源的工作负载似乎可以解决该问题。
使用 Argo CD，我添加了一个负的 sync-wave 注解，以确保在工作负载之前启动 nvidia-device-plugin 以避免此问题。
代码语言：javascript
复制
annotations:argocd.argoproj.io/sync-wave: "-1"附录
我首先尝试使用 NVIDIA GPU Operator，我认为这是一个全能的解决方案，它可以安装设备插件以及驱动程序和容器工具包。但是，我无法让它工作，所以我选择了不幸更多的手动方法，将设备插件、驱动程序和容器工具包作为单独的组件进行安装。
可能是我的设置问题，或者我在文档中理解错了什么。如果您有解决方案，我很乐意倾听！
总结
我正在使用 Argo CD 与 Kustomize + Helm 尝试遵循 GitOps 最佳实践。 在撰写本文时，我的完整家庭实验室配置可在 GitHub 上作为参考。
代码语言：javascript
复制
# kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
commonAnnotations:argocd.argoproj.io/sync-wave: "-1"resources:- namespace.yaml- cm-time-slicing.yamlhelmCharts:- name: nvidia-device-pluginrepo: https://nvidia.github.io/k8s-device-pluginversion: 0.14.2releaseName: "nvidia-device-plugin"namespace: nvidia-device-pluginincludeCRDs: truevaluesFile: values.yaml代码语言：javascript
复制
# namespace.yaml
apiVersion: v1
kind: Namespace
metadata:name: nvidia-device-plugin代码语言：javascript
复制
# values.yaml
config:name: cm-time-slicingdefault: time-slicing代码语言：javascript
复制
# cm-time-slicing.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: cm-time-slicingnamespace: nvidia-device-plugin
data:time-slicing: |-version: v1sharing:timeSlicing:resources:- name: nvidia.com/gpureplicas: 10
![[Elasticsearch]ES近似实时搜索的原因|ES非实时搜索的原因|ES Near real-time search](https://i-blog.csdnimg.cn/direct/611eda061d154b4fb74c86c262fb3dee.png#pic_center)
