参考

安装顺序

Nvidia GPU driver

Docker

Nvidia Container Toolkit

Docker PyTorch

1. Nvidia GPU Driver

Ubuntu/Linux 安装GPU 驱动&检测（PyTorch准备）

2. Docker 安装（使用apt存储库进行安装）

官网

在首次在新的主机上安装Docker Engine之前，您需要设置Docker存储库。之后，您可以从存储库安装和更新Docker。

1. 设置Docker的apt存储库。

#添加Docker的官方GPG密钥：
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc# 将存储库添加到Apt源中：
echo
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" |
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

2. 安装最新版

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

3. 安装检测“hello-world” container

# The --rm flag tells docker to remove the container once it's done.
docker run --rm hello-world

3. Nvidia Container Toolkit

Docker容器共享主机的内核，但是它们会带有自己的操作系统和软件包。这意味着它们缺少用于与GPU进行交互的NVIDIA驱动程序。默认情况下，Docker甚至不会将GPU添加到容器中，因此普通的Docker运行根本看不到您的硬件。

要使GPU正常工作，您必须在您的镜像中安装驱动程序，然后在运行时指示Docker向您的容器添加GPU设备。

在继续进行Docker配置之前，请确保通过运行 nvidia-smi 确保Nvidia驱动程序正常工作，您应该看到GPU的名称、驱动程序版本和CUDA版本。

您将在您的机器上添加NVIDIA容器工具包，以使您的docker容器能够使用您的GPU。这将集成到Docker Engine中，自动为您的容器配置GPU支持。

1. 设置软件包存储库和GPG密钥：

distribution=$(. /etc/os-release;echo  $ID$VERSION_ID)  
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -  
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

2. 在更新软件包列表后安装 nvidia-container-toolkit 软件包（及其依赖项）。

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

3. 现在，配置Docker守护程序以识别NVIDIA容器运行时：

sudo nvidia-ctk runtime configure --runtime=docker

4. 设置默认运行时后，重新启动Docker守护程序以完成安装：

sudo systemctl restart docker

到此为止，NVIDIA容器工具包已经启动运行，您可以测试其操作了。

3.1 Docker测试GPU

默认情况下，Docker不会提供系统的GPU，您需要使用 --gpus 标志创建容器，以便您的硬件显示出来。nvidia/cuda镜像预配置了CUDA二进制文件和GPU工具。

要检查Docker是否可以访问您的GPU，请启动一个容器并运行 nvidia-smi 命令。

输出应该与您在主机上使用 nvidia-smi 时看到的内容相匹配。
需按照nvidia-smi寻找CUDA版本可&自己Ubuntu版本。

sudo docker run -it --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi