Ubuntu 22.04 英伟达开发环境 CUDA 12.4 | cuDNN 9.0.0

NVIDIA 驱动安装

前置

笔者近期重整服务器，计划重新安装操作系统并配置新的开发环境。服务器的主要配置如下：

Dell PowerEdge R730
Intel Xeon E5-2630v3 x2
64GB ECC DDR4
NVIDIA GeForce RTX 2080 Ti Rev. A
Ubuntu 22.04.5 LTS x86_64 (No Desktop)
Kernel 5.15.0-130-generic

笔者基于此配置和系统环境做出本篇文档的安装指南。安装完整的 CUDA + cuDNN + TensorRT 需要准备至少 30GB 的磁盘空间。

安装开始前请确保安装了 gcc 和 make。

sudo apt update && sudo apt upgrade && sudo apt install gcc make

之后笔者采用并安装下面所示的显卡驱动。

wget https://cn.download.nvidia.com/XFree86/Linux-x86_64/550.142/NVIDIA-Linux-x86_64-550.142.run
sudo chmod a+x ./NVIDIA-Linux-x86_64-550.142.run
sudo ./NVIDIA-Linux-x86_64-550.142.run
sudo reboot

安装完显卡驱动之后，重启系统。

CUDA Toolkit 12.4

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-4

如果出现 Command ‘nvcc‘ not found,but can be installed with: sudo apt install nvidia-cuda-toolkit 报错，需要手动添加。

先检查 cudnn 是否安装成功，输入下面的指令查看目录，如果存在 nvcc 则证明已经安装，进行下一步。

cd /usr/local/cuda/bin && ls

content in cuda_bin file

之后进入配置文件。

vim ~/.bashrc

在文档的最后面添加下面的这两行代码，之后保存。

export LD_LIBRARY_PATH=/usr/local/cuda/lib
export PATH=$PATH:/usr/local/cuda/bin

更新配置。

source ~/.bashrc

再次查看 nvcc 版本，出现如下图的 nvcc 版本。

nvcc -V

nvcc version

cuDNN 9.0.0 for CUDA 12.x

wget https://developer.download.nvidia.com/compute/cudnn/9.0.0/local_installers/cudnn-local-repo-ubuntu2204-9.0.0_1.0-1_amd64.deb
sudo dpkg -i cudnn-local-repo-ubuntu2204-9.0.0_1.0-1_amd64.deb
sudo cp /var/cudnn-local-repo-ubuntu2204-9.0.0/cudnn-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudnn

输入下面的指令查看 cudnn 版本，出现如下图的提示。

cat /usr/include/x86_64-linux-gnu/cudnn_version_v9.h | grep CUDNN_MAJOR -A 2

cudnn version

TensorRT 10.1

首先需要去 NVIDIA 官网注册一个开发者账号，登录之后访问下面的网址。

https://developer.nvidia.com/tensorrt/download/10x

TensorRT 10.1 版本支持以下几个版本的 CUDA 工具包：

12.4 update 1
12.3 update 2
12.2 update 2
12.1 update 1
12.0 update 1
11.8
11.7 update 1
11.6 update 2
11.5 update 2
11.4 update 4
11.3 update 1
11.2 update 2
11.1 update 1
11.0 update 3

Pytorch 兼容 2.0 及以上版本。

ONNX-TensorRT 支持 opset 20 且官方测试验证 ONNX 1.16.0 版本的稳定性。

更详细的基础文档请访问 NVIDIA TENSORRT DOCUMENTATION 官网

TensorRT 下载界面

访问之后如上图所示，有多种安装方式：RPM, TAR 以及 DEB 格式。这里选择 DEB 格式安装。系统为 Ubuntu 22.04，CUDA 版本为 12.4 。选择对应版本下载。完整的下载和安装过程接近 20 分钟。

wget https://developer.nvidia.com/downloads/compute/machine-learning/tensorrt/10.1.0/local_repo/nv-tensorrt-local-repo-ubuntu2204-10.1.0-cuda-12.4_1.0-1_amd64.deb
sudo dpkg -i nv-tensorrt-local-repo-ubuntu2204-10.1.0-cuda-12.4_1.0-1_amd64.deb
sudo cp /var/nv-tensorrt-local-repo-ubuntu2204-10.1.0-cuda-12.4/nv-tensorrt-local-E3A02F15-keyring.gpg /usr/share/keyrings/
sudo apt-get update 
sudo apt-get install tensorrt

验证安装结果，输入下面的指令，看到如下图所示则代表安装成功。

dpkg --list | grep tensorrt

Screenshot 2025-01-09 at 01.37.23

或使用如下的指令验证安装结果，得到如下图的结果则代表正确安装。

dpkg-query -W tensorrt

Screenshot 2025-01-09 at 01.38.03

使用 dpkg 安装时会出现无法使用 trtexec 指令的问题，按照下面的步骤操作即可解决问题。

首先查找安装路径。

find /usr -name trtexec

trt安装路径

之后进入配置文件。

vim ~/.bashrc

在文档的最后面添加下面的这行代码，之后保存。

export PATH=$PATH:/usr/src/tensorrt/bin${PATH:+:${PATH}}

更新配置。

source ~/.bashrc

问题就得到解决了。

使用 TensorRT 自带的 Sample 验证一下效果，进入下面的目录，按照如下的指令操作，可以看到下图的运行结果。

cd /usr/src/tensorrt/samples/sampleOnnxMNIST
sudo make
cd /usr/src/tensorrt/bin
./sample_onnx_mnist

TRT Sample Result