目标
安装CUDA Toolkit,提升本地大模型运行效率。
背景知识
CUDA(Compute Unified Device Architecture)是由NVIDIA开发的并行计算平台和编程模型,它通过利用图形处理器 (GPU) 的处理能力,可大幅提升计算性能。
CUDA Toolkit是NVIDIA提供的一套完整的开发环境,主要用于开发CUDA应用程序,充分利用GPU的并行计算能力,加速各种计算密集型任务。
DeepSeek在运行时并不完全依赖CUDA。虽然DeepSeek优化了PTX而不是直接使用CUDA,但它仍然需要与CUDA相关的指令集进行计算。这意味着DeepSeek并没有完全绕开CUDA,而是通过优化PTX来提高计算效率,这在一定程度上减少了对CUDA的依赖(减少了依赖,不是没有依赖)。
关于背景知识,推荐另一个博主的一篇文章,看着逻辑挺清晰,我是学到了:
一篇文章理清GPU、CUDA、CUDA Toolkit、cuDNN的关系_cudnn和cuda的关系-CSDN博客
通过“任务管理器”-“性能”页签,或者下面命令,可以查看自己GPU的信息。
nvidia-smi
核对版本
在开始菜单,找到显卡驱动程序的控制面板,运行
点击“系统信息”-“组件”:查看版本号信息:
下载toolkit
在官网:CUDA Toolkit Archive | NVIDIA Developer,可能会看到网站黑色cookie授权提示,可以“agree”,或者不理睬,不影响下载,找到对应的版本:
进入下载界面,选择自己操作系统和安装的版本,选择本地安装,安装程序会全部下载到本地,软件会大一些3G,我下载感觉速度还行:
下载之后,就正常安装就好,因为安装程序有点大,我安装目录给它换到E:盘了,过程界面仅供参考:
安装测试
打开dos窗口,输入命令,返还cuda版本信息,就是成功了
nvcc -V
运行界面:
cuda安装后,自动设置了系统的环境变量,set命令查看系统参数:
set cuda
返回信息类似下面:
python程序测试
用PyTorch测试一下。
PyTorch是一个基于Python的深度学习库,专门为深度学习任务设计,提供了丰富的API和工具,使得开发者可以使用Python编写高效的深度学习代码。
进到官网PyTorch ,点击“get started”
根据你的系统信息,网站会给出下载命令:
在vsCode中,运行安装:
安装后,创建.py测试文件,代码如下:
import torch
import torch.nn
print("cuDNN 是否可用:", torch.backends.cudnn.is_available()) # 检查 cuDNN 可用性
执行返还true,表示成功。