【系统设置】安装CUDA Toolkit,提升本地大模型运行效率

news/2025/3/17 10:40:11/

目标

安装CUDA Toolkit,提升本地大模型运行效率。

背景知识

CUDA(Compute Unified Device Architecture)是由NVIDIA开发的并行计算平台和编程模型,它通过利用图形处理器 (GPU) 的处理能力,可大幅提升计算性能。
CUDA Toolkit是NVIDIA提供的一套完整的开发环境,主要用于开发CUDA应用程序,充分利用GPU的并行计算能力,加速各种计算密集型任务。

DeepSeek在运行时并不完全依赖CUDA‌。虽然DeepSeek优化了PTX而不是直接使用CUDA,但它仍然需要与CUDA相关的指令集进行计算。这意味着DeepSeek并没有完全绕开CUDA,而是通过优化PTX来提高计算效率,这在一定程度上减少了对CUDA的依赖‌(减少了依赖,不是没有依赖)。

关于背景知识,推荐另一个博主的一篇文章,看着逻辑挺清晰,我是学到了:

一篇文章理清GPU、CUDA、CUDA Toolkit、cuDNN的关系_cudnn和cuda的关系-CSDN博客

通过“任务管理器”-“性能”页签,或者下面命令,可以查看自己GPU的信息。

nvidia-smi

核对版本

在开始菜单,找到显卡驱动程序的控制面板,运行

 点击“系统信息”-“组件”:查看版本号信息:

 下载toolkit

 在官网:CUDA Toolkit Archive | NVIDIA Developer,可能会看到网站黑色cookie授权提示,可以“agree”,或者不理睬,不影响下载,找到对应的版本:

 进入下载界面,选择自己操作系统和安装的版本,选择本地安装,安装程序会全部下载到本地,软件会大一些3G,我下载感觉速度还行:

 下载之后,就正常安装就好,因为安装程序有点大,我安装目录给它换到E:盘了,过程界面仅供参考:

安装测试

打开dos窗口,输入命令,返还cuda版本信息,就是成功了

nvcc -V

运行界面:

cuda安装后,自动设置了系统的环境变量,set命令查看系统参数:

set cuda

返回信息类似下面:

python程序测试

用PyTorch测试一下。

PyTorch是一个基于Python的深度学习库,专门为深度学习任务设计,提供了丰富的API和工具,使得开发者可以使用Python编写高效的深度学习代码。

进到官网PyTorch  ,点击“get started”

根据你的系统信息,网站会给出下载命令:

在vsCode中,运行安装:

安装后,创建.py测试文件,代码如下:

import torch
import torch.nn
print("cuDNN 是否可用:", torch.backends.cudnn.is_available())  # 检查 cuDNN 可用性

 执行返还true,表示成功。


http://www.ppmy.cn/news/1579788.html

相关文章

贪心算法五

> 作者:დ旧言~ > 座右铭:松树千年终是朽,槿花一日自为荣。 > 目标:了解什么是贪心算法,并且掌握贪心算法。 > 毒鸡汤:有些事情,总是不明白,所以我不会坚持。早安! >…

关于stac和clac的进一步细节及EFLAGS

一、背景 在之前的博客 内核态代码直接使用用户态数据的注意事项_内核态如何打开用户态文件-CSDN博客 里,我们x86平台上在内核态里使用用户态数据的相关细节,即需要使用stac和clac函数来打开/关闭内核态访问用户态数据的权限,这里说是权限&a…

kong搭建一套微信小程序的公司研发环境

一、物理架构 微信小程序H5部署在微信公众平台,需要通过外网域名访问到公司机房。 为了区分生产和研发环境,需要创建两个外网域名。 另外,微信小程序需要配置业务域名, 请参考文章- 微信小程序的业务域名配置(通过kong网关的pre…

生活中的可靠性小案例11:窗户把手断裂

窗户把手又断了,之前也断过一次,使用次数并没有特别多。上方的图是正常的把手状态,断的形状如下方图所示。 这种悬臂梁结构,没有一个良好的圆角过渡,导致应力集中。窗户的开关,对应的是把手的推拉&#xff…

五子棋小游戏-简单开发版

一、需求分析 开发一个基于 Pygame 库的五子棋小游戏,允许两名玩家在棋盘上轮流落子,当有一方达成五子连珠时游戏结束,显示获胜信息,并提供退出游戏和重新开始游戏的操作选项。 1.棋盘显示 : 显示一个 15x15 的五子棋…

C语言动态内存管理(上)

欢迎拜访:雾里看山-CSDN博客 本篇主题:C语言动态内存管理(上) 发布时间:2025.3.16 隶属专栏:C语言 目录 为什么需要动态内存管理静态分配的局限性动态分配的优势 动态内存函数malloc函数介绍函数使用 free函数介绍函数使用 calloc…

基于SSM+Vue+uniapp的科创微应用(可改为研学)小程序+LW示例

1.项目介绍 系统角色:管理员、企业、普通用户功能模块:用户管理、企业管理、场地管理、场地类型管理、预约参观管理、场地预约管理、活动信息管理、报名信息管理、试题管理、试卷管理等技术选型:SSM,Vue(后端管理web&…

理解光场模型:uv与st的结合

在计算机图形学和计算机视觉领域,光场模型是一种强大的技术,它允许我们捕捉和呈现复杂的三维场景,以更真实的方式表达光的传播和交互。本文将探讨光场模型的基本概念,并深入分析其中两个关键平面——uv平面和st平面,它…