ubuntu大模型GPU版本安装及部署

news/2024/9/23 18:27:50/

版本查看:

nvidia-smi

离线下载地址:

下载 NVIDIA 官方驱动 | NVIDIA (选型)

Linux x64 (AMD64/EM64T) Display Driver | 535.146.02 | Linux 64-bit | NVIDIA(选型结果)

下载 NVIDIA 官方驱动 | NVIDIA

apt-get update

禁用nouveau(nouveau是通用的驱动程序)必须

sudo gedit /etc/modprobe.d/blacklist.conf 或者(blacklist-nouveau.conf) 如果找不到 就用vim 进行编译

在打开的blacklist.conf末尾添加如下保存文本关闭

blacklist nouveauoptions nouveau modeset=0

注意:lsmod | grep nouveau 为空说明设置完毕

sudo apt-get install g++

sudo apt-get install gcc

sudo apt-get install make

sudo apt-get install dkms

sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2

sudo apt install libgsettings-qt1

ubuntu-drivers devices

sudo apt install nvidia-utils-535 (nvidia-smi在线安装)

成功截图

cuda 选型

https://developer.nvidia.com/cuda-downloads (选型)

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run

sudo sh cuda_12.3.2_545.23.08_linux.run

上面会弹框出画面,直接向下切换选项,点界面 install 选项进行安装即刻

sudo apt-get install cuda-toolkit 标黄的俩项最后再装,先看是否安装成功

sudo apt-get install cuda-drivers

环境变量设置:

添加

export PATH="/usr/local/anaconda3:$PATH"

export CUDA_HOME=/usr/local/cuda

export LD_LIBRARY_PATH=${LD_LIBARY_PATH}:${CUDA_HOME}/lib64

export PATH=${CUDA_HOME}/bin:${PATH}

source

source ~/.bashrc

注:名词解释

ubuntu-drivers devices 查看显卡硬件支持的驱动类型(在使用前需要sudo apt update更新源)

nvidia-smi 查看当前显卡驱动(若没有会返回错误,该命令应为显卡驱动自动安装,切勿按照提示手动安装)

nvcc -V 查看系统安装的cuda驱动(注意这是系统当前使用的cuda驱动,也可以同时存在多个cuda,使用conda+pytorch可以在多个虚拟环境中管理不同的cuda版本)


http://www.ppmy.cn/news/1508855.html

相关文章

初识Django

初识Django Python知识点:函数、面向对象。前端开发:HTML、CSS、JavaScript、jQuery、BootStrap。MySQL数据库。Python的Web框架: Flask,自身短小精悍 第三方组件。Django,内部已集成了很多组件 第三方组件。【主要…

IIS网站搬家工具WebDeploy(把网站迁移去另一台服务器)

如果不能克隆镜像,又想快速迁移,请保证新服务器和原服务器的文件目录结构一致,各种程序的安装路径一致,包括python的安装路径、mysql的秘密 防火墙设置等 网站迁移去另一台服务器,如果重新设置IIS,还是有…

数据库概述MySQL环境配置

1. MySQL概述 MySQL是一种开源的关系型数据库管理系统(RDBMS),由瑞典公司MySQL AB开发,现由Oracle公司维护。它以其高性能、可靠性和易用性而闻名,广泛应用于各种Web应用程序中。 2. 什么是数据库? 数据库…

原生html+js使用import语法

指定script标签的type为module即可使用ES模块化方式开发 <script type"module">import { createApp } from https://unpkg.com/vue3/dist/vue.esm-browser.jscreateApp({data() {return {message: Hello Vue!}}}).mount(#app) </script>如果不使用modul…

Windows图形界面(GUI)-MFC-C/C++ - 树形视图(Tree Control) - CTreeCtrl

公开视频 -> 链接点击跳转公开课程博客首页 -> ​​​链接点击跳转博客主页 目录 树形视图(Tree Control) - CTreeCtrl 创建和初始化 添加和删除项 获取和设置项属性 操作项 项选择变化 项双击 项展开 示例代码 树形视图(Tree Control) - CTreeCtrl 创建和初始…

Kotlin 值类(Value Class)

在 Java 中&#xff0c;像 Integer、Double 等都是 包装类&#xff0c;都需要创建对象 装箱 数值。 很显然 创建对象是 消耗额外内存的&#xff0c;而 对于优化这种问题&#xff0c;Kotlin 引入了 value class&#xff0c;尽量避免装箱和脱箱。 一、声明语法 JvmInline value…

【JavaEE初阶】文件操作和IO

目录 &#x1f334;认识文件 &#x1f6a9;树型结构组织和目录 &#x1f6a9;文件路径&#xff08;Path&#xff09; &#x1f6a9; 文件分类 &#x1f38d;Java 中操作文件 &#x1f6a9; File 概述&#xff1a; &#x1f4cc;属性 &#x1f4cc;构造方法 &#x1f4c…

气膜建筑的抗风与防火性能:保障仓储的安全—轻空间

气膜建筑以其独特的结构和材料优势&#xff0c;为仓储设施提供了可靠的安全保障。在应对自然灾害特别是强风和火灾时&#xff0c;气膜建筑展示了优异的抗风和防火性能。轻空间将详细探讨这些性能及其在实际应用中的表现。 气膜建筑的抗风能力源于其特殊的结构设计和高性能材料。…