Ubuntu 深度学习环境配置、Theano TensorFlow PyTorch 安装、常用软件安装方式

news/2024/11/19 9:31:29/

文章目录

  • 介绍
  • 系统和显卡
  • 深度学习环境配置
    • 安装 Nvidia 显卡驱动
    • 安装 CDUA
    • 安装 cuDNN
  • 深度学习框架安装
    • 安装 Theano-gpu
    • 安装 TensorFlow-gpu
    • 安装 PyTorch-gpu
  • 常用软件安装方式
    • 通过 Ubuntu 软件中心
    • 从软件官网下载
    • 需要手动配置环境
      • Chrome——浏览器
      • WPS——文件编辑
      • ClamAV——杀毒软件
      • QQ——社交与文件传输
      • TeamViewer——远程控制
      • Unity Tweak Tool——桌面美化工具
      • LaTeX——基于ΤΕΧ的高效排版系统

介绍

本文主要记录了 Ubuntu 上从零开始配置环境、安装软件时的一些经历和心得总结。原文于2019.5.28更新完毕,现将其重新修改整理并发布于此。

在深度学习环境配置部分,主要介绍了如何配置 Nvidia 驱动、 CUDA 和 cuDNN。接下来介绍了深度学习框架的安装方式,包括 Theano-gpu、TensorFlow-gpu 和 PyTorch-gpu。这里最好是先配置好环境,再安装某个具体的框架,顺序不要颠倒。

在常用软件部分,大部分都可以直接在 Ubuntu 软件 或对应的 软件官网 中直接下载安装,少部分需要手动配置环境。该部分包含的全部软件有:

  1. Ubuntu 软件中心:Evince、Mendeley、PyCharm、JabRef、Mathpix
  2. 软件官网:XMind、有道词典、网易云音乐、福昕阅读器、Visual Studio Code、unar
  3. 手动配置:Chrome、WPS、ClamAV、QQ、TeamViewer、Unity Tweak Tool、LaTex

系统和显卡

  • 系统:Ubuntu 16.04
  • 显卡:GeForce GTX 1070 - Nvidia

深度学习环境配置

为了使用现有的基于GPU的深度学习框架,需要提前安装相关的依赖,这里主要列举一些重要依赖(CUDA、cuDnn)的安装过程和注意事项。一些更为基础的依赖(例如:NumPy、SciPy 等)则可以简单地使用 pip install xxx 来安装,或者利用 PyCharm 的安装包管理进行安装。具体操作为:在 PyCharm 设置中选择项目解释器,点击 + 来添加需要的依赖。

每个工程项目都对应着各自的 Python 解释器和环境,默认的解释器是 Python 2.x 或 Python 3.x,默认的环境是选择的解释器对应的那个系统环境。当然,也可以为每个工程项目建立各自独立的环境,因此,不论是通过 pip 还是 + 来安装依赖时都需要注意,一定要将环境切换至当前工程项目的环境下,再执行安装操作。 installPackage

安装 Nvidia 显卡驱动

  1. 获取驱动
    lspci -vnn | grep VGA # 获取显卡型号,我的是 GTX 1070
    在 Nvidia官网 下载支持GTX 1070显卡的最新驱动(.run类型)

  2. 卸载原有 Nvidia 显卡驱动(首次安装即可跳过)
    sudo apt-get remove --purge nvidia*
    sudo chmod +x *.run # 修改原有版本 .run文件的权限
    sudo ./NVIDIA-Linux-x86_64-384.59.run --uninstall # 卸载原有版本

  3. 禁用 nouveau 驱动
    sudo gedit /etc/modprobe.d/blacklist.conf # 打开文件
    在文末添加:
    blacklist nouveau
    options nouveau modeset=0
    sudo update-initramfs -u
    重启后执行 lsmod | grep nouveau 若没有输出,表示禁用成功

  4. 禁用 X-Window 服务
    sudo service lightdm stop # 这会关闭图形界面,但不用紧张

    按 Ctrl-Alt+F1 进入命令行界面,输入用户名和密码登录即可
    在命令行输入:sudo service lightdm start,然后按 Ctrl-Alt+F7 即可恢复到图形界面

  5. 安装驱动
    sudo chmod +x NVIDIA-Linux-x86_64-390.77.run # 给文件赋予执行权限
    sudo ./NVIDIA-Linux-x86_64-390.77.run -no-x-check -no-nouveau-check -no-opengl-files # 运行参数非常重要,不可省略

    -no-x-check:表示安装驱动时不检查X服务,非必需
    –no-nouveau-check:表示安装驱动时不检查nouveau,非必需
    –no-opengl-files:表示只安装驱动文件,不安装OpenGL文件。这个参数不可省略,否则会导致登陆界面死循环,英语一般称为”login loop”或者”stuck in login”

  6. 测试
    nvidia-smi # 若有详细的GPU信息列表,表示驱动安装成功
    nvidia

  7. 参考链接
    Ubuntu下安装nvidia显卡驱动(安装方式简单)
    Ubuntu 16.04安装NVIDIA驱动

安装 CDUA

  1. 获取驱动
    nvidia-smi 结果可知,我的显卡驱动版本是 Driver Version: 390.77,从 Nvidia官网 通过显卡驱动和 CUDA 的对照表(如下图所示),安装 CUDA 8.0 和 CUDA 9.0 就可以满足上层框架的全部需求。因此,从 Nvidia官网 下载 CUDA 8.0 和 CUDA 9.0 安装包(.run类型)。
    cuda

  2. 安装驱动
    sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev # 安装相关依赖
    sudo sh cuda_8.0.61_375.26_linux.run # 开始安装
    终端信息和安装选项:

    accept/decline/quit: accept # 接受协议
    Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
    y)es/(n)o/(q)uit: n # 是否安装显卡驱动包,第一个 CUDA 版本安装时选y,第二个 CUDA 版本安装选n
    Install the CUDA 8.0 Toolkit?
    (y)es/(n)o/(q)uit: y # 是否安装工具包,选择 y
    Enter Toolkit Location
    [ default is /usr/local/cuda-8.0 ]: # 工具包安装地址,默认回车即可
    Do you want to install a symbolic link at /usr/local/cuda?
    (y)es/(n)o/(q)uit: y # 添加符号链接(即软链接)
    注:为该版本的 cuda 生成软链接,以供系统和其他程序调用。如果是安装首个 cuda 版本,一定选择 yes,如果是安装第二个版本且不准备立即使用它,则选择 no。后面将介绍多个版本 cuda 之间的切换方法。
    Install the CUDA 8.0 Samples?
    (y)es/(n)o/(q)uit: y # 安装样例
    Enter CUDA Samples Location
    [ default is /root ]: # 样例安装地址默认即可

  3. 配置环境变量
    gedit ~/.bashrc # 使用 gedit 编辑器打开配置文件
    在文末添加:
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
    export PATH=$PATH:/usr/local/cuda/bin
    export CUDA_HOME=$CUDA_HOME:/usr/local/cuda
    source ~/.bashrc # 使之生效

  4. 测试
    nvcc -V # 显示CUDA信息即安装成功

  5. 多版本 CUDA 切换
    修改 /usr/local/cuda 这个软链接的指向,指向哪个版本便会使用哪个版本。
    sudo rm -rf /usr/local/cuda # 删除原来的软链接
    sudo ln -s /usr/local/cuda-9.0 /usr/local/cuda # 创建新的软链接指向CUDA 9.0
    sudo stat /usr/local/cuda # 查看软链接指向
    stat_cuda

  6. 参考链接
    Ubuntu 多个版本CUDA同时存在的解决办法

安装 cuDNN

  1. 获取安装包
    在 Nvidia官网 下载对应的安装包(.tgz格式)。我搭配 CUDA 8.0 和 CUDA 9.0 的两个 cuDNN 的版本分别是:cudnn-8.0-linux-x64-v5.0-ga.tgzcudnn-9.0-linux-x64-v7.3.0.29.tgz

  2. 安装
    tar -xvf cudnn-8.0-linux-x64-v5.0-ga.tgz # 解压
    将对应的文件移入 CUDA 软链接文件夹内
    sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
    sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
    sudo chmod a+r /usr/local/cuda/include/cudnn.h
    sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

  3. 多版本 CUDA 问题
    由于在切换 CUDA 版本时,会将 /usr/local/cuda/ 删除并重新生成,cuDNN 便会随着旧版本一同删除,因此,在多个 CUDA 版本的情况下,稳妥的做法是将对应的 cuDNN 文件分别移入 /usr/local 目录下的 cuda 8.0 和 cuda 9.0 中。这样做便保证了在切换 CUDA 版本时,cuDNN 依旧有效。

深度学习框架安装

安装 Theano-gpu

  1. 官网了解
    先确定需要的 Theano-gpu 版本,再从 Theano官网 查看安装该版本 Theano 所需的外部依赖,依次安装所有的外部依赖。libgpuarray 的安装比较复杂,单独加以说明。
    git clone https://github.com/Theano/libgpuarray.git # 若没有 git 工具,直接去网页端下载解压也行
    cd libgpuarray
    mkdir Build
    cd Build
    make
    make install
    python setup.py build # 在 libgpuarray 文件夹中
    python setup.py install # 在 libgpuarray 文件夹中
    sudo ldconfig

  2. 安装Theano
    sudo pip install theano==0.8.2 # == 后面是指定的版本号
    sudo gedit .theanorc
    在文末添加

    [global]
    floatX=float32
    device=gpu
    base_compiledir=~/external/.theano/
    allow_gc=False
    warn_float64=warn
    [mode]=FAST_RUN
    [nvcc]
    fastmath=True
    [cuda]
    root=/usr/local/cuda

  3. 测试
    python
    import theano # 没有报错即为安装成功
    CuDNN

  4. CNMeM 报错
    报错:Theano: CNMeM is disabled, CuDNN not available
    解决:
    sudo gedit .theanorc
    在文末添加

    [lib]
    cnmem=0.8

  5. 参考链接
    libgpuarray Installation
    Theano: CNMeM is disabled, CuDNN not available
    Ubuntu 16.04下CUDA8.0+Theano+Caffe+TensorFlow环境搭建

安装 TensorFlow-gpu

  1. 官网了解
    从 TensorFlow官网 查看需要的软硬件要求(如下图),安装需要的依赖。
    tensorFlow
  2. 安装 TensorFlow
    使用 PyCharm 创建一个新的运行环境venv_tensorflow,放在默认路径 /home/wtl 下,用 PyCharm 的包资源管理器选择 tensorflow-gpu==1.7.0 进行安装,详情如下图,或者在新的环境下使用 pip 安装,指令如下:
    pip install tensorflow-gpu==1.7.0
    tensorflowinstall
  3. 参考链接
    TensorFlow官网

安装 PyTorch-gpu

  1. 官网了解
    从 PyTorch官网 选择适合的版本,发现 pip 指令仅需要安装两个包即可,于是果断使用 PyCharm 来安装。
    PyTorch

  2. 安装PyTorch
    使用 PyCharm 创建一个新的运行环境 venv_pytorch,放在默认路径 /home/wtl 下,用 PyCharm 的包资源管理器选择 torch==1.0.0torchvision==0.2.2 进行安装,安装详情如下图:
    torch

  3. 参考链接
    PyTorch官网

常用软件安装方式

通过 Ubuntu 软件中心

  • Evince——PDF 阅读器
  • Mendeley——论文管理
  • PyCharm——Python IDE
  • JabRef——参考文献管理
  • Mathpix——公式提取转换

从软件官网下载

  • XMind——思维导图 XMind 官网
  • 有道词典——划词翻译 有道官网
  • 网易云音乐——音乐播放器 网易官网
  • 福昕阅读器——PDF 阅读器 foxit 官网
  • Visual Studio Code——文本(代码)编辑器 Visual Studio官网
  • unar——解压工具 sudo apt-get install unar

需要手动配置环境

Chrome——浏览器

  1. 安装 Chrome
    从 Google 官网 下载安装包(.deb类型)。
    sudo apt install libappindicator1 libindicator7 # 安装依赖
    sudo dpkg -i google-chrome-stable_current_amd.deb # 版本要对应
    sudo apt -f install # 修复依赖

  2. 参考链接
    Ubuntu16.04安装谷歌浏览器

WPS——文件编辑

  1. 安装 WPS
    从 WPS 官网 下载安装包,解压安装。
    sudo dpkg -i wps-office_10.1.0.5672~a21_amd64.deb # 版本要对应

  2. 如果有字体缺失问题
    下载字体库 分享链接
    sudo mkdir /usr/share/fonts/wps-office # 创建文件夹
    sudo cp -r wps_symbol_fonts.zip /usr/share/fonts/wps-office # 移入字体库
    sudo unzip wps_symbol_fonts.zip # 解压至当前文件夹

  3. 参考链接
    Ubuntu16.04 安装WPS(亲测)

ClamAV——杀毒软件

  1. 安装 ClamAV
    sudo apt-get update # 更新源
    sudo apt-get install clamav # 安装
    sudo apt-get install libclamunrar6 # 可扫描.RAR压缩文件
    sudo freshclam # 更新病毒库

  2. 扫描病毒
    sudo clamscan -r /home # 扫描 home 目录
    sudo clamscan -r --bell -i / # 全盘扫描,只输出被感染的文件

  3. 安装图形界面
    sudo apt-get install ClamTK # 可设置扫描计划等

  4. 参考链接
    Ubuntu安装使用ClamAV(杀毒软件)

QQ——社交与文件传输

  1. 安装 wine
    sudo add-apt-repository ppa:wine/wine-builds # 添加源
    sudo apt-get update # 更新源
    sudo apt-get install winehq-devel # 安装 wine

  2. 安装 QQ
    从百度云下载安装包 分享链接 提取码 : cozz
    tar xvf wineQQ8.9_19990.tar.xz -C ~/ # 解压至主目录,完成安装

  3. 卸载 QQ
    rm -rf ~/.wine
    rm -rf ~/.local/share/applications/wine-QQ.desktop
    rm -rf ~/.local/share/icons/hicolor/256x256/apps/QQ.png
    rm -rf ~/.fonts/simsun.ttc

  4. 参考链接
    ubuntu安装新版QQ

TeamViewer——远程控制

  1. 安装 TeamViewer
    从 TeamViewer 官网 下载安装包(.deb类型)。
    sudo apt-get install libjpeg62:i386 libxinerama1:i386 libxrandr2:i386 libxtst6:i386 ca-certificates # 安装依赖
    sudo dpkg -i teamviewer_13.1.3026_amd64.deb # 版本要对应
    sudo apt -f install # 修复依赖

  2. 参考链接
    UBUNTU16.04下Teamviewer的安装

Unity Tweak Tool——桌面美化工具

  1. 安装 Unity Tweak Tool
    设置软件源,这些源在国外,速度有点慢
    sudo add-apt-repository ppa:noobslab/themes
    sudo add-apt-repository ppa:noobslab/apps
    sudo add-apt-repository ppa:docky-core/ppa
    sudo apt-get update
    安装 Ubuntu tweak,用它来设置主题和图标
    sudo apt-get install unity-tweak-tool

  2. 参考链接
    Ubuntu桌面美化(unity-tweak-tool)
    Ubuntu16.04主题美化!简简单单打造仿Mac苹果系统!

LaTeX——基于ΤΕΧ的高效排版系统

LaTeX 是一种高效的排版系统,普遍用于书籍、科技文档等的写作,它的内容和样式完全分离,排版过程是 源文件→编译→生成 PDF,相比 Word,主要的优势有:高效整洁的数学环境、更清晰的文档结构。

  1. 安装 TexLive(编译器)
    从清华镜像下载安装包(2018版)清华镜像
    sudo apt-get install perl-tk perl-doc # 安装依赖
    tar -xzf install-tl-unx.tar.gz # 解压
    cd install-tl-2018*
    sudo ./install-tl # 终端安装
    sudo ./install-tl -gui # 通过图形界面安装

  2. 配置环境变量
    要注意路径名一定要与自己的版本相对应。
    export PATH=/usr/local/texlive/2018/bin/x86_64-linux:$PATH
    export MANPATH=/usr/local/texlive/2018/texmf-dist/doc/man:$MANPATH
    export INFOPATH=/usr/local/texlive/2018/texmf-dist/doc/info:$INFOPATH
    sudo visudo
    secure_path 修改为:secure_path="/usr/local/texlive/2018/bin/x86_64-linux:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"

  3. 字体设置
    报错:fontspec error: “Times New Roman” cannot be found.
    解决:sudo apt-get install msttcorefonts # 安装 CoreFonts 字库
    报错:fontspec error: “KaiTi” cannot be found.
    解决:从 win7 的 c:\windows\fonts 中拷贝 KaiTi 至 ubuntu 的目录 /usr/share/fonts,然后在终端执行如下命令:
    sudo mkfontscale
    sudo mkfontdir
    sudo fc-cache -fv
    终端显示 fc-cache: succeeded,表示字体库已经安装好。

  4. 安装TeXstudio(编辑器)
    sudo add-apt-repository ppa:sunderme/texstudio # 添加 PPA
    sudo apt-get update
    sudo apt-get install texstudio

  5. 配置 TeXstudio(编辑器)
    主要对其 CommandsBuild 部分进行配置。
    Commands 配置:Options→Configure TeXstudio→Commands,将BibTeX、BibTeX 8-Bit、Biber 的路径设置为 TeXlive 安装路径下对应 EXE 文件。
    Commands Build 配置:Options→Configure TeXstudio→Build,将 Default Compiler 修改为 XeLaTeX(默认编译器),将 Default Bibliography Tool 设置为 BibTeX(默认参考文献工具,应该是和命令设置中的 EXE 对应)。
    Build

  6. 参考链接
    LaTeX介绍
    ubuntu下安装TexLive
    Ubuntu安装中文字体
    如何在Ubuntu 18.04/17.10/16.04中安装TeXstudio 2.12.8
    LaTeX新手入门以及TeXlive和TeXstudio的安装使用
    iNSFC - 2017 年国家自然基金 LaTeX 模板


http://www.ppmy.cn/news/911937.html

相关文章

【并发编程二十二】通过进程名字杀死进程TerminateProcess

【并发编程二十二】通过进程名字杀死进程TerminateProcess 一、代码二、杀进程失败时,检查1、OpenProcess的参数2、UpdatePrivilege提升优先级3、以管理员方式,启动进程 三、启动进程失败1、由于找不到vcruntime140d.dll,无法继续执行代码。2…

图-邻接矩阵

图的邻接矩阵表示法 参考b站视频 用一维数组存储顶点信息&#xff0c;用二维数组存储顶点与顶点之间的边关系 创建接口类 先定义图要实现的方法 package com.testgraph; public interface Graph<V> {//获取顶点数int getVerticesSize();//获取边数int getEdgesSize(…

丰农控股 CIO 王轶枭:万亿级农资市场,神策数据助力大丰收筑就数据驱动核心竞争力...

丰农控股集团成立于 2014 年初&#xff0c;是国内专业的农业产业服务集团。集团多年来聚焦国内种植领域&#xff0c;以“提升农业价值”为使命&#xff0c;为国内 2.6 亿种植户提供专业服务&#xff0c;帮助种植户解决传统农资流通渠道单一、农技知识薄弱、田间服务不完整、农产…

招商证券:知识型券商如何推动企业知识资产化管理

一百人的专家队伍&#xff0c;一百个重点知识地图&#xff0c;一百场专题知识讲座&#xff0c;一百个内部经典案例”&#xff0c;招商证券通过“四个一工程”推动了公司核心知识传承&#xff0c;快速提升了最佳实践传播周期和新知识产品响应时间。招商证券凭借在知识管理实践的…

week27

这周是磨难的一周不知道NT装了多少次系统&#xff0c;删除了多少数据好消息是把BIOS和ubuntu安装地很熟练了&#xff0c;而且经过爱上了心仪的Ubuntu23.04&#xff0c;就是她了坏消息是一个学期做的笔记全都没了&#xff0c;以后不好回忆了&#xff0c;好消息是不用考试了&…

SpringBoot整合knife4j

knife4j 文档地址&#xff1a;https://doc.xiaominfo.com/ knife4j是为Java MVC框架集成Swagger生成Api文档的增强解决方案。 Swagger介绍 前后端分离开发模式中&#xff0c;api文档是最好的沟通方式。 Swagger 是一个规范和完整的框架&#xff0c;用于生成、描述、调用和…

Redis进阶底层原理-Cluster集群底层

Redis实现高可用的方案有很多中&#xff0c;先了解下高可用和分区的概念&#xff1a; 高可用是指系统在面对硬件故障、网络故障、软件错误等意外问题时&#xff0c;仍能给客户端提供正常的服务&#xff0c;尽量的减少服务的阻塞、终端现象。在高可用的方案中一般会采用冗余备份…

i910980hk和 i9-10900K哪个好

由于i9-10900K是桌面处理器&#xff0c;基本不需要考虑节能和散热问题&#xff0c;因此默频下性能比10980HK高。 我的笔记本就是活动时8折抢购的https://list.jd.com/list.html? 英特尔 i9-10900K为 10 核 20 线程&#xff0c;主频 3.7GHz&#xff0c;睿频最高可达 5.3GHz&am…