从〇开始深度学习(0)——背景知识与环境配置

embedded/2024/11/24 20:07:02/

从〇开始深度学习(0)——背景知识与环境配置

文章目录

  • 从〇开始深度学习(0)——背景知识与环境配置
    • 写在前面
    • 1.背景知识
    • 2.环境配置
      • 2.1.准备工作
        • 2.1.1.判断有无英伟达显卡
        • 2.1.2.清理电脑里的旧环境
      • 2.1.安装Anaconda
      • 2.2.安装Pytorch
        • 2.2.1.CPU版
        • 2.2.2.GPU版
          • 支线剧情:安装CUDA
          • 主线剧情:安装PyTorch
      • 2.3.安装PyCharm、配置环境
      • 2.4.(可选)汉化PyCharm
      • 2.5.(可选)配置PyCharm终端

写在前面

学习之前从未接触过的领域,总是充满未知和挑战。我可以从很多教程学习我该“做什么”,但是很少有教程可以讲清楚“为什么”。希望通过本专栏,可以让和我一样“有编程基础,但不多”的小白,也可以轻松了解深度学习相关知识,并在脑海里构建出学习框架。

笔记分类:

1.背景知识

Pytorch_14">1.1.Pytorch

在Python中,有很多功能强大的库。这些库为我们封装好了很多功能强大的方法和函数,我们可以站在前人的肩膀上开发我们自己的项目。Pytorch也是如此,完全可以把它看作是一个大的python库。

Anaconda_18">1.2.Anaconda

在初学Python时,我们往往是在Python官网下载某版本的Python然后编程。但是这种方式存在一个弊端:别人开发的Python工程可能与自己的Python版本不同,此时若想运行别人的工程,则需要重新在官网下载相应版本的Python并配置环境变量。如此一来,我们可能需要频繁地修改本地Python环境。

Anaconda便是一个用于管理Python环境的工具。Anaconda会配置不同的虚拟环境,与我们在本地配置的环境不同,本地环境无法同时配置不同的Python版本,而虚拟环境可以“同时”配置多个不同环境,可以随时按需切换。在不同环境中,可以按需安装不同的库。这样对应不同的工程,我们可以更清晰地区分环境,可以更直观地进行工程管理。

Pycharm_24">1.3.Pycharm

Pycharm是Jetbrains的一款Python编译器,用过CLion和IDEA的朋友应该都可以很轻松上手PycharmPycharm分为社区版和专业版,社区版是开源免费使用,专业版需要购买,或经过Jetbrains的学生认证后可以免费使用(可以免费使用Jetbrains全家桶,不仅Pycharm专业版)。如果对IDEA的使用也有需求,推荐使用Jetbrains Toolbox进行IDE的统一管理。

Pycharm也可以配置虚拟环境。我们可以不用Anaconda的虚拟环境,直接在Pycharm中配置虚拟环境,下载不同版本的Python;我们也可以在Pycharm中选择Anaconda配置的不同虚拟环境,或是直接选择本地配置的环境。

1.4.CPU与GPU

一般来讲,深度学习的程序用GPU跑更好。与CPU相比,GPU的运算能力更强,且有并行处理能力。

Pytorch分为CPU和GPU两个版本,CPU版本所有设备均可以使用,有英伟达显卡的设备才可以使用GPU版本的Pytorch,且显卡最好拥有>=6GB的显存。

1.5.整体关系

在之后的学习中,我会用Anaconda配置Python+Pytorch环境(其中Pytorch在本地和云服务器均选择GPU版本),使用Pycharm Professional进行编程。计划先在本地环境学习Pytorch,然后在云服务器跑其他算法。

2.环境配置

目标:Anaconda+PyTorch+Pycharm

推荐课程:最详细的 Windows 下 PyTorch 入门深度学习环境安装与配置 CPU GPU 版 | 土堆教程_哔哩哔哩_bilibili

2.1.准备工作

2.1.1.判断有无英伟达显卡

打开任务管理器,找到性能——GPU:

image-20240115095243217
image-20241122101132459

即可知道自己是什么显卡。只有英伟达的显卡才可以使用GPU版Pytorch,且显存最好>=6GB。上图说明没有英伟达显卡,只能使用CPU版PyTorch;下图有英伟达显卡,显存8GB,可以使用GPU版PyTorch。

2.1.2.清理电脑里的旧环境

推荐视频:Python深度学习:安装Anaconda、PyTorch(GPU版)库与PyCharm_哔哩哔哩_bilibili,P1

在此之前,可能有的读者学习过Python。我们需要把之前的环境都清理干净,重新配置新环境。下载一个名为Everything的小工具,启动后等待20秒初始化。

在Everything中搜索Uninstall-Anaconda ,这是Anaconda的卸载程序。如果之前下载过Anaconda,可以通过此程序卸载。

在Everything中搜索.condarc、jupyter、 ipython、 continuum、 matplotlib、 anaconda 以及 conda 的文件,仅删除C盘中的即可。

打开系统环境变量,将Python路径从Path中移除,否则可能会在后续安装Anaconda时无法配置Anaconda的环境变量。

image-20241122102133759

Anaconda_72">2.1.安装Anaconda

打开Anaconda官网,输入邮箱,会给你发过去下载链接。然后点击Download即可直接进行下载:

image-20241122102348533

当然,也可以[下载](Anaconda Distribution release notes — Anaconda documentation)较旧版本的Anaconda以获取更好的稳定性:

image-20241122102532229

如果你不知道自己的windows是多少位,可以打开系统设置进行查看:

image-20241122102610089

然后下载对应版本即可。

安装Anaconda比较简单。安装在C盘D盘都可以,要留出足够的空间。**且不论安装到什么地方,都要记住这个安装路径,一会需要配置环境变量!**在安装老版本时可能遇到下图的选项卡,如果勾选了第一个选项卡,则会将 Anaconda3 添加到系统 PATH 环境变量中,显然官方也Not recommended,不勾即可。只勾选第二个选项卡,然后安装即可。

image-20240115103341583

现版本的Anaconda安装是这样:

image-20241122103122598

安装过程比较漫长,我在安装时进度条卡在90%约20分钟,耐心等待安装即可。

我们再次打开环境变量,将Anaconda添加到系统环境变量中(注意不是用户变量)。找到系统变量——Path——编辑,将...\Anaconda...\Anaconda\Scripts...\Anaconda\Library\bin 添加到Path中即可(...为刚刚Anaconda的安装路径)。

我们可以把“Jupyter Notebook (Anaconda)”和“Anaconda Prompt (Anaconda)”添加到桌面快捷方式。打开开始,从最近添加中找到Anaconda,右键单击,选择更多,然后打开文件位置:

image-20240115104132972

打开后如图所示:

image-20240115104410858

把第三个(Anaconda Prompt (Anaconda))和第四个(Jupyter Notebook (Anaconda)),右键单击,选择发送到——桌面快捷方式即可。第二个(Anaconda Powershell Prompt (Anaconda))和第三个功能差不多,第二个的功能更加强大,但是我们日常使用第三个已经足够了。具体是用第二个还是第三个,看个人喜好即可。第一个(Anaconda Navigator (Anaconda))是Anaconda的图形界面,可以直观看到自己的虚拟环境,缺点是在图形界面里进行安装包之类的操作会有些慢,看个人喜好,也可以添加到桌面快捷方式。

打开Prompt,默认是在Anaconda的base环境下。这个环境是安装Anaconda时就配置好的,无需额外配置。我们一般会自己创建新的虚拟环境,常用指令如下:

# 清屏
cls
# base 环境下的操作
## 列出所有的环境
conda env list
## 创建名为“环境名” 的虚拟环境,并指定 Python 的版本
conda create -n 环境名 python=3.9
## 删除名为“环境名” 的虚拟环境
conda remove -n 环境名 --all
## 进入名为“环境名”的虚拟环境
conda activate 环境名
# 虚拟环境内的操作
## 列出当前环境下的所有库
conda list
## 安装 NumPy 库,并指定版本 1.21.5
pip install numpy==1.21.5 -i https://pypi.tuna.tsinghua.edu.cn/simple
## 安装 Pandas 库,并指定版本 1.2.4
pip install Pandas==1.2.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
## 安装 Matplotlib 库,并指定版本 3.5.1
pip install Matplotlib==3.5.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
## 查看当前环境下某个库的版本(以 numpy 为例)
pip show numpy
## 退出虚拟环境
conda deactivate

如果你有过Python学习的基础,或者是细心观察了刚刚的常用指令,会发现我们是从清华源下载各种包。默认情况下,Anaconda都是从国外服务器下载包,而由于众所周知的原因,这样下载往往比较慢,所以我们会换源下载。

Anaconda Prompt命令行中输入指令conda config --get,即可看到我们默认下载途径是defaults

image-20240115114057049

如果我们在创建虚拟环境时,直接指定下载源(下载通道channels),那在后续的下载中就不用每条指令都进行换源了:

## 创建名为“环境名” 的虚拟环境,并指定 Python 的版本,并指定下载源
conda create -n 环境名 python=3.9 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

但是还是更推荐不更改默认下载地址,推荐使用刚刚这种方式:

## 安装 NumPy 库,并指定版本 1.21.5
pip install numpy==1.21.5 -i https://pypi.tuna.tsinghua.edu.cn/simple

更改默认地址后,有时会出现奇怪的错误。所以还是每次下载单独指定即可。

Pytorch_161">2.2.安装Pytorch

2.2.1.CPU版

注:这部分笔记时间为2024年02月,可能现在的安装过程会有小区别。

进入Pytorch官网,往下翻,找到这个表格:

image-20240115115822553

笔者选择的是稳定版、windows、Conda(也可以选择Pip)、CPU版本,可以看到为我们生成了下载命令:

conda install pytorch torchvision torchaudio cpuonly -c pytorch

我们进入Anaconda Prompt命令行,创建一个虚拟环境,命令如下:

conda create -n 环境名 python=3.9

进入该环境:

conda activate 环境名
image-20240115121229770

然后运行刚刚从网站上复制的指令:

conda install pytorch torchvision torchaudio cpuonly -c pytorch

推荐科学上网,或者换源下载。下载完成后,再检查一下:

conda list

如果安装成功的话,列表会显示pytorch。如下所示:

image-20240115123449465

安装成功。

下面验证一下Pytorch能否被Python调用。在命令行输入:

python

如果已经成功激活Python解释器,会有三个>>>的标志,如下所示:

image-20240115173254629

再在命令行输入:

import torch
torch.cuda.is_available()

如果显示False,则Pytorch的CPU版本已经安装成功了:

image-20240115173616930

需要注意的是,import的是torch而非pytorch,函数torch.cuda.is_available()记得括号。

2.2.2.GPU版

英伟达显卡的运算平台是CUDA,PyTorch的下载组件中含有cudatoolkit,是CUDA的子集。一般要满足CUDA版本>cudatoolkit版本。

打开CMD命令行,输入:

nvcc -V

如果你已经安装了CUDA则会显示版本号,如果显示:

image-20241122131338082

那就进入支线剧情了:安装CUDA。如果不需要,则可以直接跳过,看主线剧情。

支线剧情:安装CUDA

在CMD命令行中输入:

nvidia-smi.exe
image-20241122134202316

这个版本是你的显卡所支持的最高版本的CUDA!

进入CUDA Toolkit - Free Tools and Training | NVIDIA Developer,可以直接下载最新版:

image-20241122131838926

也可以进入CUDA Toolkit Archive | NVIDIA Developer下载老版:

image-20241122131915550

进入Pytorch官网,往下翻,找到这个表格:

image-20241122132154171

所以我选择下载12.4.1版本CUDA,跳转后选择如下:

image-20241122132401377

Version是你Windows版本。然后点击下载即可,这里下载的过程会比较久,耐心等待即可。

下载完毕,双击安装,我选择的安装路径如下:

image-20241122134947373

安装过程需要注意的点:

image-20241122140038391
image-20241122140255523

在选择组件时,我仅勾选了我电脑上没有的组件、我电脑有但是版本落后的组件,如上图所示。然后在CUDA中取消VS,如下所示:

image-20241122140354905

如果你电脑上有VS,可以勾选;如果没有,一定不要勾选

选择安装位置:

image-20241122140829667

然后等待安装即可。安装完关闭窗口,回到CMD命令行,重新输入:

nvcc -V
image-20241122141217590

至此,完成CUDA安装。

有些教程还包括安装cudnn,实际上并不需要,PyTorch本身就包含了cudnn。

主线剧情:安装PyTorch

笔者选择的是稳定版、windows、Conda(也可以选择Pip)、CUDA12.4版本,可以看到为我们生成了下载命令:

conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia

我们进入Anaconda Prompt命令行,创建一个虚拟环境,命令如下:

conda create -n 环境名 python=3.9

进入该环境:

conda activate 环境名
image-20240115121229770

然后运行刚刚从网站上复制的指令:

conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia

推荐科学上网,或者换源下载。若换源,则输入:

conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c nvidia -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64/

下载完成后,再检查一下:

conda list

如果安装成功的话,列表会显示pytorch。如下所示:

image-20241122153756784

安装成功。

下面验证一下Pytorch能否被Python调用。在命令行输入:

python

如果已经成功激活Python解释器,会有三个>>>的标志,如下所示:

image-20240115173254629

再在命令行输入:

import torch
torch.cuda.is_available()

如果显示True,则Pytorch的GPU版本已经安装成功了:

image-20241122153853528

需要注意的是,import的是torch而非pytorch,函数torch.cuda.is_available()记得括号。

原谅我的懒惰,配GPU版的时候直接用了几个CPU版的图,但是无伤大雅,不耽误理解,不耽误配置

这个win11的UI是好看哈

2.3.安装PyCharm、配置环境

Pycharm官网进行下载,分为Professional和Community Edition。可以通过购买或进行学生认证的方式使用Professional版本,当然免费的Community Edition也足够用,自行选择进行下载。当然,也可以下载一个JetBrains Toolbox,对Jetbrains的开发工具进行统一管理。不论是哪种方式,下载安装都非常简单,速度也很快。

打开Pycharm,新建一个工程。先在Location(位置)输入工程保存的地址,注意地址要全英文:

image-20240115175125605

需要注意的是,以上图为例,E:\PythonStudy是你电脑种已有的文件夹,test0是你的工程名称。然后选择Python解释器,我们选择下面的方式:

image-20240115175158948

点击添加解释器:

image-20240115175223755

然后输入路径...\Anaconda\Scripts\conda.exe,其中...Anaconda的安装路径。在使用现有环境中,选择刚刚创建好的环境:

image-20240115190851614

新版Pycharm配置方式如下:

image-20241122150500389

其中,Git repository是可选项,不勾也完全没问题。

有些版本的Pycharm可能还要配置Python解释器,Python解释器的路径为...\Anaconda\envs\PytorchStudy\python.exe,其中...Anaconda的安装路径。**不要搞混了Conda可执行文件和Python解释器,二者不是一个东西,路径也不一样。**确定后即可创建:

image-20240115191740203

更换main.py中的代码:

import torch
print(torch.cuda.is_available())

点击运行,如果你是CPU版的PyTorch会输出:

image-20240115195708806

GPU版的PyTorch会输出:

image-20241122154453911

环境配置完毕。

2.4.(可选)汉化PyCharm

PyCharm的汉化方法与Jetbrains其他产品的汉化方法相同。点击File(文件)——Settings(设置)——Plugins(插件),搜索Chinese,找到标志为的插件,下载并应用即可。当然,汉化并非必须选择的。

image-20240115201552278

2.5.(可选)配置PyCharm终端

备注:这个方法我在2024年01月配置过没问题,但是2024年11月配置的时候出现问题,具体原因未知,可能是某些版本变化导致的。

Pycharm其实也可以直接打开终端,如果我们想打开Anaconda的命令行,则需要进行额外的配置。

首先,找到Anaconda Prompt (Anaconda)所在位置:

image-20240115202304030

在文件夹中,再右键——属性:

image-20240115202522831

如下所示:

image-20240115202554840

复制路径如下:

C:\Windows\System32\cmd.exe

点击文件(File)——设置(Settings)——工具(Tools)——终端(Terminal),将Shell路径修改为刚刚复制的路径:

image-20240115202733734

再打开终端,如下所示:

image-20240115202822965

这样我们就可以很方便地在Pycharm中输入命令,无需额外打开窗口了。


http://www.ppmy.cn/embedded/140195.html

相关文章

51单片机基础 06 串口通信与串口中断

目录 一、串口通信 二、串口协议 三、原理图 四、串口通信配置参数 1、常用的串行口工作方式1 2、数据发送 3、数据接收 4、波特率计算 5、轮询接收 6、中断接收 一、串口通信 串口通信是一种常见的数据传输方式,广泛用于计算机与外部设备或嵌入式系统之间…

C++设计模式:建造者模式(Builder) 房屋建造案例

什么是建造者模式? 建造者模式是一种创建型设计模式,它用于一步步地构建一个复杂对象,同时将对象的构建过程与它的表示分离开。简单来说: 它将复杂对象的“建造步骤”分成多部分,让我们可以灵活地控制这些步骤。通过…

Let‘s Encrypt SSL证书:acmessl.cn申请免费3个月证书

目录 一、CA机构 二、Lets Encrypt特点 三、申请SSL 一、CA机构 ‌Lets Encrypt‌是一个由非营利组织Internet Security Research Group (ISRG)运营的证书颁发机构(CA),旨在通过自动化和开放的方式为全球网站提供免费、可靠的SSL/TLS证书。…

【C++入门(一)】半小时入门C++开发(深入理解new+List+范围for+可变参数)

目录 一.深入理解new 使用格式 二.List列表 定义一个列表 迭代器 添加元素 删除元素 排序 反转序列 三.范围for 四.可变参数 std::initializer_list 可变参数模板(variadic template) 一.深入理解new 类似于C语言中的malloc、calloc和reallo…

1. Klipper从安装到运行

本文记录Klipper固件从安装,配置到运行的详细过程 Klipper是3D打印机固件之一,它通常运行在linux系统(常使用Debian,其它的linux版本也可以)上,因此需要一个能运行Linux系统的硬件,比如电脑&am…

C++ list (链表)容器

C list 链表 #include<iostream> using namespace std; #include<list>void printList(const list<int>& L) {for (list<int>::const_iterator it L.begin(); it !L.end(); it){cout << *it << " ";}cout << endl;…

Sourcetree登录GitLab账号

1. 在GitLab上创建个人访问令牌 在gitlab中点击右上角的头像图标&#xff0c;选择设置进入 Access Tokens&#xff08;访问令牌&#xff09; 页面填写令牌名称和到期时间&#xff0c;指定Scopes&#xff08;范围&#xff09;。一般选择read_repository和api点击 Create person…

查看浏览器的请求头

爬虫时用到了请求头&#xff0c;虽然可以用网上公开的&#xff0c;但是还是想了解一下本机浏览器的。以 Edge 为例&#xff0c;其余浏览器通用。 打开浏览器任一网页&#xff0c;按F12打开DevTools&#xff1b;或鼠标右键&#xff0c;选择“检查”。首次打开界面应该显示在网页…