Linux下深度学习虚拟环境的搭建与模型训练

ops/2024/12/22 15:52:06/

深度学习实践中,环境配置是十分重要且免不了的一步。本文以 YOLOv4 模型,介绍在Linux下虚拟环境配置到模型训练的过程。

安装Miniconda:

Miniconda是Anaconda的一个轻量级版本,非常适合用于科学计算和数据处理。

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

创建并激活Python环境:

为YOLOv4创建一个隔离的Python环境,避免依赖冲突。

conda create -n yolov4 python=3.8.8
conda activate yolov4

使用以下命令检查PyTorch是否正确安装:

import torch
print(torch.cuda.is_available())
print(torch.cuda.device_count())
print(torch.version.cuda)

配置镜像源:

使用清华大学提供的镜像源可以加快包的下载速度。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

安装PyTorch及依赖:

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

 YOLOv4的训练和测试可以通过多种方式实现,这里我们将介绍使用Darknet框架训练的方法。

YOLOv4在Darknet的源代码可以在GitHub上找到,下载地址是https://github.com/AlexeyAB/darknet,数据集的构建与划分请参考官方的文档进行操作。

YOLOv4 模型训练与测试

darknet detector train data/voc2021.data cfg/yolov4.cfg yolov4.conv.137 -map

模型剪枝优化 

python prune.py --percent 0.5 --weights ./runs/train/exp20/weights/last.pt --data ./data/VOC.yaml

 PyTorch多GPU训练

 提高训练效率,缩短训练周期。

python -m torch.distributed.launch --nproc_per_node 4 --master_port 9527 train.py --workers 8 --device 0,1,2,3 --sync-bn --batch-size 128 --data data/voc.yaml --img 640 640 --cfg cfg/training/yolov7.yaml --weights 'weights/yolov7.pt' --name yolov7 --hyp data/hyp.scratch.p5.yaml

模型测试

 对训练好的模型进行效果验证。

python test.py --weights weights/best.pt --data data/voc.yaml --img 640 --conf 0.5 --iou 0.65

 一些高级特性和工具可以帮助更好地开发和监控模型性能

WandB(Weights & Biases): 用于模型训练过程中的性能监控和可视化。 

python
import wandb
wandb login

Visdom: 另一种数据可视化工具,适合实时数据监控 

conda install visdom -i https://pypi.douban.com/simple/
python -m visdom.server

 


http://www.ppmy.cn/ops/28645.html

相关文章

单片机与Python串口通讯

一、单片机端 串口是一条城乡之间的窄道(连接单片机和外设),一次只能并排走八个人(8位),但大部分城市(单片机)里的人(ADC数据)喜欢12个人并排走,所以只能分开传高八位、第八位。此处以ESP32的函数为例,假设有四个通道(其它单片机只…

【JavaEE网络】网络编程及其应用概述

目录 面向字节流粘包问题 TCP异常情况TCP/UDP对比 网络层重点协议IP协议IP地址 面向字节流 粘包问题 在面向字节流的情况下,会产生一些其他的问题:粘包问题,这里“粘”的是“应用层数据报”,通过TCP read/write的数据&#xff0…

解决:could not load library libcudnn_cnn_train.so.8

训练模型时报下面错误: could not load library libcudnn_cnn_train.so.8 出现错误的可能原因: PyTorch 有自己的 CUDA 依赖项(包括 cuDNN),所以需要从库路径中移除本地安装的 cuDNN,让 PyTorch 加载它自…

消费品行业的5G新时代:2024年消费品行业趋势洞察报告

来源:安永 2023 年,我国社会消费品零售总额达人民币 47.147.147.147.1万亿元,比上年增长 7.2%7.2%7.2%7.2%;最终 消费支出拉动经济增长 4.34.34.3个百分点,比上年提高 3.13.13.1个百分点,对经济增长的贡献…

Python绘制的好看统计图

代码 sx [Accent, Accent_r, Blues, Blues_r, BrBG, BrBG_r, BuGn, BuGn_r, BuPu, BuPu_r, CMRmap, CMRmap_r, Dark2, Dark2_r, GnBu, GnBu_r, Greens, Greens_r, Greys, Greys_r, OrRd, OrRd_r, Oranges, Oranges_r, PRGn, PRGn_r, Paired, Paired_r, Pastel1, Pastel1_r, P…

【Vue3 生命周期与组合式API】

文章目录 一、Vue3 生命周期概述二、Vue3 组合式API 与选项式API 的对比1. 选项式API 生命周期钩子函数常用的生命周期钩子函数包括: 2. 组合式API 的优势组合式API 的主要优势包括:在生命周期管理上的优势 三、Vue3 组合式API 生命周期钩子函数1. setup…

2024五一杯数学建模A题思路分析-钢板最优切割路径问题

文章目录 1 赛题选题分析 2 解题思路3 最新思路更新 1 赛题 A题 钢板最优切割路径问题 提高钢板下料切割过程中的工作效率,是模具加工企业降低成本和增加经济效益的重要途径,其中钢板切割的路径规划是钢板切割过程的一个关键环节。 钢板切割就是使用特殊…

C#知识|汇总方法重载与静态方法应用技巧

哈喽,你好,我是雷工! 今天学习C#方法重载与静态方法应用技巧的相关内容。 01 方法重载有什么好处? 1.1、可以有效的减少类的对外接口(只显示一个方法比较简洁),从而降低类的复杂度。 1.2、方便…