YOLO中的值得借鉴的思想

news/2025/1/6 6:14:26/

关键理论的理解,后面会补充结构等。

1.YOLO1中将图像划分为7*7个网格,每个网格都预测网格中的的类别(是什么物体),以及预测到的物体所对应的框(四个位置量,一个置信度),所以最后的特征图大小为7*7*2*(5+20),也就是7*7*30。抽象出的最后一层应该是S*S*B*(5+C),S*S代表了grid的数量,B为框的数量,C为预测的类别。后面的yolo也满足这个公式。

2.在yolo中,将损失函数分为了三个部分,后续yolo也一直延续这种损失。

   a.位置损失(bounding box loss)也就是预测的框的损失(xywh四个位置量的损失)(使用平方差损失)

   b.置信损失(IoU相关损失)是指网络预测的框中是否有目标,有目标的话IoU是多少(使用平方差损失)

   c.类别损失(classification loss)是指预测框中检测到的物体分类是否正确(使用交叉熵损失)

3.在yolo1以后得版本中都使用了DarkNet(修改为ResNet结构)作为backbone,其实就是conv加BN这种结构

4.加入了anchor 思想,使用k-means聚类获得一些anchor来作为先验框来预测框,简单来说就是在特征图上根据gt生成框的时候不在是胡乱生成以及人为设定,而是有一些规律(聚类结果)。

5.预测框生成:限制生成的框在grid(0-1)之内,后面改进为在grid的框以及两个相邻的框(-0.5,1.5)之间,这样生成的正样本就更准确且数量更多。

6.切片/Focus模块:每隔一个像素拿出一个特征值,然后把新的特征图进行通道维度的concat来增加特性的信息量,不丢失信息。大小变为1/2,数量变为*4.

7.金字塔池化(SPP和SPPF):通过金字塔池化,让输入图像的大小可以改变。

spp通过池化将不同尺寸的输入统一为统一尺寸。

sppf是将并联结构修改为串联结构,这样参数量就更小了,训练会更快,并且增加了非线性。1个9*9相当于两个5*5.类似于一个5*5=2个3*3.

 

 

8.特征拼接:将不同维度的特征进行融合(concat),提升网络的效果。

9.多尺度预测:单尺度预测对于较小的目标检测效果不好,所以多尺度预测,用较大的感受野来预测大物体(比如13*13的特征图),用26826来预测中等的物体,52*52的来预测小物体,并且在这些层之间进行拼接,增加特征量,提升预测的效果。不同网络中的使用尺寸略有不同。

 

10.现在的网络通常会分为三个部分:backbone(特征提取)、neck(特征融合)、head(完成用特征进行预测等任务)

11.PAN通道融合:分为两个部分:a. FPN(高层往低层融合,也就是深层往浅层融合),传递的是强语义信息。 b. 低层往高层融合,传递的是强定位信息。融合使用的是concat方法,不再是简单的add。 

 11.使用了CSP结构:也就是把一个特征图分为两个部分一个部分进行多次卷积操作,一部分只进行一次操作,然后再将两个部分concat。可以提速、减少内存占用、提升网络学习能力。类似下图,不同版本之间的具体的操作会有些许不同,但是就这么个思想。

 12.数据增强:

 


http://www.ppmy.cn/news/79680.html

相关文章

[golang gin框架] 37.ElasticSearch 全文搜索引擎的使用

一.全文搜索引擎 ElasticSearch 的介绍,以 及安装配置前的准备工作 介绍 ElasticSearch 是一个基于 Lucene 的 搜索服务器,它提供了一个 分布式多用户能力的 全文搜索引擎,基于 RESTful web 接口,Elasticsearch 是用 Java 开发的,并作为 Apac…

MATLAB|004|MATLAB M-Files|MATLAB数据类型

MATLAB M-Files 我们一直强调MATLAB是一个功能强大的编程语言及交互式计算环境,之前学习的内容中,我们学会了在 MATLAB 命令提示符下输入命令,而且我们主要是把MATLAB环境作为一个计算器使用。其实,MATLAB 还允许写入到一个文件中…

80+的AI音频工具你值得拥有

80的AI音频工具你值得拥有 文章目录 AI 文本转语音AI 音频AI 音频编辑AI 音乐 AI 文本转语音 工具简介链接分类描述1描述2是否收费BlakifyBlakify是一款文本转语音软件,拥有超过800多种语音和90种语言。它可以将静态内容,如电子书、PDF文件和其他培训文…

轻松转换CAJ文件为PDF格式:免费工具和技巧

在处理中国知网(CNKI)数据库中的CAJ文件时,将其转换为更常用的PDF格式可以提供更广泛的共享和便捷的阅读体验。本文将介绍一种免费的工具和一些技巧,帮助您轻松地将CAJ文件转换为PDF格式。我们将使用记灵在线工具进行操作。 记灵…

《幸福关系的7段旅程》

关于作者 本书作者安德鲁∙马歇尔,英国顶尖婚姻咨询机构RELATE的资深专家,拥有 30年丰富的咨询经验,并为《泰晤士报》《观察家》和《星期日快报》撰写专栏文章。已出版19部作品,并被翻译成20种语言。 关于本书 《幸福关系的7段…

【前端相关】elementui使用el-upload组件实现自定义上传

elementui使用el-upload组件实现自定义上传 一、问题描述二、实现方式三、实现步骤3.1 方式一:选择后自动上传3.2 方式二:选择图片后手动上传3.3 拓展:上传文件夹 四、服务器相关接口 一、问题描述 elmentui 中的upload默认的提交行为是通过…

Java——《面试题——多线程并发篇》

前文 java——《面试题——基础篇》 Java——《面试题——JVM篇》 目录 前文 1、说说Java中实现多线程有几种方法 2、如何停止一个正在运行的线程 3、notify()和notifyAll()有什么区别? 4、sleep()和wait() 有什么区别? 5、volatile 是什么?可…

架构-软件工程模块-2

系统分析 数据流图可能出案例题,状态转换图了解作用即可 用例图、类图选择题多,暴徒了解即可 #mermaid-svg-lGozbtkYJPEQF1eo {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-lGozbtkYJPEQF1e…