12.7深度学习_经典神经网络_VGG

devtools/2024/12/23 21:41:15/

一、VGG神经网络

​ VGG的亮点在于它通过堆叠多个卷积层,以小的卷积核和池化层的方式来增加网络深度,从而实现高精度的图像识别。这种方法可以有效地捕获图像中的高级特征,并通过不断拟合训练数据来提高识别准确率。

1. 小卷积作用

​ DC Ciresan等人研究表明使用更小的卷积是有利的。牛津大学Visual Geometry Group提出VGG,使用了大量小卷积 核,获得了ILSVRC 2014分类任务第2名。

"D": [64, 64, "M", 128, 128, "M", 256, 256, 256, "M", 512, 512, 512, "M", 512, 512, 512, "M"],

​

1.1 感受野的作用

​ 感受野是个相对概念,某层feature map上的元素看到前面不同层上的区域范围是不同的,通常在不特殊指定的情况下,感受野指的是看到输入图像上的区域。

  • 网络层数增加(非线性表达能力增加)
  • 网络参数数量减少

2. VGG版本

根据深度不同,有VGG11,VGG13,VGG16,VGG19。在日常使用过程中一般使用16层的那个,即下图中的D。

cfgs = {"A": [64, "M", 128, "M", 256, 256, "M", 512, 512, "M", 512, 512, "M"],"B": [64, 64, "M", 128, 128, "M", 256, 256, "M", 512, 512, "M", 512, 512, "M"],"D": [64, 64, "M", 128, 128, "M", 256, 256, 256, "M", 512, 512, 512, "M", 512, 512, 512, "M"],"E": [64, 64, "M", 128, 128, "M", 256, 256, 256, 256, "M", 512, 512, 512, 512, "M", 512, 512, 512, 512, "M"],
}

self.classifier = nn.Sequential(nn.Linear(512 * 7 * 7, 4096),nn.ReLU(True),nn.Dropout(p=dropout),nn.Linear(4096, 4096),nn.ReLU(True),nn.Dropout(p=dropout),nn.Linear(4096, num_classes),)

下图展示了他们的表现效果:

3. 存在的问题

尽管VGG在许多方面都表现优秀,但它也有一些缺陷:

  1. 该网络架构非常大,并且需要大量的计算资源来训练。这意味着,如果你想在较小的设备上使用VGG,比如移动设备或个人电脑,会发现它非常慢,并且可能无法获得足够的性能。
  2. 由于VGG网络架构非常深,它可能会导致梯度消失或爆炸的问题。这是由于在非常深的神经网络中,梯度在传播过程中可能会变得非常小或非常大,从而导致模型无法正常训练。

因此,VGG网络架构虽然在许多方面都非常优秀,但是要注意这些缺点可能导致的问题。

4. VGG网络测试

将全连接替换为卷积,从而适应不同输入大小的图。

  • 第1个全连接层转换为7×7的卷积层
  • 后两个全连接层转换为1×1的卷积层
  • 得到一个空间维度可变的多通道的概率图(class score map),空间维度求和平均作为预测概率

4.1 单尺度测试

  • 随着网络深度增加,总体性能变好。
  • 1×1卷积加深网络深度有用(C比B强)。
  • 用1个5×5卷积替换B的2个3×3卷积,性能下降7%。
  • 网络深度的简单增加使得优化难度增加,单尺度 VGG19训练结果可能不如VGG16。
  • 多尺度裁剪训练(scale jittering)有助于提升性能。

4.2 多尺度测试

相比于单尺度测试,有进一步 的性能提升。

单尺度训练的测试尺度:{S − 32, S, S + 32}

多尺度训练的测试尺度:{Smin, 0.5(Smin + Smax), Smax}

4.3 密集测试与多尺度裁剪

训练尺度:[256; 512]

测试尺度: {256, 384, 512}

多尺度裁剪更好,两者可以互补。

4.4 多模型集成

7个模型集成最小误差7.3%,2个最好的模型集成最小误差6.8%。

4.5 与其他模型对比

​ 单模型精度VGG(7.0%)强于GoogLeNet(7.9%)

5. VGG总体特征

与AlexNet同为链式结构,而且更加简单

  • 结构非常简洁,整个网络使用了同样大小的卷积核尺寸(3×3)和最大池化尺寸(2×2)
  • 几个小滤波器(3×3)卷积层的组合比一个大滤波器(5×5或7×7)卷积层好
  • 层数更深更宽(11层、13层、16层、19层)
  • 池化核变小且为偶数
  • 验证了通过不断加深网络结构可以提升性能

http://www.ppmy.cn/devtools/144803.html

相关文章

堆排序【东北大学oj数据结构9-4】C++

堆排序是一种基于堆的数据结构的排序,是一种快速排序算法,可以在输入数组中实现排序处理(内存高效)。 堆排序可以实现如下: maxHeapify(A, i) l left(i) r right(i) // select the node which has the m…

Coding Caprice - Linked-List 1

203. 移除链表元素 class Solution { public:ListNode* removeElements(ListNode* head, int val) {ListNode* Head new ListNode();Head->next head;ListNode* out1 Head;while(Head!nullptr && Head->next!nullptr){if(Head->next->val val){ListNo…

whisper实时语音转文字

import whisperimport osdef check_file_exists(file_path):if not os.path.exists(file_path):raise FileNotFoundError(f"音频文件不存在: {file_path}")# 音频文件路径 audio_path r"D:\视频\temp_audio.wav"# 检查文件是否存在 check_file_exists(aud…

Crawl4AI:一个为大型语言模型(LLM)和AI应用设计的网页爬虫和数据提取工具实战

这里写目录标题 一、crawl4AI功能及简介1、简介2、特性 二、项目地址三、环境安装四、大模型申请五、代码示例1.生成markdown2.结构化数据 一、crawl4AI功能及简介 1、简介 Crawl4AI 是一个开源的网页爬虫和数据抓取工具,一个python项目,主要为大型语言…

OpenEuler Linux上怎么测试Nvidia显卡安装情况

当安装好显卡驱动后怎么样知道驱动程序安装好了,这里以T400 OpenEuler 正常情况下,我们只要看一下nvidia-smi 状态就可以确定他已经正常了 如图: 这里就已经确定是可以正常使用了,这里只是没有运行对应的程序,那接来下我们就写一个测试程序来测试一下:以下代码通过AI给出然后…

shell脚本案例

脚本一:打印当前系统登录用户列表 #!/bin/bash # 使用 who 命令获取当前登录用户信息并输出 who解释:who 命令用于显示当前登录系统的用户信息,包括用户名、登录终端、登录时间等。此脚本直接执行 who 命令并将结果输出到终端。 脚本二&…

【漫话机器学习系列】012.深度学习(Deep Learning)基础

深度学习基础概述 深度学习(Deep Learning)是一种基于人工神经网络的大规模机器学习方法,在图像识别、语音处理、自然语言理解等领域具有广泛的应用。深度学习模型的构建包括数据准备、损失函数设计、优化算法选择、网络架构搭建、测试数据验…

NGINX的安装和配置(Linux环境)

目录 NGINX 安装方式1、 离线编译安装2、 在线仓库安装 NGINX 常用命令1、进程管理命令2、信息查看命令 NGINX 配置文件1、进程使用的配置2、配置文件格式3、配置文件层级 NGINX 全局配置1、全局配置常用指令2、连接相关配置 NGINX 配置MIME1、MIME 标准2、types 配置块3、defa…