Group Convolution(分组卷积)

devtools/2024/11/25 17:05:16/

分组卷积的优点:

  1. 减少参数数量

    在分组卷积中,每个分组只与一部分输入通道进行卷积运算,这意味着模型的参数数量会减少。例如,如果一个卷积层有8个输入通道和8个输出通道,且不使用分组,那么将有64个权重参数(8个输入通道 * 8个输出通道)。如果使用2组分组卷积,每个分组将只有4个输入通道和4个输出通道,因此每组只有16个权重参数,总共32个参数,减少了一半。
  2. 减少计算量

    由于参数数量的减少,分组卷积在前向传播和反向传播过程中的计算量也会减少。这可以加快训练和推理的速度,尤其是在资源受限的情况下。
  3. 提高并行度

    分组卷积可以提高计算的并行度,因为每个分组可以独立地进行计算。这使得分组卷积在多核处理器和GPU上更加高效。
  4. 节省内存

    减少参数和计算量也意味着节省了内存使用,这对于部署在内存受限的设备上的模型尤其重要。

简单来说运用分组卷积,可以减少参数数量由此可以提高训练速度。

实例:分组卷积计算需要将in_channel和out_channel除以groups

import torch
import torch.nn as nn# 创建一个分组卷积层 conv1
# in_channels=8 表示输入通道数为8
# out_channels=6 表示输出通道数为6(卷积核个数)
# kernel_size=1 表示卷积核的大小为1x1
# groups=2 表示将输入通道分成2组进行分组卷积
conv1 = nn.Conv2d(in_channels=8, out_channels=6, kernel_size=1, groups=2)# 创建一个非分组卷积层 conv2
# in_channels=8 表示输入通道数为8
# out_channels=6 表示输出通道数为6
# kernel_size=1 表示卷积核的大小为1x1
conv2 = nn.Conv2d(in_channels=8, out_channels=6, kernel_size=1)# 创建一个假的输入数据,形状为(batch_size, channels, height, width)
# 这里假设batch_size=1, channels=8, height=1, width=1
input = torch.randn(1, 8, 1, 1)# 执行分组卷积操作
output1 = conv1(input)# 执行非分组卷积操作
output2 = conv2(input)# 打印两个输出的形状
print(output1.shape)
print(output2.shape)

输出:

torch.Size([1, 16, 1, 1])
torch.Size([1, 16, 1, 1])

# 对比内部计算和参数数量
# 对于conv1(分组卷积):
# - 参数数量:由于分组卷积将输入通道分成2组,每组4个输入通道,每组有6个输出通道,
#   因此每组的参数数量为 4(输入通道)* 6(输出通道)* 1^2(卷积核大小)= 24。
#   总参数数量为 24 * 2(组)= 48。
# - 计算量:每个输入通道只与同一组内的卷积核进行计算,因此计算量减少。# 对于conv2(非分组卷积):
# - 参数数量:非分组卷积的参数数量为 8(输入通道)* 6(输出通道)* 1^2(卷积核大小)= #48。
# - 计算量:每个输入通道与所有输出通道的卷积核进行计算,因此计算量较大。
#虽然conv1和conv2的输出形状相同,但由于分组卷积减少了参数数量和计算量,它可以提高模型的训练速度和效率.

 


http://www.ppmy.cn/devtools/136887.html

相关文章

Java技术分享

剖析equals方法 1、对于Object来说,其equals()方法底层实现就是"",都是比较对象的引用是否相等,下为JDK源码。 Object c 1; Object d 1; boolean equals c.equals(d);public boolean equals(Object obj) {return (this obj);…

基于Java Springboot个人健康管理网站

一、作品包含 源码数据库设计文档万字PPT全套环境和工具资源部署教程 二、项目技术 前端技术:Html、Css、Js、Vue、Element-ui 数据库:MySQL 后端技术:Java、Spring Boot、MyBatis 三、运行环境 开发工具:IDEA/eclipse 数据…

Linux下X11协议理解

概念 X client:X客户端。通常是各类GUI应用,如Firefox、xterm、xclock等screen:逻辑概念上的屏幕。可以是一台物理显示器、多台物理显示器或者是VNC虚拟显示器X client与X server的通信方式有三种:TCP,unix socket和通…

Jmeter中的定时器

4)定时器 1--固定定时器 功能特点 固定延迟:在每个请求之间添加固定的延迟时间。精确控制:可以精确控制请求的发送频率。简单易用:配置简单,易于理解和使用。 配置步骤 添加固定定时器 右键点击需要添加定时器的请求…

解锁PPTist的全新体验:Windows系统环境下本地部署与远程访问

文章目录 前言1. 本地安装PPTist2. PPTist 使用介绍3. 安装Cpolar内网穿透4. 配置公网地址5. 配置固定公网地址 前言 在Windows系统环境中,如何本地部署开源在线演示文稿应用PPTist,并实现远程访问?本文将为您提供详细的部署和配置指南。 P…

深入探索JMeter bin目录中的Properties文件:优化性能测试的关键

引言 在现代软件开发中,性能测试是确保应用质量和用户体验的重要环节。Apache JMeter作为一款流行的开源性能测试工具,提供了丰富的功能来模拟各种用户行为和负载情况。本文将深入探讨JMeter中的Properties(属性)功能&#xff0c…

RAINBOW: 一种鲁棒不可见的非盲网络流水印

文章信息 论文题目:RAINBOW: A Robust And Invisible Non-Blind Watermark for Network Flows 期刊(会议):NDSS 时间:2009 级别:CCF A 文章链接:https://www.researchgate.net/profile/Nikita-Borisov-2/publication/221655453_RAINBOW_A_robust_and_invisible_non…

ApiChain 从迭代到项目 接口调试到文档生成单元测试一体化工具

项目地址:ApiChain 项目主页 ApiChain 简介 ApiChain 是一款类似 PostMan 的接口网络请求与文档生成软件,与 PostMan 不同的是,它基于 项目和迭代两个视角管理我们的接口文档,前端和测试更关注版本迭代中发生变更的接口编写代码…