论文笔记 ICLR 2024 MogaNet: Multi-Order Gated Aggregation Network

news/2024/10/15 6:36:46/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

配图中有2个分支,一个是subtract的输出和缩放因子(γs)相乘之后的结果,另一个是1×1卷积输出的结果,这两个分支的输出进行element-wise addition,这两个分支的输出分别代表什么?

在这里插入图片描述

为什么”增强局部与全局特征的差异性“可以提高识别、检测、分割的性能?

在这里插入图片描述

在这里插入图片描述

类似地,图中Multi-Order Gated Aggregation中的两个分支Fϕ(·)和Gψ(·),一方面保留了输入的主要信息,另一方面通过Gψ(·)分支增强了多尺度特征。

在这里插入图片描述

似乎在特征融合或特征增强的模块设计中,一个分支保留输入的主要信息,另一个分支进行输入特征增强或融合,最后将两个分支的输出进行融合,这种操作非常常见,其设计思想借鉴了残差连接。

在这里插入图片描述

然后是Channel Aggregation Block(CA Block)Multi-Order Gated Aggregation Block(Moga Block)的输出可以作为Channel Aggregation Block(CA Block)的输入。这种设计符合MogaNet的整体结构逻辑,即先通过Moga Block进行空间维度和上下文特征的多阶交互聚合,再通过CA Block在通道维度上进行自适应的特征重新分配和聚合。具体来说:

1. Multi-Order Gated Aggregation Block 的作用

  • Moga Block专注于通过不同大小的卷积核(如5×5、7×7)和空洞卷积,捕捉不同空间尺度的特征,并对这些特征进行聚合。它主要处理的是特征的空间维度上下文交互

2. Channel Aggregation Block 的作用

  • CA Block则进一步处理这些聚合后的特征,重点是对通道维度进行重新分配和自适应加权。它通过通道间的差异性计算(如通过1×1卷积降维、GELU激活和残差加权),优化通道间的特征表达。

3. 输入与输出的关系

  • 在MogaNet的结构中,Moga Block的输出(经过空间聚合和上下文交互后的特征)会作为CA Block的输入。在CA Block中,模型进一步调整通道间的特征关系,最终生成更具表达力的输出。因此,Moga Block和CA Block在网络中是串联工作的,Moga Block处理空间维度和上下文信息,而CA Block则负责优化通道维度的特征。

4. 总结

  • Moga BlockCA Block 是网络中两个紧密关联的模块。Moga Block 输出的特征经过聚合后会被送入CA Block,在通道维度上进行进一步的优化和处理。这个设计的目的是确保特征在空间和通道两个维度上都能被充分利用和优化。

在这里插入图片描述
在这里插入图片描述

怎么利用这篇论文提出的模块进行改进?

在这里插入图片描述


http://www.ppmy.cn/news/1539313.html

相关文章

PyTorch 深度学习虚拟环境安装与配置 GPU 版

什么是虚拟环境? 在 Anaconda 中,虚拟环境允许你为不同的项目创建隔离的 Python 环境,这样可以避免不同项目之间的依赖冲突。 使用虚拟环境是一个很好的实践,特别是当你在开发多个项目,或者需要不同版本的库时。这样可以确保项目…

计算机和网络

计算机的发展史 计算机的发展大致可以分为五个阶段,每个阶段都代表了技术的重大进步: 第一代计算机(1940年代中期 - 1950年代中期):电子管计算机 第一代计算机使用电子管作为主要的电子元件。代表性机器:E…

13.1 Linux_网络编程

字节序 1、概述 什么是字节序: 字节序就是字节的存储顺序,分为大端字节序和小端字节序。 大端字节序:低地址存高位(网络)小端字节序:低地址存低位(主机) 检验主机字节序模式&…

Spring Boot教学资源库:开发者的成长之路

2 相关技术简介 2.1Java技术 Java是一种非常常用的编程语言,在全球编程语言排行版上总是前三。在方兴未艾的计算机技术发展历程中,Java的身影无处不在,并且拥有旺盛的生命力。Java的跨平台能力十分强大,只需一次编译,任…

部署带证书的docker高可用的私有仓库harbor

一、部署带证书的docker高可用的私有仓库harbor harbor下载包:https://hub.fastgit.org/goharbor/harbor/releases docker阿里云地址:docker-ce-linux-centos-7-x86_64-stable-Packages安装包下载_开源镜像站-阿里云 Harbor 是 VMware 公司开源的企业级 …

SDV 峰会聚焦:下一代软件定义汽车的关键开源技术

10 月 17 - 18 日,由 GOSIM 开源创新汇主办、CSDN 承办的 GOSIM CHINA 2024 将在北京盛大启幕。作为 GOSIM 开源年度大会的第三届盛会,本次活动邀请了 60 多位国际开源专家,汇聚了来自全球百余家顶尖科技企业、知名高校及开源社区的技术大咖、…

C++到Java学习总结(基础篇)

文章目录 一、java与C的一些区别二、java的main函数入口介绍三、java中的基本数据类型和运算符四、java中的普通数组 和 字符串五、java中的String六、java的标准输入输出七、java的if、for、while、switch基本控制结构八、java的引用九、java的函数 学完本篇,你能够…

增强对象智能:谷歌开源的XR-Objects项目简介

随着增强现实(AR)技术的发展,将物理世界与数字信息融合的需求日益增长。为了探索这一领域的可能性,谷歌推出了一项名为“增强对象智能”(Augmented Object Intelligence, AOI)的新交互范式,并发布了一个开源原型系统——XR-Objects。该系统旨在通过实时对象分割和多模态…