论文笔记 ICLR 2024 MogaNet: Multi-Order Gated Aggregation Network

ops/2024/10/19 10:40:21/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

配图中有2个分支,一个是subtract的输出和缩放因子(γs)相乘之后的结果,另一个是1×1卷积输出的结果,这两个分支的输出进行element-wise addition,这两个分支的输出分别代表什么?

在这里插入图片描述

为什么”增强局部与全局特征的差异性“可以提高识别、检测、分割的性能?

在这里插入图片描述

在这里插入图片描述

类似地,图中Multi-Order Gated Aggregation中的两个分支Fϕ(·)和Gψ(·),一方面保留了输入的主要信息,另一方面通过Gψ(·)分支增强了多尺度特征。

在这里插入图片描述

似乎在特征融合或特征增强的模块设计中,一个分支保留输入的主要信息,另一个分支进行输入特征增强或融合,最后将两个分支的输出进行融合,这种操作非常常见,其设计思想借鉴了残差连接。

在这里插入图片描述

然后是Channel Aggregation Block(CA Block)Multi-Order Gated Aggregation Block(Moga Block)的输出可以作为Channel Aggregation Block(CA Block)的输入。这种设计符合MogaNet的整体结构逻辑,即先通过Moga Block进行空间维度和上下文特征的多阶交互聚合,再通过CA Block在通道维度上进行自适应的特征重新分配和聚合。具体来说:

1. Multi-Order Gated Aggregation Block 的作用

  • Moga Block专注于通过不同大小的卷积核(如5×5、7×7)和空洞卷积,捕捉不同空间尺度的特征,并对这些特征进行聚合。它主要处理的是特征的空间维度上下文交互

2. Channel Aggregation Block 的作用

  • CA Block则进一步处理这些聚合后的特征,重点是对通道维度进行重新分配和自适应加权。它通过通道间的差异性计算(如通过1×1卷积降维、GELU激活和残差加权),优化通道间的特征表达。

3. 输入与输出的关系

  • 在MogaNet的结构中,Moga Block的输出(经过空间聚合和上下文交互后的特征)会作为CA Block的输入。在CA Block中,模型进一步调整通道间的特征关系,最终生成更具表达力的输出。因此,Moga Block和CA Block在网络中是串联工作的,Moga Block处理空间维度和上下文信息,而CA Block则负责优化通道维度的特征。

4. 总结

  • Moga BlockCA Block 是网络中两个紧密关联的模块。Moga Block 输出的特征经过聚合后会被送入CA Block,在通道维度上进行进一步的优化和处理。这个设计的目的是确保特征在空间和通道两个维度上都能被充分利用和优化。

在这里插入图片描述
在这里插入图片描述

怎么利用这篇论文提出的模块进行改进?

在这里插入图片描述


http://www.ppmy.cn/ops/126698.html

相关文章

科技云报到:大模型时代下,向量数据库的野望

科技云报到原创。 自ChatGPT爆火,国内头部平台型公司一拥而上,先后发布AGI或垂类LLM,但鲜有大模型基础设施在数据层面的进化,比如向量数据库。 在此之前,向量数据库经历了几年的沉寂期,现在似乎终于乘着Ch…

Linux :at crontab简述

at命令 在指定的日期、时间点自动执行预先设置的一些命令操作,属于一次性计划任务系统服务的名称:/etc/init.d/atd存放一次性计划任务的文件:/var/spool/at/^a 依靠 /etc/at.allow(白名单)和 /etc/at.deny&#xff08…

WebSocked基础

一. WebSocket 基本概念 WebSocket是什么? WebSocket 是基于 TCP 的一种新的应用层网络协议。它提供了一个全双工的通道,允许服务器和客户端之间实时双向通信。因此,在 WebSocket 中,浏览器和服务器只需要完成一次握手&#xff…

RestClient查询文档排序、分页和高亮

目录 排序、分页 高亮 高亮请求构建 高亮结果解析 排序、分页 搜索结果的排序和分页是与query同级的参数,因此同样是使用request.source()来设置。 对应的API如下: 完整代码示例: Test void testPageAndSort() throws IOException {// …

[创业之路-154] :图解:结构需求分析、结构设计、加工、生产的整个流程与常见问题

目录 前言: 一、结构生产的流程中涉及的人员 二、结构设计人的主要职责 三、常见问题 1、需求分析 2、结构设计 3、加工 4、组装 5、测试 前言: 一、结构生产的流程中涉及的人员 在结构生产的流程中,涉及的人员及其职责通常如下&am…

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-17

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-17 目录 文章目录 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-17目录1. WILT: A Multi-Turn, Memorization-Robust Inductive Logic Benchmark for LLMs摘要:研究背景:…

三菱FX PLC设计一个电子钟程序实例

在这里介绍三菱FX系列PLC的计数器C的功能、结构,计数过程及工作原理。 功能: 对内部元件X、Y、M、S、T、C的信号进行计数。 结构: 线圈、触点、设定值寄存器、当前值寄存器。 地址编号: 字母C+(…

微服务--OpenFeign【重点】

如果哪天 我们硬编码写的接口变了,只要写过该接口的 都要改,太麻烦了, 所以 就用 OpenFeign 来解决这个麻烦 了解: SimpleClientHttpRequestFactory和 HttpComponentsClientHttpRequestFactory 都是Spring框架中用于创建ClientH…