之前对SE模块的两个全连接层的作用和设置有疑问,于是和实验室同学讨论学习了一下,以下是我自己的理解,如果有不准确的地方请批评指正。
1、压缩(Squeeze)
进行的操作是 全局平均池化(global average pooling)
特征图被压缩为1×1×C向量
2、激励(Excitation)
两个全连接层。
两个FC组成一个可训练的函数,用来学习通道注意力。(所以FC激活函数不是线性的就行)
两个FC构成了bottleneck结构:(SERatio是一个缩放参数)
第一个FC把神经元数量减少了 1. 除去冗余信息 2. 降低计算量
第二个FC的作用就是恢复到1×1×C尺寸。
(分割的Unet把尺寸越整越小就是在把那些纹理什么信息都取掉,只留下边界信息,之后再把尺寸回到原来的大小)
上图来自: https://blog.csdn.net/qq_34923437/article/details/106126432