12.12 深度学习-卷积的注意力机制-通道注意力SENet

server/2024/12/19 1:31:15/

# 告诉模型训练的时候 对某个东西 给予额外的注意 额外的权重参数 分配注意力

# 不重要的就抑制 降低权重参数 比如有些项目颜色重要 有些是形状重要

# 通道注意力 一般都要比较多的通道加注意力

# SENet

# 把上层的特征图 自动卷积为 1X1的通道数不变的特征图 然后给每一个通道乘一个权重 就分配了各个通道的注意力 把这个与原图残差回去 与原图融合 这样对比原图来说 形状 CHW都没变

# 注意力机制 可以即插即用 CHW都没变

import torch

import os

import torch.nn as nn

from torchvision.models import resnet18,ResNet18_Weights

from torchvision.models.resnet import _resnet,BasicBlock

path=os.path.dirname(__file__)

onnxpath=os.path.join(path,"assets/resnet_SE-Identity.onnx")

onnxpath=os.path.relpath(onnxpath)

class SENet1(nn.Module):

    def __init__(self,inchannel,r=16):

        super().__init__()

        # 全局平均池化 把所以通道 整个通道进行平均池化

        self.inchannel=inchannel

        self.pool1=nn.AdaptiveAvgPool2d(1)

        # 对全局平均池化后的结果 赋予每个通道的权重 不选择最大池化因为不是在突出最大的特征

        # 这里不是直接一个全连接生成 权重 而是用两个全连接来生成 权重 第一个relu激活 第二个Sigmoid 为每一个通道生成一个0-1的权重

        # 第一个全连接输出的通道数数量要缩小一下,不能直接传入多少就输出多少,不然参数量太多,第二个通道再输出回去就行

        # 缩放因子

        self.fc1=nn.Sequential(nn.Linear(self.inchannel,self.inchannel//r),nn.ReLU())

        self.fc2=nn.Sequential(nn.Linear(self.inchannel//r,self.inchannel),nn.Sigmoid())

        # fc1 用relu会信息丢失 保证inchannel//r 至少要32

        # 用两层全连接可以增加注意力层的健壮性

    def forward(self,x):

        x1=self.pool1(x)

        x1=x1.view(x1.shape[0],-1)

        x1=self.fc1(x1)

        x1=self.fc2(x1)

        # 得到了每一个通道的权重

        x1=x1.unsqueeze(2).unsqueeze(3)

        # 与原来的相乘

        return x*x1

def demo1():

    torch.manual_seed(666)

    img1=torch.rand(1,128,224,224)

    senet1=SENet1(img1.shape[1],2)

    res=senet1.forward(img1)

    print(res.shape)

# 可以把SE模块加入到经典的CNN模型里面 有残差模块的在残差模块后面加入SE 残差模块的输出 当SE模块的输入  

# 在卷积后的数据与原数据相加之前 把卷积的数据和 依靠卷积后的数据产生的SE模块的数据 相乘 然后再与原数据相加

# 这个要看源码 进行操作

# 也可以不在 残差后面 进行 有很多种插入SE的方式

# 要找到 网络的残差模块

def demo2():

    # 把SE模块加入到ResNet18

    # 继承一个BasicBlock类 对resnet18的残差模块进行一些重写

    class BasicBlock_SE(BasicBlock):

        def __init__(self, inplanes, planes, stride = 1, downsample = None, groups = 1, base_width = 64, dilation = 1, norm_layer = None):

            super().__init__(inplanes, planes, stride, downsample, groups, base_width, dilation, norm_layer)

            self.se=SENet1(inplanes)# SE-Identity 加法 在 数据传进来的时候备份两份数据 一份卷积 一份加注意力SE模块 然后两个结果相加输出

        def forward(self, x):

            identity = x

            identity=self.se(x)

            out = self.conv1(x)

            out = self.bn1(out)

            out = self.relu(out)

            out = self.conv2(out)

            out = self.bn2(out)

            if self.downsample is not None:

                identity = self.downsample(identity)

            out += identity

            out = self.relu(out)

            return out

        #     self.se=SENet1(planes)# SE-POST 加法 在 残差模块彻底完成了后加注意力SE模块 然后结果输出

        # def forward(self, x):

        #     identity = x

        #     out = self.conv1(x)

        #     out = self.bn1(out)

        #     out = self.relu(out)

        #     out = self.conv2(out)

        #     out = self.bn2(out)

        #     if self.downsample is not None:

        #         identity = self.downsample(x)

        #     out += identity

        #     out = self.relu(out)

        #     out=self.se(out)

        #     return out

        #     self.se=SENet1(inplanes)# SE-PRE 加法 在 残差模块卷积之前加注意力SE模块 然后结果输出

        # def forward(self, x):

        #     identity = x

        #     out=self.se(x)

        #     out = self.conv1(out)

        #     out = self.bn1(out)

        #     out = self.relu(out)

        #     out = self.conv2(out)

        #     out = self.bn2(out)

        #     if self.downsample is not None:

        #         identity = self.downsample(x)

        #     out += identity

        #     out = self.relu(out)

           

        #     return out

        #     self.se=SENet1(planes)#  Standard_SE 加法 在 残差模块卷积h后加注意力SE模块 然后与原数据项加结果输出

        # def forward(self, x):

        #     identity = x

        #     out = self.conv1(x)

        #     out = self.bn1(out)

        #     out = self.relu(out)

        #     out = self.conv2(out)

        #     out = self.bn2(out)

        #     if self.downsample is not None:

        #         identity = self.downsample(x)

           

        #     out=self.se(out)

        #     out += identity

        #     out = self.relu(out)

           

        #     return out

    def resnet18_SE(*, weights= None, progress: bool = True, **kwargs):

        weights = ResNet18_Weights.verify(weights)

        return _resnet(BasicBlock_SE, [2, 2, 2, 2], weights, progress, **kwargs)

   

    model1=resnet18_SE()

    x = torch.randn(1, 3, 224, 224)

    # 导出onnx

    torch.onnx.export(

        model1,

        x,

        onnxpath,

        verbose=True, # 输出转换过程

        input_names=["input"],

        output_names=["output"],

    )

    print("onnx导出成功")

   

# SE在模型的早期层并没有 起多大的作用 在后期层中加 SE机制效果明显 且参数更少

# SE在模型的早期层并没有 起多大的作用 在后期层中加 SE机制效果明显 且参数更少

# 改模型不仅需要 加 一个网络结构 而且也需要注意前向传播 有没有问题

def demo3(): # 在resnet18中的后期 层里面加 SE 前期层不加

    class ResNet_SE_laye(ResNet):

        def __init__(self, block, layers, num_classes = 1000, zero_init_residual = False, groups = 1, width_per_group = 64, replace_stride_with_dilation = None, norm_layer = None):

            super().__init__(block, layers, num_classes, zero_init_residual, groups, width_per_group, replace_stride_with_dilation, norm_layer)

           

        def _layer_update_SE(self):

            self.se=SENet1(self.layer3[1].conv2.out_channels,8)

            self.layer3[1].conv2=nn.Sequential(self.layer3[1].conv2,self.se)

            print(self.layer3)

            pass

            return self.layer3

    def _resnet_SE_layer(

        block,

        layers,

        weights,

        progress: bool,

        **kwargs,

    ):

        if weights is not None:

            _ovewrite_named_param(kwargs, "num_classes", len(weights.meta["categories"]))

        model = ResNet_SE_laye(block, layers, **kwargs)

        if weights is not None:

            model.load_state_dict(weights.get_state_dict(progress=progress, check_hash=True))

        return model

   

    def resnet18_SE_layer(*, weights= None, progress: bool = True, **kwargs):

        weights = ResNet18_Weights.verify(weights)

        return _resnet_SE_layer(BasicBlock, [2, 2, 2, 2], weights, progress, **kwargs)

    model=resnet18_SE_layer()

    # print(model)

    layer=model._layer_update_SE()

    torch.onnx.export(layer,torch.rand(1,128,224,224),"layer.onnx")


 

    pass



 

if __name__=="__main__":

    # demo1()

    # demo2()

    pass


http://www.ppmy.cn/server/151311.html

相关文章

车牌识别OCR授权:助力国产化升级,全面提升道路监控效率

政策背景:国产化升级,推动道路监控产业转型 随着国家对信息安全的重视,国内各大公安、政企机构已进入全面升级国产化平台的实施阶段。根据最新的政策要求,公安和政府部门必须在未来三年内完成平台的国产化替换工作。这一举措不仅…

【JavaWeb后端学习笔记】WebSocket通信

WebSocket是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工通信——浏览器和服务器只需要完成一次握手,两者之间就可以创建持久性的连接,并进行双向数据传输。 主要应用场景:视频弹幕、网页聊天、体育实况更新、股票基金报价实时…

LabVIEW起落架震台检测

在现代飞机制造与维护过程中,起落架的性能测试是保障飞机安全的重要环节。通过LabVIEW开发的起落架小落震台检测系统,通过模拟飞机着陆过程,准确捕捉起落架在着陆时承受的各种动力学特性和应力响应,有效提升起落架设计的精度与可靠…

iOS开发 UIAlertView与UIActionSheet替换方案之SDAlertView与SDActionSheet

iOS开发 UIAlertView与UIActionSheet替换方案之SDAlertView与SDActionSheet 由于在iOS开发中,项目中还在使用UIAlertView与UIActionSheet,由于这两个类在iOS开始废弃 UIKIT_EXTERN API_DEPRECATED(“UIAlertView is deprecated. Use UIAlertController…

宝塔SSL证书申请失败,报错:申请SSL证书错误 module ‘OpenSSL.crypto‘ has no attribute ‘sign‘(已解决)

刚安装宝塔申请SSL就报错:申请SSL证书错误 module OpenSSL.crypto has no attribute sign 面板、插件版本:9.2.0 系统版本:Alibaba Cloud Linux 3.2104 LTS 问题:申请SSL证书错误 module OpenSSL.crypto has no attribute sign…

医疗 UI 设计如何精准传达复杂的健康数据?

在医疗环境中,患者往往承受着身体不适和心理压力,医疗 UI 设计的色彩搭配因此具有了特殊且重要的意义。合适的色彩组合能够营造出宁静、安心的氛围,有助于舒缓患者的紧张与焦虑情绪,促进其康复过程。 蓝色系常常被视为医疗 UI 设…

在完全不连外网的 Linux 服务器里更新 docker compose

docker compose 的 develop.watch 属性至少要 2.22.0 版本 故参考:docs.docker.com/compose/install/linux/#install-the-plugin-manual… Linux 服务器 输入 uname -a 查看架构信息 在能连外网的电脑上下载 OS 对应版本的 compose 可执行文件 访问 github.com/do…

Python 默认 Logging 级别及其示例

Python 默认 Logging 级别及其示例 在开发Python应用程序时,日志记录(Logging)是调试和监控程序运行状态的重要工具。Python的logging模块提供了一种灵活且强大的方式来记录应用程序的信息。本文将详细介绍Python logging模块的默认级别&…