1. MobileViT介绍

论文：https://arxiv.org/abs/2110.02178

        现有博客都是将MobileViT作为backbone引入Yolov5，因此存在的问题点是训练显存要求巨大，本文引入自注意力的Vision Transformer(ViTs)：MobileViTAttention

        MobileViT是一种基于Transformers的轻量级模型，它可以用于图像分类任务。相比于传统的卷积神经网络，MobileViT使用了轻量级的注意力机制来提取特征，从而在保证较高精度的同时，具有更快的推理速度和更小的模型体积。它在移动设备上的应用具有很大的潜力。

       

        自从2020年 ViT 网络被提出并取得和传统 CNN 网络差别不大的性能表现之后，越来越多的研究者开始探究 Transformer 架构在计算机视觉领域的巨大潜力，将 Transformer 架构引入各类视觉任务中并取得了不错的成就。但是，Transformer 网络在实际落地运用中相较于传统的 CNN 网络还是存在着诸多问