【多模态】Flamingo模型技术学习

Flamingo模型技术学习

前言
Flamingo——支持上下文学习的多模态模型>多模态模型
- 模型架构
- - 模型架构——Resampler
  - 模型架构——插入到LLM的cross-attention层
代码查看——masked cross-attention
- note

前言

最近多模态模型>多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP/BLIP-2之后，今天学习一下Flamingo模型，记录学习过程，欢迎批评指正，一起学习~~

Flamingo_3">Flamingo——支持上下文学习的多模态模型>多模态模型

Flamingo出自Deepmind在NeurIPS 2022的论文Flamingo: a Visual Language Model for Few-Shot Learning
相比于之前的方案，之前的方案通常只支持VQA，Flamingo支持图片和文本内容混合输入，支持提供图-文示例进行In-context learning，支持提供多图多轮对话

模型架构

Flamingo模型和大部分VLM模型类似，由视觉编码器+图文对齐模块+LLM构成，Flamingo并不更新视觉编码器和LLM的参数
预训练过程中，参数会更新的部分是resampler模块和插入到LLM的cross-attention层

模型架构——Resampler

这个Resampler是一个Q-Former模块，训练过程中会更新query和transformer层，前面的BLIP-2的核心就是这个模块
如果输入很长，例如是一个视频，Q-Former可以实现对信息的压缩【输出大小只和query大小有关】

模型架构——插入到LLM的cross-attention层

预训练过程中，参数会更新的部分是resampler模块和插入到LLM的cross-attention层，这些层的权重参数初始化为0，在Flamingo的训练过程中更新

*值得注意的是，这些交叉注意力层前面的权重系数，层数越深，权重系数的绝对值越大

代码查看——masked cross-attention

为了让模型能够除了对图片进行描述之外，还能处理图片和文本交替混合输入，Flamingo的做法是在cross-attention层使用掩码
在当前文本token下，只看这个文本token前一个图片的视觉token
media_locations = input_ids == self.media_token_id这里面media_token_id是<image>
推理时有图片的时候，use_cache这个为false

media_locations = input_ids == self.media_token_id# if there are media already cached and we're generating and there are no media tokens in the input,
# we'll assume that ALL input tokens should attend to the last previous media that is cached.
# this is especially important for HF generate() compatibility, since generate() calls forward()
# repeatedly one token at a time (with no media tokens).
# without this check, the model would not attend to any images when generating (after the first token)
use_cached_media_locations = (self._use_cached_vision_xand self.is_conditioned()and not media_locations.any()
)for layer in self._get_decoder_layers():if not use_cached_media_locations:layer.condition_media_locations(media_locations)layer.condition_use_cached_media(use_cached_media_locations)

这个掩码机制实现如下，注意输入了图片的时候use_cached=False

media = rearrange(media, "b t n d -> b (t n) d")
sim = einsum("... i d, ... j d -> ... i j", q, k)if exists(media_locations):media_time = torch.arange(T_img, device=x.device) + 1  # T_img是存图片数量的维度if not use_cached_media:# at each boolean of True, increment the time counter (relative to media time)text_time = media_locations.cumsum(dim=-1)  # 前缀和，如果第1张是图，得到[0,1,1,1]# text time must equal media time if only attending to most immediate image# otherwise, as long as text time is greater than media time (if attending to all previous images / media)mask_op = torch.eq if self.only_attend_immediate_media else torch.getext_to_media_mask = mask_op(rearrange(text_time, "b i -> b 1 i 1"),repeat(media_time, "j -> 1 1 1 (j n)", n=n),)sim = sim.masked_fill(~text_to_media_mask, -torch.finfo(sim.dtype).max)sim = sim - sim.amax(dim=-1, keepdim=True).detach()
attn = sim.softmax(dim=-1)

直接看代码比较抽象，看一个例子会比较清晰：假设B = 2，文本长度T_txt = 4，图片数T_img = 3，Resampler的query向量长度n = 2，那么

media_locations = torch.tensor([
[False, True, False, False],
[False, False, True, False]])
text_time = torch.tensor([[0, 1, 1, 1],[0, 0, 1, 1]])
media_time = torch.tensor([1, 2, 3])