【论文笔记】Dense Connector for MLLMs

devtools/2024/11/7 15:11:56/

🍎个人主页:小嗷犬的个人主页
🍊个人网站:小嗷犬的技术小站
🥭个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。


基本信息

标题: Dense Connector for MLLMs
作者: Huanjin Yao, Wenhao Wu, Taojiannan Yang, YuXin Song, Mengxi Zhang, Haocheng Feng, Yifan Sun, Zhiheng Li, Wanli Ouyang, Jingdong Wang
发表: NeurIPS 2024
arXiv: https://arxiv.org/abs/2405.13800

基本信息

摘要

我们是否充分利用了多模态大型语言模型(MLLMs)中视觉编码器的潜力?近期MLLMs在多模态理解方面的卓越表现引起了学术界和工业界的广泛关注。

在当前的MLLM竞赛中,焦点似乎主要集中在语言方面。

我们见证了更大规模、更高质量的指令数据集的出现,以及更大规模LLMs的参与。

然而,对MLLMs使用的视觉信号的关注却寥寥无几,这些信号通常被认为是冻结的视觉编码器提取的最终高级特征。

在本文中,我们介绍了Dense Connector——一个简单、有效且即插即用的视觉-语言连接器,通过利用多层视觉特征,以最小的额外计算开销显著提升了现有的MLLMs。

此外,我们的模型仅通过图像训练,在视频理解方面也展示了显著的零样本能力。

在跨各种视觉编码器、图像分辨率、训练数据集规模、LLMs大小(2.7B→70B)以及MLLMs的多样化架构(例如LLaVA和Mini-Gemini)的实验结果中,验证了我们的方法的灵活性和可扩展性,在19个图像和视频基准测试中实现了最先进的性能。

我们希望这项工作将为未来的MLLM开发提供宝贵的经验,并作为基本模块。

代码开源在:https://github.com/HJYao00/DenseConnector

主要贡献

  • 我们提出了一种简单、有效且即插即用的Dense Connector,它以最小的额外计算开销增强了现有多语言语言模型(MLLM)的视觉表示。我们希望它能作为基本模块,持续为未来的MLLM带来益处。
  • 我们展示了我们的方法在各种视觉编码器、图像分辨率(336px→768px)、训练数据集规模、不同大小的LLMs(2B→70B)以及多样化的MLLMs架构(例如,LLaVA,Mini-Gemini)上的灵活性和可扩展性。
  • 我们的方法在11个图像基准测试中表现出色,并在8个视频基准测试中实现了最先进的结果,无需进行特定的视频调整。

方法

模型架构

模型架构

基于LLaVA架构,将Projector替换为了Dense Connector模块。

Sparse Token Integration (STI)

e v = MLP ⁡ ( Concatenate ⁡ ( [ avg ⁡ ( V l 1 ) , … , avg ⁡ ( V l K ) , V L ] , dim = token ) ) e_v = \operatorname{MLP}\left(\operatorname{Concatenate}\left([\operatorname{avg}(V_{l_1}), \ldots, \operatorname{avg}(V_{l_K}), V_L], \text{dim} = \text{token}\right)\right) ev=MLP(Concatenate([avg(Vl1),,avg(VlK),VL],dim=token))

Sparse Channel Integration (SCI)

e v = MLP ⁡ ( Concatenate ⁡ ( [ V l 1 , … , V l K , V L ] , dim = channel ) ) e_v = \operatorname{MLP}\left(\operatorname{Concatenate}\left([V_{l_1}, \ldots,V_{l_K}, V_L], \text{dim} = \text{channel}\right)\right) ev=MLP(Concatenate([Vl1,,VlK,VL],dim=channel))

Dense Channel Integration (DCI)

G V g = 1 M ∑ i = ( g − 1 ) M + 1 g M V i , 1 ≤ g ≤ G . GV_{g}=\frac{1}{M}\sum_{i=(g-1) M+1}^{g M} V_{i},\quad 1\leq g\leq G. GVg=M1i=(g1)M+1gMVi,1gG.

e v = MLP ⁡ ( Concatenate ⁡ ( [ G V 1 , … , G V G , V L ] , dim = channel ) ) e_v = \operatorname{MLP}\left(\operatorname{Concatenate}\left([GV_{1}, \ldots,GV_{G}, V_L], \text{dim} = \text{channel}\right)\right) ev=MLP(Concatenate([GV1,,GVG,VL],dim=channel))

实验

主实验

Comparisons with State-of-the-Arts

Comparisons with Leading Methods on Zero-shot Video QA Benchmarks

消融实验

Ablations on Visual Layer Selection in Dense Connector

Exploring the Compatibility and Scalability of Dense Connector (DC)

总结

在这篇论文中,我们介绍了Dense Connector,这是一种新颖的即插即用模块,通过密集集成多层视觉特征来增强多语言语言模型(MLLMs)的视觉感知能力。

我们实例化了三种类型的Dense Connector,并在多样化的视觉编码器、LLMs和训练数据集上验证了其有效性,证明了在多个评估基准上性能的显著提升。

Dense Connector可以轻松集成到现有的MLLMs中。

在本工作中,我们将Dense Connector融入主流模型LLaVA和高分辨率方法Mini-Gemini,展示了其灵活性和泛化能力。

我们的三种Dense Connector实例不引入额外的参数,为进一步的探索留下了空间。

我们尚未找到一种有效的方法来引入额外的参数。

未来的研究将专注于发现更有效的方法来连接视觉和语言模型,以实现更好的模态对齐。


http://www.ppmy.cn/devtools/132037.html

相关文章

es自动补全(仅供自己参考)

elasticssearch提供了CompletionSuggester查询来实现自动补全功能。这个查询会匹配以用户输入内容开头的词条并返回。为了提高补全查询效率,对于文档中字段的类型有一些约束: 查询类型必须是:completion 字段内容是多个补全词条形成的数组 P…

使用form表单的action提交并接收后端返回的消息

使用form表单的action提交表单是同步提交的方式,会跳转页面,所以无法获取后端返回来到消息。这样描述或许没有太大感觉,如果我要通过表单的方式上传文件,并接收后台返回来的响应数据;这样说是不是就感同深受了呢。 1.…

位运算相关算法

一、异或运算介绍 1、性质介绍 异或运算(XOR,Exclusive OR)是一种位运算符。对于两个位进行异或操作,当且仅当这两个位不同时,结果为 1;如果相同,则结果为 0。 A B A^B00001 1 101110 任何数…

代码随想录算法训练营Day.3| 移除链表元素 设计链表 反转链表

长沙出差ing,今天的核心是链表,一个比较基础且重要的数据结构。对C的指针的使用,对象的创建,都比较考察,且重要。 203.移除链表元素 dummyNode虚拟头节点很重要,另外就是一个前后节点记录的问题。但是Leet…

华为HarmonyOS借助AR引擎帮助应用实现虚拟与现实交互的能力3-获取设备位姿

设备位姿描述了物体在真实世界中的位置和朝向。AR Engine提供了世界坐标下6自由度(6DoF)的位姿计算,包括物体的位置(沿x、y、z轴方向位移)和朝向(绕x、y、z轴旋转)。通过AR Engine,您…

Java自动点名器实现案例详解

Java自动点名器实现案例详解 在教学管理中,点名是一项重要的任务。随着技术的发展,使用编程语言实现自动化的点名器不仅可以提高效率,还能增加课堂的互动性和趣味性。本文将详细介绍三个案例,分别是简单随机点名器、带有权重的随…

在使用Alt+Tab切换程序时 Windows 11 24H2会出现黑屏

Windows 中的 Alt-Tab 快捷键组合可帮助您在多个活动应用窗口之间循环跳转。 但是,在 Windows 11 24H2 更新中,该快捷键被弄坏了,如果按下组合键,就会触发黑屏。 虽然 Alt Tab 功能不会停止工作,但黑屏会持续 10 秒钟…

有Bootloader,为什么还要BROM?

有Bootloader,为什么还要BROM? 不少硬件平台都提供类似Boot ROM或者PBL(高通平台)固化的一段程序,出厂后用户一定不能修改。BROM可以引导Bootloader程序。大家知道,每个可启动的平台都会在存储设备,例如EMMC/NAND/UFS保存Bootloa…