论文标题：

OneLLM: One Framework to Align All Modalities with Language

OneLLM：一个框架，将所有模态与语言对齐

论文链接：

Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs论文下载

论文作者：

Jiaming Han, Kaixiong Gong, Yiyuan Zhang, Jiaqi Wang, Kaipeng Zhang, Dahua Lin, Yu Qiao, Peng Gao, Xiangyu Yue

内容简介：

本论文介绍了OneLLM，这是一个多模态大型语言模型（MLLM），能够将八种不同的模态与语言对齐，使用统一的框架。OneLLM通过统一的多模态编码器和逐步多模态对齐管道实现这一目标。作者首先训练了一个图像投影模块，将视觉编码器与大型语言模型（LLM）连接起来。然后，他们构建了一个通用投影模块（UPM），通过混合多个图像投影模块和动态路由来实现。最终，他们使用UPM逐步将更多模态与LLM对齐。

为了充分利用OneLLM遵循指令的潜力，作者还策划了一个全面的多模态指令数据集，包括来自图像、音频、视频、点云、深度/法线图、惯性测量单元（IMU）和功能性磁共振成像（fMRI）脑活动的2M项。OneLLM在25个不同的基准测试中进行了评估，涵盖了多模态描述、问题回答和推理等任务，表现出色。

关键点：

1.统一框架：

OneLLM提出了一个统一的框架，用于将多种模态输入与语言对齐，与以往工作不同，它展示了一个统一的多模态编码器，可以作为MLLMs的通用和可扩展组件。

2.多模态编码器和投影模块：

与以往工作不同，OneLLM的编码器和投影模块可以跨所有模态共享，通过预训练的视觉-语言模型和混合投影专家来实现。

3.逐步多模态对齐：

作者提出了一个逐步多模态对齐管道，首先从视觉LLM开始，然后逐步将其他模态与LLM对齐，最终实现对八种模态的支持。

4.多模态指令数据集：

为了充分利用OneLLM的能力，作者策划了一个大规模的多模态指令数据集，包含2M项，涵盖八种模态，通过在该数据集上微调，OneLLM在多模态任务上表现出色。

5.性能评估：

OneLLM在多个基准测试中进行了评估，包括多模态描述、问题回答和推理任务，展现了其优越的性能，超越了以往的专业模型和MLLMs。

CV-MLLM必读论文合集：

CV-MMLM必读论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！

论文代码链接： OneLLM GitHub Repository