总结

链接：多模态 | 从文本大模型到多模态大模型

介绍基于LLM做vision-language任务的一些工作，可以分为4个类别：

1. 将视觉转化为文本，作为LLM的输入，例如PICA，PromptCap，ScienceQA；

2. 利用LLM作为理解中枢调用多模态模型，例如VisualChatGPT, MM-REACT；

3. 利用视觉模态影响LLM的解码，例如ZeroCap，MAGIC；

4. 冻住LLM，训练视觉编码器等额外结构以适配LLM，例如NExT-GPT、LLaVA。是目前关注度最高的工作，因为它具有潜力来“以远低于多模态通用模型训练代价将LLM拓展为多模态模型”

典型模型

PICA

• 将图片用文本的形式描述出来后，直接和问题拼在一起作为LLM的输入，让LLM通过in-context learning的方式直接生成回答。

1. github地址：https://github.com/microsoft/PICa

2. 论文地址：https://arxiv.org/pdf/2109.05014.pdf

Visual ChatGPT

• 采用ChatGPT作为和用户交流的理解中枢，整合了多个视觉基础模型（Visual Foundation Models），通过prompt engineering （即Prompt Manager）告诉ChatGPT各个基础模型的用法以及输入输出格式，让ChatGPT决定为了满足用户的需求，应该如何调用这些模型

1. github地址：https://github.com/moymix/TaskMatrix

2. 论文地址：https://arxiv.org/pdf/2303.04671.pdf

MAGIC

• 使用了跨模态训练数据集中的文本数据，采取无监督的方式更新语言模型的参数（仅需在1块NVIDIA 1080Ti 上运行不到两个小时），从而使得语言模型更加熟悉该领域的文本分布。MAGIC Search解码算法，使用l视觉信息指导预训练语言模型的生成过程

1. github地址：https://github.com/yxuansu/MAGIC

2. 论文地址：https://arxiv.org/pdf/2205.02655.pdf

NExT-GPT

• 利用编码器对各种模态的输入进行编码，将其投影为LLM可理解的类语言表示。使NExT-GPT能够感知输入并以文本、图像、视频和音频的任意组合生成输出。

1. github地址：https://github.com/NExT-GPT/NExT-GPT

2. 论文地址：https://arxiv.org/pdf/2309.05519.pdf

LLaVA

• 提出了新的多模态模型训练方法，可以通过 instruction-following 数据进行训练；

• 提出了一个新的 instruction-following 数据集；

• 代码数据全部开源，方便复现。

• LLaVA模型通过连接视觉编码器和语言模型，实现了通用的视觉和语言理解能力。

• LLaVA具有不错的多模态对话能力，在未见过的图像和指令上有时达到多模态GPT-4的水准（85.1%的相对得分）。

• 在Science QA数据集上进行微调后，LLaVA和GPT-4的协同作用达到了92.53%的最高准确率。

1. github地址：https://github.com/haotian-liu/LLaVA

2. 论文地址：https://arxiv.org/pdf/2304.08485.pdf

Aria

【7.5k下载!】Rhymes AI 开源首个MoE多模态大模型Aria; 效果炸裂！更懂文本、图片、视频、代码！

结尾

亲爱的读者朋友：感谢您在繁忙中驻足阅读本期内容！您的到来是对我们最大的支持❤️

正如古语所言："当局者迷，旁观者清"。您独到的见解与客观评价，恰似一盏明灯💡，能帮助我们照亮内容盲区，让未来的创作更加贴近您的需求。

若此文给您带来启发或收获，不妨通过以下方式为彼此搭建一座桥梁： ✨ 点击右上角【点赞】图标，让好内容被更多人看见 ✨ 滑动屏幕【收藏】本篇，便于随时查阅回味 ✨ 在评论区留下您的真知灼见，让我们共同碰撞思维的火花

我始终秉持匠心精神，以键盘为犁铧深耕知识沃土💻，用每一次敲击传递专业价值，不断优化内容呈现形式，力求为您打造沉浸式的阅读盛宴📚。

有任何疑问或建议？评论区就是我们的连心桥！您的每一条留言我都将认真研读，并在24小时内回复解答📝。

愿我们携手同行，在知识的雨林中茁壮成长🌳，共享思想绽放的甘甜果实。下期相遇时，期待看到您智慧的评论与闪亮的点赞身影✨！

万分感谢🙏🙏您的点赞👍👍、收藏⭐🌟、评论💬🗯️、关注❤️💚～

---

自我介绍：一线互联网大厂资深算法研发（工作6年+），4年以上招聘面试官经验（一二面面试官，面试候选人400+），深谙岗位专业知识、技能雷达图，已累计辅导15+求职者顺利入职大中型互联网公司。熟练掌握大模型、NLP、搜索、推荐、数据挖掘算法和优化，提供面试辅导、专业知识入门到进阶辅导等定制化需求等服务，助力您顺利完成学习和求职之旅（有需要者可私信联系） 

友友们，自己的知乎账号为“快乐星球”，定期更新技术文章，敬请关注！