在多模态大模型中，视觉编码器（如ViT、SigLIP）负责将图像转换为特征，而大语言模型（LLM）负责理解和生成文本。它们之间的高效“连接器”是技术核心，决定了信息如何传递与融合。

下表概述了主流的连接方法及其特点。

连接器类型	核心思想	代表模型	关键优势	适用场景
统一嵌入解码器​	将视觉特征投影后与文本嵌入拼接，作为LLM的输入	Fuyu, Baichuan-Omni, Pixtral 12B	架构简单直观，易于实现，无需修改LLM核心结构	通用多模态任务，追求简洁架构
跨模态注意力​	在LLM的Transformer层中插入交叉注意力层，让文本查询动态关注视觉特征	Flamingo, LLaMA 3.2	计算效率高，信息交互更深入，常通过冻结LLM参数保持其文本能力	需要深度视觉-语言交互，且希望保留LLM原有性能
高级桥接模块 (Q-Former/Resampler)​	设计一个轻量级、可训练的模块作为“桥梁”，先从视觉特征中提取关键信息，再传递给LLM	BLIP-2 (Q-Former), Flamingo (Perceiver Resampler)	极大降低计算成本，能有效压缩和提炼视觉信息，实现高效连接	资源受限场景，需高效利用强大的预训练单体模型

🔌 详解三种连接方式

1. 统一嵌入解码器

   这种方法非常直接。它通过一个投影器（通常是一个简单的线性层或小型MLP），将视觉编码器输出的特征序列映射到与LLM的文本嵌入空间相同的维度。然后，直接将投影后的视觉特征序列（视觉Token）和文本Token拼接成一个长的序列，输入给LLM进行处理。LLM像处理文本一样处理这个混合序列，从而根据图像内容生成文本。

2. 跨模态注意力

   这种方法更为精细。它不在LLM的输入层进行简单拼接，而是在LLM内部的某些Transformer层中，插入额外的交叉注意力层。在这个交叉注意力层中，查询向量（Q）来自文本的隐藏状态，而键（K）和值（V）则来自视觉特征。这使得LLM在生成每一个词时，都能动态地“回顾”和“关注”图像中最相关的部分，实现更深层次的模态融合。

3. 高级桥接模块

   这是目前非常流行且高效的策略，以BLIP-2的 Q-Former​ 和Flamingo的 Perceiver Resampler​ 为代表。这类模块的核心作用是作为一个“信息瓶颈”或“智能过滤器”。

   • 它们通常包含一组可学习的查询向量，通过交叉注意力与完整的视觉特征进行交互。

   • 其目标是从海量的视觉特征中提取出少量（例如64个）对文本生成最关键的语义信息，形成一个高度浓缩的视觉Token序列。

   • 这个固定长度的、精炼后的序列再被传递给LLM。这种方式避免了将高分辨率图像产生的成千上万个视觉Patch直接塞给LLM，从而显著降低了计算负担，并帮助LLM更聚焦于关键信息。

主要介绍一下BLIP-2和Flamingo

BLIP-2

方法：

第一阶段：引导视觉-语言表示学习

• 目标：训练Q-Former，使其能从冻结的图像编码器中提取出与文本最相关的视觉表示。

• 方法：同时使用三种损失函数（见下图），并采用不同的注意力掩码控制查询与文本的交互：

  • 图像-文本对比学习：拉近匹配图像-文本对的特征距离。

  • 基于图像的文本生成：强制Q-Former提取包含全部文本信息的视觉特征。

  • 图像-文本匹配：学习图像与文本的细粒度对齐。

第二阶段：引导视觉到语言生成学习

• 目标：将Q-Former与冻结的LLM连接，使其输出的视觉表示能够被LLM理解并用于生成文本。

• 方法：使用一个全连接层将Q-Former输出的查询嵌入投影到LLM的文本嵌入空间，然后将其作为软提示前缀与文本输入一并送给LLM。训练时，冻结LLM，仅更新Q-Former的参数，利用语言建模损失让LLM学会根据视觉信息生成文本。

Flamingo

目前Qwen3-vl在使用的SigLIP2

SigLIP 2 的核心目标是打造一个更强大、更通用的“视觉-语言翻译器”，它能更好地理解图片和文字之间的关系，不仅知道图片里“有什么”，还能更精确地定位到“在哪里”，并且生成质量更高的图像特征，为更复杂的多模态应用（如图像描述、视觉问答）打下坚实基础。

SigLIP 2 的成功并非源于单一的“银弹”技术，而是通过一个统一的配方，巧妙地组合并改进了多项此前独立发展的技术。其核心方法主要包括以下几个层面：

1. 融合解码器预训练

   论文在原始 SigLIP 的对比学习基础上，增加了基于解码器的预训练任务（具体借鉴了 LocCa 方法）。这意味着模型不仅学习判断图片和文字是否匹配，还要学习生成图片描述或根据描述定位图片中的区域。这项任务能显著提升模型对物体位置和细节的理解能力。

   • 该方法的示意图展示了如何将描述生成（Captioning）和定位（Localization）等任务统一到一个训练框架中。

2. 引入自监督损失

   模型还引入了来自自监督学习（如 DINO）的自蒸馏和掩码预测损失。这些技术能让模型学习到更丰富、更鲁棒的视觉特征，尤其有利于需要像素级理解的密集预测任务（如分割、深度估计）。

3. 在线数据筛选与优化

   训练数据是模型性能的基石。SigLIP 2 采用了在线数据筛选技术（如 ACID 方法），在训练过程中动态选择那些对当前模型最有学习价值的样本，从而极大地提升了训练效率，尤其让小模型也能发挥出卓越性能。

4. 支持原生宽高比与多分辨率（NaFlex）

   这是一个重要的工程创新。传统的视觉模型通常需要将图片缩放裁剪成固定大小的正方形，这会导致图像变形和信息丢失。SigLIP 2 的 NaFlex​ 变体能够直接处理任意宽高比的原始图片，并支持在一个模型中灵活处理多种分辨率，这对于文档理解、网页截图等场景至关重要。

SigLIP 2 中新增的 EMA Image Encoder（指数移动平均图像编码器）是一个教师模型，它在一种名为自蒸馏​ 的技术中扮演关键角色。其核心目的是为模型自身提供更稳定、更高质量的学习目标，从而帮助主模型（学生模型）学习到更好的特征表示，尤其是在需要像素级理解的密集预测任务（如分割、深度估计）上。