NVLM-1.0 是 NVIDIA 推出的一系列前沿级多模态大语言模型（Multimodal LLMs），通过创新的架构设计、高效的训练策略和优质的数据筛选，在视觉 - 语言任务上实现了 state-of-the-art 性能，既能与 GPT-4o 等专有模型抗衡，也超越了 Llama 3-V 405B、InternVL 2 等开源模型。更值得关注的是，该模型在经过多模态训练后，文本单模态性能不仅没有下降，反而较其 LLM 骨干模型有显著提升，实现了真正意义上的 “生产级多模态能力”。

项目主页：https://research.nvidia.com/labs/adlr/NVLM-1/

原文链接：https://arxiv.org/pdf/2409.11402

沐小含将持续分享前沿算法论文，欢迎关注...

一、研究背景与现有局限

1.1 多模态大模型的发展现状

近年来，大语言模型（LLMs）在文本领域取得突破性进展，而多模态大模型（MLLMs）则进一步打通了视觉与语言的壁垒，成为 AI 领域的研究热点。专有模型如 GPT-4o 通过端到端训练，在文本和视觉 - 语言任务上均实现了顶尖性能，但模型架构、训练数据等核心细节未公开；开源模型如 LLaVA（解码器架构）、Flamingo（交叉注意力架构）虽推动了学术研究，但存在诸多局限。

1.2 现有模型的核心痛点

• 架构对比缺失：解码器架构与交叉注意力架构缺乏公平对比，不同研究采用的 LLM 骨干、视觉编码器和训练数据存在差异，难以客观评估两种架构的优劣。
• 高分辨率处理矛盾：现有动态高分辨率图像处理方法虽能提升 OCR 任务性能，但会导致推理类任务精度下降。
• 文本性能退化：开源多模态模型在多模态训练后，文本单模态性能普遍下降，而专有模型通过未知策略维持了文本性能。
• 数据利用低效：多数研究过度追求数据规模，忽视了数据质量和任务多样性对模型性能的影响。

二、NVLM-1.0 模型家族设计

NVLM-1.0 包含三种核心架构：解码器架构（NVLM-D）、交叉注意力架构（NVLM-X）和混合架构（NVLM-H）。三种架构共享视觉通路，但采用不同的模态融合方式，以适配不同场景需求。

2.1 共享视觉通路

所有 NVLM 模型均采用 InternViT-6B-448px-V1-5 作为视觉编码器，并在训练全程保持冻结，简化训练流程的同时保证特征提取能力。为解决高分辨率图像处理问题，模型采用动态高分辨率（DHR）策略：

• 输入图像根据宽高比动态分割为 1-6 个 448×448 像素的 tile，同时保留全局缩略图 tile 以捕捉整体上下文。
• 每个 tile 经视觉编码器生成 1024 个 tokens，通过像素洗牌（pixel shuffle）操作下采样至 256 个 tokens，降低 LLM 处理开销。

2.2 三种核心架构详解

2.2.1 NVLM-D：解码器架构

NVLM-D 采用经典的解码器架构设计，通过 2 层 MLP 投影层实现视觉特征与文本特征的对齐，将视觉 tokens 直接输入 LLM 解码器，与文本 tokens 统一处理。

• 训练流程：分为预训练和监督微调（SFT）两阶段。预训练阶段仅训练 MLP 投影层，冻结 LLM 和视觉编码器；SFT 阶段同时训练 MLP 投影层和 LLM，以适配视觉 - 语言任务。
• 核心优化：1-D Tile-Tagging 设计：为解决动态分割 tile 的空间位置模糊问题，在每个 tile 的视觉 tokens 前插入文本标签（如<tile_1>、<tile_2>），帮助 LLM 理解 tile 的空间结构。实验表明，1-D 标签较 2-D 网格标签和边界框标签泛化性更好，能同时提升 OCR 和推理任务性能。

2.2.2 NVLM-X：交叉注意力架构

NVLM-X 基于交叉注意力机制处理视觉 tokens，区别于 Flamingo 模型的核心改进的是移除了 Perceiver Resampler 模块：

• 移除原因：Perceiver Resampler 会破坏图像 patch 的空间关系，导致文档 OCR 等任务性能下降。
• 训练策略：SFT 阶段解冻 LLM 骨干，通过融入高质量文本 SFT 数据，避免文本性能退化，同时保证视觉 - 语言任务适配性。
• Tile-Tagging 适配：在交叉注意力层中引入 1-D tile 标签，通过注意力掩码控制标签与对应 tile tokens 的关联，确保 LLM 准确理解 tile 结构。

2.2.3 NVLM-H：混合架构

NVLM-H 融合了解码器架构和交叉注意力架构的优势，采用双路径处理视觉 tokens：

• 全局缩略图 tile 通过 MLP 投影后直接输入 LLM 解码器，采用自注意力机制处理，保障全局推理能力。
• 局部常规 tile 通过交叉注意力层处理，提升高分辨率细节捕捉效率。
• 该架构在保持高推理性能的同时，降低了高分辨率图像处理的计算开销，实现性能与效率的平衡。

2.3 模型配置与训练参数

NVLM-1.0 的 72B 版本采用 Qwen2-72B-Instruct 作为 LLM 骨干，34B 版本（用于消融实验）采用 Nous-Hermes-2-Yi-34B。核心训练参数如下：

预训练阶段：

微调阶段：

三、训练数据策略

NVLM-1.0 的核心突破之一是提出 “质量优先、多样性驱动” 的数据策略，通过精心筛选和构建数据集，在不追求规模的情况下实现性能提升。

3.1 多模态预训练数据

预训练数据集涵盖 8 类任务，注重数据质量和任务多样性，避免噪声数据影响模态对齐效果：

实验表明，与 LLaVA-1.5 的预训练数据相比，NVLM 的多样化预训练数据在所有基准测试中均有提升，其中 MathVista（数学推理）提升 4.9 分，OCRBench（OCR 任务）提升 46 分。

3.2 多模态 SFT 数据

SFT 数据集包含 12 类任务，进一步强化模型的任务适配能力，尤其是 OCR、数学推理和文档理解等实用场景：

3.3 文本 SFT 数据优化

为解决文本性能退化问题，NVLM 构建了高质量文本 SFT 数据集：

• 基于 SlimOrca、ShareGPT 等开源数据集，通过 GPT-4o 和 GPT-4o-mini 优化响应质量。
• 涵盖通用文本、数学和代码三大类任务，确保文本能力的全面性。
• 数据去污染处理，避免包含基准测试集内容，保证评估公平性。

四、核心实验结果与分析

NVLM-1.0 在 9 个视觉 - 语言基准测试和 4 个文本基准测试中进行了全面评估，对比对象包括 GPT-4o、Claude 3.5 等专有模型和 Llama 3-V、InternVL 2 等开源模型。

4.1 视觉 - 语言任务性能

如图 2 所示，NVLM-1.0 在关键基准测试中表现突出：

• NVLM-D 72B 在 OCRBench（853 分）和 VQAv2（85.4 分）中排名第一，MMMU（59.7 分）超越所有开源模型。
• NVLM-H 72B 在 MMMU 验证集（60.2 分）和 MathVista（66.6 分）中表现最优，展现出强大的多模态推理能力。
• NVLM-X 72B 作为交叉注意力架构模型，训练和推理效率显著高于 NVLM-D，性能接近未开源的 Llama 3-V 70B。

4.2 文本单模态性能

与其他开源多模态模型文本性能退化不同，NVLM-1.0 所有模型均实现文本性能提升（表8）：

• NVLM-D 72B 在 MMLU、GSM8K、MATH 和 HumanEval 四个文本基准测试中平均提升 4.3 分，其中 MATH 任务从 59.7 分提升至 73.1 分，提升显著。
• NVLM-X 和 NVLM-H 72B 分别提升 2.5 分和 2.7 分，验证了文本 SFT 数据策略的有效性。

4.3 Tile-Tagging 设计有效性验证

通过消融实验对比不同 tile 标签格式的效果（表 1），验证了 1-D Tile-Tagging 的优势：

• 动态高分辨率 + 1-D 标签策略较低分辨率输入，在 MMMU 提升 1.1 分，MathVista 提升 7.7 分，OCRBench 提升 184 分。
• 1-D 标签较 2-D 网格标签和边界框标签，在多任务上综合性能最优，尤其在推理类任务中泛化性更强。

4.4 架构对比与效率分析

三种架构在性能和效率上各有侧重，满足不同部署场景需求：

• 参数效率：NVLM-D 参数最少，无需额外交叉注意力层；NVLM-X 和 NVLM-H 因增加交叉注意力层，参数规模更大。
• 训练效率：NVLM-X 训练吞吐量最高（5063 样本 / 秒），NVLM-H 次之（3620 样本 / 秒），NVLM-D 因需处理更长序列，吞吐量最低（2880 样本 / 秒）。
• 任务适配性：NVLM-D 适合 OCR 和高精度推理任务，NVLM-X 适合高分辨率图像快速处理，NVLM-H 平衡性能与效率，适合通用场景。

4.5 冻结 vs 解冻 LLM 对比

针对 NVLM-X 进行的消融实验表明，SFT 阶段解冻 LLM 能显著提升视觉 - 语言任务性能：

• NVLM-X 72B 解冻 LLM 后，MMMU 提升 3.0 分，AI2D 提升 8.0 分，OCRBench 提升 106 分。
• 冻结 LLM 虽能维持文本性能，但视觉 - 语言任务性能下降明显，验证了 “高质量文本 SFT 数据 + 解冻 LLM” 策略的优越性。

五、定性能力展示

NVLM-1.0 具备多样化的多模态能力，涵盖图表理解、OCR、幽默梗解读、数学推理等场景（图 1）：

• 图表与表格理解：准确解析饼图市场份额数据和食物中毒统计表格，计算患病率并定位病因。
• OCR 与场景理解：识别图像中的文本信息，解读交通标志并提供驾驶建议，区分 CPU/GPU/TPU 的结构与功能差异。
• 幽默与常识推理：理解 “论文摘要 vs 论文原文” 梗图的幽默逻辑，通过动物形象对比抽象与原文的差异。
• 数学与编码能力：基于手写伪代码实现选择排序算法，通过几何推理计算内接正方形边长。

六、研究贡献与意义

6.1 核心贡献

1. 公平架构对比：在统一 LLM 骨干、视觉编码器和训练数据的前提下，系统对比了解码器与交叉注意力架构的优劣，为架构选择提供客观依据。
2. 混合架构创新：提出 NVLM-H 混合架构，融合两种架构优势，实现推理性能与计算效率的平衡。
3. 高分辨率处理优化：1-D Tile-Tagging 设计解决了动态高分辨率处理中 OCR 与推理任务的性能矛盾。
4. 文本性能保持策略：通过高质量文本 SFT 数据与多模态数据融合，实现多模态训练后文本性能的提升，突破开源模型的性能瓶颈。
5. 数据策略革新：验证了数据质量和任务多样性比规模更重要，为多模态模型数据构建提供指导。

6.2 实际应用价值

NVLM-1.0 的开源特性（模型权重已发布于 Hugging Face，训练代码即将开源）为工业界和学术界提供了高质量的多模态模型基座，可广泛应用于：

• 文档智能处理（OCR、表格分析、PDF 理解）；
• 视觉推理系统（图表解读、科学计算、几何推理）；
• 智能交互场景（多模态对话、图像问答、场景决策）；
• 代码与数学辅助（伪代码转换、数学题求解）。

七、结论与未来展望

NVLM-1.0 通过创新的架构设计、高效的训练策略和优质的数据利用，实现了开源多模态模型性能的重大突破，其三种核心架构为不同场景提供了灵活选择。模型在保持视觉 - 语言任务顶尖性能的同时，实现了文本性能的提升，为开源多模态模型的发展提供了新范式。

未来研究方向可聚焦于：

1. 扩展视频、音频等更多模态，实现跨模态统一理解；
2. 进一步优化高分辨率处理效率，降低部署成本；
3. 探索更小参数量的模型版本，适配边缘设备部署；
4. 构建更丰富的多模态任务数据集，提升模型泛化能力。

NVLM-1.0 的开源发布将推动多模态大模型的研究与应用落地，为开发者和研究者提供强大的工具支持，加速 AI 多模态能力的工业化进程。