SenseNova-U1:使用NEO-unify架构统一多模态理解与生成

十铭忘

353人浏览 · 2026-07-06 15:07:47

十铭忘 · 2026-07-06 15:07:47 发布

文章目录

一、前言
二、SenseNova-U1:使用NEO-unify架构统一多模态理解与生成
三、架构

一、前言

仅供参考，未经实验验证。

二、SenseNova-U1:使用NEO-unify架构统一多模态理解与生成

论文标题： SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture
（SenseNova-U1:使用NEO-unify架构统一多模态理解与生成）
作者： Haiwen Diao, Penghao Wu, Hanming Deng等
机构： 商汤科技（SenseNova / SenseTime）
发表时间： 2026年5月12日
论文地址： https://arxiv.org/pdf/2605.12500

核心贡献与内容摘要

1. 核心问题
当前大型视觉-语言模型（VLM）普遍存在一个根本性的二元割裂：理解与生成被视为两个独立的问题，导致架构碎片化、流水线级联、表示空间不对齐。论文认为这种割裂不仅是工程上的妥协，更是阻碍原生多模态智能涌现的结构性限制。

2. 提出的方案：SenseNova-U1
论文提出了 SenseNova-U1，一个基于 NEO-unify 架构的原生统一多模态范式。其核心设计原则是：

无需视觉编码器（VE）和变分自编码器（VAE）：直接作用于原生像素和文本输入，实现端到端统一建模。
近无损视觉接口：通过轻量级的两层卷积编码和MLP解码，在32×压缩比下同时保留语义结构和像素级细节。
原生混合Transformer（MoT）架构：将理解和生成作为同一底层过程的协同视角，减少异构多模态目标之间的干扰。

3. 模型变体
发布了两个版本：

SenseNova-U1-8B-MoT：基于8B密集骨干网络
SenseNova-U1-A3B-MoT：基于30B-A3B混合专家（MoE）骨干网络

4. 性能表现

理解能力：在文本理解、视觉-语言感知、知识推理、智能体决策和空间智能等任务上，可与顶级纯理解VLMs媲美。
生成能力：在常规或知识密集型文生图（X2I）、复杂图文信息图生成、交错视觉-语言生成等任务上表现优异，具备强大的语义一致性和视觉保真度。
统一优势：单一模型同时胜任理解与生成，避免了传统方案中不同模态系统之间的"翻译"开销。

5. 扩展潜力
初步实验表明，该模型在视觉-语言-动作（VLA）和世界模型（WM）场景中也展现出强劲潜力，表明其能力已超越单纯的感知与生成，能够在不同模态之间进行原生推理与行动。

6. 开源贡献
论文详细披露了模型设计、数据预处理、训练策略和推理基础设施，并开源了模型权重、训练代码和推理代码，以支持社区研究。

一句话总结：SenseNova-U1 是商汤科技提出的首个基于 NEO-unify 架构的端到端原生统一多模态大模型，无需传统视觉编码器和VAE，在单一架构内同时实现了顶尖的理解与生成能力，并开源了完整技术细节。

问题1：通俗解释

打个比方

现在的AI就像一个翻译公司：

看图部门（理解）：专门雇了一群人把图片"翻译"成文字描述
画图部门（生成）：又雇了另一群人把文字"翻译"回图片

这两个部门说不同的语言，中间需要复杂的"翻译官"来回倒腾。结果就是：看图的人看不懂画图的，画图的人也不知道看图的在想什么，又慢又容易出错。

这篇论文做了什么？

商汤科技造了一个**“全能艺术家”**——SenseNova-U1。这个AI的特点是：

1. 一个大脑，同时会看会画

传统AI是"两个人"：一个负责看图说话，一个负责听指令画画。
SenseNova-U1是**“一个人”**：他既能仔细欣赏你的图，又能根据你的想法画出高质量的图，用的是同一套思维方式。

2. 不戴眼镜，直接看原图

以前的AI看图要先戴一副特制的"眼镜"（视觉编码器），把图片压缩、简化后才能处理，很多细节就丢了。
SenseNova-U1直接看原始像素，就像人眼直接看高清照片，细节保留得更完整。

3. 不请"压缩中介"

以前的AI画画要先经过一个"压缩翻译官"（VAE），把图片压缩成一种内部暗号再处理，画出来的图容易模糊或失真。
SenseNova-U1跳过这个中介，直接一笔一画地生成像素，所以画质更干净、语义更准确。

4. 像"左右手"一样配合

它内部用了一种叫 MoT（混合Transformer） 的设计，可以理解为：

左手负责理解（分析图片内容、回答问题）
右手负责创作（根据文字画图、编辑图片）

两只手长在同一个身体上，大脑统一指挥，配合得天衣无缝。

它能干什么？

能力	通俗解释
看图说话	你给它一张图，它能详细描述里面有什么，甚至做数学题、分析图表
听指令画画	你说"画一只在月球上弹吉他的猫"，它真能画出来，而且画质很高
改图	你让它"把这张图里的红色跑车换成蓝色"，它能精准修改
做海报/信息图	你让它做一份"蜂蜜柠檬百香果特饮"的制作指南海报，它能生成带排版、插图的完整图文内容
讲故事配插图	它写一段故事，同时配上对应的插图，图文交替出现，像绘本一样

为什么这很重要？

以前你要做一个"既能看懂图又能画好图"的应用，需要把两个不同的AI拼接起来，就像把两个不同国家的人硬凑在一起工作，沟通成本高，效果还打折。

SenseNova-U1相当于培养了一个**“原生双语者”——从小就在同一个环境里同时学习看图和画画，不需要翻译，自然就能融会贯通。这不仅让系统更简单、更省资源，还能激发出一些"跨界"的新能力**（比如根据看到的画面直接动手操作机器人，或者预测未来画面）。

一句话总结：商汤造了一个"既会看又会画"的AI，它不用中间翻译，直接处理原始图像，一个大脑搞定所有视觉任务，而且代码和模型都开源给大家用了。

三、架构

图3：SenseNova-U1 概述

在这里插入图片描述
图3 SenseNova-U1 概述 详细展示了SenseNova-U1模型作为一种原生统一多模态范式，如何通过其NEO-unify架构，实现对多种理解和生成任务的端到端支持。其核心思想是打破传统VLM模型中理解和生成任务的二元对立，将它们视为单一底层过程的协同视图。

1. 总体目的与核心理念

图3的总体目的是清晰地展示SenseNova-U1作为首个端到端统一多模态范式的核心架构和其所能支持的广泛应用场景。其核心理念浓缩在图中央的标语中：

“One-for-All Architecture! Native Pixel-Text Inputs! No VEs! No VAEs!”
- 这意味着SenseNova-U1采用单一、统一的架构处理所有模态，直接接收原生的像素和文本作为输入，完全摒弃了传统的预训练视觉编码器（VEs）和变分自编码器（VAEs）。这种设计旨在消除因不同模态处理方式造成的碎片化架构、级联流程和表示空间错位问题，从而实现更深层次的多模态智能。

2. 模型架构拆解（从输入到输出）

模型中央的"SenseNova-U1 The First End-to-End Unified Multimodal Paradigm with NEO-unify Architecture" 代表了其统一的Transformer主干网络，即原生Mixture-of-Transformers (MoT) 架构。该架构能够实现理解和生成任务在单一框架内的统一处理。

输入侧（下方）：

Patch Emb Encoding (图像块嵌入编码):
- 功能: 负责将输入的原生像素图像（Clean Image，可能是带有噪声的Noise Pixel，用于生成任务）转化为模型可处理的视觉token序列。
- 设计原理: 论文提到，SenseNova-U1采用轻量级的两层卷积层（卷积步长分别为16和2），将图像分割成32x32像素的图像块，并添加2D正弦位置编码，生成视觉token。这种"近无损视觉接口"旨在同时保留图像的语义结构和细粒度像素细节。
- 协作关系: 编码后的视觉token随后与文本token一起被送入SenseNova-U1核心架构进行联合处理。
Word Emb Encoding (词嵌入编码):
- 功能: 负责将输入的**原生文本（Word）**转化为模型可处理的文本token序列。
- 设计原理: 使用底层语言模型的原始tokenizer对文本进行编码，并投影到与视觉token共享的嵌入空间。
- 协作关系: 编码后的文本token与视觉token一起进入SenseNova-U1核心架构。

核心架构 (SenseNova-U1):

功能: 作为统一的多模态Transformer主干网络，SenseNova-U1能够共同处理来自图像和文本的token。它通过共享的自注意力机制，使不同模态的感知和合成在每一层都能原生交互。
设计原理: 论文指出，其MoT架构将理解流（处理干净图像和文本）和生成流（处理噪声条件输入）统一起来。文本token以因果方式关注前面的token，而图像token则在同一图像块内双向关注，同时因果地依赖所有前面的上下文。关键在于，理解和生成流之间实现了完全的参数解耦，通过token类型动态路由不同的投影、归一化和前馈模块。
NEO-unify: SenseNova-U1是基于NEO-unify [112]模型构建的，该模型强调从近乎无损的原始输入中直接学习，自我组织出适合各种应用场景的表示空间，从而实现真正的端到端统一。

输出侧（上方）：

Word - Emb Decoding (词嵌入解码):
- 功能: 用于理解任务，通过一个线性投影头将模型内部的token映射回词汇表，进行文本预测（例如问答、文本摘要等）。
Patch - Emb Decoding (图像块嵌入解码):
- 功能: 用于生成任务，通过一个多层感知机（MLP）头直接预测像素图像块，绕过了传统的深度扩散头和VAE解码器。
- 设计原理: 这种设计使得模型能够完全端到端地学习表示空间，摆脱了中间模块（如VAE）带来的归纳偏置和表示限制。

3. 任务能力分类

图的左侧和右侧清晰地列出了SenseNova-U1所支持的理解和生成任务类型：

左侧：理解 (Understanding)

Text Understanding (文本理解)：如光学字符识别(OCR)、文档解析、图表/表格问答。
Vision-Language Understanding (视觉-语言理解)：如视觉问答(VQA)、多图像理解、推理。
Knowledge Reasoning (知识推理)：如常识推理、数学推理、科学推理。
Agentic Decision (智能体决策)：如工具使用、规划、多步交互。
Spatial Intelligence (空间智能)：如3D推理、地图理解、几何推理、导航。

右侧：生成 (Generation)

Image Synthesis (图像合成)：生成逼真、艺术化或知识密集型的图像。
Image Editing (图像编辑)：如风格迁移、图像移除、构图控制。
Infographic Synthesis (信息图表合成)：生成文本丰富、包含图表或复杂图示的信息图。
Interleaved V+L Generation (交错式视觉-语言生成)：支持带有“思考模式”(Think Patterns)的交错式内容生成。
Unified Reasoning (统一推理)：涵盖Uni-MMMU、RealUnify和视觉中心VBVR等场景。

4. 模型关键优势

图的底部列出了SenseNova-U1的几个关键优势，这些优势通过底部的图标和文字清晰地表达：

SenseNova-U1 8B MoT (SenseNova-U1-8B-MoT)：80亿参数的密集模型变体。
SenseNova-U1 A3B MoT (SenseNova-U1-A3B-MoT)：300亿参数的混合专家(MoE)模型变体，其中A3B表示激活了30亿参数。
End-to-End Native Pixels & Text (端到端原生像素与文本输入)：直接从原始像素和文本输入中学习，无需预处理的中间表示。
No VEs. No VAEs. No Latent Bottleneck (无视觉编码器、无变分自编码器、无潜在瓶颈)：消除了传统多模态模型中常见的瓶颈和限制，实现了更直接、更高效的学习。
Scalable MoT High Efficiency (可扩展的MoT高效架构)：原生MoT架构使得模型能够高效扩展，同时减少了异构多模态目标之间的干扰。
Unified Und. & Gen. One Architecture (理解与生成统一于单一架构)：强调了模型在单一架构下同时支持理解和生成的能力，实现了真正的多模态智能。

总之，图3通过简洁而富有信息量的视觉呈现，全面概括了SenseNova-U1如何通过其创新的NEO-unify架构，在实现多模态理解和生成任务的统一上迈出了坚实的一步，并展现了其在性能和效率上的显著优势。

图4：多模态模型架构的演进

在这里插入图片描述
图4展示了多模态模型架构的演进，从传统的分离式架构到SenseNova-U1所采用的原生统一架构。它旨在通过比较三种不同的多模态模型范式，清晰地阐释SenseNova-U1（基于NEO-unify）如何作为一种原生、端到端的解决方案，克服了现有方法的局限性，实现了多模态理解和生成的统一。

总体目的：多模态架构的范式演进与SenseNova-U1的创新定位

这张图的核心目的是通过对比三种代表性的多模态模型架构，凸显SenseNova-U1所采用的**“原生并行架构”的独特优势和创新之处。它直观地展现了研究者们如何从串行、分离的理解与生成流程，逐步发展到并行、共享的中间表示，最终走向完全统一、原生像素和文本输入输出**的端到端范式。SenseNova-U1作为这一演进的最新成果，旨在消除传统架构中对独立视觉编码器（VEs）和变分自编码器（VAEs）的依赖，从而实现更简洁、高效且性能强大的多模态智能。

分步拆解讲解

我们将从左到右，详细解析三种架构的特点、工作原理及其代表性模型。

(1) 串行架构与视觉编码器、投影器、类VAE编解码器 (Sequential Architecture with Vision Encoder, Projector, VAE-like Encoder and Decoder)

总体目的: 代表了早期或较为传统的多模态模型架构，其中理解和生成任务往往是分离的，或通过串行管道连接。
关键模块与协作关系:
- 视觉理解路径 (绿色模块):
  - Vision Encoder (视觉编码器): 接收**Clean Image (干净图像)**作为输入，将其编码为高级视觉特征。这是理解路径的起点，专注于从图像中提取语义信息。
  - MHSA (Multi-Head Self-Attention，多头自注意力) 和 FFN (Feed-Forward Network，前馈网络): 构成Transformer编码器层，处理视觉编码器输出的特征，以捕获图像内部和图像与文本之间的复杂关系。
  - Input Text (文本输入): 虽然图中标示了文本输入，但在这种架构中，文本通常通过单独的语言模型路径处理，或者通过投影器与视觉特征融合，但并非在所有层都与视觉模态深度融合。
  - Output Features (输出特征): 理解路径的最终输出，可以是用于各种下游理解任务（如VQA、图像分类）的语义特征。
- 图像生成路径 (蓝色模块):
  - VAE Encoder (VAE编码器): 接收Clean Image (干净图像)，将其编码为低维的Noise Latent (噪声潜在表示)。
  - MHSA 和 FFN: 构成Transformer解码器层，处理噪声潜在表示，并可能结合其他条件（如文本输入，未在此明确画出）来生成图像。
  - VAE Decoder (VAE解码器): 将Transformer层处理后的潜在表示解码回Clean Image (干净图像)。
- 串行特征: 理解和生成过程在很大程度上是独立的，或者通过投影器等辅助模块进行连接，导致表示空间可能不一致。
局限性 (根据论文描述): 这种架构通常导致碎片化的架构、级联的管道以及表示空间错位，难以实现真正的多模态统一智能。
相关工作: Omnigen2, Qwen-Image等。

(2) 并行架构与视觉编码器、投影器、类VAE编解码器 (Parallel Architecture with Vision Encoder, Projector, VAE-like Encoder and Decoder)

总体目的: 代表了试图统一多模态骨干网络的早期尝试，通过共享部分组件来增强理解和生成之间的协同作用，但仍保留了传统的VEs和VAEs。
关键模块与协作关系:
- Vision Encoder (视觉编码器) 和 VAE Encoder (VAE编码器): 仍然存在，分别处理Clean Image (干净图像)以用于理解任务和编码Noise Latent (噪声潜在表示)以用于生成任务。这表明模型在原始像素层面仍依赖于预训练的模态特定编码器。
- Shared Multi-Head Self Attention (共享多头自注意力) 和 FFN: 这是该架构的核心改进，表示理解和生成任务共享同一个Transformer主干网络。图像特征（来自Vision Encoder）和文本输入（Input Text）被投影到共享空间后，与噪声潜在表示（Noise Latent，来自VAE Encoder）一同在共享的MHSA和FFN层中处理。
- Output Text (文本输出) 和 VAE Decoder (VAE解码器): 分别用于理解任务（文本预测）和生成任务（图像重建）。
设计原理: 这种架构尝试通过共享主干网络来促进跨模态推理，但预训练的视觉编码器和VAE仍然是不可或缺的，它们引入了固有的语义偏差和潜在瓶颈。
局限性 (根据论文描述): 尽管有共享组件，但它仍然依赖于不同的tokenizer、潜在空间或辅助模块，未能实现真正的端到端统一学习。
相关工作: MoT, LMFusion, Bagel等。

(3) 原生并行架构与轻量级编解码层 (Parallel Native Architecture with Lightweight Encoding/Decoding Layers)

总体目的: 这是SenseNova-U1（基于NEO-unify）所采用的创新性架构，旨在实现真正的原生统一多模态范式，直接从原始像素和文本输入中学习，完全摒弃了传统的VEs和VAEs。
关键模块与协作关系:
- Patch Emb1 (图像块嵌入1): 接收Clean Image (干净图像)作为输入。不同于传统的Vision Encoder，这里使用轻量级的两层卷积编码层，直接将原始图像映射为一系列视觉token。
- Patch Emb2 (图像块嵌入2): 接收**Noise Pixel (噪声像素)**作为输入。同样采用轻量级卷积编码，将噪声图像映射为视觉token。这主要用于图像生成任务，例如基于扩散模型（Flow Matching）的去噪过程。
- Input Text (文本输入): 原始文本直接通过词嵌入层（Word Embedding，未明确画出但隐含在“Input Text”模块之前）转换为文本token。
- Shared Multi-Head Self Attention (共享多头自注意力) 和 FFN (前馈网络): 这仍然是模型的核心主干网络，但现在它处理的是直接来自像素和文本的token，而不是经过复杂预处理或潜在空间转换的表示。所有模态都在单一序列中表示，并在共享的自注意力机制下共同处理，实现了理解和生成在每一层级的原生交互。
- Output Text (文本输出) 和 MLP Head (多层感知机头部):
  - Output Text (文本输出): 通过一个线性投影头将内部token映射到词汇表，用于文本理解任务。
  - MLP Head (多层感知机头部): 直接预测像素图像块，用于图像生成任务。这是SenseNova-U1的关键创新之一，它绕过了深层扩散头部和VAE解码器，实现了表示空间的完全端到端学习，摆脱了中间模块带来的归纳偏置和表示限制。
设计原理: SenseNova-U1通过其“近乎无损的视觉接口”和“原生Mixture-of-Transformers (MoT) 主干架构”，直接从原始输入中学习，并根据不同的应用场景自组织出潜在的表示空间。这种设计不仅极大地简化了系统设计，提高了计算效率，而且在广泛的理解和生成任务中展现出强大的性能。
SenseNova-U1的创新点总结:
1. 端到端原生输入: 直接处理原生像素和文本，无需独立的VEs或VAEs。
2. 近无损视觉接口: 通过轻量级卷积层实现图像块编码，同时保留语义结构和细粒度像素细节。
3. 统一MoT架构: 理解和生成任务在单一共享的Transformer骨干网络中协同演进，具有最小的目标干扰和强大的扩展效率。
4. 直接像素预测: 生成任务通过MLP头直接预测像素块，避免了潜在空间瓶颈。
相关工作: NEO-unify, SenseNova-U1。

总结：SenseNova-U1的“有深度”的清晰

图4通过这三种架构的对比，深刻揭示了SenseNova-U1在多模态AI领域所带来的范式转变。它不再将理解和生成视为孤立的问题，而是通过统一的原生架构，让两者作为单一底层过程的协同视图共同发展。这种从第一性原理出发的设计，不仅在性能上超越了许多现有模型，更重要的是，它为构建真正统一、高效且具有原生多模态智能的AI系统提供了新的方向。SenseNova-U1的核心贡献在于，它不仅给出了“是什么”，更清晰地揭示了**“为什么这样设计”（解决碎片化和瓶颈问题）以及“它是如何工作的”**（通过轻量级编解码和统一MoT主干网络直接处理原生模态）。

图5：SenseNova-U1 解耦推理架构

在这里插入图片描述

总体目的：

图5清晰地展示了SenseNova-U1在推理阶段采用的解耦（Disaggregated）架构。其核心思想是将复杂的、特性不同的多模态理解任务（由LightLLM处理）和图像生成任务（由LightX2V处理）分离，通过固定共享内存（Pinned Shared Memory）进行通信。这种设计旨在解决传统单一运行时架构的局限性，从而实现更高效的调度、灵活的并行化和独立的资源分配，最终提升系统整体的推理性能和可扩展性。

分步拆解讲解：

该图主要分为两大部分：上方展示了推理的整体工作流程，下方则阐述了两种部署模式。

第一部分：整体推理工作流程

User Request（用户请求）
- 功能： 这是整个推理过程的起点，用户发起的多模态请求（例如，包含文本和/或图像）会首先被系统接收。
LightLLM (Understanding)（LightLLM：理解模块）
- 功能： LightLLM是一个专门用于多模态理解、文本流处理和控制流管理的引擎。它接收用户请求，并进行初步的语义理解和模型思考。
- User Input + Model Thinking（用户输入 + 模型思考）：
  - Prompt KV cache（提示词KV缓存）：存储用户输入文本的键值对（Key-Value）缓存，用于加速后续的自回归文本解码。
  - Uncond KV cache（无条件KV缓存）：存储无条件生成的键值对缓存，通常用于Classifier-Free Guidance (CFG) 等生成策略，以增强生成质量。
  - 协作： LightLLM处理用户输入，生成模型思考，并维护这些KV缓存。
Pinned Shared Memory (Shared across Processes)（固定共享内存：跨进程共享）
- 功能： 这是LightLLM和LightX2V之间交换生成状态的关键桥梁。它是一个特殊的内存区域，可以被不同的进程高效地访问，从而实现两个引擎之间的数据传输，同时保持独立调度。
- 设计原理： 传统上，理解和生成引擎可能需要频繁通信。通过共享内存，可以避免昂贵的数据拷贝和序列化/反序列化，提高通信效率。
LightX2V (Image Generation)（LightX2V：图像生成模块）
- 功能： LightX2V是一个专门用于图像生成的轻量级引擎。它接收来自共享内存的生成状态（可能包含文本上下文、图像条件等），并根据这些信息生成图像。
- 输出： 生成的图像（Image）被传递到最终输出。
Final Output (Text + Image)（最终输出：文本 + 图像）
- 功能： 将LightLLM处理的文本（Text Stream）和LightX2V生成的图像（Image）结合起来，形成最终的多模态响应，返回给用户。
Image Feedback（图像反馈）
- 功能： 图中虚线箭头表示一个可选的图像反馈回路。这意味着LightX2V生成的图像可以作为新的输入（或上下文）反馈给LightLLM，用于进一步的理解或多轮交互（例如，在对话中对生成的图像进行编辑或提问）。
- Interleaved: Text → Trigger → Image → Feedback → Continue（交错式：文本 → 触发 → 图像 → 反馈 → 继续）：这描述了多模态交错生成（Interleaved Generation）的序列。用户输入文本，触发图像生成，生成的图像可能被用作反馈，然后模型继续生成文本或进一步的图像，形成一个连贯的多模态叙述。

第二部分：部署模式

这部分展示了SenseNova-U1解耦架构的两种主要部署方式，以适应不同的硬件配置和工作负载需求。

Colocate (Two Processes, Shared GPU)（协同部署：两个进程，共享GPU）
- 架构： 在这种模式下，LightLLM和LightX2V作为两个独立的进程在同一个GPU上运行。
- 协作： 它们通过**Shared Pinned Memory（共享固定内存）**进行通信和数据交换。
- 应用场景： 适用于轻量级验证、较小的硬件配置，或者图像生成工作负载远高于理解工作负载的部署场景。这种模式在资源受限或需要紧密协同的场景下能有效利用GPU资源。
Separate (Different GPUs)（独立部署：不同GPU）
- 架构： 在这种模式下，LightLLM和LightX2V分别部署在不同的GPU上（GPU A 和 GPU B）。
- 协作： 即使在不同GPU上，它们仍然通过Pinned Shared Memory (Shared across Processes) 进行通信。这意味着固定共享内存可以跨GPU进行高效的数据传输。
- 应用场景： 适用于生产环境，因为它提供了清晰的瓶颈归因和独立的扩展能力。例如，文本密集型和图像密集型流量可以独立地进行扩展、性能分析和调优，避免了相互干扰。

核心设计原理与优势：

论文指出，这种解耦架构带来的主要实际优势包括：

并行策略的灵活性： 理解引擎（LightLLM）可以使用面向LLM的张量并行（Tensor Parallelism, TP）策略，而生成引擎（LightX2V）可以使用面向扩散模型的策略，如无分类器引导并行（Classifier-Free Guidance Parallelism, CFG Parallelism）或序列并行（Sequence Parallelism, SP）。
独立的资源分配： 允许独立的GPU组、内存预算和批处理策略，为不同模态的任务提供更精细的资源控制。
操作隔离性： 文本密集型和图像密集型流量可以独立地进行扩展、性能分析和调优，提高了系统的稳定性和可维护性。

通过这种解耦设计，SenseNova-U1在用户看来是一个统一的多模态模型，但在底层推理架构上，它将理解和生成路径分离，从而在保持统一API抽象的同时，实现了每个执行路径的独立优化，极大地提升了系统的效率和灵活性。

图6：统一多模态预填充的混合注意力模式

在这里插入图片描述

总体目的：

图6详细展示了 SenseNova-U1 模型中用于统一多模态预填充（Unified Multimodal Prefill）的混合注意力模式。预填充是指在生成序列的起始阶段，模型一次性处理所有给定输入（包括文本和图像）的过程。由于文本和图像在注意力机制上有着不同的需求（文本通常是因果的，图像可能需要双向上下文），传统的注意力模式难以高效地兼顾。该图阐释了一种巧妙的设计，使得模型能够同时处理文本和图像令牌，既保持了文本令牌的标准因果注意力，又允许图像令牌访问完整的上下文信息，从而在保证性能的同时提高计算效率。

分步拆解讲解：

该图由三个主要部分组成，从左到右依次是“序列和令牌类型”、“注意力掩码直观图”和“每个 M-block 的内核决策”，以及图下方的四个设计要点。

1. Sequence and Token Types（序列和令牌类型）

功能： 这部分展示了输入序列中不同类型令牌的排列。
内容解析：
- 蓝色方块（= Text Token）：代表文本令牌。在示例中，序列的开始部分（令牌 0-3）是文本令牌，以及图像区域之后的令牌（令牌7-9）也是文本令牌。
- 黄色方块（= Image Token）：代表图像令牌。在示例中，令牌 4-6 是图像令牌。
意义： 这种表示方式表明 SenseNova-U1 将文本和图像输入统一成一个单一的令牌序列进行处理，这是实现统一多模态模型的关键。

2. Attention Mask Intuition（注意力掩码直观图）

功能： 这部分通过一个矩阵图直观地展示了不同令牌在计算注意力时可以“看到”哪些其他令牌，即注意力掩码的逻辑。
内容解析：
- 横轴（0-9）：表示键（Key）令牌的索引。
- 纵轴（0-9）：表示查询（Query）令牌的索引。
- 蓝色阴影区域：表示**文本行（Text rows）**的注意力模式。
  - 特点： 遵循标准因果掩码（standard causal mask），即每个文本查询令牌（纵轴）只能关注其自身及之前的文本键令牌（横轴），形成一个下三角矩阵。例如，查询令牌2只能关注键令牌0、1、2。
  - 标注： “Text rows → causal” (文本行 → 因果)。
- 黄色阴影区域：表示**图像行（Image rows）**的注意力模式。
  - 特点： 图像查询令牌（纵轴4-6）可以关注完整的先行文本前缀（full preceding text prefix）（键令牌0-3），以及完整的图像区域（entire image span）（键令牌4-6）。
  - 标注： “Image rows → text prefix + full image span” (图像行 → 文本前缀 + 完整图像范围)。
意义： 这种混合掩码模式是 SenseNova-U1 能够同时支持文本的自回归生成和图像的双向理解与生成的关键。它允许图像令牌获取丰富的上下文信息（包括前缀文本和图像内部的双向信息），同时不破坏文本的因果生成特性。

3. Kernel decision per M-block（每个 M-block 的内核决策）

功能： 这部分以流程图的形式展示了注意力内核在处理M-block（一个计算单元或小块令牌）时，如何动态地决定注意力范围。
内容解析：
- M-block rows + image_token_end：这是决策的起点，表示当前处理的M-block行以及是否存在一个特殊的 image_token_end 标记（论文中提到用于辅助掩码决策）。
- Any image token in this M-block? (此 M-block 中是否有任何图像令牌？)：这是核心判断条件。
  - No (否)：如果当前 M-block 中不包含任何图像令牌，则遵循因果 K 范围（Causal K range）。这意味着它会使用标准的因果注意力模式，处理纯文本块时保持高效。
  - Yes (是)：如果当前 M-block 中包含图像令牌，则扩展 K 范围到图像范围结束（Extend K range to image-span end）。这意味着注意力范围会被扩展，允许图像令牌关注更广的上下文，包括文本前缀和图像内部的双向信息。
意义： 这种M-block级别的动态决策机制是实现高效混合注意力的关键。它避免了对纯文本块进行不必要的复杂注意力计算，只在必要时（即存在图像令牌时）扩展注意力范围，从而“保留纯文本块的因果快速路径，并且只为包含图像令牌的块扩展键范围”。

图下方的设计要点：

Optional image_token_tag changes masking row by row (可选的 image_token_tag 逐行改变掩码)：这说明模型可以通过一个特殊的标记来动态调整每一行的注意力掩码行为，进一步增强灵活性。
Text blocks keep standard causal attention (文本块保持标准因果注意力)：重申了文本部分遵循传统的自回归因果模式，确保语言生成的连贯性。
Image blocks attend to text prefix + full image span (图像块关注文本前缀 + 完整图像范围)：明确了图像部分可以利用更丰富的上下文，包括前面的文本和图像内部的所有信息。
Text-only requests fall back to vanilla FA3 (纯文本请求退回到普通 FA3)：暗示当只有文本输入时，系统可以利用优化的 FlashAttention3 (FA3) 库，以最高效的方式处理，避免多模态逻辑带来的开销。

总结：

图6展示的混合注意力模式是 SenseNova-U1 实现其“原生统一多模态范式”的关键创新之一。通过将文本的因果注意力和图像的扩展注意力巧妙地结合在一个统一的序列和内核中，模型能够高效地处理复杂的文本-图像交错输入，为理解和生成任务提供了强大的支持，同时在计算效率上实现了优化。

图7：理解语料库的数据处理流程

在这里插入图片描述

总体目的：

图7详细展示了 SenseNova-U1 模型中用于构建高质量、多样化理解语料库的数据处理流程。这个流程旨在通过系统化的三个主要阶段——分布均衡的数据策选、提示增强和多标准质量过滤——为模型的中期训练提供丰富且可靠的多模态指令数据，确保模型在理解、推理和生成任务上具备强大的能力。

分步拆解讲解：

(A) Distribution-balanced Data Curation（分布均衡的数据策选）

这个阶段的目的是从原始数据中提取一个多样化且具有代表性的子集，以避免数据偏见和提升模型对长尾分布的覆盖能力。

CLIP-based Diversity Sampling（基于 CLIP 的多样性采样）
- 输入： 原始图像（Images）。
- 功能： 旨在通过视觉特征的聚类来确保图像内容的多样性。
- 工作原理：
  - CLIP Encoder（CLIP 编码器）：首先使用 CLIP 编码器将图像转换为高维度的视觉嵌入（Visual Embeddings）。CLIP 模型能够捕捉图像的语义信息，使相似内容的图像在嵌入空间中距离较近。
  - K-means Clustering（K-均值聚类）：然后，对这些视觉嵌入进行 K-均值聚类。这会将图像分成若干个簇，每个簇代表一类视觉上相似的内容。
  - 采样： 从每个簇中均匀采样，以确保所选图像在视觉内容上具有广泛的多样性，尤其有助于覆盖数据中的“长尾”部分（即不常见或稀有的图像类型）。
Attribute Profiling（属性画像）
- 输入： 图像的感知和语义指标（Perceptual & Semantic Metrics），例如分辨率（Resolution）、视觉清晰度（Visual Clarity）和信息密度（Information Density）。
- 功能： 评估数据的多维度属性，并根据这些属性进行分层采样，以确保不同属性层级之间的平衡。
- 工作原理：
  - Scorecard & Multi-metric Attribute Profiling（记分卡与多指标属性画像）：根据图像的感知和语义指标生成一个“记分卡”，对图像的各种属性进行量化评估。
  - Stratified Sampling across Tiers（跨层分层采样）：根据这些属性得分，将数据分为不同的层级（Tiers），如“高”、“中”、“低”。然后，从每个层级中进行分层采样，以保证所选数据在不同属性维度上的均衡分布，避免某些属性过高或过低的数据过度集中。
- 输出： 经过这两个步骤处理后，生成策选子集（Curated Subset），这是一个在内容和属性上都具备多样性和均衡性的数据集。

(B) Prompt Augmentation（提示增强）

这个阶段的目的是增加训练指令的多样性和复杂性，使模型能够处理更广泛、更复杂的任务场景。

输入： 策选子集。
功能： 通过扩展原始提示的维度来丰富指令内容。
增强维度：
1. Semantic Expression（语义表达）：增加提示的语义复杂性和丰富度，例如包含更抽象的概念或更精细的描述。
2. Format Structure（格式结构）：引入不同格式的约束，例如要求输出特定长度（Length）、列表（List）或代码（Code）。
3. Role & Scenario（角色与场景）：模拟不同的交互角色，例如将模型设定为教师（Teacher）、专家（Expert）或用户（User），以适应不同的对话情境。
4. Task Complexity（任务复杂度）：从简单的**基本视觉识别（Basic Visual Recognition）任务扩展到更复杂的认知合成（Complex Cognitive Synthesis）**任务，提升模型的推理能力。
Prompt Augmentation & Uniform Response Rewriting（提示增强与统一回复重写）：在提示增强后，所有对应的答案也会被统一重新生成，以确保整个语料库中的回复质量一致且风格统一。

( C ) Multi-criteria Quality Filtering（多标准质量过滤）

这个最终阶段的目的是确保数据的真实性、准确性和指令遵循性，从而筛选出最高质量的问答对。

输入： 经过提示增强的问答对。
功能： 采用自动化模型评分管道，根据多个标准评估每个问答对的质量。
评估标准（Criteria）：
1. Correctness Verification（正确性验证）：评估模型回复是否与真实标注（ground-truth annotations）一致，确保信息准确无误。
2. Hallucination Detection（幻觉检测）：惩罚那些视觉上没有支持的捏造信息，防止模型生成不真实的“幻觉”内容。
3. Instruction-Following（指令遵循）：衡量模型回复是否严格遵循了指定的约束（如格式、角色或个人风格）。
QA Pair Quality Evaluation（问答对质量评估）：通过这些标准对每个问答对进行综合评分。
输出：
- Final Refined Set（最终精炼集）：评分高的问答对被选中，构成最终的高质量理解语料库，用于模型的中期训练。
- Rejected Data（拒绝数据）：未能通过质量过滤的低质量问答对被剔除。

通过这三个相互关联的阶段，SenseNova-U1 能够构建一个既庞大又精细、既多样又高质量的理解语料库，为模型训练打下坚实的基础，使其在各种多模态任务中展现出卓越的理解、推理和生成能力。

图9：生成语料库的数据处理流程

在这里插入图片描述

总体目的：

图9详细展示了 SenseNova-U1 模型中用于构建高质量、多样化的生成语料库的数据处理流程。这个管道旨在为文本到图像（Text-to-Image, T2I）生成和图像编辑任务提供精选的数据，确保最终训练数据在低层质量、独特性、语义丰富度和高层美学方面都达到高标准，从而训练出具备强大生成能力的模型。

分步拆解讲解：

该图描绘了一个从原始数据源（Data Source）到最终训练数据（Training Data）的四阶段流水线：(A) 低层过滤、(B) 去重、( C ) VLM 图像标注和**(D) 质量过滤**。

数据源 (Data Source)

用意与内容： 这是整个数据处理流程的起点，代表了所有原始的、未经处理的图像和文本数据。这些数据可能来自网络抓取、公开数据集等，通常包含各种质量和格式的内容。

(A) Low-Level Filter (低层过滤)

用意： 这个阶段旨在移除质量较差或不符合基本要求的原始数据，以确保后续处理的数据具有一定的基础质量。
关键模块与功能：
- Resolution (分辨率)： 过滤掉分辨率过低或过高的图像，确保图像在合适的尺寸范围内。
- Lighting (光照)： 评估图像的光照条件，去除过暗、过曝或光照不均的图像。
- Color Saturation (色彩饱和度)： 检查图像的色彩饱和度，去除颜色失真或过于平淡的图像。
- Sharpness (锐度)： 评估图像的清晰度，去除模糊或过度锐化的图像。
- Texture Complexity (纹理复杂度)： 分析图像的纹理细节，可能用于筛选出具有足够视觉信息量的图像。
- Energy (能量)： 可能指图像的整体信息量或细节丰富程度，用于去除信息量过低的图像。
- Compress Rate (压缩率)： 过滤掉过度压缩或压缩伪影明显的图像，保证图像质量。
- JPEG Entropy (JPEG 熵)： 衡量图像信息的随机性或复杂性，可用于识别低质量或异常图像。
- SigLIP： 这可能是一个基于 Sigmoid 函数的 CLIP 模型（或其变体），用于评估图像与文本的对齐质量或图像的语义丰富度，从而进行初步筛选。
协作关系： 原始数据经过这些低层过滤标准逐一检查，只有通过所有检查的数据才能进入下一个阶段。
输出： Filtered Corpus (已过滤语料库)，一个初步筛选过、基础质量较好的数据集。

(B) Deduplication (去重)

用意： 这个阶段旨在识别并移除已过滤语料库中的重复或近似重复的数据，确保数据的独特性和多样性，避免模型重复学习相同内容。
关键模块与功能：
- Perceptual Hash (感知哈希)： 使用感知哈希算法生成图像的“指纹”，即使图像经过轻微修改（如大小调整、格式转换等），其感知哈希值也会非常接近。
协作关系： 通过比较图像的感知哈希值，系统能够识别并移除近似重复项（Remove near-duplicates）。
输出： Unique Corpus (独特语料库)，一个去除了重复数据的、独特的图像集。

用意： 这个阶段旨在为独特语料库中的图像生成高质量的文本描述和元数据，为后续的文本到图像生成和图像编辑任务提供丰富的语义条件。
关键模块与功能：
- Qwen3-VL-32B-Instruct： 这是一个大型视觉语言模型（Visual Language Model, VLM），如论文中提到的 Qwen3-VL-32B-Instruct，用于对图像进行理解和描述。
- Short Caption (短描述)： 生成简洁、概括性的图像描述。
- Long Caption (长描述)： 生成详细、富有信息量的图像描述，包含更多细节和上下文信息。
- Tagging (标签)： 自动为图像生成关键词或标签，用于更精细的分类和检索。
- Category (类别)： 对图像内容进行分类，如“自然”、“人物”、“设计”等，便于数据组织和模型针对性训练。
协作关系： VLM 模型作为核心，对每张图像进行深度理解，并生成多种粒度的文本描述和元数据。
输出： 带有丰富文本标注和元数据的独特语料库。

(D) Quality Filter (质量过滤)

用意： 这是数据处理的最后阶段，旨在从带有标注的独特语料库中筛选出最高质量的数据，确保最终训练数据在美学、内容安全和完整性方面都符合高标准。
关键模块与功能：
- Aesthetic Filter (美学过滤器)： 评估图像的美学质量，例如构图、色彩平衡、艺术性等，去除美学评分较低的图像。
- Abnormal-Element Filter (异常元素过滤器)： 检测并过滤掉图像中包含异常、不协调或不完整元素的图像。
- Watermark (水印)： 检测并移除或过滤掉含有水印的图像，确保图像的纯净性。
- Blur / Mosaic (模糊/马赛克)： 进一步检测图像的模糊程度或是否存在马赛克等低质量特征，去除此类图像。
- NSFW / … (不适宜内容)： 识别并过滤掉不安全、不适宜（Not Safe For Work）或违反道德规范的内容。
协作关系： 图像及其生成的文本描述经过多维度质量检查，只有通过所有检查的数据才能进入最终的训练集。
输出： Training Data (训练数据)，一个经过严格筛选和精炼的高质量、多样化、语义丰富的图像-文本对数据集，可以直接用于 SenseNova-U1 模型的训练。

总结：

图9展示的生成语料库处理流程是一个多阶段、精细化的过程，它从原始数据开始，逐步通过低层质量控制、去重、高级语义标注和最终质量审查，确保为 SenseNova-U1 模型提供最优质的训练数据。这种严谨的数据管道是实现模型在文本到图像生成和图像编辑任务中达到高保真度、语义一致性以及多样性的关键。