大语言模型（LLMs）的核心优势在于处理离散文本序列，但现实世界数据（图像、音频、视频等）本质上是连续信号。

多模态大模型为何需要离散标记化？

大语言模型（LLMs）的核心优势在于处理离散文本序列，但现实世界数据（图像、音频、视频等）本质上是连续信号。直接将这些数据输入LLMs会面临两大挑战：

1. 模态鸿沟：连续信号与LLMs的离散token空间不兼容，导致跨模态对齐困难。
2. 计算瓶颈：高维原始数据（如4K视频）直接输入LLMs将引发灾难性的计算开销。

离散标记化（Discrete Tokenization） 成为关键解决方案：通过向量量化（VQ） 技术将连续数据压缩为紧凑的离散token序列，既保留语义信息，又无缝适配LLMs的架构。

新方法：八大量化技术构建统一token空间

论文提出首个系统化VQ技术分类框架，涵盖8类核心方法，突破传统量化瓶颈：

1. 向量量化（VQ）

• 原理：将连续向量映射到有限码本（Codebook）的最近邻码字。
• 创新点：提出EMA码本更新与码本重置策略，解决“码本坍塌”（90%码字未被使用）问题。

2. 残差向量量化（RVQ）

• 原理：多阶段量化残差信号（如图3），逐步逼近原始数据。
• 优势：MAGVIT-v2采用RVQ，在视频生成任务中**码本利用率达99%**，比传统VQ提升40%。

3. 免查找量化技术

• 有限标量量化（FSQ）：将向量各维度独立量化为整数（如{-1,0,1}），无需码本查找。
• 查找自由量化（LFQ）：二值化量化（{-1,1}），直接生成token索引。
• 突破：LFQ在ImageNet生成任务中推理速度提升3倍，且无码本坍塌问题。

FSQ/LFQ/BSQ对比

FSQ/LFQ/BSQ对比

4. 其他关键技术

• 乘积量化（PQ）：高维空间分解为子空间独立量化，压缩率提升10倍。
• 图锚点标记化（GART）：用锚节点+关系类型替代传统码本，**知识图谱任务参数量减少70%**。

实验结果

论文通过100+篇文献实验验证离散标记化的有效性，关键结果如下：

1. 图像生成：LFQ碾压传统VQ

2. 语音处理：离散token提升鲁棒性

• VALL-E [192]：基于离散token的TTS模型，在零样本语音合成中MOS评分达4.28（人类评分4.5）。
• JTFS LM [230]：离散token在语音识别任务中WER降低15%**，优于连续特征。

3. 多模态LLMs：统一token空间成关键

• Chameleon [183]：采用VQ统一图文token，实现图文交错生成。
• VideoPoet [87]：结合LFQ（图像/视频）+RVQ（音频），在分钟级视频生成中FID达18.7。

4. 推荐系统：RVQ压缩效率显著

• VQ-Rec ：用RVQ压缩用户行为序列，存储空间减少60%，召回率提升8%。

总结

本文首次系统梳理了多模态LLMs的离散标记化技术：

1. 技术价值：通过VQ/RVQ/FSQ等8类方法，解决模态鸿沟与计算瓶颈。
2. 性能突破：LFQ、MAGVIT-v2等模型在图像/视频生成、语音合成等任务中达到SOTA。
3. 未来方向：动态量化、跨模态统一token空间、可解释码本设计。

 如何学习大模型？

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

😝有需要的小伙伴，可以扫描下方二v码免费领取【保证100%免费】🆓