这项由香港中文大学（深圳）与字节跳动联合完成的研究，于2026年6月30日以预印本形式发布，论文编号为arXiv:2606.31247。有兴趣深入了解技术细节的读者，可以通过该编号在arXiv平台上查阅完整论文。

**语音大模型为什么总是"固定频率"在说话？**

在手机里跟语音助手聊天，或者用AI把文字转成语音的时候，背后其实有一台机器在以固定的节拍处理声音——就像节拍器一样，不管你说的是"嗯……"还是"量子纠缠"，它都用同样的节拍去切分和处理每一段声音。

现有的语音大模型（Spoken Language Models，简称SLM，就是能同时听懂语音、用语音回答的AI系统）普遍采用固定帧率的方式处理声音。所谓帧率，就像电影每秒播放多少张画面一样，语音帧率描述的是每秒钟用多少个"声音片段"来表示一句话。常见的系统要么用25赫兹（每秒25帧），要么用12.5赫兹（每秒12.5帧）。这个设定看起来没什么问题，但仔细一想就会发现它的浪费之处：你在说"嗯……"或者停顿的时候，系统仍在老老实实地以固定频率处理这些几乎没有信息量的片段，白白消耗计算资源。更麻烦的是，固定帧率还剥夺了用户按需"调速"的权利——如果你的设备性能有限，或者网络不好，系统没有任何办法帮你在速度和质量之间做个权衡。

香港中文大学（深圳）和字节跳动的研究团队针对这个问题，做出了一项名为FlexiSLM（全称Flexible Spoken Language Model，即"灵活语音语言模型"）的系统。这是业界首个同时支持动态帧率和可控帧率的语音大模型，在听音和说话两端都做到了"按需调速"。

---

一、节拍器与即兴演奏家：固定帧率与动态帧率的根本区别

要理解这项研究解决了什么问题，可以拿乐队打比方。传统的固定帧率语音模型，就像一个永远以固定节奏敲鼓的鼓手，不管前面的吉他手弹得多慢或多快，鼓点始终如一。这种方式简单可靠，但浪费资源——当舞台上没有人演奏的时候，鼓手依然在机械地打着节拍。

动态帧率则更像一位经验丰富的爵士乐鼓手，能够感知音乐的节奏变化，在安静的时候轻轻扫弦，在激烈的段落才全力敲击。这种"随内容调整节拍"的方式，正是FlexiSLM的核心理念。

这套理念的技术基础来自一个叫做FlexiCodec的语音编码器（由同一团队此前开发）。FlexiCodec的核心思路是：相邻的两段声音，如果内容非常相近，就可以合并成一个更长的片段来处理，从而减少需要处理的帧数。判断要不要合并的标准，是用一种叫做"余弦相似度"的数学方法计算相邻片段之间的相似程度——如果相似度高于某个阈值，就合并；如果相差较大（比如从"安静"突然变成"说话"），就保留独立处理。

FlexiCodec在12.5赫兹的基础帧率下，通过这种合并机制，平均可以把实际处理的帧率降低到6.25赫兹，也就是减少了一半的计算量，同时还能保持不错的语音质量。不过，这个技术此前只在0.3B参数规模的文字转语音小系统里验证过，从未被用于真正的端到端语音大模型。FlexiSLM的工作，正是把这套机制搬进了更复杂、也更实用的语音大模型体系里。

---

二、FlexiSLM的结构：像"思考者"和"说话者"搭档工作

FlexiSLM的整体架构可以理解为一对搭档：一个负责"理解和思考"（Thinker），另一个负责"把想说的话转化成声音"（Talker）。两者之间协作完成从听声音到输出语音的全过程。

负责理解的那一端叫做音频编码器，它采用了来自Qwen2.5-Omni的预训练模块，能把原始声音波形转换成每秒25帧的连续语音特征序列，类似于把声音"翻译"成计算机能理解的数字信号。这25赫兹的信号随后会进入一个叫做帧合并模块的关键组件，通过计算相邻帧的相似度来决定哪些帧可以合并，最终把输入的语音压缩到不超过12.5赫兹的动态帧率序列，再送入核心的大语言模型主干进行思考和推理。

大语言模型主干（也就是"思考者"）的基础是Qwen2.5-7B-Instruct，这个模型同样被Qwen2.5-Omni和Kimi-Audio用来初始化它们的主干，算是业界主流的选择。有趣的是，FlexiSLM的思考者在处理语音时，并不是简单地读完输入就停下来，而是贯穿整个用户提问到助手回答的全过程，始终在"思考"，这与Qwen2.5-Omni在文字生成结束后就停止思考的方式有所不同。

负责输出语音的"说话者"（Talker Transformer）是一个专门设计的Transformer模块，它接收思考者最后一层的隐藏状态作为输入，同时还接收目标帧率信号和之前已经生成的语音令牌，然后输出两条并行的数据流：一条是FlexiCodec的语义令牌（也就是离散化的声音片段代号），另一条是每个令牌对应的帧长度属性。这两条数据流配合起来，就能支持动态帧率的语音输出。

为了防止说话者"抢在大脑前面说话"——也就是语音输出跑到对应文字内容之前——系统设计了一个5帧的延迟机制，让语音流稍微落后于文字流，确保语音和文字在时间上的对应关系是正确的。帧长度令牌还会再额外延迟一步，让模型能先知道这个位置的语音内容是什么，再决定它应该持续多长时间。

还有一个值得关注的细节：在标准的"思考者到说话者"单向信息流之外，FlexiSLM还设计了一条可选的反向通道，叫做"说话者到思考者连接"。这条通道会把说话者已经生成的语音令牌信息反馈回思考者，让思考者在后续的推理中能够感知到"我已经说了什么"，类似于一边讲话一边听自己说的内容，从而更好地保持语音输出的连贯性。

最终，说话者输出的语音令牌会进入一个预训练好的流匹配（Flow Matching）音频解码器，把离散的令牌转化为梅尔频谱图，再经过Vocos声码器转换为24千赫兹的真实语音波形。

---

三、让帧率听从命令：可控帧率的实现方式

FlexiSLM最吸引眼球的能力，是用户可以直接告诉模型"我希望你以6.25赫兹的平均帧率输出语音"，模型就会老老实实地按这个节奏工作，而不需要重新训练。

要做到这一点，研究团队先考虑了一种直觉上更简单的方案：通过调整合并阈值来间接控制帧率。阈值高，合并少，帧率高；阈值低，合并多，帧率低。这种方法确实有效，但它有一个很麻烦的问题：同一个阈值，面对不同的句子会产生差异极大的帧率结果。例如，把阈值设成0.90，理论上应该输出大约8赫兹，但实际结果在不同句子上的变化范围是3.91到10.74赫兹，标准差高达0.70，几乎没有什么预测性可言。

于是研究团队提出了直接帧率控制的方案。训练阶段，每一条语音样本处理时，系统会随机采样一个合并阈值，计算出该样本实际得到的平均帧率，然后把这个帧率数值作为条件信号喂给说话者。用一个通俗的类比来说，这就好比不再告诉厨师"把火调到中档"（间接控制），而是直接说"我要你做出七分熟的牛排"（直接目标），然后让厨师自己判断应该开多大火、烤多长时间。

推理时，用户只需要指定目标帧率，系统就会自动调整内部的合并强度来匹配这个目标。为了能够平滑地覆盖4赫兹到12.5赫兹这个范围内的任意帧率，而不是只支持几个固定档位，研究团队用了一种叫做正弦位置编码的方式来把帧率数值编码成连续的向量信号，输入给说话者的每一个时间步位置。

实验数据验证了这种直接控制方式的精准度：目标6.25赫兹时，实际输出帧率在不同测试集上的均值都在6.24到6.25赫兹之间，标准差仅为0.03到0.06，几乎没有偏差；目标4.0赫兹时，实际输出同样高度准确。相比之下，间接的阈值控制方法在相同测试集上的帧率变化范围可以超过6赫兹，完全无法预期。

---

四、训练的三个阶段：从"学会说话"到"说得更好"

FlexiSLM的训练过程分成三个依次递进的阶段，就像培训一位同时担任翻译和播音员的工作人员：先让他学会播音，再让他学会翻译，最后把两项技能打通融合。

第一阶段叫做"说话者预训练"。在这个阶段，大语言模型主干被冻结不动，只训练说话者模块，训练数据是大量英文文字转语音数据（来自Emilia和多语种LibriSpeech数据集，共约10万小时）。目的是让说话者先学会如何把语义令牌转化成高质量的语音输出，不需要理解语言内容，只需要"会说"就行。说话者到思考者的反向连接在这个阶段是关闭的。

第二阶段叫做"多任务LoRA微调"。LoRA是一种轻量级的模型微调技术，可以在保留原有模型参数的基础上，用少量额外参数来适应新任务，类似于给已经训练好的大脑"加装补丁"而不是重写整个大脑。这个阶段打开了输入端的帧合并模块和大语言模型主干，在混合任务数据上同时训练，数据包括语音对话、文字转语音、语音识别和音频理解等多种任务。

这个阶段最重要的数据来源是研究团队专门构建的FlexiSLM-Data数据集，包含140万条语音对话样本，共9900小时的语音。构建过程是这样的：研究团队从多个公开的问答、指令跟随和对话数据集中收集了文字提问，用更大的Qwen3-Omni（30B参数）生成文字回答，再用Qwen3-TTS把回答合成为语音，用Fish-Audio TTS合成提问语音，最后通过格式过滤、准确性过滤和语音识别质量过滤，筛掉格式异常、内容错误或语音质量太差的样本，最终得到140万条高质量样本。

第三阶段叫做"全参数微调"。这个阶段把第二阶段的LoRA补丁合并回原始参数，对整个模型进行全参数训练，同时开启并训练说话者到思考者的反向连接。这一阶段的目标是进一步提升12.5赫兹最高质量档位下的性能，同时增强低帧率下的鲁棒性。整个训练在24块A100 80G GPU上完成。

训练损失由三部分组成：文字令牌的预测损失、语音令牌的预测损失，以及帧长度令牌的预测损失，三者加权求和，其中文字损失的权重是另外两项的两倍。

---

五、和同类模型的比较：数字背后的实力展示

在Kimi-Audio-Evalkit这套评测体系上，FlexiSLM-7B与Qwen2.5-Omni-7B、Kimi-Audio-7B、Mimo-Audio-7B等主流7B参数语音大模型进行了正面比较。评测包括语音问答（OpenAudioBench和VoiceBench两个基准，覆盖知识问答、指令跟随、安全性等多个维度）、语音识别（LibriSpeech测试集），以及音频理解任务。评测同时测试了"语音输入文字输出（s2t）"和"语音输入语音输出（s2s）"两种模式。

在最高质量的12.5/12.5赫兹配置下（输入输出都用12.5赫兹），FlexiSLM-Stage3的综合得分是72.4/67.2（s2t/s2s，满分100），而同为7B参数的Qwen2.5-Omni-7B是66.7/63.3，Kimi-Audio-7B是69.7/57.2，Mimo-Audio-7B是70.6/59.0。FlexiSLM的语音回答质量明显领先，在语音对话这个最贴近实用场景的任务上优势尤其明显。

把输出帧率降低到6.25赫兹之后，FlexiSLM的综合得分几乎没有变化，维持在72.3/66.2，说话者输出的语音令牌数量减少了一半，但质量损失极小。进一步把输入和输出都降到6.25赫兹，得分是70.2/64.3，在语音对话这个维度上依然超过所有7B基线模型，在语音转文字维度也与最强基线持平。这直接证明了研究团队的核心主张：动态帧率语音大模型可以在更低的计算开销下，达到甚至超过固定帧率模型的表现。

继续把帧率压低到5.0/5.0赫兹，综合得分降到69.0/60.4；压到4.0/4.0赫兹则是67.2/56.5。LibriSpeech的语音识别错误率（WER）也随之上升：在6.25赫兹下是2.55/6.37（干净测试集/嘈杂测试集），5.0赫兹下是3.34/7.85，4.0赫兹下是4.47/9.53。可见在6.25赫兹之下，质量衰减变得更加明显，低于6.25赫兹的鲁棒性改进是未来工作的重要方向。

在推理速度方面，实际测量结果同样印证了研究价值。实时因子（RTF，数值越小说明越快，等于1意味着处理速度等于音频时长，小于1意味着比实时更快）的测量在单块A100 GPU上进行，批大小为1。FlexiSLM在12.5/12.5赫兹配置下的RTF是1.17，而Qwen2.5-Omni-7B是1.57，FlexiSLM已经快了34%。把输出帧率降到6.25赫兹，FlexiSLM的RTF降到0.59，比实时速度快了将近一倍，相比Qwen2.5-Omni快了约2.7倍。

从计算量的角度看，12.5赫兹配置下FlexiSLM需要约4.57 TFLOPs，输出降到6.25赫兹后降到3.41 TFLOPs，输入输出都降到6.25赫兹时进一步降到2.73 TFLOPs。输出帧率是推理速度最主要的决定因素，因为自回归的语音生成（一帧一帧地输出）占了推理总时间的大头；而输入帧率的改变对速度影响相对较小，因为输入是并行处理的。

在语音生成质量方面，研究团队还用LibriSpeech-PC数据集测试了文字转语音的识别错误率。FlexiSLM在12.5赫兹下达到2.14%，优于Qwen2.5-Omni的3.18%和Qwen3-Omni的3.34%。在对话回答的语音中，FlexiSLM在12.5赫兹下的识别错误率是4.52%，同样优于Qwen2.5-Omni（6.33%）。这些数字说明FlexiSLM输出的语音不仅速度快，而且发音清晰度也更高。

在音频理解任务上，FlexiSLM也表现出色。在LLaSO-Eval基准上覆盖情感识别、口音识别、人声分类、乐器识别和性别分类等任务，FlexiSLM在12.5赫兹下平均准确率达到65.8%，超过Gemini 2.5-Pro的48.3%和LLaSO-3B的58.3%。值得注意的是，音频理解类任务在帧率降低时表现非常稳定：从12.5赫兹一路压到4.0赫兹，准确率几乎没有变化，始终维持在63%到66%之间。这是因为情感、口音这类整体性特征不依赖精细的局部音素细节，全局声学统计信息在合并后仍然保留。

---

六、消融实验：拆解每个设计决策的贡献

研究团队还系统地测试了FlexiSLM各个设计选择的必要性，用更小规模的训练（8块GPU，训练到第二阶段结束）做了对比实验，所有变体都在6.25/6.25赫兹下评估。

如果把动态帧合并换成均匀合并（每两帧固定合并成一帧，而不是根据相似度判断），结果是语音对话综合得分从63.0下降到61.0，文字转语音的识别错误率从3.11%上升到4.95%，涨幅约59%。这说明动态合并确实比均匀合并保留了更多对输出语音质量有意义的信息，不是随便两帧凑一起就够的。

类似地，如果把输入端的动态合并也换成均匀合并，语音转文字的综合得分从68.7下降到67.5，LibriSpeech困难测试集的识别错误率从7.20%上升到7.97%，而语音对话得分和简单测试集的识别率几乎不变。这说明动态输入合并主要对需要精细语音理解的任务有帮助，比如难以识别的语音片段和复杂的指令跟随，而对整体对话质量的影响相对较小。

把直接帧率控制换回间接的阈值控制，语音对话和文字转语音的质量都有所下降，而语音转文字和语音识别几乎不受影响。研究团队认为，阈值控制的模糊性让说话者在训练过程中面临更复杂的学习任务，需要从一个不够精确的条件信号中猜测目标帧率，从而减慢了收敛速度，在有限训练预算下导致生成质量较差。

研究团队还测试了不同编码器和主干的选择。换用SenseVoice编码器，语音问答稍有下降但语音识别有所提升；换用专门的ASR编码器（Qwen-ASR），语音识别大幅提升但语音问答明显下降——这与直觉一致，ASR编码器善于识别文字内容，但理解语义层面的能力较弱。换用Qwen2.5-Omni的预训练主干，语音问答下降但语音识别提升，说明从文字LLM出发的主干拥有更强的知识和推理先验，对语音问答这类任务帮助更大。

最后，如果把输入端帧合并模块中的Transformer去掉，直接把合并后的特征送入大语言模型，语音识别错误率急剧恶化（干净集从2.92%涨到6.45%，困难集从7.20%涨到12.33%），语音问答也明显下降。这个实验说明，那个用于重新对齐动态合并后特征的轻量Transformer是不可或缺的，它的作用是把长度不一、边界不规则的合并特征"整理"成大语言模型能够顺畅消化的表示形式。

---

说到底，FlexiSLM做的事情，是给语音大模型装上了一个"变速齿轮"。以前的系统只能全速运行，就像一辆只有一个挡位的汽车，不管是高速公路还是拥堵市区，都得用同一个速度；FlexiSLM则让模型能够根据实际需要灵活切换速度，在性能充裕时全速运行，在资源有限时降速节能，而且整个过程不需要换车，一个模型就能搞定。

这对普通用户意味着什么呢？或许在不远的将来，当你用一个AI语音助手时，它可以在你需要最快响应的场景下以低质量快速给你答案，在你有充足等待时间时切换到高质量模式——而这个切换只需要一个参数的改变，不需要部署两套不同的系统。对于计算资源有限的边缘设备（比如手机或智能音箱）来说，这种灵活性的价值更为显著。

当然，研究团队也坦诚地指出了现阶段的不足。FlexiSLM目前还不支持流式输出，意思是它需要等模型把整个回答生成完之后再播放，而不是像人类对话那样边想边说；这对于追求实时交互体验的场景是个明显的局限。此外，模型还没有经过RLHF或DPO这类专门的对齐训练（这是让大模型更"说人话"、更有帮助的常用技术），训练数据也集中在单轮对话，对多轮对话、深度推理和复杂指令的支持还有提升空间。

如果对这个研究感兴趣，希望了解更多技术细节，可以通过arXiv:2606.31247找到完整论文，或者访问该团队在GitHub上的开源代码库。

---

Q&A

Q1：FlexiSLM的动态帧率和普通语音模型的固定帧率有什么本质区别？

A：普通语音模型以固定节拍处理每一段声音，不管内容是否有信息量都一视同仁；FlexiSLM则会判断相邻声音片段是否相似，把内容相近的片段合并处理，只在内容变化明显时才保留细粒度处理。这样能减少计算浪费，平均帧率可以从12.5赫兹降到6.25赫兹，推理速度大约快一倍。

Q2：FlexiSLM把帧率压得很低，语音质量会不会变差到听不清？

A：在6.25赫兹下，语音质量损失很小，综合评分只下降约1分（满分100），语音识别错误率仍在可接受范围（约2.55%/6.37%）。压到5.0赫兹时损失开始明显增加，4.0赫兹下会有较大质量下降。因此6.25赫兹是当前兼顾速度和质量的比较合理的平衡点。

Q3：FlexiSLM的帧率控制和其他语音大模型相比有什么优势？

A：现有的语音大模型（如Qwen2.5-Omni、Kimi-Audio）都是固定帧率，无法在推理时调整。FlexiSLM是目前第一个支持直接指定目标帧率的语音大模型，用户只需告诉模型"我要6.25赫兹"，模型就能精确执行，误差小于0.1赫兹，不需要重新训练，也不需要部署多套系统。