这份文档由厦门大学洪青阳于 2026 年 5 月撰写，围绕语音大模型从语音识别到全双工语音交互展开，从背景、技术、模型、交互到应用系统梳理行业进展，核心总结如下：

一、背景：语种、方言与交互范式演进

语言基础：全球现存 7168 种语言、142 个语系；汉语分十大方言，方言识别是语音模型重要方向。

交互痛点：传统级联式对话模型（ASR→LLM→TTS）存在信息丢失、错误累积、高延迟三大问题。

范式升级：从单工、半双工迈向全双工语音交互，支持双方同时收发数据；GPT-4o、豆包等推动实时交互，响应接近人类水平。

二、语音识别大模型：从传统到 LLM 融合

技术演进：历经模板匹配、统计模型、深度学习、大模型四个阶段；主流架构为Transformer、Conformer。

核心技术：

语音识别基于贝叶斯准则，依赖声学模型与语言模型；

BBPE 编码解决多语种 / 方言建模，实现跨语言统一表征。

主流开源模型：

Whisper：68 万小时数据训练，支持多语种识别；

FireRedASR：中文工业级模型，中文识别精度领先；

Qwen3-ASR：支持 30 语种、22 种方言，适配流式场景。

三、端到端对话模型：Speech Tokenizer+LLM + 解码器

核心架构：语音 Tokenizer（编码器）→LLM→语音 Detokenizer（解码器），直接处理语音信号，保留声学与语义信息。

语音 Tokenizer 分类：

• 语义 Token：捕捉内容信息，代表模型 Whisper、HuBERT；

• 声学 Token：保留语气、情感等信息，用RVQ/FSQ 量化，代表模型 SoundStream、EnCodec；

• 统一 Token：兼顾语义与声学，代表模型 SpeechTokenizer、X-Codec。

关键生成技术：Flow Matching（流匹配），将 LLM 输出 Token 转为梅尔谱，再经声码器生成语音，提升生成自然度。

主流端到端模型：Moshi、GLM-4-Voice、Qwen-Omni、Kimi-Audio、Step-Audio2，均实现低延迟语音对话，支持情感、方言等副语言理解。

四、全双工语音交互：打断、判停与实时交互

核心挑战：用户打断、语义判停，需准确识别用户是否说完、支持随时插话。

实现方案：

• 声学 VAD：基于声音活动检测，延迟高、易误判；

• 语义 VAD：EasyTurn、Phoenix-VAD、SoulX-Duplug，融合声学与语义，判断对话状态（完整 / 不完整 / 回应 / 等待）；

• 端到端建模：Moshi、Freeze-Omni、Covo-Audio 等，直接建模用户与模型双音频流，支持实时打断。

延迟优化：级联式延迟 840-3550ms；端到端模型可降至 200ms 内，接近人类交互速度。

五、落地应用与未来展望

落地场景：涵盖语音转写、多语种翻译、实时语音对话，已有声云转写、天聪语音翻译、StepAudio 交互系统等产品。

未来方向：聚焦全双工端到端对话、语音思维链（CoT）、Voice Agent，推动语音大模型更自然、智能地服务人机交互。

点击文后阅读原文，可获得下载资料的方法。

欢迎加入智能交通技术群！扫码进入。

点击文后阅读原文，可获得下载资料的方法。

联系方式：微信号18515441838