开源版 GPT-4o 语音助手来了！Hugging Face 的 speech-to-speech 项目深度解析

一、它解决了什么问题？

2024 年 GPT-4o 发布时，最惊艳的能力之一就是"语音对话"——你说话，它几乎实时地用语音回答你，还能听懂情绪、随时打断。这种体验刷新了大家对语音助手的想象，但 GPT-4o 是闭源的，背后的模型和实现细节都被封装在 OpenAI 的黑箱里，普通开发者既用不起，也看不到。

Hugging Face 的 speech-to-speech 项目，正是奔着"把这件事开源、开放、模块化"这个目标去的。它想解决的核心问题是：

• 语音对话助手长期被闭源大厂垄断，开发者缺少一套完全开放、可自由替换模型的语音交互方案；
• 端到端语音大模型训练成本极高，普通团队难以复现类似 GPT-4o 的能力；
• 不同场景（本地跑、服务器跑、多语言）需要灵活切换组件，而市面上的方案往往是一整套写死的黑盒。

于是，speech-to-speech 用一种更"接地气"的思路——级联管道（cascaded pipeline），把语音对话拆成几个独立环节，每个环节都可以自由替换成 Hugging Face 生态里现成的开源模型，从而用"搭积木"的方式实现一个可以说话、能听懂、能思考、能开口回答的语音助手。

二、它是什么？

speech-to-speech 官方的定位是：“An effort for an open-sourced and modular GPT-4o”——一次打造开源、模块化 GPT-4o 的尝试。

它的整体架构由四个环节串联而成：

1. VAD（语音活动检测）：判断你什么时候开始说话、什么时候说完了，目前采用 Silero VAD v5。
2. STT（语音转文字）：把你说的话转成文字，支持 Whisper 系列模型（包括 whisper-large-v3、distil-large-v3）、Lightning Whisper MLX、面向苹果芯片优化的 MLX Audio Whisper、低延迟的 Parakeet TDT，以及阿里的 Paraformer（FunASR）。
3. LLM（语言模型）：负责理解和生成回复内容，可以是 Hugging Face Hub 上任意一个指令微调模型，也支持 mlx-lm（苹果芯片加速）或直接调用 OpenAI API。
4. TTS（文字转语音）：把回复的文字念出来，支持 MeloTTS、ChatTTS、来自 Kyutai Labs、可做声音克隆的流式 Pocket TTS，以及针对苹果芯片优化的 Kokoro-82M。

这种"每一环都可插拔"的设计，正是这个项目最大的亮点：你完全可以按自己的硬件条件、语言需求、延迟要求，自由组合出一套专属的语音助手管道，而不用被某一家的模型或某一种技术方案绑死。

项目目前已经支持英语、法语、西班牙语、中文、日语、韩语六种语言的对话，既可以固定用某一种语言交流，也可以开启"自动语言检测"模式，让助手根据你说话的语言自动切换。

三、怎么用？

1. 克隆代码 & 安装依赖

项目使用 uv 作为包管理工具，安装非常简单：

git clone https://github.com/huggingface/speech-to-speech.git
cd speech-to-speech
uv sync

uv sync 会以可编辑模式安装 speech_to_speech 包，同时让 speech-to-speech 这个命令行工具全局可用。项目用一份 pyproject.toml 通过平台标记自动区分 macOS 和其他系统的依赖，不用再分别维护多份 requirements 文件。

如果你打算用 Melo TTS，装完后还需要额外跑一次：

uv run python -m unidic download

2. 三种运行方式

① 服务器 / 客户端模式（适合有 GPU 服务器、想用手机或笔记本远程说话的场景）：

# 服务器端
speech-to-speech --recv_host 0.0.0.0 --send_host 0.0.0.0

# 客户端（本地跑麦克风采集和播放）
python scripts/listen_and_play.py --host <服务器 IP>

② WebSocket 模式（适合要接入网页或自建客户端）：

speech-to-speech --mode websocket --ws_host 0.0.0.0 --ws_port 8765

客户端只需要向 ws://<服务器IP>:8765 发送 16kHz、int16、单声道的音频字节流，就能收到生成的语音回复。

③ 本地模式（特别为 Mac / Apple Silicon 优化）：

speech-to-speech --local_mac_optimal_settings

这一条命令会自动帮你配置好一套"Mac 最优解"：用 MPS 加速，STT 用轻量流式的 Parakeet TDT，LLM 用 mlx-lm，TTS 用 Qwen3-TTS。也可以手动指定想用的语言模型，比如：

speech-to-speech \
    --local_mac_optimal_settings \
    --lm_model_name mlx-community/Qwen3-4B-Instruct-2507-bf16

3. 想用 Docker 部署？

如果你有 NVIDIA 显卡，装好 NVIDIA Container Toolkit 后，一行命令即可起服务：

docker compose up

4. 多语言切换怎么配？

• 固定用中文对话：加上 --language zh；
• 让系统自动识别你说的语言：加上 --language auto。

例如在 Mac 上跑一个能自动识别语言、并用 Qwen3 模型作为大脑的语音助手：

speech-to-speech \
    --local_mac_optimal_settings \
    --stt whisper-mlx \
    --stt_model_name large-v3 \
    --language auto \
    --lm_model_name mlx-community/Qwen3-4B-Instruct-2507-bf16

5. 想要声音克隆效果？

项目集成了 Kyutai Labs 的 Pocket TTS，支持流式生成和声音克隆：

speech-to-speech \
    --tts pocket \
    --pocket_tts_voice jean \
    --pocket_tts_device cpu

内置了 jean、marius、fantine 等多个预设声音，也可以传入自定义音色文件。

几乎所有的模块参数（模型名称、精度、设备、生成参数等）都可以通过命令行灵活调整，比如想换个 STT 生成长度限制，直接加 --stt_gen_max_new_tokens 128 即可，非常适合喜欢"折腾"配置的开发者。

四、总结

speech-to-speech 这个项目最打动人的地方，不是它做到了多惊艳的效果，而是它选择了一条务实又开放的路：不追求端到端一步到位的语音大模型，而是用级联管道把 VAD、STT、LLM、TTS 拆开，让每一环都可以自由替换成开源社区最新、最合适的模型。

它的意义在于：

• 让"打造一个能听会说的语音助手"这件事，从大厂专属的黑箱技术，变成了每个开发者都能上手拼装的开源方案；
• 通过对 Apple Silicon（MLX 生态）的持续优化，让个人 Mac 电脑也能跑起一套低延迟的本地语音助手，不必依赖云端和昂贵 GPU；
• 支持中文在内的六种语言，并且提供了自动语言检测、声音克隆等进阶功能，适配面相当广。

如果你对语音交互、AI 硬件项目、或者想搭一个"专属语音管家"感兴趣，这个项目非常值得动手试一试——克隆仓库、跑一条命令，你就能在自己的电脑上体验一把"平民版 GPT-4o"。

项目地址：https://github.com/huggingface/speech-to-speech