手把手教学：用GLM-TTS做自己的专属语音包

一人一猫浪迹天涯

546人浏览 · 2026-02-01 00:07:11

一人一猫浪迹天涯 · 2026-02-01 00:07:11 发布

手把手教学：用GLM-TTS做自己的专属语音包

你有没有想过，只用一段3秒的录音，就能让AI完全复刻你的声音？不是“像”，而是真正听得出是你——语气、停顿、甚至说话时那一丝微小的鼻音。这不是科幻电影里的设定，而是今天我们要实操落地的能力。

GLM-TTS，由智谱AI开源的工业级文本转语音系统，把过去需要数小时录音+专业调优的语音克隆，压缩成一次点击、几十秒等待的过程。它不依赖云端API，不上传隐私音频，所有运算在本地完成；它支持方言克隆、能精准读出“长”字在“长城”和“生长”中的不同发音，还能让生成的语音带上喜悦、沉稳或略带调侃的情绪。

更重要的是，它已经为你准备好了一套开箱即用的Web界面——由科哥深度二次开发，界面清晰、操作直觉、功能完整。本文不讲论文、不堆参数，只带你从零开始：上传一段自己的录音，输入几句话，5分钟内生成属于你自己的第一段专属语音。全程无需写代码，但关键步骤附可复制命令；不回避坑点，每一步都标注“为什么这样选”“什么情况要换方案”。

准备好了吗？我们这就开始。

1. 快速启动：三步打开你的语音工作室

别被“TTS”“音色克隆”这些词吓住。对绝大多数用户来说，使用GLM-TTS的第一步，就是打开一个网页。整个过程不到1分钟，且只需执行一次。

1.1 启动Web界面（两种方式，推荐第一种）

进入服务器终端，依次执行以下三条命令：

cd /root/GLM-TTS
source /opt/miniconda3/bin/activate torch29
bash start_app.sh

注意：torch29 是模型运行所依赖的特定Python环境。如果跳过激活这一步，你会看到报错“ModuleNotFoundError: No module named 'torch'”。这不是安装问题，而是环境没切对——就像想开一辆车，却忘了拧钥匙。

执行完成后，终端会输出类似这样的提示：

Running on local URL: http://localhost:7860

此时，在你本地电脑的浏览器中打开这个地址：http://localhost:7860
（如果你是远程连接服务器，需将 localhost 替换为服务器IP，例如 http://192.168.1.100:7860）

1.2 界面初识：四个核心区域一眼看懂

打开页面后，你会看到一个简洁的中文界面，主要分为四大功能区：

参考音频上传区：一个虚线框，写着“点击上传音频文件”——这是你声音的“样本卡”
参考文本输入框：标着“参考音频对应的文本”——告诉AI“这段录音里说的到底是什么”
合成文本输入框：标着“要合成的文本”——你真正想让AI用你的声音说出来的话
高级设置折叠面板：默认收起，点击“⚙ 高级设置”即可展开，用于精细调控音质与风格

整个界面没有多余按钮，没有二级菜单，所有操作路径都是线性的：上传 → 填写 → 调整 → 合成。这种设计不是简化，而是聚焦——它把“做语音包”这件事，还原成最本质的三个动作：给样本、给文字、按确定。

1.3 为什么不用自己装环境？镜像已为你预置好一切

你可能好奇：为什么不用pip install、不用配置CUDA、不用下载模型权重？因为当前使用的镜像，是一个完整的“运行时封装”：

Python环境（torch29）已预装PyTorch 2.9 + CUDA 12.1，兼容主流NVIDIA显卡
GLM-TTS主模型、声码器、音素转换器全部内置，存放在 /root/GLM-TTS/models/ 下
WebUI前端、后端服务、日志管理全部集成，start_app.sh 就是它的总开关

这意味着：你不需要理解“Flow匹配”“梅尔谱重建”这些底层概念，也能稳定产出高质量语音。技术的复杂性被封装进镜像，而留给你的，只有创造的自由。

2. 第一次合成：从录音到语音，手把手走通全流程

现在，我们来完成人生中第一个专属语音包。目标很具体：用你自己的声音，说出“今天天气真好，适合出门散步”。

2.1 录制并上传你的参考音频（决定音色上限的关键）

效果好不好，70%取决于这一步。请拿出手机，用自带录音机App，按以下要求录一段：

必须做到：

找一个安静房间，关掉空调、风扇等背景噪音源
对着手机正常语速、自然语气朗读：“你好，我是GLM-TTS的使用者”（约5秒）
保持距离手机15–20厘米，避免喷麦（“p”“t”音爆破声）
录完立刻保存为WAV格式（如手机不支持，MP3也可，但务必选最高比特率）

绝对避免：

从视频里截取音频（含背景音乐/混响）
使用耳机麦克风远距离录音（声音发空）
录“嗯…啊…”等无意义音节（模型无法对齐文本）

上传时，直接将该音频文件拖入界面中的“参考音频”虚线框，或点击后选择文件。上传成功后，界面上会显示文件名和时长（如 my_voice.wav (4.2s)）。

2.2 填写参考文本：帮AI“听懂”你说了什么

在“参考音频对应的文本”框中，一字不差地输入你刚刚朗读的内容：
你好，我是GLM-TTS的使用者

为什么这一步不能省？因为GLM-TTS采用“音色嵌入+文本对齐”双路学习。它不仅提取你声音的频谱特征，还要精确知道每个音节对应哪段波形。如果你填错或留空，模型只能靠语音识别（ASR）自动猜测，而ASR在安静环境下准确率约92%，一旦有轻微噪音，错误就会传导到后续所有合成中——比如把“使用者”听成“使用着”，导致音色建模偏差。

所以，请务必手动输入，哪怕多花10秒钟。

2.3 输入合成文本：你的第一句“专属语音”

在“要合成的文本”框中，输入你想生成的内容：
今天天气真好，适合出门散步。

注意几个细节：

中文标点用全角（，。！？），它们直接影响停顿节奏
单次建议不超过150字。超过后，模型会自动分段处理，但首尾衔接可能生硬
可混合英文，如 Hello，今天天气真好，系统能自然切换发音口型

2.4 关键参数设置：新手默认值就是最优解

点击“⚙ 高级设置”，你会看到四行参数。对第一次使用者，我们只调整一项：

参数	当前值	建议值	为什么
采样率	24000	24000	速度与质量平衡点，5秒音频生成仅需8秒
随机种子	42	42	固定值确保结果可复现，换其他数字会生成不同音色变体
启用 KV Cache	开启	开启	加速长文本推理，显存占用几乎不变
采样方法	ras	ras	“随机采样”，比greedy更自然，避免机械感

其他参数保持默认即可。不要急于尝试“32kHz”或“topk”，那些是为已有经验者优化最终成品准备的。

2.5 开始合成与结果验证：听，这就是你的声音

点击「开始合成」按钮。界面右上角会出现一个进度条，同时显示日志：
[INFO] Loading model... → [INFO] Extracting speaker embedding... → [INFO] Generating speech...

通常5–12秒后，进度条走完，页面自动播放生成的音频，并在下方显示播放控件。

此时，请做三件事：

戴上耳机，音量调至60%，专注听前3秒——是否一开口就“像你”？
注意“散步”二字的尾音是否自然上扬？这是情感控制的初步体现
检查是否有杂音、断句错误或吞字？如有，大概率是参考音频质量问题

生成的文件已自动保存在服务器的 @outputs/ 目录下，文件名类似 tts_20251220_143022.wav（时间戳命名）。你可以通过FTP或scp命令下载到本地，用任意播放器反复对比。

3. 进阶实战：批量生成语音包，打造你的声音资产库

单次合成解决的是“试试看”，而批量推理解决的是“真要用”。比如你要为公司产品制作100条客服应答语音，或为有声书录制50章引言，手动点100次显然不可行。GLM-TTS的批量功能，正是为此而生。

3.1 构建任务清单：用JSONL格式描述每一项工作

批量任务的本质，是一份“工作说明书”。它用纯文本定义：用哪段录音、读哪段文字、存成什么名字。

创建一个名为 tasks.jsonl 的文件（用记事本或VS Code），内容如下（每行一个独立JSON对象）：

{"prompt_text": "你好，我是GLM-TTS的使用者", "prompt_audio": "/root/GLM-TTS/examples/prompt/my_voice.wav", "input_text": "您好，欢迎致电XX科技，人工服务请按1。", "output_name": "welcome_greeting"}
{"prompt_text": "今天天气真好，适合出门散步", "prompt_audio": "/root/GLM-TTS/examples/prompt/my_voice.wav", "input_text": "您的订单已发货，预计明天送达。", "output_name": "order_shipped"}
{"prompt_text": "你好，我是GLM-TTS的使用者", "prompt_audio": "/root/GLM-TTS/examples/prompt/my_voice.wav", "input_text": "感谢您的耐心等待，我们将尽快为您处理。", "output_name": "thank_you_wait"}

关键规范：

文件扩展名必须是 .jsonl（不是 .json），即“JSON Lines”格式
每行严格一个JSON对象，行末不能有逗号
prompt_audio 路径必须是服务器上的绝对路径，且文件真实存在
output_name 可为空，系统会自动生成 output_0001.wav、output_0002.wav

3.2 上传与执行：一次点击，全自动流水线

切换到Web界面顶部的「批量推理」标签页
点击「上传 JSONL 文件」，选择你刚创建的 tasks.jsonl
在参数区确认：
- 采样率：仍选 24000（批量时速度优先）
- 随机种子：填 42（保证100条语音音色高度一致）
- 输出目录：保持默认 @outputs/batch
点击「开始批量合成」

界面会实时刷新日志，例如：
[BATCH] Processing task #1/3...
[BATCH] Task #1 completed: welcome_greeting.wav
[BATCH] Task #2 completed: order_shipped.wav

全部完成后，系统自动生成一个 batch_results_20251220_144500.zip 文件，点击即可下载。

3.3 批量结果管理：高效组织你的语音资产

解压ZIP包，你会得到一个干净的文件夹：

batch_results/
├── welcome_greeting.wav     # 问候语
├── order_shipped.wav        # 订单通知
└── thank_you_wait.wav       # 致谢语

每个文件名都与你在JSONL中指定的 output_name 一致。这种命名方式，让你无需打开音频就能知道用途，极大提升后期剪辑、入库、调用的效率。

实战提示：建议建立标准目录结构，例如
voice_assets/
├── greetings/（欢迎语）
├── notifications/（通知类）
└── apologies/（致歉类）
把批量生成的文件按场景归类，半年后你依然能快速找到“客户投诉回应”的那一条。

4. 精细调优：让语音不止于“像”，更追求“真”

当你已能稳定生成合格语音，下一步就是突破“及格线”，迈向“专业级”。GLM-TTS提供了三把“微调刻刀”，分别针对发音精度、响应速度和情绪表达。

4.1 音素级控制：解决“长”字读错、“血”字不会念的痛点

中文多音字是TTS的老大难。普通模型常把“血泊”读成 xuè pō（正确），但把“血淋淋”读成 xuè lín lín（应为 xiě lín lín）。GLM-TTS的音素模式，允许你手动指定每个字的拼音。

操作方式有两种：

方式一：WebUI中启用（需修改配置）
编辑文件 /root/GLM-TTS/configs/G2P_replace_dict.jsonl，添加一行：

{"char": "血", "pinyin": "xiě"}

重启WebUI后，在高级设置中勾选“启用音素模式”，再合成时，系统会优先采用你定义的读音。

方式二：命令行直调（适合开发者）

cd /root/GLM-TTS
source /opt/miniconda3/bin/activate torch29
python glmtts_inference.py \
  --data=example_zh \
  --exp_name=_custom \
  --use_cache \
  --phoneme \
  --text="血淋淋的真相" \
  --reference=/root/GLM-TTS/examples/prompt/my_voice.wav

效果对比：

默认模式：xuè lín lín de zhēn xiàng
音素模式：xiě lín lín de zhēn xiàng

教育、播客、方言内容创作者，强烈建议开启此功能。

4.2 流式推理：为实时交互场景注入“呼吸感”

如果你计划将GLM-TTS接入智能硬件（如语音助手、导览机器人），需要它“边说边想”，而不是等全文生成完毕才开口。流式推理正是为此设计。

它把一句话切成多个语音块（chunk），每生成一块就立即输出，模拟真人说话时的自然停顿与气息。

启用方式：在WebUI的「高级设置」中，将“采样方法”改为 streaming。此时你会看到新增一个参数：

Chunk Size：每次输出的语音时长（毫秒），推荐 300（0.3秒）

实际体验：输入“你好，今天过得怎么样？”，你会先听到“你好，”，停顿0.3秒，再听到“今天过得”，再停顿，最后是“怎么样？”。这种非完美连贯，反而更接近人类对话的真实节奏。

4.3 情感迁移：用一段“开心”的录音，生成所有开心的语音

GLM-TTS的情感控制不靠文本加标签（如[happy]），而是通过参考音频本身携带的情感特征来学习。

实操方法很简单：

录制一段你真正开心时说的话，比如朋友聚会时的玩笑：“哎哟，这蛋糕也太好吃了吧！”
上传这段音频作为参考，合成文本时输入：“这款新手机拍照效果真棒！”
生成的语音，会不自觉地带出轻快的语调、上扬的句尾和略快的语速

同理：

用“严肃会议录音” → 生成汇报语音
用“温柔哄睡录音” → 生成儿童故事语音
用“四川话日常对话” → 克隆方言音色

情感不是附加特效，而是声音的底色。选对参考音频，就是选对了情感基调。

5. 故障排除与效果优化：那些没人告诉你的实战经验

再好的工具，也会遇到“为什么不行”的时刻。以下是我在上百次实测中总结的高频问题与根治方案，不罗列报错代码，只说人话解决方案。

5.1 音色不像？先检查这三点，90%问题当场解决

现象	最可能原因	立即验证法	根治方案
声音发闷、像隔着墙	参考音频有低频噪音（空调嗡鸣）	用Audacity打开音频，看波形底部是否有一条持续“毛刺”	录音时关闭所有电器，或用手机“语音备忘录”App（自带降噪）
音色忽男忽女、不稳定	参考音频中混入他人说话声	用音频软件听最后1秒，是否有另一人接话？	重新录制，确保单人、无打断、无回声
语速过快/过慢	参考音频语速与你期望不符	对比原录音与生成语音的时长比（如原5秒，生成3秒→语速快60%）	下次用更平稳语速朗读，或在高级设置中微调“语速系数”（需命令行）

5.2 生成失败？按这个顺序排查，5分钟定位根源

当点击“开始合成”后，界面卡在“Loading model…”或报红字错误，请按此顺序检查：

显存是否爆了？
终端输入 nvidia-smi，看Memory-Usage是否接近 12192MiB/12192MiB。如果是，点击界面右上角「🧹 清理显存」按钮，再重试。
音频路径是否写错？
WebUI上传后，系统会把文件存到 /root/GLM-TTS/uploads/。如果批量任务中写的路径是 ./audio.wav，它会去当前目录找，而非上传目录。永远用绝对路径。
文本是否含非法字符？
复制粘贴时可能带入隐藏的Unicode字符（如零宽空格）。将文本全选 → 粘贴到记事本 → 再复制回来，可清除所有隐形格式。

5.3 效果不满意？三个低成本高回报的优化动作

动作一：换参考音频，不换参数
同一段文字，用不同情绪、不同语速的录音合成，效果差异远大于调10次参数。准备3版参考音频（平静/开心/严肃），各试一次，选最佳者作为主力。
动作二：加标点，不加技术词
把“今天天气真好适合出门散步”改成“今天天气真好，适合出门散步。”——一个逗号，让AI在“好”后自然停顿0.3秒，呼吸感立现。
动作三：分段合成，再拼接
对于超长文本（如200字产品介绍），拆成3–5句，分别合成，再用Audacity拼接。比单次合成更稳定，且每句可单独调优。