第023章:ComfyUI文生音频Qwen3-TTS模型数字人音色克隆
前面我们花费了两章的时间,完成了从下载模型、插件,到最后的音色设计工作流搭建的共工作。因此我们已经拥有了设计音色的能力,接下来就是用我们自己设计的音色,去生成我们想要的音频内容,就是所谓的“声音克隆”。
在搭建Qwen3-TTS声音克隆的工作流之前,同前面的音色设计一样,我们需要下载Qwen3-TTS声音克隆的模型“Qwen3-TTS-12Hz-1.7B-Base”,下载部署的方法同前面的声音设计模型下载部署的方法一模一样,不了解的同学请看"第020章"。
下来我们来搭建“Qwen3-TTS声音克隆工作流”:
1、先找到我们上一章里用音色设计的工作流设计音频文件,作为我们要克隆的音色,路径在这里“D:\ProgramFile\ComfyUI\ComfyUI-V9.5\output\audio”。

2、意见启动ComfyUI,打开我们上一章自己搭建的“音色设计工作流”(由于声音克隆的工作流特别简单,我准白把两个工作流放到一起),先把我们音色设计的组件禁用掉(鼠标右键“忽略框内节点”)。

3、在空白处先添加一个“加载音频”的组件,把我们生成的音色音频文件加载进来作为参考音色。

3、和上一章一样,同样要加载一个“TD Qwen3 TTS Model Loader”的模型加载器(可以在音色设计里面直接复制),模型选择改改为“Qwen3-TTS-12Hz-1.7B-Base”。

4、第三个要加的就和上一章有点区别了,上一章我们加的是“Qwen3 TTS 声音设计”,这里我们加一个“Qwen3 TTS 声音克隆”。

这个“Qwen3 TTS 声音克隆”里面的参数和前面的“Qwen3 TTS 声音设计”里的参数是一样的,这里我们需要特别主义的是第二个输入框(上图红框标起来的地方)。
在上一章“Qwen3 TTS 声音设计”的组件里我们知道,第二个框里是用来填写“音色控制指令”的,那么这个“Qwen3 TTS 声音克隆”的第二个框是干什么的呢?第一个框很明显就是用来输入要转换为音频的文字内容的。
这里的第二个框是用来输入“参考音频对应的原文文字”的。 填入后模型能大幅提升音色复刻精度、减少杂音;如果不填,节点会自动用 Whisper 识别参考音频文字,但识别出错会导致克隆拉胯。
5、声音克隆工作流所需要的组件就全部添加完了,接下来我们只需要把各个组件链接起来,我们的工作流就搭建完成了(如下图)。

6、我们这个文件里面总共包含了两个工作流,一个“音色设计”,一个“声音克隆”。除了通过在Group上鼠标右键“忽略框内节点”去禁用某个工作流外,还有一种办法就是给每一个工作流都安装一个开关。
最后我再教大家一个小组件“禁用框”,在工作流空白处双击搜索“禁用框”:

加了这个“禁用框”以后,他自动的给我们的两个组(Group)加了个开关,这样我们就可以方便的对某个组进行启用/禁用的操作了。

7、至此我们Qwen3 TTS的音色设计和声音克隆就完成了,那么大家有没有发现一个问题。就是我们在读一篇文章或说一段台词,是需要有情绪变化的!有些话需要用愤怒的语气去说、有些话则需要用开心的语气去说...
但是我们Qwen3 TTS的声音克隆却没有办法去控制语气的变化。
那么如何在声音克隆的同时去控制语气变化呢?我们下一章再给大家介绍一个“哔哩哔哩的声音克隆的模型”,就可以解决这个问题。
-------------结束线--------------
更多推荐

所有评论(0)