VALL-E-X代码贡献实例：添加自定义语音情感控制

芮舒淑

423人浏览 · 2025-10-31 05:48:22

芮舒淑 · 2025-10-31 05:48:22 发布

VALL-E-X代码贡献实例：添加自定义语音情感控制

【免费下载链接】VALL-E-X An open source implementation of Microsoft's VALL-E X zero-shot TTS model. Demo is available in https://plachtaa.github.io 项目地址: https://gitcode.com/gh_mirrors/va/VALL-E-X

VALL-E-X作为Microsoft VALL-E X零样本语音合成模型的开源实现，支持多语言文本转语音、语音克隆和情感控制等功能。本文将详细介绍如何为VALL-E-X添加自定义语音情感控制功能，帮助开发者扩展模型的情感表达能力。

情感控制功能概述

VALL-E-X的情感控制功能允许用户通过声学提示（Acoustic Prompt）控制合成语音的情感。目前项目预设了多种情感模板，如presets/emo_amused.npz（愉悦）、presets/emo_anger.npz（愤怒）和presets/emo_sleepy.npz（困倦）等。这些预设文件存储了不同情感的声学特征，模型通过加载这些特征实现情感迁移。

实现自定义情感控制的步骤

1. 准备情感音频样本

首先需要准备带有目标情感的音频样本（3-10秒），建议使用清晰、无噪音的录音。音频格式需为WAV，采样率16kHz。将样本文件保存至prompts/目录，例如prompts/happy_prompt.wav。

2. 生成情感特征文件

使用utils/prompt_making.py工具将音频样本转换为模型可识别的情感特征文件（.npz格式）。执行以下代码生成自定义情感模板：

from utils.prompt_making import make_prompt

# 使用Whisper自动生成转录文本
make_prompt(name="happy", audio_prompt_path="prompts/happy_prompt.wav")

生成的happy.npz文件将自动保存至presets/目录。

3. 修改情感嵌入模块

在models/vallex.py中，VALLE类的inference方法负责处理情感嵌入。需要添加情感标签识别逻辑，使模型能根据输入参数加载自定义情感模板：

# 在inference方法中添加情感参数
def inference(
    self,
    x: torch.Tensor,
    x_lens: torch.Tensor,
    y: torch.Tensor,
    enroll_x_lens: torch.Tensor,
    # 新增情感控制参数
    emotion: str = None,  
    **kwargs,
) -> torch.Tensor:
    # 加载自定义情感模板
    if emotion and emotion not in self.language_ID:
        from utils.prompt_making import load_prompt
        emotion_prompt = load_prompt(emotion)
        y = torch.cat([emotion_prompt, y], dim=1)

4. 更新生成函数接口

修改utils/generation.py中的generate_audio函数，添加emotion参数以支持情感指定：

def generate_audio(
    text: str,
    prompt: str = None,
    emotion: str = None,  # 新增情感参数
    **kwargs,
) -> np.ndarray:
    # 传递情感参数至模型推理
    audio_array = model.inference(
        x, x_lens, y_prompt, enroll_x_lens,
        emotion=emotion,** kwargs
    )
    return audio_array

5. 测试自定义情感效果

使用以下代码测试自定义情感控制功能：

from utils.generation import generate_audio, preload_models
from scipy.io.wavfile import write as write_wav

preload_models()
text = "我很高兴向大家介绍VALL-E-X的新功能！"
audio = generate_audio(text, emotion="happy")
write_wav("happy_demo.wav", SAMPLE_RATE, audio)

情感控制模块架构

VALL-E-X的情感控制通过声学提示的嵌入实现，主要涉及以下模块：

情感模板存储：presets/目录下的.npz文件存储不同情感的声学特征
提示处理工具：utils/prompt_making.py负责音频到特征的转换
模型推理接口：models/vallex.py中的VALLE类处理情感嵌入
生成函数：utils/generation.py提供用户级API

常见问题解决

情感效果不明显：尝试使用更长的音频样本（建议5-8秒），确保情感特征更丰富。
模板加载失败：检查presets/目录中是否存在对应名称的.npz文件。
与语音克隆冲突：情感模板应优先于语音克隆提示加载，可调整代码中y = torch.cat([emotion_prompt, voice_prompt, y], dim=1)的顺序。