从DDPM到SGM：探索基于分数的生成模型实战指南

如果你已经熟悉了DDPM（去噪扩散概率模型）的基本原理，现在可能是时候将目光投向更广阔的生成模型领域了。基于分数的生成模型（Score-Based Generative Modeling，简称SGM）提供了一种全新的视角和更灵活的框架，让我们能够以不同的方式理解和构建生成系统。

1. 为什么选择SGM？DDPM之外的生成模型新选择

在生成模型的宇宙中，DDPM无疑是一颗耀眼的明星，但它并非唯一的选择。SGM作为另一种基于扩散思想的生成模型，提供了几个独特的优势：

• 更灵活的架构设计：SGM不依赖于特定的马尔可夫链结构，允许更自由的模型设计
• 统一的数学框架：将离散和连续时间扩散过程统一在分数匹配的视角下
• 高效的采样算法：可以利用Langevin动力学等成熟的蒙特卡洛方法
• 理论上的优雅性：直接建模数据分布的梯度场（分数函数），而非分布本身

在实际应用中，我们发现SGM特别适合那些需要精细控制生成过程的场景，比如科学计算中的物理模拟或金融时间序列生成。

2. SGM核心原理：分数函数与扩散过程

2.1 分数函数的本质

分数函数（Score Function）是SGM的核心概念，定义为对数概率密度函数的梯度：

s(x) = ∇_x log p(x)

这个看似简单的定义蕴含着丰富的信息：

• 方向信息：分数函数指向概率密度增长最快的方向
• 尺度不变性：对概率分布进行单调变换不会改变分数函数
• 局部特征：捕捉数据分布的局部几何结构

2.2 与DDPM的理论联系

虽然SGM和DDPM走的是不同的技术路线，但它们在深层数学上是相通的。通过以下对比表格可以清晰地看到两者的关系：

特性	DDPM	SGM
建模对象	数据分布本身	数据分布的梯度场
训练目标	预测噪声	匹配分数函数
采样方式	反向扩散链	Langevin动力学
时间处理	离散时间步	支持连续时间
理论框架	变分推断	分数匹配

3. 实战：PyTorch实现SGM图像生成

让我们通过一个具体的图像生成示例，来看看如何实现一个基础的SGM模型。我们将使用PyTorch框架，并基于CIFAR-10数据集进行训练。

3.1 模型架构设计

首先定义分数网络，这是一个U-Net结构的神经网络：

import torch
import torch.nn as nn

class ScoreNetwork(nn.Module):
    def __init__(self, input_dim, hidden_dims=[128, 256, 512]):
        super().__init__()
        # 定义网络层
        self.layers = nn.ModuleList()
        dims = [input_dim] + hidden_dims
        
        for i in range(len(dims)-1):
            self.layers.append(nn.Linear(dims[i], dims[i+1]))
            self.layers.append(nn.SiLU())
        
        self.output = nn.Linear(hidden_dims[-1], input_dim)
    
    def forward(self, x, t):
        # 将时间信息嵌入
        t_embed = torch.sin(t.unsqueeze(-1) * 2 * torch.pi / 100)
        h = torch.cat([x, t_embed], dim=-1)
        
        for layer in self.layers:
            h = layer(h)
        
        return self.output(h)

3.2 训练过程实现

SGM的训练目标是让网络预测的分数函数尽可能接近真实分数：

def train_step(model, optimizer, x_real, sigmas):
    # 随机选择噪声级别
    t = torch.randint(0, len(sigmas), (x_real.shape[0],))
    sigma_t = sigmas[t].view(-1, 1, 1, 1)
    
    # 添加噪声
    noise = torch.randn_like(x_real)
    x_noisy = x_real + sigma_t * noise
    
    # 计算目标分数
    target_score = -noise / sigma_t
    
    # 网络预测
    pred_score = model(x_noisy, t)
    
    # 损失计算
    loss = torch.mean((pred_score - target_score)**2)
    
    # 反向传播
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    return loss.item()

3.3 Langevin采样实现

训练完成后，我们可以使用Langevin动力学进行采样：

def langevin_sampling(model, sigmas, num_steps=1000, step_size=0.01):
    # 初始化随机噪声
    x = torch.randn(1, 3, 32, 32)  # CIFAR-10尺寸
    
    for t in reversed(range(len(sigmas))):
        sigma = sigmas[t]
        
        for _ in range(num_steps):
            # 计算分数
            score = model(x, torch.tensor([t]))
            
            # Langevin更新
            noise = torch.randn_like(x)
            x = x + 0.5 * step_size * score + np.sqrt(step_size) * noise
            
            # 添加额外噪声
            x = x + sigma * torch.randn_like(x)
    
    return x

4. 高级技巧与优化策略

4.1 噪声调度设计

SGM的性能很大程度上依赖于噪声级别的选择。常见的调度策略包括：

• 线性调度：σ_t = σ_max + t/T (σ_min - σ_max)
• 指数调度：σ_t = σ_max (σ_min/σ_max)^(t/T)
• 余弦调度：σ_t = cos(πt/2T)

# 示例：余弦噪声调度
def cosine_schedule(T, sigma_min=0.01, sigma_max=1.0):
    t = torch.linspace(0, 1, T)
    sigmas = sigma_min + 0.5 * (sigma_max - sigma_min) * (1 - torch.cos(t * math.pi))
    return sigmas

4.2 采样加速技术

Langevin采样虽然理论完备，但计算成本较高。我们可以采用以下加速策略：

1. 退火Langevin动力学：动态调整步长
2. 预测-校正采样：交替使用预测和校正步骤
3. 多步采样：减少采样步数

在实际项目中，我们发现结合预测-校正方法可以将采样速度提升3-5倍，同时保持生成质量。

4.3 条件生成实现

SGM可以自然地扩展到条件生成任务。只需在训练时将条件信息（如类别标签）与输入数据连接：

class ConditionalScoreNetwork(ScoreNetwork):
    def forward(self, x, t, y):
        # 嵌入条件信息
        y_embed = self.embedding(y)
        h = torch.cat([x, t.unsqueeze(-1), y_embed], dim=-1)
        
        for layer in self.layers:
            h = layer(h)
        
        return self.output(h)

5. 实际应用中的挑战与解决方案

5.1 高维数据建模

当处理高分辨率图像时，SGM面临几个关键挑战：

• 计算资源需求：分数网络需要处理大量参数
• 训练稳定性：高维空间的分数匹配可能不稳定
• 采样效率：Langevin采样在高维空间收敛慢

解决方案包括：

• 使用多尺度架构
• 引入正则化技术
• 采用混合精度训练

5.2 评估指标选择

评估生成模型质量一直是个难题。对于SGM，我们建议结合以下指标：

指标名称	测量内容	实现方式
FID	生成图像的真实性	计算特征空间距离
IS	生成多样性和质量	分类器预测结果分析
NLL	模型对数据的似然估计	通过分数函数计算
ESS	采样效率	有效样本量统计

5.3 与其他生成模型的结合

在实践中，我们经常将SGM与其他技术结合：

• 与VAE结合：先用VAE降维，再应用SGM
• 与GAN结合：用GAN生成初始样本，再用SGM精修
• 与流模型结合：构建混合分数/流模型

这种混合方法往往能发挥各自优势，获得更好的生成效果。