基于 Python 的人脸修复技术：GFPGAN 与 CodeFormer 集成

人脸修复技术在图像处理领域具有重要应用，能够有效恢复低分辨率或受损的人脸图像。GFPGAN 和 CodeFormer 作为两种先进的人脸修复模型，各具优势。通过 Python 将两者集成，可以发挥各自特点，提升修复效果。

GFPGAN 专注于生成高质量的人脸图像，尤其擅长处理严重退化的人脸。其核心是基于生成对抗网络（GAN），通过预训练模型实现快速修复。CodeFormer 则结合了 Transformer 结构，在保持人脸身份特征方面表现优异，适合对细节要求较高的场景。

环境配置与依赖安装

实现 GFPGAN 与 CodeFormer 的集成需要配置 Python 环境。推荐使用 Python 3.8 或更高版本，并安装以下依赖库：

pip install torch torchvision
pip install opencv-python
pip install numpy
pip install pillow

克隆 GFPGAN 和 CodeFormer 的官方仓库，并安装额外依赖：

git clone https://github.com/TencentARC/GFPGAN.git
git clone https://github.com/sczhou/CodeFormer.git
cd GFPGAN && pip install -r requirements.txt
cd ../CodeFormer && pip install -r requirements.txt

模型加载与初始化

加载 GFPGAN 和 CodeFormer 的预训练模型是集成的关键步骤。GFPGAN 的模型文件通常为 .pth 格式，CodeFormer 则提供多种规模的模型选择。

from basicsr.utils.download_util import load_file_from_url
from GFPGAN.gfpgan import GFPGANer
from CodeFormer.basicsr.utils.registry import ARCH_REGISTRY

# 加载 GFPGAN 模型
gfpgan_model_path = 'GFPGAN/experiments/pretrained_models/GFPGANv1.3.pth'
gfpgan = GFPGANer(model_path=gfpgan_model_path, upscale=1)

# 加载 CodeFormer 模型
codeformer_model_path = 'CodeFormer/weights/CodeFormer/codeformer.pth'
codeformer = ARCH_REGISTRY.get('CodeFormer')(dim_embd=512, codebook_size=1024, n_head=8, n_layers=9).to('cuda')
codeformer.load_state_dict(torch.load(codeformer_model_path)['params'])

图像预处理与修复流程

输入图像需经过标准化处理，以适应模型要求。OpenCV 用于读取图像并将其转换为 RGB 格式。

import cv2
import numpy as np

def preprocess_image(image_path):
    img = cv2.imread(image_path)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    img = img.astype(np.float32) / 255.
    return img

GFPGAN 和 CodeFormer 的修复流程可以分步进行。GFPGAN 首先生成基础修复结果，CodeFormer 进一步优化细节。

def restore_face(image_path):
    img = preprocess_image(image_path)
    
    # GFPGAN 修复
    _, _, gfpgan_output = gfpgan.enhance(img, has_aligned=False)
    
    # CodeFormer 优化
    codeformer_output = codeformer.enhance(gfpgan_output)
    
    return codeformer_output

结果后处理与保存

修复后的图像需要后处理以符合保存标准。使用 Pillow 库将图像转换为 8 位格式并保存。

from PIL import Image

def postprocess_and_save(image, output_path):
    image = (image * 255).astype(np.uint8)
    image = Image.fromarray(image)
    image.save(output_path)

性能优化与参数调整

为提升运行效率，可以调整模型参数或使用半精度推理。设置 half=True 可减少显存占用。

gfpgan = GFPGANer(model_path=gfpgan_model_path, upscale=1, half=True)
codeformer = codeformer.half()

针对不同质量的输入图像，调整 CodeFormer 的 fidelity_weight 参数可以平衡真实性和修复效果。

codeformer_output = codeformer.enhance(gfpgan_output, fidelity_weight=0.5)

应用场景与局限性

GFPGAN 与 CodeFormer 的集成适用于老照片修复、低分辨率人脸增强等场景。但需注意，对于极端模糊或遮挡严重的图像，修复效果可能有限。实际应用中建议结合人工校验以确保质量。

通过合理配置和参数调整，GFPGAN 与 CodeFormer 的集成能够显著提升人脸修复效果，为图像处理应用提供可靠支持。