Python爬虫数据赋能：自动收集古风素材训练霜儿-汉服-造相Z-Turbo的LoRA模型

1. 从想法到实现：一个数据驱动的汉服AI项目

最近在玩一个叫“霜儿-汉服-造相Z-Turbo”的AI模型，它生成汉服的效果确实挺惊艳的。但用久了发现一个问题：它生成的汉服样式虽然好看，但总感觉少了点“考究”的味道，有些细节和历史上的真实形制对不上。作为一个汉服爱好者，我就琢磨着，能不能让它学得更“专业”一点？

于是就有了这个想法：能不能用Python爬虫，从那些公开的、高质量的博物馆数字图库或者学术资料库里，把那些真正有据可查的古代服饰、纹样图片“搬”下来，然后喂给模型，训练一个更懂行的定制化LoRA模型？这样一来，我们生成的汉服，无论是马面裙的褶子，还是交领右衽的细节，都能更贴近历史真实。

这其实就是一个完整的数据闭环项目：采集 -> 清洗 -> 标注 -> 训练 -> 应用。今天，我就把这个从零到一的实践过程分享给你，手把手教你如何用技术为AI模型“赋能”，让它成为你的专属汉服设计助手。

2. 项目核心思路与准备工作

2.1 为什么选择这个路径？

你可能想问，网上不是有很多现成的古风图片吗？为什么非要自己爬？这里有几个关键考虑：

• 质量与准确性：公开的博物馆、考古报告或学术机构的数字资源，其图片的清晰度、色彩还原度和文物信息的准确性，通常远高于社交媒体上二次传播的图片。我们需要的是“教材”，而不是“同人图”。
• 版权清晰：许多博物馆（如故宫博物院、中国国家博物馆等）会开放部分高清数字资源的下载，或明确标注了知识共享协议，用于个人研究和非商业用途是相对安全的。这避免了后续训练和使用的法律风险。
• 数据结构化：这类网站往往有良好的分类（如朝代、文物类型、出土地点），便于我们爬取时自动获得初步的标签信息，极大减少了后期整理的工作量。

2.2 你需要准备什么？

在开始写代码之前，我们需要准备好“战场”：

1. 环境与工具：

   • Python 3.7+：这是我们的主力语言。
   • 爬虫库：requests 用于网络请求，BeautifulSoup4 或 lxml 用于解析HTML页面。如果目标网站是动态加载的（比如滚动时加载更多），可能还需要 selenium。
   • 数据处理库：PIL (Pillow) 或 OpenCV 用于图片的基本处理和格式转换。
   • 开发环境：你习惯的就好，比如 VSCode、PyCharm。

2. 目标网站选择（示例与原则）：

   • 原则：务必选择明确允许爬虫，或至少不明确禁止，且资源可用于个人学习与研究的网站。绝对不要对明确禁止爬虫或有付费墙的网站进行攻击性爬取。
   • 示例思路：我们可以寻找那些提供“高清文物图像下载”服务的博物馆官网，或者像“数字敦煌”这类文化遗产数字化项目平台。注意：本文不提供具体网站地址，你需要自行寻找合法合规的源。

3. 霜儿-汉服-造相Z-Turbo与LoRA基础：

   • 你需要对这个基础模型有一定了解，知道如何运行它。
   • LoRA：你可以把它理解为一个“微调插件”。它不需要改动庞大的原始模型，而是通过训练一组很小的附加参数，来让模型学会新的概念（比如我们想要的“考究汉服”风格）。训练LoRA对硬件要求相对友好。

3. 第一步：用Python爬虫构建你的古风素材库

这是整个项目的基石。我们的目标是高效、稳定、友好地获取图片。

3.1 分析目标网站与制定策略

假设我们找到了一个合适的博物馆图库页面，URL结构类似 https://example-museum.org/collection?page=1。

首先，手动浏览几页，观察规律：

• 图片列表是如何呈现的？是在HTML源码里，还是通过JavaScript动态加载？
• 图片的详细页面链接有什么规律？
• 高清大图的链接藏在哪个HTML标签或JSON数据里？
• 有没有反爬机制？比如需要检查请求头（User-Agent, Referer）？

我们使用 requests 和 BeautifulSoup 来做一个静态页面的简单示例。请务必将User-Agent设置为真实的浏览器标识，以示友好。

import requests
from bs4 import BeautifulSoup
import time
import os

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

def fetch_page(url):
    """获取网页内容"""
    try:
        resp = requests.get(url, headers=headers, timeout=10)
        resp.raise_for_status() # 检查请求是否成功
        # 有些网站可能是gbk编码，根据实际情况调整
        # resp.encoding = 'utf-8' 或 'gbk'
        return resp.text
    except requests.RequestException as e:
        print(f"请求失败 {url}: {e}")
        return None

def parse_list_page(html):
    """解析列表页，获取详情页链接和初步信息"""
    soup = BeautifulSoup(html, 'html.parser')
    item_links = []
    # 假设每个藏品项被包含在 class='collection-item' 的div中，链接在里面的a标签里
    for item in soup.find_all('div', class_='collection-item'):
        link_tag = item.find('a', href=True)
        if link_tag:
            # 拼接完整的详情页URL（如果是相对路径）
            detail_url = requests.compat.urljoin(base_url, link_tag['href'])
            # 可以顺便抓取标题作为初步标签
            title = link_tag.get_text(strip=True)
            item_links.append({'url': detail_url, 'title': title})
    return item_links

# 示例：爬取前3页
base_url = "https://example-museum.org/collection"
all_items = []
for page in range(1, 4):
    list_url = f"{base_url}?page={page}"
    print(f"正在抓取列表页: {list_url}")
    html = fetch_page(list_url)
    if html:
        items = parse_list_page(html)
        all_items.extend(items)
        print(f"  本页找到 {len(items)} 个条目")
    time.sleep(2) # 礼貌性延迟，避免对服务器造成压力

print(f"总共找到 {len(all_items)} 个待处理的藏品条目。")

3.2 深入详情页抓取高清图片与元数据

得到详情页链接后，我们需要进入每个详情页，找到最高清的图片下载链接，并收集更详细的描述信息（朝代、材质、出土地等），这些将是未来给图片打标签的宝贵数据。

def parse_detail_page(html, item_info):
    """解析详情页，获取高清图链接和详细元数据"""
    soup = BeautifulSoup(html, 'html.parser')
    result = item_info.copy() # 继承列表页的信息

    # 策略1：寻找明确的高清图链接（例如img标签的data-highres属性）
    hi_res_img = soup.find('img', {'data-highres': True})
    if hi_res_img:
        img_url = hi_res_img['data-highres']
    else:
        # 策略2：寻找页面中最大的图片（通常是主图）
        all_imgs = soup.find_all('img')
        # 这里需要一个启发式规则，比如选择src中包含‘large’或‘high’的，或者尺寸最大的
        # 简化处理：取第一个可能是主图的（例如class包含‘main’或‘primary’）
        main_img = soup.find('img', class_=lambda c: c and ('main' in c or 'primary' in c))
        img_url = main_img['src'] if main_img else None

    if img_url:
        # 确保是绝对URL
        result['image_url'] = requests.compat.urljoin(base_url, img_url)
    else:
        result['image_url'] = None
        print(f"未在 {item_info['url']} 中找到图片")

    # 提取元数据：假设元数据在 class='metadata' 的dl或div中
    metadata = {}
    meta_div = soup.find('div', class_='metadata')
    if meta_div:
        # 尝试解析成键值对，这里需要根据网站实际结构调整
        for dt, dd in zip(meta_div.find_all('dt'), meta_div.find_all('dd')):
            key = dt.get_text(strip=True)
            value = dd.get_text(strip=True)
            metadata[key] = value
    result['metadata'] = metadata

    return result

def download_image(img_url, save_path, filename):
    """下载图片并保存"""
    if not img_url:
        return False
    try:
        resp = requests.get(img_url, headers=headers, stream=True, timeout=30)
        resp.raise_for_status()
        filepath = os.path.join(save_path, filename)
        with open(filepath, 'wb') as f:
            for chunk in resp.iter_content(chunk_size=8192):
                f.write(chunk)
        print(f"  图片已保存: {filename}")
        return True
    except Exception as e:
        print(f"  下载失败 {img_url}: {e}")
        return False

# 创建保存目录
os.makedirs('./hanfu_dataset/raw_images', exist_ok=True)
os.makedirs('./hanfu_dataset/metadata', exist_ok=True)

# 遍历所有藏品条目，抓取详情和图片
for idx, item in enumerate(all_items):
    print(f"处理条目 {idx+1}/{len(all_items)}: {item['title']}")
    detail_html = fetch_page(item['url'])
    if not detail_html:
        continue

    detail_info = parse_detail_page(detail_html, item)

    if detail_info.get('image_url'):
        # 生成文件名，可以用标题或唯一ID
        # 简单处理，使用索引和标题（清理非法字符）
        safe_title = "".join([c for c in item['title'] if c.isalnum() or c in (' ', '-', '_')]).rstrip()
        filename = f"{idx+1:03d}_{safe_title[:50]}.jpg"
        download_image(detail_info['image_url'], './hanfu_dataset/raw_images', filename)
        # 保存元数据为JSON文件，方便后续处理
        import json
        meta_filename = f"{idx+1:03d}_{safe_title[:50]}.json"
        with open(os.path.join('./hanfu_dataset/metadata', meta_filename), 'w', encoding='utf-8') as f:
            json.dump(detail_info, f, ensure_ascii=False, indent=2)

    time.sleep(3) # 详情页访问间隔更长一些，保持礼貌

print("图片与元数据抓取阶段完成！")

关键提示：实际网站的HTML结构千变万化，上面的代码只是一个示范框架。你需要根据目标网站的实际结构，调整 parse_list_page 和 parse_detail_page 函数中的选择器（如 find 和 find_all 的参数）。使用浏览器的“开发者工具”（F12）查看元素是必备技能。

4. 第二步：数据清洗与标注——为训练做好准备

爬下来的数据是“原材料”，我们需要把它加工成AI模型能消化吸收的“标准餐”。

4.1 自动化清洗与筛选

在 ./hanfu_dataset/raw_images 文件夹里，图片可能大小不一、格式各异，甚至混入了一些非目标图片（比如博物馆logo、图标）。

from PIL import Image
import os
import shutil

raw_dir = './hanfu_dataset/raw_images'
clean_dir = './hanfu_dataset/cleaned_images'

os.makedirs(clean_dir, exist_ok=True)

min_width, min_height = 512, 512 # 设定最低分辨率要求
valid_extensions = {'.jpg', '.jpeg', '.png', '.webp'}

for img_file in os.listdir(raw_dir):
    filepath = os.path.join(raw_dir, img_file)
    # 检查文件扩展名
    if os.path.splitext(img_file)[1].lower() not in valid_extensions:
        print(f"跳过非图片文件: {img_file}")
        continue

    try:
        with Image.open(filepath) as img:
            width, height = img.size
            # 筛选掉尺寸过小或非RGB的图片（如GIF）
            if width >= min_width and height >= min_height and img.mode == 'RGB':
                # 可选：统一转换为RGB模式并调整大小（例如，将长边缩放到1024）
                # img = img.convert('RGB')
                # ... 调整大小逻辑 ...
                save_path = os.path.join(clean_dir, img_file)
                img.save(save_path, quality=95)
                print(f"已保留并清洗: {img_file}")
            else:
                print(f"图片 {img_file} 尺寸({width}x{height})或模式({img.mode})不符合要求，已跳过。")
    except Exception as e:
        print(f"无法处理图片 {img_file}: {e}")

print("图片清洗完成！")

4.2 半自动化标注：从元数据到提示词

这是提升LoRA模型效果最关键的一步。我们需要为每张清洗后的图片，生成一个描述准确的文本标签（caption）。爬取时保存的 metadata JSON文件这时就派上用场了。

理想情况下，我们希望标签包含：朝代、服饰类型、性别、主要特征、纹样、颜色等。例如：“唐代，女装，齐胸襦裙，红色为主，袖口宽大，饰有宝相花纹样”。

我们可以写一个脚本，从JSON元数据中提取关键信息，并组合成初步的提示词。对于缺失的信息，可能需要手动补充或借助其他AI工具（如图像识别API）来辅助生成描述。

import json
import os

metadata_dir = './hanfu_dataset/metadata'
caption_dir = './hanfu_dataset/captions'
os.makedirs(caption_dir, exist_ok=True)

for meta_file in os.listdir(metadata_dir):
    if not meta_file.endswith('.json'):
        continue

    with open(os.path.join(metadata_dir, meta_file), 'r', encoding='utf-8') as f:
        data = json.load(f)

    # 构建基础提示词
    caption_parts = []
    title = data.get('title', '')
    metadata = data.get('metadata', {})

    # 1. 从标题和元数据中提取关键信息（这里需要根据你的元数据结构定制逻辑）
    # 假设元数据中有‘朝代’、‘类别’等字段
    dynasty = metadata.get('朝代', '')
    if dynasty:
        caption_parts.append(f"{dynasty}时期")
    category = metadata.get('类别', '')
    if '服饰' in category or '衣' in category: # 简单判断是否为服饰
        # 可以进一步细化，这里只是示例
        caption_parts.append("传统服饰")

    # 2. 将标题中的核心描述加入
    # 可以做一些关键词提取，这里简单处理
    if title:
        # 移除可能无用的前缀，如“馆藏”、“文物”
        clean_title = title.replace('馆藏', '').replace('文物', '').strip()
        caption_parts.append(clean_title)

    # 3. 添加通用质量标签（对Stable Diffusion类模型很重要）
    caption_parts.append("高清文物照片，细节清晰，专业摄影，博物馆藏品")

    # 组合成最终的提示词
    final_caption = ", ".join([p for p in caption_parts if p])
    # 如果上面没提取到有效信息，使用一个通用描述
    if not final_caption:
        final_caption = "中国古代服饰文物照片"

    # 保存为与图片同名的txt文件（这是很多LoRA训练工具要求的格式）
    img_filename = os.path.splitext(meta_file)[0] + '.jpg' # 假设图片是jpg
    caption_filename = os.path.splitext(img_filename)[0] + '.txt'
    with open(os.path.join(caption_dir, caption_filename), 'w', encoding='utf-8') as f:
        f.write(final_caption)

    print(f"为 {img_filename} 生成标签: {final_caption[:50]}...")

print("初步标签生成完成！")

手动精修：自动生成的标签往往不够精确。你需要打开 ./hanfu_dataset/captions 文件夹，对照着 ./hanfu_dataset/cleaned_images 里的图片，逐一检查并修改这些 .txt 文件里的描述。这个过程虽然耗时，但对最终模型质量影响巨大。描述越准确、细节越丰富，模型学到的概念就越清晰。

5. 第三步：训练你的专属考究汉服LoRA

数据准备好了，终于可以进入训练阶段。这里以常用的 Kohya_ss 训练脚本为例，概述关键步骤。

5.1 训练环境与数据准备

1. 安装训练环境：推荐使用整合好的WebUI，如 sd-webui，它通常集成了训练扩展。或者直接使用 Kohya_ss 的独立GUI或脚本。
2. 组织训练数据：将 ./hanfu_dataset/cleaned_images 中的图片和 ./hanfu_dataset/captions 中同名的 .txt 文件，放入一个专门的文件夹，例如 ./train_data/hanfu_lora。确保每张图片都有一个对应的文本描述文件。
3. 图片预处理：在训练工具中，通常需要将图片统一缩放到一个标准尺寸（如512x512, 768x768）。大部分训练GUI都提供一键预处理功能。

5.2 关键参数设置心得

启动训练工具后，你需要配置一些参数。以下是一些针对“霜儿-汉服”这类真人风格模型训练服饰LoRA的经验性建议：

• 基础模型：选择 霜儿-汉服-造相Z-Turbo 的模型文件作为底模。
• 网络设置：选择 LoRA 类型。Network Rank (Dimension) 和 Network Alpha 是关键参数，影响模型能力和文件大小。对于服饰风格，可以从 rank=128, alpha=64 开始尝试。数值越大，学习能力越强，但也可能过拟合。
• 学习率：这是一个需要小心调整的参数。过大会导致训练不稳定，过小则学习慢。可以尝试 1e-4 到 5e-5 之间的值。
• 训练步数：这取决于你的数据量。通常一个epoch（所有图片训练一遍）需要设置一定的步数。对于几百张图片，训练10-15个epoch可能是个起点。一定要启用预览功能，每隔一定步数生成样例，观察效果，防止过拟合（表现为画面崩坏、色彩怪异）。
• 提示词模板：使用类似 [filewords] 的标签，让训练器读取我们准备好的 .txt 文件。
• 分类标签：可以设置一个触发词，比如 hanfu_detail。未来在使用时，在提示词中加入这个词，就能调用LoRA学到的风格。

5.3 开始训练与监控

点击开始，泡杯茶，观察损失曲线和预览图。训练过程可能从几小时到一天不等，取决于你的数据量、参数和硬件。

核心观察点：

• 损失值：应该总体呈下降趋势，并逐渐趋于平稳。如果后期剧烈波动或回升，可能过拟合了。
• 预览图：这是最直观的。看生成的汉服是否越来越接近我们数据集的“考究”感，同时人物脸部、背景等是否还能保持基础模型的质量。如果发现人物脸崩了，但衣服细节好了，可能需要调整训练参数或数据。

6. 成果验收与使用

训练完成后，你会得到一个 .safetensors 格式的LoRA模型文件（通常很小，几十MB）。

1. 加载测试：将LoRA文件放入你的WebUI的对应模型文件夹（通常是 models/Lora）。
2. 提示词魔法：在文生图界面，选择“霜儿-汉服-造相Z-Turbo”作为基础模型，然后在提示词中加入你的LoRA，格式如 <lora:你的LoRA文件名:权重>。权重从0.5到1之间调整，看看哪个效果最好。
3. 生成对比：使用相同的随机种子，分别用原版“霜儿”和加载了你训练的LoRA的“霜儿”生成汉服图片。仔细对比领型、袖型、纹样、层次感等细节。你会发现，加入了LoRA后，生成的汉服在形制上应该会更严谨，纹样可能更接近历史文物上的图案。

---

整个项目走下来，感觉就像教AI学习一门新的“专业知识”。从在互联网的海洋里精准捕捞高质量数据，到耐心地清洗、标注，最后通过训练将知识“注入”模型。这个过程本身，就是数据科学和AI应用的一个生动缩影。

最终得到的这个定制化LoRA，其价值不仅仅在于生成了几张更考究的汉服图。它代表了一种思路：当通用模型无法满足我们垂直、专业的细分需求时，我们可以主动利用工具和技术，创造属于自己的“领域专家”。这个从数据采集到模型迭代的闭环能力，或许才是这个项目带给我们的最大收获。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。