Python爬虫赋能丹青识画：自动化构建艺术图像数据集

每次看到那些能精准识别画作风格、作者甚至创作年代的AI应用，你是不是也好奇它们是怎么“学”出来的？答案很简单：喂给它海量的、高质量的“教材”——也就是艺术图像数据集。但对于我们普通人来说，上哪儿去找成千上万张标注好作者、年代、风格的高清名画呢？手动下载？那得下到猴年马月。

今天，咱们就来聊聊怎么用Python爬虫这个“自动化收割机”，从全球各大艺术博物馆和在线画廊的公开资源里，高效、合规地采集这些珍贵的艺术图像和元数据，为你的“丹青识画”系统打造一个源源不断的专属数据粮仓。

1. 为什么需要自动化构建艺术数据集？

想象一下，你想训练一个AI来区分文艺复兴时期的油画和印象派的作品。如果手头只有几十张图片，AI可能连梵高和莫奈都分不清。模型训练，尤其是深度学习，本质上是一个“大数据喂出来”的过程。数据量越大、质量越高、标注越准确，模型才可能越聪明、越精准。

手动构建这样一个数据集，面临几个头疼的问题：来源分散（画作散落在上百个网站）、格式不一（图片尺寸、命名混乱）、信息缺失（有图没作者，有作者没年代）。而Python爬虫，恰恰能自动化地解决这些痛点，它像一只不知疲倦的蜘蛛，按照我们设定的规则，在互联网的艺术宝库中穿梭，将散落的珍珠串成项链。

更重要的是，许多顶级博物馆，如纽约大都会艺术博物馆、荷兰国立博物馆等，都提供了丰富的开放获取（Open Access） 数字藏品。这意味着我们可以合法、合规地获取并使用这些高质量资源，用于研究和非商业目的，这为我们的数据采集打开了绿灯。

2. 目标网站分析与爬虫策略制定

在动手写代码之前，先别急着“爬”。好的侦察是成功的一半。我们需要先选定目标，并摸清它的“防守”情况。

2.1 选择合适的艺术数据源

不是所有网站都适合爬取。优先选择那些提供清晰API接口或网页结构规整的开放资源平台。这里有几个优质起点：

• 博物馆开放数据平台：例如，纽约大都会艺术博物馆的The Met Collection API，提供了海量藏品的结构化数据（包括图片URL、作者、年代、分类等），是理想的数据源。
• 专业艺术图库网站：如WikiArt，收录了海量画作，信息齐全，但需要注意其使用条款和反爬机制。
• 学术与文化机构：一些大学或文化机构的数字图书馆也是宝库。

行动前务必检查：访问目标网站的 robots.txt 文件（通常在网站根目录，如 https://目标网站.com/robots.txt），尊重其中关于爬虫行为的规则，避免对服务器造成不必要的压力。

2.2 分析网页结构与数据定位

确定目标后，用浏览器开发者工具（F12）是我们的主要武器。我们需要找到图片和元数据在网页HTML代码中的位置。

1. 图片链接：找到高清原图的真实URL。通常不是页面上直接显示的小图，而是隐藏在 src、data-src 属性或通过JavaScript加载的链接里。
2. 元数据：作者、作品名、创作年代、艺术风格、材质、尺寸等信息。它们可能藏在 <meta> 标签、特定的 <div> 或 <span> 的 class 或 id 中。
3. 翻页逻辑：如何从一个作品列表页跳转到下一页？是简单的URL参数（如 ?page=2），还是通过JavaScript触发的“加载更多”按钮？

以爬取一个模拟的艺术列表页为例，我们分析其结构：

<!-- 假设的艺术作品列表项结构 -->
<div class="artwork-item">
    <a href="/artwork/123">
        <img src="thumbnail.jpg" data-fullsize="https://example.com/fullsize/123.jpg">
    </a>
    <div class="info">
        <h3 class="title">《星空》</h3>
        <p class="artist">文森特·梵高</p>
        <p class="year">1889</p>
        <span class="style">后印象派</span>
    </div>
</div>

从这个结构可以看出，高清大图的链接在 data-fullsize 属性里，而元数据都在特定的CSS类名下。我们的爬虫就需要学会提取这些信息。

3. 核心爬虫实战：从请求到数据存储

摸清敌情后，就可以开始编写我们的自动化采集程序了。我们将使用Python中强大的 requests 库和 BeautifulSoup 库。

3.1 环境搭建与基础请求

首先，确保安装了必要的库。

pip install requests beautifulsoup4

然后，编写一个最基础的函数来获取和解析网页。

import requests
from bs4 import BeautifulSoup
import time

def fetch_page(url):
    """
    发送HTTP请求获取网页内容
    """
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status() # 检查请求是否成功
        response.encoding = response.apparent_encoding
        return response.text
    except requests.RequestException as e:
        print(f"请求失败: {url}, 错误: {e}")
        return None

def parse_artwork_list(html):
    """
    解析作品列表页，提取每个作品详情页的链接
    """
    if not html:
        return []
    soup = BeautifulSoup(html, 'html.parser')
    artwork_links = []
    # 根据之前分析的HTML结构定位
    for item in soup.select('.artwork-item a[href]'):
        link = item['href']
        # 补全为完整URL（如果是相对链接）
        if link.startswith('/'):
            link = 'https://目标网站.com' + link
        artwork_links.append(link)
    return artwork_links

# 使用示例
list_url = "https://目标网站.com/collection?page=1"
html_content = fetch_page(list_url)
if html_content:
    detail_urls = parse_artwork_list(html_content)
    print(f"本页找到 {len(detail_urls)} 个作品详情链接。")
    time.sleep(2) # 礼貌性延迟，避免请求过快

3.2 解析详情页与数据提取

获取到单个作品的详情页链接后，我们需要深入其中，提取最核心的图片和元数据。

def parse_artwork_detail(html, base_url):
    """
    解析作品详情页，提取图片URL和元数据
    """
    soup = BeautifulSoup(html, 'html.parser')
    data = {}

    # 1. 提取高清图片URL (假设存储在data-fullsize属性中)
    img_tag = soup.select_one('.artwork-item img[data-fullsize]')
    if img_tag and img_tag.get('data-fullsize'):
        data['image_url'] = img_tag['data-fullsize']
    else:
        # 备选方案：查找其他可能的高清图链接
        data['image_url'] = None

    # 2. 提取元数据
    data['title'] = soup.select_one('.title').get_text(strip=True) if soup.select_one('.title') else '未知'
    data['artist'] = soup.select_one('.artist').get_text(strip=True) if soup.select_one('.artist') else '未知'
    data['year'] = soup.select_one('.year').get_text(strip=True) if soup.select_one('.year') else '未知'
    data['style'] = soup.select_one('.style').get_text(strip=True) if soup.select_one('.style') else '未知'
    # 可以继续提取更多字段，如材质、尺寸、描述等
    data['description'] = soup.select_one('.description').get_text(strip=True, separator=' ') if soup.select_one('.description') else ''

    # 3. 补全图片URL（如果是相对路径）
    if data['image_url'] and data['image_url'].startswith('/'):
        data['image_url'] = base_url + data['image_url']

    return data

# 模拟处理一个详情页
detail_url = detail_urls[0] if detail_urls else None
if detail_url:
    detail_html = fetch_page(detail_url)
    if detail_html:
        artwork_data = parse_artwork_detail(detail_html, 'https://目标网站.com')
        print(f"提取到数据: {artwork_data}")

3.3 应对反爬虫策略

直接按上面的代码猛跑，很可能很快就被网站屏蔽。我们需要一些“礼貌”和“伪装”技巧。

• 设置请求头（Headers）：模拟真实浏览器访问，如上文代码中的 User-Agent。
• 添加延迟（Delay）：在请求之间使用 time.sleep()，避免高频访问。这是最基本的道德和策略。
• 处理Cookie和Session：对于需要登录或保持状态的网站，使用 requests.Session()。
• 使用代理IP（Proxies）：当单个IP被封锁时，可以考虑使用代理池。但对于公开的博物馆资源，通常合理延迟就足够了。
• 解析动态加载内容：如果数据是通过JavaScript动态加载的（如滚动加载），BeautifulSoup 无法直接获取。这时需要考虑使用 Selenium 或 Playwright 这类自动化测试工具来模拟浏览器行为，或者更优地，寻找网站提供的官方API接口。

3.4 数据清洗与结构化存储

爬下来的数据往往是粗糙的，需要清洗。同时，为了后续使用方便，我们需要结构化地存储它们。

数据清洗：去除元数据中的多余空格、换行符，统一日期格式（如“c. 1889”统一为“1889”），对“风格”等字段进行标准化分类（如将“Post-Impressionism”和“后印象派”统一）。

结构化存储：通常采用“图片文件+元数据数据库”的方式。

• 图片存储：根据 artist 或 style 创建文件夹，分类保存图片，并用有意义的文件名（如 Vincent_van_Gogh_The_Starry_Night.jpg）重命名。
• 元数据存储：使用 SQLite（轻量）或 MySQL（更规范）数据库，或者简单的 CSV/JSON 文件。数据库表可以设计为：

字段名	类型	说明
id	INT PRIMARY KEY	自增主键
title	TEXT	作品名称
artist	TEXT	作者
year	TEXT	创作年代
style	TEXT	艺术风格
image_local_path	TEXT	本地图片路径
image_source_url	TEXT	原图URL
description	TEXT	作品描述
...	...	其他字段

以下是存储环节的示例代码：

import os
import csv
import sqlite3
from urllib.parse import urlparse

def download_image(img_url, save_dir, filename):
    """下载图片到本地"""
    if not img_url:
        return None
    try:
        response = requests.get(img_url, headers=headers, timeout=30)
        if response.status_code == 200:
            filepath = os.path.join(save_dir, filename)
            with open(filepath, 'wb') as f:
                f.write(response.content)
            print(f"图片已保存: {filepath}")
            return filepath
    except Exception as e:
        print(f"下载图片失败 {img_url}: {e}")
    return None

def save_to_csv(data_list, csv_filename='art_data.csv'):
    """将数据列表保存到CSV文件"""
    if not data_list:
        return
    keys = data_list[0].keys()
    with open(csv_filename, 'w', newline='', encoding='utf-8-sig') as f:
        writer = csv.DictWriter(f, fieldnames=keys)
        writer.writeheader()
        writer.writerows(data_list)
    print(f"数据已保存至 {csv_filename}")

def save_to_sqlite(data_list, db_name='art_dataset.db'):
    """将数据保存到SQLite数据库"""
    conn = sqlite3.connect(db_name)
    cursor = conn.cursor()
    # 创建表（如果不存在）
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS artworks (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            title TEXT,
            artist TEXT,
            year TEXT,
            style TEXT,
            image_path TEXT,
            source_url TEXT,
            description TEXT
        )
    ''')
    # 插入数据
    for data in data_list:
        cursor.execute('''
            INSERT INTO artworks (title, artist, year, style, image_path, source_url, description)
            VALUES (?, ?, ?, ?, ?, ?, ?)
        ''', (data.get('title'), data.get('artist'), data.get('year'),
              data.get('style'), data.get('image_path'), data.get('image_url'),
              data.get('description')))
    conn.commit()
    conn.close()
    print(f"数据已保存至数据库 {db_name}")

# 主流程整合示例
def main_crawler(start_url, max_pages=5):
    all_artwork_data = []
    base_url = 'https://目标网站.com'
    image_save_dir = 'downloaded_images'
    os.makedirs(image_save_dir, exist_ok=True)

    for page in range(1, max_pages + 1):
        print(f"正在爬取第 {page} 页...")
        list_url = f"{start_url}?page={page}"
        html = fetch_page(list_url)
        if not html:
            break
        detail_urls = parse_artwork_list(html)

        for detail_url in detail_urls:
            detail_html = fetch_page(detail_url)
            if not detail_html:
                continue
            data = parse_artwork_detail(detail_html, base_url)

            # 下载图片
            if data.get('image_url'):
                # 生成文件名，例如：梵高_星空.jpg
                filename = f"{data['artist']}_{data['title']}.jpg".replace('/', '_').replace('\\', '_')
                local_path = download_image(data['image_url'], image_save_dir, filename)
                data['image_path'] = local_path

            all_artwork_data.append(data)
            time.sleep(1) # 详情页访问延迟

        time.sleep(3) # 列表页翻页延迟
        print(f"第 {page} 页完成，累计收集 {len(all_artwork_data)} 条数据。")

    # 保存数据
    if all_artwork_data:
        save_to_csv(all_artwork_data)
        save_to_sqlite(all_artwork_data)
        print("爬虫任务完成！")
    else:
        print("未收集到任何数据。")

# 运行爬虫（请替换为真实的、允许爬取的起始URL）
# main_crawler('https://目标网站.com/collection', max_pages=2)

4. 为“丹青识画”模型准备数据

爬取和存储只是第一步。要让数据真正赋能模型训练，还需要进行针对性的预处理。

1. 数据筛选与平衡：检查收集的数据集。如果“文艺复兴”风格的作品有10000张，而“立体主义”只有100张，模型就会严重偏科。需要根据你的识别目标（是识别风格还是作者？），对数据进行筛选或补充采集，确保各类别相对平衡。
2. 图像预处理：将下载的图片统一调整为模型需要的输入尺寸（如224x224），进行归一化处理。这能加速训练并提升模型稳定性。
3. 构建标注文件：模型训练需要一个标注文件（如 train.txt），里面每一行对应一张图片和它的标签。格式通常为：图片本地路径 标签。这个标签可以是风格（如“impressionism”），也可以是作者（如“Vincent_van_Gogh”），取决于你的任务。
4. 划分数据集：将数据按比例（如7:2:1）划分为训练集、验证集和测试集。训练集用于模型学习，验证集用于调整超参数，测试集用于最终评估模型泛化能力。

5. 总结与展望

走完这一整套流程，你会发现，从零开始构建一个专属的艺术图像数据集，并没有想象中那么遥不可及。Python爬虫技术就像一把钥匙，帮你打开了全球艺术数字宝库的大门。通过合法、合规、有策略的自动化采集，你能够高效地积累起高质量、结构化的数据，这是任何优秀AI视觉模型的基石。

在实际操作中，每个网站都有其独特性，需要你灵活调整解析策略。最重要的是始终保持对数据源的尊重，遵守 robots.txt 协议，控制请求频率，避免对目标服务器造成负担。有了这些高质量数据，你的“丹青识画”模型就有了充足的养料，无论是进行风格分类、作者鉴定还是画作检索，其性能和准确性都将获得质的飞跃。接下来，就是将这些数据喂给模型，开始真正的训练和迭代之旅了。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。