Python+Selenium动态爬取地表水水质数据实战（2024最新避坑版）

最近在帮一个做环境咨询的朋友处理数据需求，他需要定期获取一些公开的水质监测数据来做趋势分析。他之前在网上找了一段几年前的Python爬虫代码，结果一运行就报错，页面元素根本定位不到。这其实是个典型问题：很多依赖特定网页结构的爬虫脚本，一旦目标网站前端改版，代码就立刻“瘫痪”。对于环境监测从业者，或者刚开始接触Python数据采集的朋友来说，这种动态网页的数据获取，确实是个不大不小的门槛。今天，我们就来彻底解决这个问题，手把手带你构建一个健壮、可维护、能应对常见反爬策略的地表水水质数据爬取方案。这不仅仅是一段可运行的代码，更是一套项目级的实战思路，帮你避开我踩过的那些坑。

1. 环境准备与核心工具选型

在开始编写任何一行爬虫代码之前，搭建一个稳定且高效的开发环境是重中之重。不同于静态网页，动态加载数据的网站（如许多现代的数据发布平台）其内容由JavaScript在浏览器端渲染生成，直接使用requests库获取的HTML源码往往是空的或是不完整的。因此，我们的工具链需要能够模拟真实浏览器的行为。

1.1 核心库安装与配置

我们将主要依赖Selenium这个浏览器自动化工具。它允许我们通过程序控制Chrome、Firefox等浏览器，执行点击、输入、滚动等操作，并获取渲染完成后的完整页面源码。为了管理方便，我们通常使用pip进行包管理。

首先，创建一个新的虚拟环境是个好习惯，可以避免包版本冲突。然后安装核心库：

pip install selenium pandas beautifulsoup4 webdriver-manager

这里解释一下每个库的作用：

• selenium：浏览器自动化的核心，用于驱动浏览器并与之交互。
• pandas：数据处理和分析的利器，我们将用它来清洗和保存爬取到的表格数据。
• beautifulsoup4：虽然Selenium可以获取源码，但用BeautifulSoup来解析HTML、提取数据通常更简洁优雅。
• webdriver-manager：这是一个非常实用的工具，它能自动下载并管理不同浏览器对应的驱动（如chromedriver），省去了手动查找、下载和配置驱动路径的麻烦。

注意：如果你身处网络环境特殊的区域，webdriver-manager自动下载驱动可能会失败。此时，你可以选择手动下载与你的Chrome浏览器版本匹配的chromedriver，并将其路径在代码中指定。这是第一个常见的“坑点”。

1.2 浏览器驱动与Headless模式优化

Selenium需要对应的浏览器驱动才能工作。我们以Chrome为例。使用webdriver-manager可以自动处理：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

# 自动下载并使用匹配的chromedriver
service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=service)

对于数据爬取任务，我们通常不需要看到浏览器界面。开启Headless（无头）模式可以节省系统资源，并能在服务器等无图形界面的环境中运行。但Headless模式下的浏览器行为与普通模式有细微差别，需要进行一些优化配置以避免被网站识别或遇到渲染问题。

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--headless=new")  # 使用新版Headless模式
chrome_options.add_argument("--no-sandbox")  # 在Linux服务器上运行时可能需要
chrome_options.add_argument("--disable-dev-shm-usage")  # 解决共享内存问题
chrome_options.add_argument("--disable-gpu")  # 某些环境下需要
chrome_options.add_argument("--window-size=1920,1080")  # 设置窗口大小，确保元素正常加载
# 禁用图片加载，加速页面渲染
chrome_options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})
# 添加一些常见的用户代理，模拟更真实的浏览器
chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")

这些配置项是解决“页面在Headless模式下加载不全或行为异常”这一坑点的关键。特别是设置窗口大小，因为有些网站的响应式布局会根据视口大小调整DOM结构。

2. 动态页面分析与稳健的元素定位策略

目标网站的结构可能已经发生变化，因此我们不能直接套用旧的XPath或CSS选择器。我们需要像侦探一样，重新审视页面，找到数据所在的“位置”。

2.1 页面结构探查与等待机制

使用Selenium打开目标页面后，不要急于抓取数据。动态数据通常是异步加载的，我们必须等待数据表格出现在DOM中。显式等待（Explicit Wait） 是Selenium最佳实践之一，它比固定的time.sleep()更高效、更可靠。

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 假设目标数据在一个id为‘dataTable’的表格中
wait = WebDriverWait(driver, 20)  # 最多等待20秒
try:
    data_table = wait.until(
        EC.presence_of_element_located((By.ID, "dataTable"))
    )
    print("数据表格加载成功！")
except TimeoutException:
    print("等待超时，未能找到数据表格。可能页面结构已改变或加载失败。")
    driver.quit()
    exit()

这里用到的presence_of_element_located条件表示“元素出现在DOM中”，但它不一定可见或可交互。如果后续需要对元素进行操作（如点击下拉菜单），则应使用element_to_be_clickable。

2.2 应对复杂页面结构：iframe与多级菜单

许多政府或监测平台网站喜欢使用<iframe>（内联框架）来嵌入内容。这是一个巨大的坑点，因为如果你不切换到正确的iframe，你永远找不到iframe内部的元素。

# 检查页面是否包含iframe，并切换到目标iframe
frames = driver.find_elements(By.TAG_NAME, "iframe")
if frames:
    print(f"发现 {len(frames)} 个iframe")
    # 通常需要根据id或索引来切换，这里假设切换到第一个
    driver.switch_to.frame(frames[0])
    # 现在可以定位iframe内的元素了
    # ... 定位操作 ...
    # 操作完成后，切回主文档
    driver.switch_to.default_content()

对于选择“流域”、“省份”等下拉菜单，不要依赖绝对XPath（如/html/body/div[1]/div[1]/div/ul/li[1]），这种路径极其脆弱。应使用更具语义化的定位方式：

• 按文本内容定位：driver.find_element(By.LINK_TEXT, “所有流域”)
• 按CSS选择器定位：driver.find_element(By.CSS_SELECTOR, “.dropdown-menu li:first-child”)
• 组合定位：先找到下拉框，再点击其下的选项。

3. 数据提取、清洗与持久化存储

成功定位到包含数据的HTML元素后，下一步就是解析和提取。我们结合BeautifulSoup和pandas来完成这项工作，它们比单纯用Selenium的find_elements方法处理表格数据更强大。

3.1 从HTML表格到结构化DataFrame

假设数据在一个标准的<table>标签内。我们可以用BeautifulSoup解析整个页面源码，然后提取表头和行数据。

from bs4 import BeautifulSoup
import pandas as pd

# 获取渲染后的完整页面HTML
page_html = driver.page_source
soup = BeautifulSoup(page_html, 'html.parser')

# 定位表格，这里假设表格有id‘gridDatas’
table = soup.find('table', id='gridDatas')
if not table:
    # 备用方案：尝试其他选择器或直接使用Selenium提取
    print("未找到指定ID的表格，尝试其他定位方式...")
    # 例如，通过Selenium获取表格所有行的文本
    rows = driver.find_elements(By.CSS_SELECTOR, "#gridDatas tr")
    data = []
    for row in rows:
        cols = row.find_elements(By.TAG_NAME, "td")
        data.append([col.text for col in cols])
    df = pd.DataFrame(data[1:], columns=data[0]) if data else pd.DataFrame()
else:
    # 使用BeautifulSoup解析
    headers = [th.get_text(strip=True) for th in table.find('thead').find_all('th')]
    rows = table.find('tbody').find_all('tr')
    data = []
    for row in rows:
        cols = row.find_all('td')
        data.append([col.get_text(strip=True) for col in cols])
    df = pd.DataFrame(data, columns=headers)

print(f"成功提取 {df.shape[0]} 行数据，共 {df.shape[1]} 列。")
print(df.head())

3.2 数据清洗与异常值处理

爬取到的原始文本数据往往包含多余的空格、换行符、不可见字符，或者有“-”、“N/A”等表示缺失值的标记。在保存前进行初步清洗至关重要。

# 示例清洗步骤
if not df.empty:
    # 1. 去除列名和单元格值的首尾空格
    df.columns = df.columns.str.strip()
    df = df.map(lambda x: x.strip() if isinstance(x, str) else x)

    # 2. 处理空值和特定占位符
    df.replace(['-', 'N/A', 'NULL', ''], pd.NA, inplace=True)

    # 3. 尝试将数值列转换为合适的数据类型（例如，pH值、溶解氧浓度）
    # 注意：需要根据实际列名调整
    for col in ['pH值', '溶解氧(mg/L)', '高锰酸盐指数(mg/L)']:
        if col in df.columns:
            # 强制转换为数值，错误则设为NA
            df[col] = pd.to_numeric(df[col], errors='coerce')

    # 4. 检查并删除全为空的行
    df.dropna(how='all', inplace=True)

3.3 灵活可配置的存储方案

数据应该以结构化的方式保存，并包含爬取时间戳，便于后续追踪和版本管理。我们将存储逻辑模块化。

import os
from datetime import datetime

def save_data_to_csv(dataframe, base_path='./data', filename_prefix='地表水水质数据'):
    """
    将DataFrame保存为CSV文件，按日期组织目录。
    """
    if dataframe.empty:
        print("数据为空，不执行保存操作。")
        return

    # 创建存储目录（如果不存在）
    today_str = datetime.now().strftime('%Y-%m-%d')
    save_dir = os.path.join(base_path, today_str)
    os.makedirs(save_dir, exist_ok=True)

    # 生成带时间戳的文件名
    timestamp_str = datetime.now().strftime('%H%M%S')
    filename = f"{filename_prefix}_{today_str}_{timestamp_str}.csv"
    filepath = os.path.join(save_dir, filename)

    # 保存文件，使用UTF-8-sig编码以兼容Excel打开时的中文显示
    try:
        dataframe.to_csv(filepath, index=False, encoding='utf-8-sig')
        print(f"数据已成功保存至：{filepath}")
    except Exception as e:
        print(f"保存文件时出错：{e}")
        # 备用方案：尝试其他编码
        dataframe.to_csv(filepath, index=False, encoding='gb18030')

4. 反爬应对策略与项目级健壮性设计

一个只能运行一次的爬虫是脆弱的。我们必须考虑到网络波动、网站改版、访问频率限制等各种异常情况，并设计相应的处理机制。

4.1 基础反爬绕过技巧

对于这类公开数据平台，反爬措施通常不会太极端，但一些基本防护仍需注意。

• 请求头模拟：我们已经在前面的chrome_options中设置了user-agent。还可以添加Accept-Language、Referer等，使其更像普通浏览器。

  chrome_options.add_argument("accept-language=zh-CN,zh;q=0.9,en;q=0.8")
  

• 操作人性化：在关键操作（如点击、跳转）之间添加随机延时，避免请求过于规律。

  import random, time
  time.sleep(random.uniform(1, 3))  # 随机等待1到3秒
  

• Cookie处理：如果需要登录或会话保持，Selenium会自动管理Cookie。在复杂场景下，可以手动获取并保存Cookie，后续请求时加载。

4.2 结构化异常处理与日志记录

将整个爬取流程封装在try...except块中，并详细记录日志，对于排查错误和监控任务运行状态至关重要。

import logging
from selenium.common.exceptions import TimeoutException, NoSuchElementException, WebDriverException

# 配置日志
logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler('water_quality_crawler.log'),
        logging.StreamHandler()
    ]
)
logger = logging.getLogger(__name__)

def main_crawler():
    driver = None
    try:
        logger.info("启动爬虫任务...")
        # 初始化驱动、访问页面、定位元素、提取数据的完整流程...
        # ... (此处整合前面章节的代码) ...

        logger.info("爬虫任务执行成功。")
        return True
    except TimeoutException as e:
        logger.error(f"页面加载或元素等待超时：{e}")
        # 可以在这里尝试刷新页面重试
    except NoSuchElementException as e:
        logger.error(f"未找到页面元素，选择器可能已失效：{e}")
        # 触发警报，通知维护人员检查网站结构
    except WebDriverException as e:
        logger.error(f"WebDriver发生错误，可能是浏览器或驱动问题：{e}")
    except Exception as e:
        logger.error(f"发生未预期的错误：{e}", exc_info=True)  # exc_info会打印堆栈跟踪
    finally:
        # 无论成功与否，最终都要确保关闭浏览器驱动，释放资源
        if driver:
            driver.quit()
            logger.info("WebDriver已关闭。")
    return False

if __name__ == "__main__":
    success = main_crawler()
    if not success:
        logger.warning("本次爬取任务失败。")

4.3 配置化与可维护性

将易变的参数（如URL、选择器、等待时间）提取到配置文件（如config.yaml或config.ini）或代码顶部的变量中，这样当网站改版时，你只需要修改配置，而无需深入代码逻辑。

# config.py
TARGET_URL = "https://szzdjc.cnemc.cn:8070/GJZ/Business/Publish/Main.html"
TABLE_SELECTOR = {"by": By.ID, "value": "gridDatas"}
DROPDOWN_SELECTOR = {"by": By.ID, "value": "ddm_Area"}
WAIT_TIMEOUT = 30
OUTPUT_DIR = "./data"

在主体代码中引入这些配置，使得核心逻辑更加清晰，也便于后续扩展为多站点爬虫。经过这样一番设计和实现，你的爬虫就不再是一个脆弱的脚本，而是一个具备一定抗风险能力的数据采集工具。记住，爬虫开发是一个“道高一尺，魔高一丈”的过程，保持代码的清晰、模块化和可观测性，是应对未来变化的最佳策略。在实际项目中，我通常会为这类爬虫配上定时任务和简单的健康检查报警，一旦连续失败几次就通知我，这样就能在网站改版后第一时间做出反应。