手把手教你用Python爬取唯品会、京东、得物价格数据（附完整代码与参数解析）

Mr.Gu

419人浏览 · 2026-06-06 12:01:08

Mr.Gu · 2026-06-06 12:01:08 发布

实战指南：Python爬取电商平台价格数据的核心技术解析

在当今电商竞争激烈的市场环境中，价格监控已成为消费者和商家不可或缺的工具。无论是个人购物寻找最优价格，还是商家进行市场调研和竞争分析，掌握跨平台价格数据都显得尤为重要。本文将深入解析如何利用Python技术栈构建一个高效的电商价格爬虫系统，覆盖唯品会、京东和得物三大平台的核心技术难点。

1. 环境准备与基础工具

构建电商爬虫系统前，需要搭建合适的开发环境。推荐使用Python 3.8+版本，它提供了良好的异步支持和稳定的运行环境。以下是必备的工具库清单：

请求库 ： requests 用于常规HTTP请求， aiohttp 用于异步请求
浏览器自动化 ： selenium 和 webdriver-manager 用于模拟浏览器行为
数据处理 ： BeautifulSoup 和 lxml 用于HTML解析， pandas 用于数据整理
加密工具 ： hashlib 和 pycryptodome 用于处理各种加密算法

安装这些依赖可以通过以下命令完成：

pip install requests selenium webdriver-manager beautifulsoup4 pandas pycryptodome aiohttp

对于开发环境配置，建议使用虚拟环境隔离项目依赖：

python -m venv price_monitor
source price_monitor/bin/activate  # Linux/Mac
price_monitor\Scripts\activate  # Windows

2. 唯品会价格数据获取实战

唯品会的价格接口采用了多重防护措施，其中最关键的是API签名机制。要成功获取数据，我们需要完整复现其签名生成流程。

2.1 接口分析与参数准备

唯品会的主要商品价格接口为：

https://mapi.vip.com/vips-mobile/rest/shopping/wap2/vendorSkuList/v4

该接口需要以下核心参数：

参数类别	关键参数	获取方式
基础参数	app_name, app_version, api_key	固定值或从网页源码提取
位置参数	province_id, fdc_area_id	根据用户地理位置确定
商品标识	brandid, mid	从商品URL解析
签名参数	api_sign	动态计算生成

2.2 签名算法实现

唯品会的签名算法基于SHA1加密，核心步骤如下：

从Cookie中提取 sid 和 cid 值
组合固定字符串 secret （与api_key关联）
拼接特定格式的参数字符串
进行SHA1哈希计算

以下是Python实现代码：

import hashlib

def generate_vip_sign(api_key, sid, cid):
    secret_map = {
        '8cec5243ade04ed3a02c5972bcda0d3f': 'a1b2c3d4e5f6g7h8'  # 示例secret
    }
    secret = secret_map.get(api_key, '')
    raw_str = f"api={api_key}&hash_param=&sid={sid}&cid={cid}&secret={secret}"
    return hashlib.sha1(raw_str.encode()).hexdigest()

2.3 价格数据解析

成功获取接口响应后，价格数据位于JSON的深层嵌套结构中：

def parse_vip_price(response_json):
    price_data = response_json['data']['product_price_range_mapping']['priceView']
    return {
        'final_price': price_data['finalPrice']['price'],
        'market_price': price_data['salePrice']['saleMarketPrice'],
        'sale_price': price_data['salePrice']['salePrice']
    }

3. 京东价格爬取策略

京东采用了动态渲染技术，传统的静态页面爬取方法往往难以奏效。我们采用Selenium结合智能等待策略来实现可靠的数据获取。

3.1 Selenium配置优化

为了避免被识别为自动化工具，需要对Selenium进行深度定制：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def create_stealth_driver():
    options = Options()
    options.add_argument("--disable-blink-features=AutomationControlled")
    options.add_experimental_option("excludeSwitches", ["enable-automation"])
    options.add_experimental_option('useAutomationExtension', False)
    driver = webdriver.Chrome(options=options)
    driver.execute_cdp_cmd('Network.setUserAgentOverride', {
        "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    })
    return driver

3.2 价格元素定位技巧

京东的价格元素通常有以下几种定位方式：

CSS选择器 ： .price.J-p-{skuId}
XPath ： //div[contains(@class, 'price') and contains(@class, 'J-p-')]
类名组合 ：通过多个类名组合精确定位

实际代码实现：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def get_jd_price(driver, url):
    driver.get(url)
    try:
        price_element = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, ".price.J-p-"))
        )
        return float(price_element.text.strip('¥'))
    except Exception as e:
        print(f"获取价格失败: {str(e)}")
        return None

3.3 反反爬策略

京东会检测异常访问行为，我们需要实现以下防护措施：

随机延迟 ：在操作间添加0.5-3秒的随机等待
鼠标移动模拟 ：使用ActionChains模拟人类操作
Cookie管理 ：定期清理和更新Cookie
IP轮换 ：使用代理IP池避免单一IP被封

4. 得物平台数据获取方案

得物采用了严格的反爬机制，特别是其小程序接口的加密方案。我们需要深入分析其通信协议才能实现有效的数据获取。

4.1 接口加密逆向分析

得物的主要价格接口为：

https://app.dewu.com/api/v1/h5/inventory/price/h5/queryBuyNowInfo

该接口需要处理两个关键加密环节：

请求签名（sign） ：基于请求参数和特定算法生成
数据加密（SK） ：请求和响应数据的加解密

签名生成算法通常包含以下步骤：

按特定顺序排列参数
添加时间戳和随机字符串
使用MD5或SHA256进行哈希
进行Base64编码

4.2 小程序逆向工程

要准确获取加密算法，需要进行小程序逆向：

使用Android模拟器安装得物小程序
提取小程序包并进行反编译
分析关键加密函数的JavaScript代码
使用Python复现加密逻辑

以下是模拟SK生成的示例代码：

import time
import random
import hashlib
import base64

def generate_sk():
    timestamp = int(time.time())
    rand_str = ''.join(random.choices('abcdefghijklmnopqrstuvwxyz0123456789', k=16))
    raw = f"{timestamp}{rand_str}"
    return base64.b64encode(hashlib.md5(raw.encode()).digest()).decode()

4.3 价格数据结构解析

得物的价格数据较为复杂，不同交易类型对应不同价格：

def parse_dewu_price(response_json):
    price_map = {
        0: '普通价',
        1: '极速价',
        2: '闪电价',
        3: '跨境价',
        8: '品牌专供',
        95: '全新微瑕'
    }
    results = []
    for item in response_json['data']['tradeChannelInfoList']:
        results.append({
            'size': item['size'],
            'price_type': price_map.get(item['tradeType'], '未知'),
            'price': item['price']
        })
    return results

5. 数据存储与比价分析

获取各平台数据后，需要建立统一的数据存储和分析体系，才能实现有效的价格监控和比价功能。

5.1 数据库设计

推荐使用SQLite或MySQL存储价格数据，基础表结构设计如下：

CREATE TABLE products (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    platform TEXT NOT NULL,
    product_id TEXT NOT NULL,
    title TEXT NOT NULL,
    url TEXT NOT NULL,
    UNIQUE(platform, product_id)
);

CREATE TABLE price_history (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    product_id INTEGER NOT NULL,
    fetch_time DATETIME NOT NULL,
    price REAL NOT NULL,
    price_type TEXT,
    size TEXT,
    FOREIGN KEY (product_id) REFERENCES products(id)
);

5.2 比价算法实现

有效的比价需要考虑多种因素：

价格趋势分析 ：计算历史价格波动
平台差异 ：考虑各平台的优惠券、满减活动
尺码对应 ：针对得物的尺码价格差异进行匹配

基础比价函数示例：

def compare_prices(vip_price, jd_price, dewu_prices):
    base_comparison = {
        'vip_vs_jd': vip_price - jd_price,
        'best_deal': min(vip_price, jd_price)
    }
    
    dewu_comparison = []
    for dewu in dewu_prices:
        dewu_comparison.append({
            'size': dewu['size'],
            'price_diff': base_comparison['best_deal'] - dewu['price'],
            'profit_margin': (dewu['price'] - base_comparison['best_deal']) / base_comparison['best_deal']
        })
    
    return {
        'base': base_comparison,
        'dewu': dewu_comparison
    }

5.3 可视化展示

使用Matplotlib或Plotly生成直观的价格对比图表：

import matplotlib.pyplot as plt
import pandas as pd

def plot_price_comparison(data):
    df = pd.DataFrame(data['dewu'])
    plt.figure(figsize=(10, 6))
    plt.bar(df['size'], df['price_diff'])
    plt.xlabel('Size')
    plt.ylabel('Price Difference')
    plt.title('Price Comparison Across Platforms')
    plt.axhline(0, color='black', linestyle='--')
    plt.grid(True)
    return plt

6. 反爬对抗与系统优化

电商平台不断升级反爬措施，我们的爬虫系统也需要持续优化以适应这些变化。

6.1 请求指纹伪装

现代反爬系统会检测HTTP请求的各类指纹特征，我们需要全方位伪装：

Headers完整性 ：包含所有常规浏览器会发送的headers
TLS指纹 ：使用requests的适配器修改TLS指纹
TCP/IP特征 ：调整TCP窗口大小和TTL值

高级headers配置示例：

def get_realistic_headers():
    return {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'Cache-Control': 'no-cache',
        'Connection': 'keep-alive',
        'Pragma': 'no-cache',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }