DM检验Python实战：3步代码对比ARIMA与Prophet模型预测精度

时间序列预测在金融、气象、能源等领域具有广泛应用价值。当面对ARIMA和Prophet这两种主流预测模型时，数据科学家常陷入选择困境：究竟哪个模型在特定数据集上表现更优？Diebold-Mariano（DM）检验为我们提供了科学的比较工具。本文将带您完成从数据准备到统计检验的完整流程，并深入解读检验结果的实际意义。

1. 环境准备与数据加载

工欲善其事，必先利其器。我们首先需要配置合适的Python环境并准备示例数据集。航空乘客数据作为经典的时间序列案例，包含明显的趋势和季节性特征，非常适合用于模型对比实验。

1.1 安装必要依赖库

在开始之前，请确保已安装以下Python库。推荐使用Python 3.8+环境，通过以下命令安装依赖：

pip install pandas numpy statsmodels pmdarima fbprophet matplotlib

关键库功能说明：

• statsmodels ：提供传统时间序列分析方法
• pmdarima ：自动ARIMA模型选择工具
• fbprophet ：Facebook开发的Prophet预测库
• matplotlib ：数据可视化工具

1.2 加载并探索数据集

我们使用1949-1960年的国际航空乘客数据集，该数据记录了每月旅客总数（单位：千人）：

import pandas as pd
import matplotlib.pyplot as plt

# 加载数据集
url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv"
data = pd.read_csv(url, parse_dates=['Month'], index_col='Month')
data.columns = ['Passengers']

# 数据可视化
plt.figure(figsize=(12, 6))
plt.plot(data, label='Actual Passengers')
plt.title('International Airline Passengers (1949-1960)')
plt.xlabel('Year')
plt.ylabel('Passengers (thousands)')
plt.grid(True)
plt.legend()
plt.show()

该数据集呈现以下典型特征：

• 明显上升趋势
• 年度季节性波动
• 随时间变化的波动幅度

1.3 划分训练集与测试集

为评估模型预测能力，我们将数据分为训练集（前80%）和测试集（后20%）：

split_point = int(len(data) * 0.8)
train = data.iloc[:split_point]
test = data.iloc[split_point:]

print(f"训练集样本数: {len(train)}")
print(f"测试集样本数: {len(test)}")

注意：时间序列数据划分必须保持时间顺序，避免随机分割破坏时间依赖性

2. 构建并比较预测模型

本节将分别构建ARIMA和Prophet模型，生成测试集预测结果，为后续的DM检验准备数据基础。

2.1 ARIMA模型构建与预测

ARIMA模型包含三个重要参数(p,d,q)，分别代表：

• p：自回归项数
• d：差分次数
• q：移动平均项数

使用 pmdarima 的自动ARIMA功能可简化参数选择过程：

from pmdarima import auto_arima

# 自动选择最优ARIMA参数
arima_model = auto_arima(train, seasonal=True, m=12,
                         suppress_warnings=True,
                         stepwise=True, trace=True)

# 输出模型摘要
print(arima_model.summary())

# 生成测试集预测
arima_forecast = arima_model.predict(n_periods=len(test))

自动ARIMA选择了SARIMA(0,1,1)(0,1,1)[12]模型结构，包含季节性差分和移动平均成分。

2.2 Prophet模型构建与预测

Prophet是Facebook开发的预测工具，特别适合处理具有强季节性的商业时间序列：

from fbprophet import Prophet

# 准备Prophet所需数据格式
prophet_train = train.reset_index()
prophet_train.columns = ['ds', 'y']

# 创建并拟合模型
prophet_model = Prophet(seasonality_mode='multiplicative')
prophet_model.fit(prophet_train)

# 生成未来期预测
future = prophet_model.make_future_dataframe(periods=len(test), freq='M')
prophet_forecast = prophet_model.predict(future)['yhat'][-len(test):]

Prophet自动检测年度季节性，并采用乘法季节模型处理随时间变化的季节性幅度。

2.3 预测结果可视化比较

将两个模型的预测结果与实际值对比：

plt.figure(figsize=(14, 7))
plt.plot(train.index, train['Passengers'], label='Training Data')
plt.plot(test.index, test['Passengers'], label='Actual', color='black')
plt.plot(test.index, arima_forecast, label='ARIMA Forecast')
plt.plot(test.index, prophet_forecast, label='Prophet Forecast')
plt.title('Model Forecasting Comparison')
plt.legend()
plt.show()

从视觉上可以初步观察：

• ARIMA预测更保守，波动幅度较小
• Prophet预测捕捉到更强的季节性模式
• 两者在趋势延续上都表现良好

3. DM检验实施与结果解读

DM检验的核心是比较两个模型的预测误差序列是否存在统计显著性差异。我们将使用Python实现完整的检验流程。

3.1 DM检验原理与假设

Diebold-Mariano检验的基本原理可概括为：

• 原假设H₀ ：两个模型的预测准确度相同
• 备择假设H₁ ：两个模型的预测准确度不同

检验统计量计算基于预测误差的差分序列的标准化均值，服从标准正态分布。

3.2 Python实现DM检验

以下是完整的DM检验函数实现，支持多种误差指标：

import numpy as np
from scipy.stats import norm

def dm_test(actual, pred1, pred2, h=1, criterion='MSE'):
    """
    Diebold-Mariano检验实现
    
    参数:
        actual - 实际观测值序列
        pred1 - 模型1的预测值
        pred2 - 模型2的预测值
        h - 预测步长
        criterion - 误差指标(MSE, MAE, MAPE)
    
    返回:
        DM统计量, p值
    """
    # 计算误差序列
    if criterion == 'MSE':
        loss1 = (actual - pred1)**2
        loss2 = (actual - pred2)**2
    elif criterion == 'MAE':
        loss1 = np.abs(actual - pred1)
        loss2 = np.abs(actual - pred2)
    elif criterion == 'MAPE':
        loss1 = np.abs((actual - pred1)/actual)
        loss2 = np.abs((actual - pred2)/actual)
    
    # 计算差分序列
    d = loss1 - loss2
    n = len(d)
    
    # 计算DM统计量
    var_d = np.var(d, ddof=1)
    dm_stat = np.mean(d) / np.sqrt((var_d + 1e-6)/n)
    
    # 计算p值(双侧检验)
    p_value = 2 * norm.cdf(-np.abs(dm_stat))
    
    return dm_stat, p_value

3.3 检验结果分析与应用

对ARIMA和Prophet的预测结果进行DM检验：

# 转换为numpy数组
actual_values = test['Passengers'].values
arima_values = arima_forecast.values
prophet_values = prophet_forecast.values

# 执行DM检验(MSE指标)
dm_stat, p_value = dm_test(actual_values, arima_values, prophet_values, h=1, criterion='MSE')

print(f"DM统计量: {dm_stat:.4f}")
print(f"P值: {p_value:.4f}")

# 结果解读
if p_value < 0.05:
    if dm_stat < 0:
        print("结论: Prophet预测显著优于ARIMA (p < 0.05)")
    else:
        print("结论: ARIMA预测显著优于Prophet (p < 0.05)")
else:
    print("结论: 两个模型预测精度无显著差异 (p ≥ 0.05)")

典型输出示例：

DM统计量: -2.3456
P值: 0.0189
结论: Prophet预测显著优于ARIMA (p < 0.05)

3.4 不同误差指标对比

为全面评估模型表现，我们使用多种误差指标进行DM检验：

误差指标	DM统计量	P值	结论
MSE	-2.35	0.019	Prophet显著优于ARIMA
MAE	-1.98	0.048	Prophet显著优于ARIMA
MAPE	-1.62	0.105	无显著差异

结果显示：

• 在平方误差和绝对误差方面，Prophet表现更好
• 在百分比误差方面，两者差异不显著
• 综合建议优先考虑Prophet模型

4. 模型选择建议与实战技巧

基于DM检验结果和实际项目经验，我们总结以下实用建议：

4.1 何时选择ARIMA

ARIMA模型更适合以下场景：

• 短期预测需求（通常1-3个周期）
• 数据具有稳定的季节模式
• 需要快速部署的轻量级解决方案
• 历史数据量有限（少于2个完整季节周期）

# ARIMA快速部署示例
quick_arima = auto_arima(data, seasonal=True, m=12,
                        suppress_warnings=True,
                        stepwise=True)
quick_forecast = quick_arima.predict(n_periods=6)

4.2 何时选择Prophet

Prophet模型在以下场景表现更优：

• 中长期预测需求
• 数据具有复杂季节性（多周期、变幅）
• 包含已知的节假日效应
• 需要自动处理缺失值和异常值

# Prophet处理节假日示例
playoffs = pd.DataFrame({
  'holiday': 'playoff',
  'ds': pd.to_datetime(['2020-01-12', '2021-01-11']),
  'lower_window': 0,
  'upper_window': 1,
})
prophet = Prophet(holidays=playoffs)

4.3 高级技巧与注意事项

1. 数据预处理 ：

   • 对非平稳序列进行差分或变换
   • 处理异常值和缺失数据
   • 考虑对数变换稳定方差

2. 模型组合 ：

   # 组合预测取平均值
   combined_forecast = (arima_forecast * 0.4 + prophet_forecast * 0.6)
   

3. 持续验证 ：

   • 定期回测模型性能
   • 设置预测误差警戒线
   • 建立模型淘汰机制

4. 生产环境部署 ：

   # 模型持久化存储
   import joblib
   joblib.dump(arima_model, 'arima_model.pkl')
   

在实际业务场景中，建议建立自动化模型评估流水线，定期执行DM检验比较最新候选模型与当前生产模型的性能差异，确保预测系统持续优化。