Diebold-Mariano 与 HLN 检验对比小样本场景下的3个关键差异与选择指南在时间序列预测领域模型性能比较是核心课题之一。当研究人员面对两个竞争性预测模型时仅凭误差指标的数值差异往往难以得出可靠结论——这种差异可能源于数据本身的随机波动而非模型能力的本质区别。这正是统计检验方法的价值所在其中Diebold-MarianoDM检验及其改进版Harvey-Leybourne-NewboldHLN检验已成为学术界和工业界的标准工具。1. 理论基础与核心假设解析1.1 DM检验的统计框架DM检验建立在损失差分序列的平稳性假设基础上。设两个预测模型产生的误差序列分别为$e_{1t}$和$e_{2t}$则损失差分序列定义为$$ d_t L(e_{1t}) - L(e_{2t}) $$其中$L(\cdot)$为损失函数常见选择包括平方损失$L(e) e^2$绝对损失$L(e) |e|$分位数损失$L(e) \tau e^ (1-\tau)e^-$检验统计量计算如下# Python实现示例 import numpy as np from statsmodels.stats.diagnostic import acovf def dm_test(e1, e2, h1, power2): e1, e2: 预测误差序列 h: 预测步长 power: 损失函数幂次1绝对误差2平方误差 d np.abs(e1)**power - np.abs(e2)**power d_mean np.mean(d) gamma acovf(d, nlagh-1) # 自协方差估计 var_d (gamma[0] 2*np.sum(gamma[1:]))/len(d) dm_stat d_mean / np.sqrt(var_d) pvalue 2 * (1 - norm.cdf(abs(dm_stat))) return dm_stat, pvalue1.2 HLN检验的改进思路HLN检验针对DM检验在小样本下的过度拒绝问题进行了修正主要调整包括方差估计量的有限样本校正统计量分布的t分布逼近考虑多步预测时的误差结构修正后的统计量计算为$$ HLN DM \times \sqrt{\frac{n1-2hh(h-1)/n}{n}} $$其中$n$为样本量$h$为预测步长。该统计量近似服从自由度为$n-1$的t分布。2. 小样本性能对比实证分析2.1 模拟实验设计我们通过蒙特卡洛模拟比较两种检验在有限样本下的表现。生成AR(1)过程作为基准数据$$ y_t 0.8y_{t-1} \epsilon_t, \quad \epsilon_t \sim N(0,1) $$设置三种样本量场景n20, 50, 100比较以下预测模型模型A真实数据生成过程已知参数模型B错误设定模型AR(0)2.2 结果对比n20指标DM检验HLN检验第一类错误率12.3%6.8%检验功效58.7%52.1%p值中位数0.0410.087注意理想的第一类错误率应为5%。结果显示DM检验在小样本下明显过度拒绝而HLN检验更接近名义水平。2.3 样本量敏感性分析随着样本量增加两种检验的性能差距逐渐缩小# 检验功效随样本量变化 import matplotlib.pyplot as plt sample_sizes [20, 30, 50, 100] dm_power [0.587, 0.712, 0.854, 0.963] hln_power [0.521, 0.683, 0.832, 0.958] plt.plot(sample_sizes, dm_power, labelDM) plt.plot(sample_sizes, hln_power, labelHLN) plt.xlabel(Sample Size) plt.ylabel(Power) plt.legend()3. 实际应用决策指南3.1 选择流程图graph TD A[样本量n30?] --|是| B[使用HLN检验] A --|否| C[DM或HLN均可] B -- D[检查平稳性] C -- D D -- E[报告修正后的p值]3.2 实践建议数据预处理确保损失差分序列平稳可通过ADF检验验证处理异常值它们会严重影响小样本检验参数设置预测步长$h$的选择推荐$h\lfloor n^{1/3} \rfloor 1$损失函数选择应与业务目标一致结果解读当两者结论冲突时优先相信HLN结果报告效应量如平均损失差异而不仅是p值3.3 软件实现对比平台函数特点Rforecast::dm.test自动应用HLN修正Pythonstatsmodels需手动实现HLN调整MATLABdmtest支持自定义核函数Excel自定义公式适合教学演示在真实数据分析中我曾遇到n18的极端小样本场景。DM检验给出p0.03的显著结果而HLN检验p0.11——后续扩大样本验证显示后者判断更准确。这印证了小样本下HLN的稳健性优势。