如有侵权或其他问题欢迎留言联系更正或删除。出处AAAI 2025代码https://github.com/stitsyuk/xPatchPS非常好的时序预测工作时序或时空领域的研究者们都可以 follow可以考虑和 Mamba、Kan、大语言模型、蒸馏模型等先进技术结合主要考虑应用其分解后单独处理两分支的技术一 提出动机基于 Transformer 的模型在时序预测内广受关注核心在于注意力机制擅长捕捉数据复杂关联效果优于传统模型。局限在于注意力机制难以充分捕捉 时序的 强时序依赖” 与 “周期性关联”这一点是新方案的核心研发动机。Transformer 的关键缺陷注意力机制的排列不变性即不依赖输入数据的顺序— 但时间序列的 “时间顺序” 是预测的核心该 “不变性” 会导致模型忽略时间关联性阻碍最优预测。解决思路不依赖 Transformer转而在非 Transformer 架构CNNMLP内借鉴现有有效技术补丁块、通道独立性设计新模型xPatch。tips① 由于现实系统具备非平稳性non-stationary nature时序数据通常包含复杂的时序模式。为应对该复杂性及非平稳性许多 LTSF 模型采用 “输入分解” 范式 — 通过 “季节、趋势分解” 分别捕捉线性趋势特征与非线性季节波动且通过此分解模式再分别单独处理的范式已被证实有效。② 采用简单平均池化average pooling进行信号分解需在序列两端 “填充padding” — 本质上是重复序列的最后一个值及第一个值。因此推断该方法将导致模型对 “首尾值产生偏差”进而可能改变趋势值的特性。二 模型结构三 Method3.1 Seasonal-Trend DecompositionSimple Moving Average (SMA) 简单移动平均 的做法SMA 分解示例SMA 的缺陷① 平均池化操作将导致重要的趋势特征丢失。此外为实现序列对齐需在序列两端进行填充padding会造成序列首尾部分的信息失真。② SMA 生成的趋势信号过于简化特征多样性有限且季节模式复杂混乱混杂噪声。→ → → → 改进版EMA指数移动平均Exponential Moving Average, EMAGardner Jr1985是一种指数平滑方法其核心是为近期数据点分配更高权重同时平滑远期数据。这种指数加权机制使 EMA 能更快速地响应时间序列潜在趋势的变化且无需对重复值进行填充。EMA 分解示例总结① 指数方法对趋势与季节性成分的变化特征控制能力更强且因数据模式多样含不同周期、变化特征的平稳与非平稳性指数分解法凭借适应性在特征提取上具优势② 相较于简单移动平均SMA指数移动平均EMA分解方法更灵活其依据数据点的指数衰减调整权重能更有效捕捉变化趋势尤其适合动态演变模式的时间序列。3.2 Model ArchitectureChannel-Independence、Exponential Decomposition、Patching 模块省略主要部分双流网络Dual Flow Net作为核心骨干模型我们采用两条不同的流stream来分析趋势成分与季节性成分即线性流linear stream和 非线性流non-linear stream。其中趋势成分通过基于线性多层感知机MLP的流进行处理而季节性成分则由基于非线性卷积神经网络CNN的模块负责处理。季节性成分代表围绕某一恒定水平的周期性波动这意味着此类波动的统计特性均值、方差会随时间保持稳定即季节性成分具有平稳性。与之相反趋势成分反映的是具有上升或下降特征的长期变化且其均值会随时间发生改变因此趋势成分具有非平稳性。综上在大多数情况下季节性成分呈非线性且平稳的特征而趋势成分呈线性且非平稳的特征。但部分数据集可能表现出特殊特征如平稳的趋势成分。因此双流架构的设计旨在提升模型对平稳性与非平稳性数据的适应性。3.3 Loss Function均方误差Mean Squared Error, MSE损失是长序列时间预测Long-Term Sequence Forecasting, LTSF模型常用的训练损失方案近期基于 Transformer 的模型 CARDWang 等人2024b提出了一种新颖的基于信号衰减的损失函数该函数通过降低远期平均绝对误差Mean Absolute Error, MAE的权重来解决高方差问题。选择 MAE 的原因在于它相比 MSE 对异常值outliers的鲁棒性更强CARD 模型已证实这种训练方案效率较高且能提升现有模型的性能因为目前信号衰减速率过快不适宜当前任务主要是对上述式子信号衰减的控制函数作出了具体改进3.4 Learning Rate Adjustment Scheme常用的长时时序预测 学习率控制策略PatchTST 的 学习率控制策略CARD 的 学习率控制策略xPatch 的 学习率控制策略四 实验结果主要实验结果预测任务评测时间消耗