01 论文信息论文题目Neural Architecture and Hyperparameter Selection Through Meta-Learning on Time Series基于元学习的时间序列神经网络架构与超参数选择论文作者Erfan Moeini发表单位RWTH Aachen University发表会议/期刊AAAI Conference on Artificial Intelligence 2026代码链接论文未公开代码截至论文发表版本。02 论文主要贡献随着深度学习的发展时间序列领域出现了大量优秀模型包括Transformer 系列CNN 系列RNN 系列MLP 系列。然而不同时间序列数据具有不同的数据分布和时序特征并不存在一种模型能够在所有任务中取得最佳效果。因此对于一个新的时间序列任务研究者通常需要人工选择模型手动调整超参数使用 AutoML 方法进行搜索。但是传统 AutoML 方法存在明显问题每遇到一个新数据集都需要重新搜索NAS/HPO 搜索成本高无法利用历史任务中的搜索经验。本文提出一种基于元学习Meta-Learning的时间序列模型选择框架通过学习历史搜索经验实现给定一个新的时间序列数据集直接预测不同网络结构和超参数组合的性能并快速推荐最佳模型配置。论文核心思想传统 AutoML新数据集 ↓ 重新搜索 NAS/HPO ↓ 训练大量模型 ↓ 得到最佳模型本文方法历史搜索经验 ↓ 训练 Meta-Predictor ↓ 新数据集 ↓ 预测模型性能 ↓ 选择最佳配置03 论文创新点1提出基于元学习的时间序列 AutoML 框架传统自动机器学习方法每个任务独立优化Dataset A → 搜索 Dataset B → 搜索 Dataset C → 搜索以前任务搜索得到的知识无法复用。本文提出利用多个历史时间序列任务上的模型搜索结果训练一个 Meta-Predictor使其学习[(Dataset, Architecture, Hyperparameter)\rightarrow Performance]即根据数据集特点和模型配置预测模型性能。2提出数据集与模型结构联合表示方法为了预测模型性能论文同时考虑时间序列数据集表示包括统计特征时间相关特征频域特征。形成[m_D]表示数据集特征。网络结构与超参数表示论文将模型结构网络超参数统一编码为[m_A]例如Transformer learning rate layer number hidden dimension形成模型配置向量。最终[z[m_D,m_A]作为 Meta-Predictor 输入。3提出结合排序和回归的 CRL 损失函数对于 AutoML 来说不仅需要预测准确率更重要的是能否正确找到排名靠前的模型。因此论文提出Combined Ranking Loss (CRL)同时优化回归目标保证预测性能接近真实值。L_{reg}排序目标保证优秀模型排名靠前。L_{rank}最终L_{CRL}L_{reg}L_{rank}相比单独使用 Regression 或 Ranking LossCRL 可以获得更好的模型选择能力。04 方法4.1 Overall Framework整体框架论文整体框架如下历史时间序列任务 ↓ HEBO搜索产生模型配置数据 ↓ (Dataset, Architecture, Hyperparameter, Performance) ↓ 训练 Meta-Predictor 新时间序列任务 ↓ Dataset Encoding ↓ 候选模型 Encoding ↓ Meta-Predictor预测性能 ↓ Top-k模型推荐 ↓ 少量真实训练 ↓ 最佳模型4.1 Dataset and Architecture Encoding4.1.1 Dataset Encoding数据集编码对于时间序列数据直接输入原始序列难以学习模型选择规律。因此作者提取时间序列元特征。4.1.1.1 Statistical Features统计特征包括均值[\mu]描述整体水平。方差[\sigma^2]描述数据波动程度。偏度、峰度描述数据分布特征。4.1.1.2 Temporal Features时间特征为了描述时间依赖关系作者加入自相关周期性趋势信息。例如对于天气数据夏季温度高 冬季温度低具有明显周期规律。4.1.1.3 Frequency Features频域特征通过 Fourier Transform分析高频变化周期模式。例如交通流量每天早晚高峰会表现为明显频率。最终得到[m_D]作为数据集表示。4.1.2 Architecture Encoding网络结构编码论文不仅考虑数据集还考虑模型结构和超参数。定义[A_\lambda]表示网络结构 超参数。例如Transformer配置Encoder层数6 Attention Head8 Learning Rate0.001统一编码。得到[m_A]4.2 Meta-Predictor元预测器Meta-Predictor 是论文核心模块。输入[m_D,m_A]输出y表示预测该模型配置在该数据集上的性能。结构Dataset Embedding Architecture Embedding ↓ Concat ↓ MLP ↓ Performance Prediction4.2.1 CRL Loss论文设计Combined Ranking Loss。目标同时保证性能预测准确以及模型排序正确因为实际 AutoML 中最关心的是Top-k模型是否正确。4.3 Meta-Search Workflow元搜索流程对于新的时间序列数据传统方法HEBO ↓ 大量训练 ↓ 找到最佳模型本文Step 1提取数据集特征m_DStep 2编码所有候选模型m_AStep 3预测yStep 4排序选择Top-k 配置。Step 5真实训练得到最终最佳模型。相比传统搜索只需要训练少量候选模型。05 实验分析论文分别在时间序列分类时间序列预测任务上验证方法。5.1 数据集分类任务采用45 个 UCR 单变量时间序列数据集29 个 UEA 多变量时间序列数据集。预测任务采用8 个公开时间序列预测数据集。5.2 与 HEBO 对比实验主要比较HEBO传统 Bayesian Optimization 方法。Meta-search本文方法。实验结果性能方面Meta-search能够达到与 HEBO 相近甚至更好的性能。说明虽然减少搜索次数但不会明显降低模型质量。搜索效率方面这是论文最大优势。实验发现Meta-search相比 HEBO计算成本大幅降低。预测任务约只需要 HEBO5%左右计算量。分类任务约10%左右计算量。5.3 消融实验作者分析不同组件影响。去掉 Architecture Encoding结果性能下降。说明只知道数据集特点不足必须同时知道数据集 模型结构才能准确预测。去掉 Ranking Loss结果模型排序能力下降。说明AutoML任务不仅需要预测数值还需要正确排序候选模型。CRL效果最好说明回归和排序结合更加适合模型选择任务。06 个人声明本文为论文学习笔记仅用于学术交流。本文内容根据论文原文整理主要介绍论文核心思想、方法框架以及实验结果。如有理解错误欢迎交流讨论。论文版权归原作者及发表机构所有本文仅用于学习分享。总结这篇 AAAI 2026 论文提出了一种新的时间序列 AutoML 思路不再每次面对新任务都重新搜索而是通过元学习积累过去任务经验让模型学会“什么数据适合什么网络”。核心公式[(Dataset,Architecture,Hyperparameter)\rightarrow Performance]核心贡献用 Meta-Learning 替代重复 NAS/HPO联合编码数据集和网络配置使用 CRL 提升模型排序能力大幅降低自动模型选择成本。这篇工作本质上可以看作Meta-Learning AutoML Time Series Model Selection 的结合。对于未来时间序列 NAS、模型推荐以及大规模 AutoML 系统具有较强参考价值。 Neural Architecture and Hyperparameter Selection Through Meta-Learning on Time Series
01 论文信息论文题目Neural Architecture and Hyperparameter Selection Through Meta-Learning on Time Series基于元学习的时间序列神经网络架构与超参数选择论文作者Erfan Moeini发表单位RWTH Aachen University发表会议/期刊AAAI Conference on Artificial Intelligence 2026代码链接论文未公开代码截至论文发表版本。02 论文主要贡献随着深度学习的发展时间序列领域出现了大量优秀模型包括Transformer 系列CNN 系列RNN 系列MLP 系列。然而不同时间序列数据具有不同的数据分布和时序特征并不存在一种模型能够在所有任务中取得最佳效果。因此对于一个新的时间序列任务研究者通常需要人工选择模型手动调整超参数使用 AutoML 方法进行搜索。但是传统 AutoML 方法存在明显问题每遇到一个新数据集都需要重新搜索NAS/HPO 搜索成本高无法利用历史任务中的搜索经验。本文提出一种基于元学习Meta-Learning的时间序列模型选择框架通过学习历史搜索经验实现给定一个新的时间序列数据集直接预测不同网络结构和超参数组合的性能并快速推荐最佳模型配置。论文核心思想传统 AutoML新数据集 ↓ 重新搜索 NAS/HPO ↓ 训练大量模型 ↓ 得到最佳模型本文方法历史搜索经验 ↓ 训练 Meta-Predictor ↓ 新数据集 ↓ 预测模型性能 ↓ 选择最佳配置03 论文创新点1提出基于元学习的时间序列 AutoML 框架传统自动机器学习方法每个任务独立优化Dataset A → 搜索 Dataset B → 搜索 Dataset C → 搜索以前任务搜索得到的知识无法复用。本文提出利用多个历史时间序列任务上的模型搜索结果训练一个 Meta-Predictor使其学习[(Dataset, Architecture, Hyperparameter)\rightarrow Performance]即根据数据集特点和模型配置预测模型性能。2提出数据集与模型结构联合表示方法为了预测模型性能论文同时考虑时间序列数据集表示包括统计特征时间相关特征频域特征。形成[m_D]表示数据集特征。网络结构与超参数表示论文将模型结构网络超参数统一编码为[m_A]例如Transformer learning rate layer number hidden dimension形成模型配置向量。最终[z[m_D,m_A]作为 Meta-Predictor 输入。3提出结合排序和回归的 CRL 损失函数对于 AutoML 来说不仅需要预测准确率更重要的是能否正确找到排名靠前的模型。因此论文提出Combined Ranking Loss (CRL)同时优化回归目标保证预测性能接近真实值。L_{reg}排序目标保证优秀模型排名靠前。L_{rank}最终L_{CRL}L_{reg}L_{rank}相比单独使用 Regression 或 Ranking LossCRL 可以获得更好的模型选择能力。04 方法4.1 Overall Framework整体框架论文整体框架如下历史时间序列任务 ↓ HEBO搜索产生模型配置数据 ↓ (Dataset, Architecture, Hyperparameter, Performance) ↓ 训练 Meta-Predictor 新时间序列任务 ↓ Dataset Encoding ↓ 候选模型 Encoding ↓ Meta-Predictor预测性能 ↓ Top-k模型推荐 ↓ 少量真实训练 ↓ 最佳模型4.1 Dataset and Architecture Encoding4.1.1 Dataset Encoding数据集编码对于时间序列数据直接输入原始序列难以学习模型选择规律。因此作者提取时间序列元特征。4.1.1.1 Statistical Features统计特征包括均值[\mu]描述整体水平。方差[\sigma^2]描述数据波动程度。偏度、峰度描述数据分布特征。4.1.1.2 Temporal Features时间特征为了描述时间依赖关系作者加入自相关周期性趋势信息。例如对于天气数据夏季温度高 冬季温度低具有明显周期规律。4.1.1.3 Frequency Features频域特征通过 Fourier Transform分析高频变化周期模式。例如交通流量每天早晚高峰会表现为明显频率。最终得到[m_D]作为数据集表示。4.1.2 Architecture Encoding网络结构编码论文不仅考虑数据集还考虑模型结构和超参数。定义[A_\lambda]表示网络结构 超参数。例如Transformer配置Encoder层数6 Attention Head8 Learning Rate0.001统一编码。得到[m_A]4.2 Meta-Predictor元预测器Meta-Predictor 是论文核心模块。输入[m_D,m_A]输出y表示预测该模型配置在该数据集上的性能。结构Dataset Embedding Architecture Embedding ↓ Concat ↓ MLP ↓ Performance Prediction4.2.1 CRL Loss论文设计Combined Ranking Loss。目标同时保证性能预测准确以及模型排序正确因为实际 AutoML 中最关心的是Top-k模型是否正确。4.3 Meta-Search Workflow元搜索流程对于新的时间序列数据传统方法HEBO ↓ 大量训练 ↓ 找到最佳模型本文Step 1提取数据集特征m_DStep 2编码所有候选模型m_AStep 3预测yStep 4排序选择Top-k 配置。Step 5真实训练得到最终最佳模型。相比传统搜索只需要训练少量候选模型。05 实验分析论文分别在时间序列分类时间序列预测任务上验证方法。5.1 数据集分类任务采用45 个 UCR 单变量时间序列数据集29 个 UEA 多变量时间序列数据集。预测任务采用8 个公开时间序列预测数据集。5.2 与 HEBO 对比实验主要比较HEBO传统 Bayesian Optimization 方法。Meta-search本文方法。实验结果性能方面Meta-search能够达到与 HEBO 相近甚至更好的性能。说明虽然减少搜索次数但不会明显降低模型质量。搜索效率方面这是论文最大优势。实验发现Meta-search相比 HEBO计算成本大幅降低。预测任务约只需要 HEBO5%左右计算量。分类任务约10%左右计算量。5.3 消融实验作者分析不同组件影响。去掉 Architecture Encoding结果性能下降。说明只知道数据集特点不足必须同时知道数据集 模型结构才能准确预测。去掉 Ranking Loss结果模型排序能力下降。说明AutoML任务不仅需要预测数值还需要正确排序候选模型。CRL效果最好说明回归和排序结合更加适合模型选择任务。06 个人声明本文为论文学习笔记仅用于学术交流。本文内容根据论文原文整理主要介绍论文核心思想、方法框架以及实验结果。如有理解错误欢迎交流讨论。论文版权归原作者及发表机构所有本文仅用于学习分享。总结这篇 AAAI 2026 论文提出了一种新的时间序列 AutoML 思路不再每次面对新任务都重新搜索而是通过元学习积累过去任务经验让模型学会“什么数据适合什么网络”。核心公式[(Dataset,Architecture,Hyperparameter)\rightarrow Performance]核心贡献用 Meta-Learning 替代重复 NAS/HPO联合编码数据集和网络配置使用 CRL 提升模型排序能力大幅降低自动模型选择成本。这篇工作本质上可以看作Meta-Learning AutoML Time Series Model Selection 的结合。对于未来时间序列 NAS、模型推荐以及大规模 AutoML 系统具有较强参考价值。