全球天气预报长期以来是数值天气预报的领地但数据驱动的深度学习方法在近些年已经走出了完全不同的技术路线。它不直接求解大气运动方程而是把过去一段时间的大气状态当作高维输入学习如何映射到未来某个时刻的状态。这套思路里有一个容易被忽略、却非常关键的设计点模型到底要预测未来 6 小时、24 小时还是 168 小时的天气场不同超前时间对应的预测难度、平滑程度和误差分布都不一样。Timestep-Conditioned Transformer 的核心思想就是把“要预测多久以后”这个信息作为条件显式注入模型让同一个模型有能力处理多个超前时间而不是为每个超前时间单独训练一套权重。这篇文章围绕这个思路展开。先说明全球天气预报模型预测的对象是什么再解释 timestep conditioning 到底做了什么、为什么比把时间步直接拼进输入更合理然后给出一个基于 PyTorch 的最小可运行实现最后覆盖训练验证、指标计算、常见坑和生产环境建议。读完以后你可以把这种结构迁移到自己的气象或时空预测任务里也能把它作为阅读相关论文和复现实验的起点。1. 先搞清楚全球天气预报模型在预测什么1.1 天气状态不是一张图而是一个多变量物理场很多入门者第一次接触气象数据时会下意识地把它当成一张普通图像经度是宽度纬度是高度RGB 三个通道换成气象变量。这个理解不完整也是后续设计模型时犯错的根源。全球天气状态实际上是多个物理变量在多个气压层上的三维场。以常用的 ERA5 再分析数据为例它在全球使用 0.25 度的规则网格纬度方向约 720 个格点经度方向约 1440 个格点。每个格点上并不只有一个数值而是一组变量Z位势高度T气温U、V纬向风和经向风Q比湿这些变量会分布在多个气压层上常见的有 13 层或 37 层。如果取 5 个变量乘以 13 个气压层每个格点上就有 65 个通道。再叠加地表附近的 2 米温度、海平面气压、10 米风等单层变量输入通道数很容易超过 70。这意味着什么Transformer 处理的是一个 token 序列而每个 token 需要承载“某个空间位置上的多个变量值”。天气预测模型不需要像图像分类那样把整张图压缩成一个类别它需要把输入的高维场映射成另一个同样尺寸的高维场属于稠密预测问题。任何一步把空间信息过度压缩的设计都会让输出失去可用的细节。1.2 数值天气预报与数据驱动模型的本质差异传统数值天气预报NWP的做法是把大气运动方程离散化然后在超算上做时间积分。它依赖物理参数化方案处理云、辐射、对流等过程计算量非常大。业务化运行一次全球中期预报需要在成千上万个 CPU 核心上跑较长时间。数据驱动模型的做法完全不同。它用历史再分析数据构造训练样本对已知 t 时刻的天气场预测 tτ 时刻的天气场。模型学习的是统计映射关系而不是物理方程。这个过程在 GPU 上只要一次前向推理就能完成推理成本比数值预报低几个数量级因此很适合做快速预报、集合预报和大规模敏感性实验。但这不代表数据驱动模型更简单。它把计算成本转移到了训练阶段需要处理海量数据、设计合理的损失函数、防止时空泄漏、评估极端天气事件的表现。模型不仅要预测得准还要预测得“像真实天气”不能输出一片毫无物理结构的平滑场。1.3 为什么“预测多久以后”是一个关键条件训练样本对的形式是 (X_t, X_{tτ})其中 τ 就是超前时间也叫 lead time。业务预报通常同时需要多个超前时间短期的 0 到 3 天中期的 3 到 10 天甚至更长。如果为每个 τ 分别训练一个模型参数数量成倍增加而且每个模型都只能看到固定 τ 的样本无法共享不同时间尺度上的共同模式。反过来如果只训练一个模型把所有 τ 的样本混在一起但不告诉模型当前这个样本的 τ 是多少会发生什么模型面对的是一个“平均任务”。同一个输入 X_t有的样本要预测 6 小时后的状态有的要预测 168 小时后的状态。模型不能区分这两种请求只能输出一个折中的预测。结果往往是短期的预测偏模糊长期的预测又不够平滑。Timestep conditioning 要解决的问题正是这个把 τ 从“数据属性”变成“模型输入的一部分”让模型在推理时知道当前需要预测多远。这个概念类似于扩散模型里的时间步嵌入也类似于图像生成里的类别条件。它不是把 τ 当作一条新通道拼进去而是通过专门的编码和注入机制让时间信息控制整个特征提取过程。2. Timestep-Conditioned Transformer 的核心设计思路2.1 “条件”和“输入”的区别在哪里要理解 timestep conditioning先要区分两个概念模型观察了什么模型要完成什么任务。输入 X_t 描述的是“现在的大气状态”它来自观测或再分析数据是模型做预测的依据。τ 描述的是“任务难度和目标时刻”它决定模型应该把注意力放在哪些物理过程上。如果把 τ 直接当作输入张量的一个额外通道拼接进去比如把一张全是 τ 数值的图拼在气象变量后面问题在于Transformer 的注意力机制会对 token 内部的所有通道做混合τ 作为一个常数通道每个 token 上都是一样的数值。经过几层注意力后它对特征的调制能力非常有限位置信息可能被淹没无法形成全局的任务感知。更好的做法是把 τ 编码成一个条件向量用它去调整特征图的通道或注意力结构。这也是 FiLM、Cross-Attention 等机制在条件生成模型里被广泛使用的原因。条件向量不参与空间 token 的主干计算而是在关键时刻调制主干特征从而控制模型的整体行为。2.2 Timestep Embedding把小时数变成向量τ 是一个标量单位通常是小时取值可能是 6、24、72、168。直接把这个标量输入全连接层会遇到数值尺度问题不同量程的 τ 会给梯度带来不稳定因素而且标量本身缺乏周期性表达能力。更通用的做法是参考 Transformer 的位置编码用一组正弦和余弦函数把 τ 映射成高维向量。import math import torch import torch.nn as nn class TimestepEmbedding(nn.Module): def __init__(self, dim): super().__init__() self.dim dim # 先用正弦编码展开再用 MLP 做非线性映射 self.mlp nn.Sequential( nn.Linear(dim, dim * 4), nn.SiLU(), nn.Linear(dim * 4, dim), ) def forward(self, t): # t: (B,), 超前时间单位小时 half self.dim // 2 freqs torch.exp( -math.log(10000.0) * torch.arange(half, dtypetorch.float32, devicet.device) / half ) args t[:, None] * freqs[None, :] emb torch.cat([torch.cos(args), torch.sin(args)], dim-1) return self.mlp(emb)这里用10000作为频率基数是位置编码的默认选择。实际项目中可以把它当作超参数调整。更重要的是输入t最好先做一次尺度归一化比如统一除以最大超前时间让模型看到的时间值落在相对稳定的区间内避免 6 小时和 168 小时相差过大的数值影响早期网络层。2.3 条件注入的三种常见方式拿到 timestep embedding 之后怎么把它用起来是设计的关键。下面三种方式在实践中最常见。注入方式基本做法优点缺点适用场景拼接 Concat把 embedding 复制到每个 token 上与 token 特征拼在一起实现简单改动最小条件信息容易被注意力稀释小规模快速验证FiLM 调制用 embedding 经线性层生成每个通道的缩放系数 gamma 和偏移 beta对特征逐通道调制全局调制能力强参数少训练稳定表达能力不如交叉注意力大多数中等规模模型Cross-Attention把 embedding 作为 query 或 key/value 序列参与交叉注意力计算表达能力强能建模复杂的条件依赖计算量更大训练难度更高长序列、高精度需求场景FiLM 的结构非常直观它不改变 token 的空间排列只对每个 token 的特征通道做仿射变换。代码如下class FiLM(nn.Module): def __init__(self, d_model, cond_dim): super().__init__() self.gamma nn.Linear(cond_dim, d_model) self.beta nn.Linear(cond_dim, d_model) def forward(self, x, cond): # x: (B, N, d_model) # cond: (B, cond_dim) gamma self.gamma(cond).unsqueeze(1) beta self.beta(cond).unsqueeze(1) return gamma * x beta注意这里gamma和beta是逐 token 共享的作用在通道维度上。它告诉模型当 τ 不同时某些物理变量的特征应该被放大或抑制。这比把时间值拼接进输入更符合物理直觉因为它是一种全局调制而不是局部噪声。2.4 整体模型结构从气象场到气象场Timestep-Conditioned Transformer 的整体数据流可以概括成一条主线输入 X_t 经过 Patch Embedding切成不重叠的 patch每个 patch 展平成一个 token。加上可学习的位置编码保留空间位置信息。经过多层 Transformer Block做空间注意力建模。在某个或某些层注入 timestep embedding让模型知道当前预测的 τ。解码阶段把 token 特征映射回 patch 维度再还原成规则网格。这里存在两个设计自由度条件注入的位置以及是否在解码器也使用条件。常见做法是只在主干网络尾部注入一次 FiLM简单且稳定复杂模型会在每个 Block 内部注入让每一层都感知时间条件。两者没有绝对优劣需要根据数据量和训练稳定性来选择。3. 数据准备与环境配置3.1 使用 ERA5 再分析数据构造训练样本ERA5 是欧洲中期天气预报中心发布的全球再分析数据覆盖长期历史时间范围空间分辨率 0.25 度时间分辨率 1 小时。它把历史观测和数值模式同化结果融合在一起是训练数据驱动预报模型最常见的底座数据。构造训练样本时并不是把所有时间步都直接喂给模型。要从连续的时间序列里随机采样起点 t 和超前时间 τ取 X_t 和 X_{tτ} 组成一对。这样每个 epoch 都能看到不同的样本组合变相扩大数据集。采样时还要遵守一个关键纪律训练集、验证集、测试集必须按时间划分不能随机打乱。因为相邻时间的天气场高度相关如果同一段时间的数据同时出现在训练集和测试集评估结果会严重虚高模型实际的泛化能力并没有那么强。3.2 通道设计和变量选择通道设计决定模型能学到哪些物理信息。下表是一个常见的中等规模配置。变量含义气压层数说明Z位势高度13表示气压面的起伏T气温13热力结构U纬向风13水平风分量V经向风13水平风分量Q比湿13湿度信息T2M2 米气温1地面温度MSL海平面气压1地面气压U10 / V1010 米风2地面风这样输入通道数是 13×5469。如果原始数据分辨率太高导致显存不够可以先用双线性插值降到 1 度或 2.5 度把网格从 1440×720 降到 360×180 或更小验证模型逻辑先跑通再逐步提高分辨率。3.3 归一化与纬度权重天气变量之间的尺度差异极大。气温在 300K 附近波动比湿通常只有 0.01 量级位势高度则可能是几千米。如果不做归一化模型训练会偏向数值大的变量小数值变量很难学到有效特征。标准做法是按通道统计训练集的均值和标准差做 z-score 归一化# data: (N, C, H, W) means data.mean(dim(0, 2, 3), keepdimTrue) stds data.std(dim(0, 2, 3), keepdimTrue) data_norm (data - means) / (stds 1e-8)还有一类权重不能忽略纬度权重。全球网格上高纬度格点代表的实际面积比赤道附近小。如果损失函数对每个格点一视同仁模型会把更多容量浪费在极地附近因为那里格点数量占比高但实际面积小。通常按 cos(纬度) 给每个格点加权。3.4 环境依赖和项目目录实现这类模型不需要太多额外依赖核心是 PyTorch。常用组件如下。组件建议用途Python3.9 或更高基础环境PyTorch2.0 或更高模型训练xarray最新稳定版读取 NetCDF 格式的 ERA5 数据numpy最新稳定版数组运算einops可选简化张量维度变换tensorboard 或 wandb可选训练日志可视化项目目录可以按这个结构组织weather_transformer/ ├── config.py # 模型和训练超参数 ├── data/ │ ├── dataset.py # 样本采样与数据集类 │ └── normalize.py # 通道统计与纬度权重 ├── models/ │ ├── timestep_embed.py # 时间步编码 │ ├── transformer.py # Transformer Block │ └── forecast_model.py # 整体模型 ├── train.py # 训练入口 ├── evaluate.py # 评估指标计算 └── logs/ # 日志输出这个结构并不复杂但能把数据、模型、训练和评估分开方便后面单独调试数据分析代码和模型代码。4. 用 PyTorch 实现一个最小可运行的 Timestep-Conditioned Transformer下面用一个小规模的合成数据示例说明完整实现。真实 ERA5 数据替换掉合成数据即可跑通不需要改动模型主体。4.1 Patch Embedding 与位置编码Transformer 处理的是 token 序列不能直接处理 (B, C, H, W) 的四维张量。先用卷积把输入切成 patch每个 patch 映射成 embedding 向量。class PatchEmbed(nn.Module): def __init__(self, in_channels, embed_dim, patch_size): super().__init__() self.patch_size patch_size self.proj nn.Conv2d( in_channels, embed_dim, kernel_sizepatch_size, stridepatch_size ) def forward(self, x): # x: (B, C, H, W) x self.proj(x) # (B, E, H/p, W/p) B, E, ph, pw x.shape x x.flatten(2).transpose(1, 2) # (B, ph*pw, E) return x, ph, pwpatch 大小对模型行为影响很大。patch 越小token 越多空间细节越丰富但注意力计算量按 token 数量的平方增长。ERA5 的 0.25 度网格是 1440×720如果 patch 取 4token 数量是 360×18064800这个规模对普通单卡的注意力开销是不可接受的。学习阶段建议先降低分辨率或者增大 patch。4.2 Transformer Block每个 Block 包含自注意力、前馈网络、层归一化和残差连接。class TransformerBlock(nn.Module): def __init__(self, d_model, nhead, dim_ff, dropout0.1): super().__init__() self.attn nn.MultiheadAttention( d_model, nhead, dropoutdropout, batch_firstTrue ) self.norm1 nn.LayerNorm(d_model) self.linear1 nn.Linear(d_model, dim_ff) self.linear2 nn.Linear(dim_ff, d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x): h self.norm1(x) x x self.dropout(self.attn(h, h, h, need_weightsFalse)[0]) h2 self.norm2(x) x x self.dropout(self.linear2(torch.nn.functional.gelu(self.linear1(h2)))) return x这里把 LayerNorm 放在残差分支之前也就是 Pre-LN 结构。相比 Post-LN它在深层网络中更稳定训练初期不容易出现梯度爆炸。4.3 整体模型与解码回网格把 TimestepEmbedding、PatchEmbed、TransformerBlock、FiLM 和输出头组装起来就得到完整模型。class TimestepConditionedForecastModel(nn.Module): def __init__( self, in_channels, patch_size, embed_dim, depth, nhead, out_channelsNone, ): super().__init__() out_channels out_channels or in_channels self.patch_size patch_size self.patch_embed PatchEmbed(in_channels, embed_dim, patch_size) self.pos_embed nn.Parameter(torch.zeros(1, 1024, embed_dim)) self.t_embed TimestepEmbedding(embed_dim) self.blocks nn.ModuleList([ TransformerBlock(embed_dim, nhead, embed_dim * 4) for _ in range(depth) ]) self.film FiLM(embed_dim, embed_dim) self.norm nn.LayerNorm(embed_dim) self.head nn.Sequential( nn.Linear(embed_dim, embed_dim * patch_size * patch_size), nn.GELU(), nn.Linear( embed_dim * patch_size * patch_size, out_channels * patch_size * patch_size, ), ) def forward(self, x, t): B, C, H, W x.shape p self.patch_size x, ph, pw self.patch_embed(x) N ph * pw if self.pos_embed.shape[1] N: self.pos_embed nn.Parameter( torch.zeros(1, N, x.shape[-1], devicex.device) ) x x self.pos_embed[:, :N, :] for blk in self.blocks: x blk(x) t_emb self.t_embed(t) x self.film(x, t_emb) x self.norm(x) x self.head(x) # (B, N, C*p*p) x x.transpose(1, 2).view(B, -1, ph, pw) x torch.nn.functional.pixel_shuffle(x, p) return x # (B, C, H, W)解码部分使用了pixel_shuffle它能把通道维度的p*p分组重新排列到空间维度正好把 token 特征还原成原始网格。需要说明的是这里的pos_embed动态扩展示例并不优雅正式项目应该在初始化时就根据网格大小确定 token 数量或者使用可插值的位置编码。4.4 训练循环训练循环需要处理三个输入初始场、目标场、超前时间。下面是一个包含混合精度训练的示例。import torch import torch.nn.functional as F from torch.cuda.amp import autocast, GradScaler def train_one_epoch(model, loader, optimizer, device, scalerNone): model.train() total_loss 0.0 total_samples 0 for x0, xt, lead in loader: x0 x0.to(device) xt xt.to(device) lead lead.to(device).float() optimizer.zero_grad() if scaler is not None: with autocast(): pred model(x0, lead) loss F.mse_loss(pred, xt) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() else: pred model(x0, lead) loss F.mse_loss(pred, xt) loss.backward() optimizer.step() total_loss loss.item() * x0.size(0) total_samples x0.size(0) return total_loss / total_samples合成数据集可以用随机张量模拟目的是先验证整个流程能跑通from torch.utils.data import TensorDataset def make_synthetic_dataset(num_samples128, C20, H64, W128): x0 torch.randn(num_samples, C, H, W) # 用带噪声的平移近似目标场真实项目应替换为 ERA5 样本对 xt x0 0.05 * torch.randn_like(x0) lead torch.randint(6, 168, (num_samples,), dtypetorch.float32) return TensorDataset(x0, xt, lead)这里示例只是链路验证没有任何物理意义。替换成真实数据时要把x0和xt换成同一段历史时间序列里相隔 τ 的两个天气场lead就是对应的 τ。5. 训练策略与验证指标5.1 损失函数为什么常用 MSE预测目标是稠密天气场MSE 是默认选择。原因很直接它逐格点计算预测和真实值的平方差梯度在误差大的地方更强训练容易收敛。但 MSE 有一个明显缺点它天然偏好“平均预测”。如果模型对某个格点不确定给出接近气候平均值的预测可以降低平方误差的期望风险。这会导致输出场偏平滑极端天气强度被低估。实践中可以组合多个损失空间域 MSE关注逐点精度。谱域损失对预测场做傅里叶变换在高频分量上计算误差缓解平滑问题。物理一致性损失例如地转平衡约束但这部分实现复杂度较高。对于第一版模型直接用加权 MSE 就可以。纬度权重需要在损失函数里体现def lat_weighted_mse(pred, target, lat_weight): # lat_weight: (1, 1, H, 1) 广播到 (B, C, H, W) diff pred - target loss (diff ** 2 * lat_weight).mean() return loss5.2 RMSE 与 ACC 的计算方式验证数据驱动预报模型时两个指标最常用RMSE 和 ACC。RMSE 是全格点的加权均方根误差反映预测与真实场的平均偏差大小。ACC 是异常距平相关系数衡量预测的异常场与真实异常场的空间相关程度。它需要气候态参考场通常是训练期多年平均的逐日气候值。预测减去气候态得到异常场再和真实异常场做相关数值越接近 1 越好。def compute_acc(pred, target, clim, lat_weight): pred_anom pred - clim target_anom target - clim numerator (pred_anom * target_anom * lat_weight).sum(dim(-2, -1)) denominator torch.sqrt( (pred_anom ** 2 * lat_weight).sum(dim(-2, -1)) * (target_anom ** 2 * lat_weight).sum(dim(-2, -1)) ) return (numerator / (denominator 1e-8)).mean()ACC 在地学领域有明确经验阈值中期预报中ACC 降到 0.6 以下通常认为预报失去实用参考价值。这个阈值可以作为衡量模型可用超前时间的标准例如“该模型 ACC 高于 0.6 的预报天数约为多少”。5.3 训练日志里应该看什么不要只盯着训练损失。至少要同时记录以下内容训练集和验证集的加权 MSE观察是否过拟合。分超前时间段的 RMSE 和 ACC例如把 6、24、72、168 小时分开统计看模型是否对不同时段都有稳定表现。输出场的标准差如果标准差远小于真实场标准差说明模型在输出平均态需要警惕平滑问题。显存占用和单步训练时间为扩大规模提供依据。5.4 学习环境与生产环境的差异维度学习环境生产环境数据小范围、低分辨率、部分变量全变量、全分辨率、多年历史模型规模小 embed_dim、少层数大规模、多卡并行训练稳定性能跑通即可需要调参、重启恢复、检查点推理单次前向需要多超前时间批量推理、错误处理监控本机日志指标告警、分布漂移检测回滚不需要保留版本支持快速切换学习阶段最重要的目标是把整个链路跑通验证条件注入机制确实在起作用。生产环境则要额外考虑数据管道的稳定性、模型版本管理、推理服务的延迟和异常输入处理。6. 常见问题排查6.1 显存不足现象训练刚开始就报CUDA out of memory。原因通常是 token 数量过大或 batch 太大。Transformer 的注意力复杂度是 O(N²)N 是 token 数量。分辨率提高一倍token 数量变四倍显存占用可能增加十几倍。排查顺序检查输入分辨率是否过高先降到 1 度或 2.5 度。检查 patch size 是否过小增大 patch 能显著减少 token。检查 batch size先用 1 或 2 验证。使用梯度累积模拟较大 batch而不是直接放大 batch size。启用混合精度训练。现象常见原因检查方式处理建议CUDA out of memorytoken 过多或 batch 过大输出模型的张量尺寸降低分辨率、增大 patch、减小 batch训练很慢注意力 O(N²) 计算量大观察单步耗时换用更小的 patch 数或使用窗口注意力6.2 Timestep 条件没有起作用现象模型对不同 τ 的预测结果几乎一样条件注入看起来无效。可能原因有两个。第一FiLM 的gamma和beta初始值接近零导致初始阶段条件调制很弱需要更长的训练时间才能显现。第二timestep embedding 的 MLP 容量太小无法编码足够丰富的条件信息。检查方式把不同 τ 的 embedding 向量打印出来观察它们是否有区分度或者在推理时固定输入 X_t只改变 τ看输出是否明显变化。解决方式给gamma和beta做特殊初始化比如让gamma初始化为 1beta初始化为 0增大 timestep embedding 的隐藏层宽度或者把 FiLM 应用到多个 Transformer Block 而不是只应用在最后。6.3 预测结果过于平滑现象预测场的空间结构比真实场模糊极端天气的强度偏低RMSE 还可以但 ACC 在中长期掉得很快。原因几乎总是 MSE 损失函数带来的均值回归倾向。模型发现输出气候平均态能降低损失风险于是选择平滑预测。解决方式加入谱域损失强制模型学习高频结构。使用对抗训练或扩散模型思路生成更锐利的场。评估时把 RMSE 和 ACC 和真实场的标准差一起看不要只盯 RMSE。6.4 训练损失下降但评估指标不涨现象训练集损失正常下降验证集 RMSE 也在下降但 ACC 始终偏低。可能原因是气候态参考场选得不好。ACC 计算的是异常场相关性如果气候态里的季节循环没有被去掉异常场里还残留大量季节信号模型预测能力会被高估或掩盖真实问题。检查方式画出预测异常场和真实异常场的空间分布看是否结构上接近检查气候态是否按照训练期逐年逐日统计。解决方式重新计算气候态按每个日历日取多年平均或者对数据做季节循环去除再训练。7. 最佳实践与可复用清单7.1 数据质量检查清单在开始训练前逐项确认以下内容样本对是否严格按时间顺序构造X_t 和 X_{tτ} 来自同一条时间序列。训练、验证、测试集是否按时间切分没有随机混入相邻时间点。归一化统计量是否只从训练集计算没有偷看验证集和测试集。各变量尺度是否差异过大是否需要按通道分别归一化。纬度权重是否已经加入损失函数和评估指标。数据里是否存在缺失值或 NaN是否已经做插值或掩码处理。7.2 模型训练与评估检查清单模型侧同样有一份可以复用的清单先用小规模合成数据验证模型能跑通再切换真实数据。固定 X_t改变 τ 做一次推理确认条件注入确实改变输出。每个超前时间单独评估 RMSE 和 ACC不要只报告平均值。监测输出场的标准差防止平滑退化。保存训练中的最佳检查点按验证集 ACC 而不是训练损失选择模型。记录实验配置、数据版本和随机种子保证实验可复现。7.3 可以继续扩展的方向Timestep conditioning 本身是一个灵活的机制可以往多个方向扩展把 τ 条件替换成“起报时刻 超前时间”的联合条件让模型感知季节。在解码器中也注入时间条件让最后一层同样感知预报时长。结合集合预报输入多个扰动初始场输出概率分布。用扩散模型或 flow matching 替代直接回归输出头改善长期预测的平滑问题。把地理位置、地形高度等静态场作为额外条件输入增强局部特征。7.4 几点工程建议真实项目里最值得投入时间的是数据处理管道而不是模型结构。天气数据动辄 TB 级如果数据管道不稳定训练过程会被反复打断。建议先把样本采样、归一化、切分做完整再开始调模型。关于训练成本先用低分辨率、小模型跑通指标基线确认逻辑无误后再逐步增加分辨率和模型深度。每次只改变一个变量否则很难定位是数据问题、条件注入问题还是模型容量问题。Timestep conditioning 的价值在于让一个模型平滑处理多个超前时间。它不是一个独立模型架构而是一个可插拔的设计思想。理解了这套机制再去看相关论文和其他条件生成模型会发现很多结构是相通的。对于刚开始接触气象深度学习的开发者最有效的练习是先在小规模数据上没有物理约束地复现这套流程跑通后再加入真实气象数据和更复杂的损失函数。 Timestep-Conditioned Transformer：用条件建模实现多超前时间天气预报
全球天气预报长期以来是数值天气预报的领地但数据驱动的深度学习方法在近些年已经走出了完全不同的技术路线。它不直接求解大气运动方程而是把过去一段时间的大气状态当作高维输入学习如何映射到未来某个时刻的状态。这套思路里有一个容易被忽略、却非常关键的设计点模型到底要预测未来 6 小时、24 小时还是 168 小时的天气场不同超前时间对应的预测难度、平滑程度和误差分布都不一样。Timestep-Conditioned Transformer 的核心思想就是把“要预测多久以后”这个信息作为条件显式注入模型让同一个模型有能力处理多个超前时间而不是为每个超前时间单独训练一套权重。这篇文章围绕这个思路展开。先说明全球天气预报模型预测的对象是什么再解释 timestep conditioning 到底做了什么、为什么比把时间步直接拼进输入更合理然后给出一个基于 PyTorch 的最小可运行实现最后覆盖训练验证、指标计算、常见坑和生产环境建议。读完以后你可以把这种结构迁移到自己的气象或时空预测任务里也能把它作为阅读相关论文和复现实验的起点。1. 先搞清楚全球天气预报模型在预测什么1.1 天气状态不是一张图而是一个多变量物理场很多入门者第一次接触气象数据时会下意识地把它当成一张普通图像经度是宽度纬度是高度RGB 三个通道换成气象变量。这个理解不完整也是后续设计模型时犯错的根源。全球天气状态实际上是多个物理变量在多个气压层上的三维场。以常用的 ERA5 再分析数据为例它在全球使用 0.25 度的规则网格纬度方向约 720 个格点经度方向约 1440 个格点。每个格点上并不只有一个数值而是一组变量Z位势高度T气温U、V纬向风和经向风Q比湿这些变量会分布在多个气压层上常见的有 13 层或 37 层。如果取 5 个变量乘以 13 个气压层每个格点上就有 65 个通道。再叠加地表附近的 2 米温度、海平面气压、10 米风等单层变量输入通道数很容易超过 70。这意味着什么Transformer 处理的是一个 token 序列而每个 token 需要承载“某个空间位置上的多个变量值”。天气预测模型不需要像图像分类那样把整张图压缩成一个类别它需要把输入的高维场映射成另一个同样尺寸的高维场属于稠密预测问题。任何一步把空间信息过度压缩的设计都会让输出失去可用的细节。1.2 数值天气预报与数据驱动模型的本质差异传统数值天气预报NWP的做法是把大气运动方程离散化然后在超算上做时间积分。它依赖物理参数化方案处理云、辐射、对流等过程计算量非常大。业务化运行一次全球中期预报需要在成千上万个 CPU 核心上跑较长时间。数据驱动模型的做法完全不同。它用历史再分析数据构造训练样本对已知 t 时刻的天气场预测 tτ 时刻的天气场。模型学习的是统计映射关系而不是物理方程。这个过程在 GPU 上只要一次前向推理就能完成推理成本比数值预报低几个数量级因此很适合做快速预报、集合预报和大规模敏感性实验。但这不代表数据驱动模型更简单。它把计算成本转移到了训练阶段需要处理海量数据、设计合理的损失函数、防止时空泄漏、评估极端天气事件的表现。模型不仅要预测得准还要预测得“像真实天气”不能输出一片毫无物理结构的平滑场。1.3 为什么“预测多久以后”是一个关键条件训练样本对的形式是 (X_t, X_{tτ})其中 τ 就是超前时间也叫 lead time。业务预报通常同时需要多个超前时间短期的 0 到 3 天中期的 3 到 10 天甚至更长。如果为每个 τ 分别训练一个模型参数数量成倍增加而且每个模型都只能看到固定 τ 的样本无法共享不同时间尺度上的共同模式。反过来如果只训练一个模型把所有 τ 的样本混在一起但不告诉模型当前这个样本的 τ 是多少会发生什么模型面对的是一个“平均任务”。同一个输入 X_t有的样本要预测 6 小时后的状态有的要预测 168 小时后的状态。模型不能区分这两种请求只能输出一个折中的预测。结果往往是短期的预测偏模糊长期的预测又不够平滑。Timestep conditioning 要解决的问题正是这个把 τ 从“数据属性”变成“模型输入的一部分”让模型在推理时知道当前需要预测多远。这个概念类似于扩散模型里的时间步嵌入也类似于图像生成里的类别条件。它不是把 τ 当作一条新通道拼进去而是通过专门的编码和注入机制让时间信息控制整个特征提取过程。2. Timestep-Conditioned Transformer 的核心设计思路2.1 “条件”和“输入”的区别在哪里要理解 timestep conditioning先要区分两个概念模型观察了什么模型要完成什么任务。输入 X_t 描述的是“现在的大气状态”它来自观测或再分析数据是模型做预测的依据。τ 描述的是“任务难度和目标时刻”它决定模型应该把注意力放在哪些物理过程上。如果把 τ 直接当作输入张量的一个额外通道拼接进去比如把一张全是 τ 数值的图拼在气象变量后面问题在于Transformer 的注意力机制会对 token 内部的所有通道做混合τ 作为一个常数通道每个 token 上都是一样的数值。经过几层注意力后它对特征的调制能力非常有限位置信息可能被淹没无法形成全局的任务感知。更好的做法是把 τ 编码成一个条件向量用它去调整特征图的通道或注意力结构。这也是 FiLM、Cross-Attention 等机制在条件生成模型里被广泛使用的原因。条件向量不参与空间 token 的主干计算而是在关键时刻调制主干特征从而控制模型的整体行为。2.2 Timestep Embedding把小时数变成向量τ 是一个标量单位通常是小时取值可能是 6、24、72、168。直接把这个标量输入全连接层会遇到数值尺度问题不同量程的 τ 会给梯度带来不稳定因素而且标量本身缺乏周期性表达能力。更通用的做法是参考 Transformer 的位置编码用一组正弦和余弦函数把 τ 映射成高维向量。import math import torch import torch.nn as nn class TimestepEmbedding(nn.Module): def __init__(self, dim): super().__init__() self.dim dim # 先用正弦编码展开再用 MLP 做非线性映射 self.mlp nn.Sequential( nn.Linear(dim, dim * 4), nn.SiLU(), nn.Linear(dim * 4, dim), ) def forward(self, t): # t: (B,), 超前时间单位小时 half self.dim // 2 freqs torch.exp( -math.log(10000.0) * torch.arange(half, dtypetorch.float32, devicet.device) / half ) args t[:, None] * freqs[None, :] emb torch.cat([torch.cos(args), torch.sin(args)], dim-1) return self.mlp(emb)这里用10000作为频率基数是位置编码的默认选择。实际项目中可以把它当作超参数调整。更重要的是输入t最好先做一次尺度归一化比如统一除以最大超前时间让模型看到的时间值落在相对稳定的区间内避免 6 小时和 168 小时相差过大的数值影响早期网络层。2.3 条件注入的三种常见方式拿到 timestep embedding 之后怎么把它用起来是设计的关键。下面三种方式在实践中最常见。注入方式基本做法优点缺点适用场景拼接 Concat把 embedding 复制到每个 token 上与 token 特征拼在一起实现简单改动最小条件信息容易被注意力稀释小规模快速验证FiLM 调制用 embedding 经线性层生成每个通道的缩放系数 gamma 和偏移 beta对特征逐通道调制全局调制能力强参数少训练稳定表达能力不如交叉注意力大多数中等规模模型Cross-Attention把 embedding 作为 query 或 key/value 序列参与交叉注意力计算表达能力强能建模复杂的条件依赖计算量更大训练难度更高长序列、高精度需求场景FiLM 的结构非常直观它不改变 token 的空间排列只对每个 token 的特征通道做仿射变换。代码如下class FiLM(nn.Module): def __init__(self, d_model, cond_dim): super().__init__() self.gamma nn.Linear(cond_dim, d_model) self.beta nn.Linear(cond_dim, d_model) def forward(self, x, cond): # x: (B, N, d_model) # cond: (B, cond_dim) gamma self.gamma(cond).unsqueeze(1) beta self.beta(cond).unsqueeze(1) return gamma * x beta注意这里gamma和beta是逐 token 共享的作用在通道维度上。它告诉模型当 τ 不同时某些物理变量的特征应该被放大或抑制。这比把时间值拼接进输入更符合物理直觉因为它是一种全局调制而不是局部噪声。2.4 整体模型结构从气象场到气象场Timestep-Conditioned Transformer 的整体数据流可以概括成一条主线输入 X_t 经过 Patch Embedding切成不重叠的 patch每个 patch 展平成一个 token。加上可学习的位置编码保留空间位置信息。经过多层 Transformer Block做空间注意力建模。在某个或某些层注入 timestep embedding让模型知道当前预测的 τ。解码阶段把 token 特征映射回 patch 维度再还原成规则网格。这里存在两个设计自由度条件注入的位置以及是否在解码器也使用条件。常见做法是只在主干网络尾部注入一次 FiLM简单且稳定复杂模型会在每个 Block 内部注入让每一层都感知时间条件。两者没有绝对优劣需要根据数据量和训练稳定性来选择。3. 数据准备与环境配置3.1 使用 ERA5 再分析数据构造训练样本ERA5 是欧洲中期天气预报中心发布的全球再分析数据覆盖长期历史时间范围空间分辨率 0.25 度时间分辨率 1 小时。它把历史观测和数值模式同化结果融合在一起是训练数据驱动预报模型最常见的底座数据。构造训练样本时并不是把所有时间步都直接喂给模型。要从连续的时间序列里随机采样起点 t 和超前时间 τ取 X_t 和 X_{tτ} 组成一对。这样每个 epoch 都能看到不同的样本组合变相扩大数据集。采样时还要遵守一个关键纪律训练集、验证集、测试集必须按时间划分不能随机打乱。因为相邻时间的天气场高度相关如果同一段时间的数据同时出现在训练集和测试集评估结果会严重虚高模型实际的泛化能力并没有那么强。3.2 通道设计和变量选择通道设计决定模型能学到哪些物理信息。下表是一个常见的中等规模配置。变量含义气压层数说明Z位势高度13表示气压面的起伏T气温13热力结构U纬向风13水平风分量V经向风13水平风分量Q比湿13湿度信息T2M2 米气温1地面温度MSL海平面气压1地面气压U10 / V1010 米风2地面风这样输入通道数是 13×5469。如果原始数据分辨率太高导致显存不够可以先用双线性插值降到 1 度或 2.5 度把网格从 1440×720 降到 360×180 或更小验证模型逻辑先跑通再逐步提高分辨率。3.3 归一化与纬度权重天气变量之间的尺度差异极大。气温在 300K 附近波动比湿通常只有 0.01 量级位势高度则可能是几千米。如果不做归一化模型训练会偏向数值大的变量小数值变量很难学到有效特征。标准做法是按通道统计训练集的均值和标准差做 z-score 归一化# data: (N, C, H, W) means data.mean(dim(0, 2, 3), keepdimTrue) stds data.std(dim(0, 2, 3), keepdimTrue) data_norm (data - means) / (stds 1e-8)还有一类权重不能忽略纬度权重。全球网格上高纬度格点代表的实际面积比赤道附近小。如果损失函数对每个格点一视同仁模型会把更多容量浪费在极地附近因为那里格点数量占比高但实际面积小。通常按 cos(纬度) 给每个格点加权。3.4 环境依赖和项目目录实现这类模型不需要太多额外依赖核心是 PyTorch。常用组件如下。组件建议用途Python3.9 或更高基础环境PyTorch2.0 或更高模型训练xarray最新稳定版读取 NetCDF 格式的 ERA5 数据numpy最新稳定版数组运算einops可选简化张量维度变换tensorboard 或 wandb可选训练日志可视化项目目录可以按这个结构组织weather_transformer/ ├── config.py # 模型和训练超参数 ├── data/ │ ├── dataset.py # 样本采样与数据集类 │ └── normalize.py # 通道统计与纬度权重 ├── models/ │ ├── timestep_embed.py # 时间步编码 │ ├── transformer.py # Transformer Block │ └── forecast_model.py # 整体模型 ├── train.py # 训练入口 ├── evaluate.py # 评估指标计算 └── logs/ # 日志输出这个结构并不复杂但能把数据、模型、训练和评估分开方便后面单独调试数据分析代码和模型代码。4. 用 PyTorch 实现一个最小可运行的 Timestep-Conditioned Transformer下面用一个小规模的合成数据示例说明完整实现。真实 ERA5 数据替换掉合成数据即可跑通不需要改动模型主体。4.1 Patch Embedding 与位置编码Transformer 处理的是 token 序列不能直接处理 (B, C, H, W) 的四维张量。先用卷积把输入切成 patch每个 patch 映射成 embedding 向量。class PatchEmbed(nn.Module): def __init__(self, in_channels, embed_dim, patch_size): super().__init__() self.patch_size patch_size self.proj nn.Conv2d( in_channels, embed_dim, kernel_sizepatch_size, stridepatch_size ) def forward(self, x): # x: (B, C, H, W) x self.proj(x) # (B, E, H/p, W/p) B, E, ph, pw x.shape x x.flatten(2).transpose(1, 2) # (B, ph*pw, E) return x, ph, pwpatch 大小对模型行为影响很大。patch 越小token 越多空间细节越丰富但注意力计算量按 token 数量的平方增长。ERA5 的 0.25 度网格是 1440×720如果 patch 取 4token 数量是 360×18064800这个规模对普通单卡的注意力开销是不可接受的。学习阶段建议先降低分辨率或者增大 patch。4.2 Transformer Block每个 Block 包含自注意力、前馈网络、层归一化和残差连接。class TransformerBlock(nn.Module): def __init__(self, d_model, nhead, dim_ff, dropout0.1): super().__init__() self.attn nn.MultiheadAttention( d_model, nhead, dropoutdropout, batch_firstTrue ) self.norm1 nn.LayerNorm(d_model) self.linear1 nn.Linear(d_model, dim_ff) self.linear2 nn.Linear(dim_ff, d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x): h self.norm1(x) x x self.dropout(self.attn(h, h, h, need_weightsFalse)[0]) h2 self.norm2(x) x x self.dropout(self.linear2(torch.nn.functional.gelu(self.linear1(h2)))) return x这里把 LayerNorm 放在残差分支之前也就是 Pre-LN 结构。相比 Post-LN它在深层网络中更稳定训练初期不容易出现梯度爆炸。4.3 整体模型与解码回网格把 TimestepEmbedding、PatchEmbed、TransformerBlock、FiLM 和输出头组装起来就得到完整模型。class TimestepConditionedForecastModel(nn.Module): def __init__( self, in_channels, patch_size, embed_dim, depth, nhead, out_channelsNone, ): super().__init__() out_channels out_channels or in_channels self.patch_size patch_size self.patch_embed PatchEmbed(in_channels, embed_dim, patch_size) self.pos_embed nn.Parameter(torch.zeros(1, 1024, embed_dim)) self.t_embed TimestepEmbedding(embed_dim) self.blocks nn.ModuleList([ TransformerBlock(embed_dim, nhead, embed_dim * 4) for _ in range(depth) ]) self.film FiLM(embed_dim, embed_dim) self.norm nn.LayerNorm(embed_dim) self.head nn.Sequential( nn.Linear(embed_dim, embed_dim * patch_size * patch_size), nn.GELU(), nn.Linear( embed_dim * patch_size * patch_size, out_channels * patch_size * patch_size, ), ) def forward(self, x, t): B, C, H, W x.shape p self.patch_size x, ph, pw self.patch_embed(x) N ph * pw if self.pos_embed.shape[1] N: self.pos_embed nn.Parameter( torch.zeros(1, N, x.shape[-1], devicex.device) ) x x self.pos_embed[:, :N, :] for blk in self.blocks: x blk(x) t_emb self.t_embed(t) x self.film(x, t_emb) x self.norm(x) x self.head(x) # (B, N, C*p*p) x x.transpose(1, 2).view(B, -1, ph, pw) x torch.nn.functional.pixel_shuffle(x, p) return x # (B, C, H, W)解码部分使用了pixel_shuffle它能把通道维度的p*p分组重新排列到空间维度正好把 token 特征还原成原始网格。需要说明的是这里的pos_embed动态扩展示例并不优雅正式项目应该在初始化时就根据网格大小确定 token 数量或者使用可插值的位置编码。4.4 训练循环训练循环需要处理三个输入初始场、目标场、超前时间。下面是一个包含混合精度训练的示例。import torch import torch.nn.functional as F from torch.cuda.amp import autocast, GradScaler def train_one_epoch(model, loader, optimizer, device, scalerNone): model.train() total_loss 0.0 total_samples 0 for x0, xt, lead in loader: x0 x0.to(device) xt xt.to(device) lead lead.to(device).float() optimizer.zero_grad() if scaler is not None: with autocast(): pred model(x0, lead) loss F.mse_loss(pred, xt) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() else: pred model(x0, lead) loss F.mse_loss(pred, xt) loss.backward() optimizer.step() total_loss loss.item() * x0.size(0) total_samples x0.size(0) return total_loss / total_samples合成数据集可以用随机张量模拟目的是先验证整个流程能跑通from torch.utils.data import TensorDataset def make_synthetic_dataset(num_samples128, C20, H64, W128): x0 torch.randn(num_samples, C, H, W) # 用带噪声的平移近似目标场真实项目应替换为 ERA5 样本对 xt x0 0.05 * torch.randn_like(x0) lead torch.randint(6, 168, (num_samples,), dtypetorch.float32) return TensorDataset(x0, xt, lead)这里示例只是链路验证没有任何物理意义。替换成真实数据时要把x0和xt换成同一段历史时间序列里相隔 τ 的两个天气场lead就是对应的 τ。5. 训练策略与验证指标5.1 损失函数为什么常用 MSE预测目标是稠密天气场MSE 是默认选择。原因很直接它逐格点计算预测和真实值的平方差梯度在误差大的地方更强训练容易收敛。但 MSE 有一个明显缺点它天然偏好“平均预测”。如果模型对某个格点不确定给出接近气候平均值的预测可以降低平方误差的期望风险。这会导致输出场偏平滑极端天气强度被低估。实践中可以组合多个损失空间域 MSE关注逐点精度。谱域损失对预测场做傅里叶变换在高频分量上计算误差缓解平滑问题。物理一致性损失例如地转平衡约束但这部分实现复杂度较高。对于第一版模型直接用加权 MSE 就可以。纬度权重需要在损失函数里体现def lat_weighted_mse(pred, target, lat_weight): # lat_weight: (1, 1, H, 1) 广播到 (B, C, H, W) diff pred - target loss (diff ** 2 * lat_weight).mean() return loss5.2 RMSE 与 ACC 的计算方式验证数据驱动预报模型时两个指标最常用RMSE 和 ACC。RMSE 是全格点的加权均方根误差反映预测与真实场的平均偏差大小。ACC 是异常距平相关系数衡量预测的异常场与真实异常场的空间相关程度。它需要气候态参考场通常是训练期多年平均的逐日气候值。预测减去气候态得到异常场再和真实异常场做相关数值越接近 1 越好。def compute_acc(pred, target, clim, lat_weight): pred_anom pred - clim target_anom target - clim numerator (pred_anom * target_anom * lat_weight).sum(dim(-2, -1)) denominator torch.sqrt( (pred_anom ** 2 * lat_weight).sum(dim(-2, -1)) * (target_anom ** 2 * lat_weight).sum(dim(-2, -1)) ) return (numerator / (denominator 1e-8)).mean()ACC 在地学领域有明确经验阈值中期预报中ACC 降到 0.6 以下通常认为预报失去实用参考价值。这个阈值可以作为衡量模型可用超前时间的标准例如“该模型 ACC 高于 0.6 的预报天数约为多少”。5.3 训练日志里应该看什么不要只盯着训练损失。至少要同时记录以下内容训练集和验证集的加权 MSE观察是否过拟合。分超前时间段的 RMSE 和 ACC例如把 6、24、72、168 小时分开统计看模型是否对不同时段都有稳定表现。输出场的标准差如果标准差远小于真实场标准差说明模型在输出平均态需要警惕平滑问题。显存占用和单步训练时间为扩大规模提供依据。5.4 学习环境与生产环境的差异维度学习环境生产环境数据小范围、低分辨率、部分变量全变量、全分辨率、多年历史模型规模小 embed_dim、少层数大规模、多卡并行训练稳定性能跑通即可需要调参、重启恢复、检查点推理单次前向需要多超前时间批量推理、错误处理监控本机日志指标告警、分布漂移检测回滚不需要保留版本支持快速切换学习阶段最重要的目标是把整个链路跑通验证条件注入机制确实在起作用。生产环境则要额外考虑数据管道的稳定性、模型版本管理、推理服务的延迟和异常输入处理。6. 常见问题排查6.1 显存不足现象训练刚开始就报CUDA out of memory。原因通常是 token 数量过大或 batch 太大。Transformer 的注意力复杂度是 O(N²)N 是 token 数量。分辨率提高一倍token 数量变四倍显存占用可能增加十几倍。排查顺序检查输入分辨率是否过高先降到 1 度或 2.5 度。检查 patch size 是否过小增大 patch 能显著减少 token。检查 batch size先用 1 或 2 验证。使用梯度累积模拟较大 batch而不是直接放大 batch size。启用混合精度训练。现象常见原因检查方式处理建议CUDA out of memorytoken 过多或 batch 过大输出模型的张量尺寸降低分辨率、增大 patch、减小 batch训练很慢注意力 O(N²) 计算量大观察单步耗时换用更小的 patch 数或使用窗口注意力6.2 Timestep 条件没有起作用现象模型对不同 τ 的预测结果几乎一样条件注入看起来无效。可能原因有两个。第一FiLM 的gamma和beta初始值接近零导致初始阶段条件调制很弱需要更长的训练时间才能显现。第二timestep embedding 的 MLP 容量太小无法编码足够丰富的条件信息。检查方式把不同 τ 的 embedding 向量打印出来观察它们是否有区分度或者在推理时固定输入 X_t只改变 τ看输出是否明显变化。解决方式给gamma和beta做特殊初始化比如让gamma初始化为 1beta初始化为 0增大 timestep embedding 的隐藏层宽度或者把 FiLM 应用到多个 Transformer Block 而不是只应用在最后。6.3 预测结果过于平滑现象预测场的空间结构比真实场模糊极端天气的强度偏低RMSE 还可以但 ACC 在中长期掉得很快。原因几乎总是 MSE 损失函数带来的均值回归倾向。模型发现输出气候平均态能降低损失风险于是选择平滑预测。解决方式加入谱域损失强制模型学习高频结构。使用对抗训练或扩散模型思路生成更锐利的场。评估时把 RMSE 和 ACC 和真实场的标准差一起看不要只盯 RMSE。6.4 训练损失下降但评估指标不涨现象训练集损失正常下降验证集 RMSE 也在下降但 ACC 始终偏低。可能原因是气候态参考场选得不好。ACC 计算的是异常场相关性如果气候态里的季节循环没有被去掉异常场里还残留大量季节信号模型预测能力会被高估或掩盖真实问题。检查方式画出预测异常场和真实异常场的空间分布看是否结构上接近检查气候态是否按照训练期逐年逐日统计。解决方式重新计算气候态按每个日历日取多年平均或者对数据做季节循环去除再训练。7. 最佳实践与可复用清单7.1 数据质量检查清单在开始训练前逐项确认以下内容样本对是否严格按时间顺序构造X_t 和 X_{tτ} 来自同一条时间序列。训练、验证、测试集是否按时间切分没有随机混入相邻时间点。归一化统计量是否只从训练集计算没有偷看验证集和测试集。各变量尺度是否差异过大是否需要按通道分别归一化。纬度权重是否已经加入损失函数和评估指标。数据里是否存在缺失值或 NaN是否已经做插值或掩码处理。7.2 模型训练与评估检查清单模型侧同样有一份可以复用的清单先用小规模合成数据验证模型能跑通再切换真实数据。固定 X_t改变 τ 做一次推理确认条件注入确实改变输出。每个超前时间单独评估 RMSE 和 ACC不要只报告平均值。监测输出场的标准差防止平滑退化。保存训练中的最佳检查点按验证集 ACC 而不是训练损失选择模型。记录实验配置、数据版本和随机种子保证实验可复现。7.3 可以继续扩展的方向Timestep conditioning 本身是一个灵活的机制可以往多个方向扩展把 τ 条件替换成“起报时刻 超前时间”的联合条件让模型感知季节。在解码器中也注入时间条件让最后一层同样感知预报时长。结合集合预报输入多个扰动初始场输出概率分布。用扩散模型或 flow matching 替代直接回归输出头改善长期预测的平滑问题。把地理位置、地形高度等静态场作为额外条件输入增强局部特征。7.4 几点工程建议真实项目里最值得投入时间的是数据处理管道而不是模型结构。天气数据动辄 TB 级如果数据管道不稳定训练过程会被反复打断。建议先把样本采样、归一化、切分做完整再开始调模型。关于训练成本先用低分辨率、小模型跑通指标基线确认逻辑无误后再逐步增加分辨率和模型深度。每次只改变一个变量否则很难定位是数据问题、条件注入问题还是模型容量问题。Timestep conditioning 的价值在于让一个模型平滑处理多个超前时间。它不是一个独立模型架构而是一个可插拔的设计思想。理解了这套机制再去看相关论文和其他条件生成模型会发现很多结构是相通的。对于刚开始接触气象深度学习的开发者最有效的练习是先在小规模数据上没有物理约束地复现这套流程跑通后再加入真实气象数据和更复杂的损失函数。