这次我们来看一个天气降尺度方向的 AI 研究方法。论文标题是“Earth observation embeddings are effective sub-grid descriptors for probabilistic weather downscaling”。一句话概括用地球观测数据编码得到的嵌入向量作为“次网格描述符”辅助概率天气降尺度模型生成更高分辨率的气象场。这里面的逻辑其实很直接。粗分辨率气象数据例如几十公里一个网格很难表达山脉、海岸线、局地对流等小尺度过程。传统上要么用动力降尺度要么用统计降尺度把分辨率提上去。这篇研究提出的关键增量是卫星等地球观测数据自带丰富的高分辨率空间结构先把它编码成紧凑的嵌入向量再作为条件输入给生成式降尺度模型。模型不仅能给出细分辨率结果还能输出概率分布从而量化预报不确定性。本文会沿着整套技术路线展开先讲清楚“次网格描述符”到底解决什么问题再拆解 Earth observation embedding 的构造思路然后给出数据准备、模型训练、评估验证、批量推理的一整套可落地流程。内容适合做气候服务、气象预报、遥感与 AI 交叉研究和业务应用开发的读者。如果你考虑把这个方向落地成高分辨率气象产品建议直接收藏。1. 项目核心概念速览在进入细节前先用一张表把这个研究方向的关键信息整理出来。因为这是一个论文级别的方法研究不是已经打包好的一键启动工具所以很多参数需要你在实际复现时确认。项目类型地球观测与 AI 结合的概率天气降尺度研究核心方法从地球观测数据中提取嵌入向量作为次网格描述符输入给概率降尺度模型输入数据粗分辨率气象/气候场、地球观测数据卫星遥感等输出内容细分辨率气象要素场温度、降水等的概率分布或集合样本关键思想用观测嵌入表达粗网格内部的小尺度空间结构技术栈深度学习编码器CNN/ViT 等、生成模型、概率预测头评估要点CRPS、RMSE、MAE、空间相关性、概率校准、极端事件表现部署形态通常以实验代码/训练仓库形式发布具体需确认原作者是否开源硬件门槛训练阶段需要 GPU推理阶段显存压力相对小CPU 也能跑但速度偏慢适合场景高分辨率气象服务、极端天气风险分析、气候模式后处理需要注意目前公开材料是论文标题层面的信息具体网络结构、训练数据、超参数、是否开源代码必须以原论文内容和发布仓库为准。本文后续给出的流程是同类机器学习降尺度项目的通用落地路径。2. 为什么天气降尺度需要次网格描述符2.1 粗网格气象数据的瓶颈气候模式或全球预报模式的网格分辨率通常比较粗常见的有 25 公里、50 公里甚至 100 公里。这个分辨率下一个网格内的地形、下垫面类型、局地对流都被“平均”掉了。山区的一个网格里可能同时包含山顶和河谷但模式只能给一个平均温度、平均降水。这种信息损失对精细化服务是致命的你想预报某个山谷的降水但模式只告诉你整个大网格的平均值。天气降尺度的目标就是把粗网格信息“拆回”细网格。这里的难点不只是插值。插值只能让画面变平滑却不能恢复被平均掉的小尺度物理过程。一个模型如果只看到粗网格温度它很难准确猜出山谷和山顶的温度差异。2.2 什么是次网格描述符次网格指的是“小于模式网格分辨率、无法被网格直接解析”的空间结构。描述符则是“能够描述这种结构的特征量”。举个例子一个大网格里可能有湖泊、城市、森林。这些下垫面类型就是次网格结构。如果降尺度模型知道“这一格里有 30% 是城市、20% 是水体”它就能更合理地推断出温度、湿度的空间变化。这种“网格内的组成信息”就是次网格描述符。论文标题强调 “Earth observation embeddings are effective sub-grid descriptors”意思是与其人工设计地表覆盖比例等描述符不如从卫星影像里直接用深度网络学出嵌入向量。卫星影像本身就有很高分辨率包含了地形纹理、水体分布、植被状况等信息。经过编码器压缩后的嵌入向量就成了相对紧凑但信息完整的次网格描述符。2.3 与动力降尺度、统计降尺度的关系动力降尺度是把全球模式结果作为边界条件驱动高分辨率区域模式。物理过程表达完整但计算成本高而且需要复杂的区域模式配置。统计降尺度是建立大尺度预报因子与局地观测之间的统计关系。计算成本低但依赖历史观测并且假设统计关系在未来气候状态下仍然成立。机器学习降尺度可以看作是统计降尺度的深度版。它可以引入比人工预报因子更丰富的输入包括粗网格气象场、地理信息、遥感观测。论文的思路就是在这一框架下强化“观测信息”这一路输入同时用概率模型代替传统回归输出从而把不确定性带进结果。3. 地球观测嵌入向量怎么构造3.1 输入形态卫星影像不只是影像地球观测数据通常以多波段影像形式存在。常见来源包括 MODIS、Sentinel-2、Landsat 等。每个波段反映不同的地表特征可见光反映植被颜色近红外反映植被活力热红外反映地表温度。针对不同任务输入通道也不同。在降尺度场景里卫星影像的作用不是“看图”而是提供当前时刻或气候平均意义下的下垫面状态。例如某块区域是裸土还是农田植被是茂盛还是枯黄有没有积雪覆盖。这些状态和局地气象要素有很强的空间关联正好可以作为降尺度模型的额外约束。前提是空间对齐。卫星影像分辨率通常远高于气象资料需要重采样到目标输出的细网格上并裁剪成固定尺寸的 patch才能和粗网格气象场组合使用。3.2 编码器从影像到嵌入向量从影像得到嵌入向量最直接的方式是用卷积网络或视觉 Transformer 做编码。输入是一块多波段影像 patch输出是一个低维向量。这个向量经过训练后要能保留和局地气象过程相关的次网格结构信息。下面给一个 PyTorch 的示意编码器。实际项目里的通道数、卷积层数、输出维度都要重新设计这里只是展示流程。import torch.nn as nn class EOEmbedEncoder(nn.Module): 从地球观测数据提取次网格描述符的编码器。 输入 shape: (B, C_obs, H, W) 输出 shape: (B, D) C_obs 为遥感特征通道数D 为嵌入向量维度。 def __init__(self, in_channels: int 6, embed_dim: int 64): super().__init__() self.conv_block nn.Sequential( nn.Conv2d(in_channels, 32, kernel_size3, stride2, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, 64, kernel_size3, stride2, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.Conv2d(64, 128, kernel_size3, stride2, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.AdaptiveAvgPool2d((1, 1)), ) self.fc nn.Linear(128, embed_dim) def forward(self, x): h self.conv_block(x) h h.flatten(1) return self.fc(h)3.3 为什么嵌入向量比原始影像更好用有人可能会问直接把卫星影像四通道拼进去不行吗当然可以但有几个问题。第一原始影像包含大量与降尺度无关的冗余信息直接作为条件会让模型参数爆炸也更容易过拟合。第二卫星影像有云污染、噪声、条带等问题原始像素级别输入不够稳健。第三嵌入向量可以脱离具体像素位置在更高语义层次上描述“这个网格的次网格结构”和粗网格气象变量拼接后更容易被生成模型利用。另外还有一个现实趋势遥感基础模型正在快速发展很多团队会先在大量卫星影像上预训练一个通用视觉编码器再在降尺度任务里微调。两种路线都值得验证一是从头训练一个专用编码器二是使用预训练遥感 embedding 后接一个小适配层。论文标题里的 “Earth observation embeddings” 大多数情况下指前者但后者的迁移效果同样值得测试。4. 概率降尺度的模型设计思路4.1 为什么要概率输出传统降尺度模型往往输出确定性结果给一个温度场输出一个温度场。问题在于次网格信息本身是不完备的。模型看到粗网格平均温度和部分地表信息它只能估计局地温度的大致分布不能保证每一次都猜得准。概率降尺度改变思路输出条件是观测样本给定时的条件概率分布或直接生成多个集合样本。这样用户不仅能看到最可能的结果还能知道结果的不确定性范围。对极端天气风险评估来说这种不确定性信息几乎和数值本身一样重要。4.2 生成式模型的角色概率降尺度的常用实现方案有几类方案类型代表思路优势难点条件生成对抗网络生成器输出细场判别器判断真假图像细节清晰训练不稳定模式崩塌风险扩散模型逐步去噪生成细场样本多样性好采样速度偏慢归一化流可逆变换拟合目标分布精确密度估计网络结构受限分位数回归网络输出多个分位数稳定、简单空间相关性刻画有限集合成员训练每次保留随机噪声输入生成多个成员工程实现简单集合质量依赖随机噪声设计论文标题强调“概率天气降尺度”因此模型的核心应该是一个带条件输入的生成式结构。粗网格气象场和地球观测嵌入向量共同作为条件控制生成过程。4.3 条件信息如何注入条件注入方式直接影响模型效果。常见做法包括把粗网格气象场插值到细网格和嵌入向量沿通道维度拼接再输入生成网络。在生成网络的多个中间层分别注入不同尺度的条件信息让浅层控制纹理、深层控制大尺度背景。使用自适应归一化层把嵌入向量映射成缩放和平移参数调制特征图。从工程经验看前者的实现最简单后两者效果通常更好但调参成本也更高。建议在初期先用拼接方式跑通基线再逐步增加条件注入深度。4.4 损失函数设计概率模型的损失通常包括两部分一是拟合目标分布二是保持空间细节。常见的组合是负对数似然或 CRPS 损失负责概率拟合。像素级 L1 或 L2 损失负责空间均值精度。对抗损失或感知损失负责纹理清晰度。需要注意的是过度强调 L2 损失会让输出趋向于所有可能性的平均导致结果过平滑。这也是很多确定性降尺度模型的通病空间场看起来平滑但极值被压平了。概率模型的价值就在于它可以允许单次输出偏离均值并在集合成员里体现这种离散度。训练循环框架可以参考下面这样的伪代码for epoch in range(epochs): for batch in train_loader: coarse_field, eo_image, target batch # 编码器提取次网格描述符 embed encoder(eo_image) # 条件概率模型生成样本分布参数 dist_params downscaler(coarse_field, embed) # 损失概率分布损失 重建损失 loss_prob criterion_dist(dist_params, target) loss_recon criterion_recon(dist_params.mean(), target) loss loss_prob 0.5 * loss_recon optimizer.zero_grad() loss.backward() optimizer.step()具体损失权重需要在实际数据上搜索。一般建议先让概率损失主导再逐渐加重建损失的权重。5. 数据准备与预处理5.1 常用数据来源这个方向通常需要三类数据第一粗分辨率气象场。常用的有 ERA5 再分析资料、CMIP6 模式输出、全球预报模式的初始场或后处理结果。它们是降尺度模型的输入背景场。第二细分辨率观测目标。生产环境中常用地面站点观测或高分辨率区域模式结果作为训练标签。如果是研究降水降尺度还可以使用雷达融合降水产品。第三地球观测数据。重点选择与下垫面强相关的波段和产品例如植被指数、地表温度、积雪覆盖、土地利用分类。这些数据要能覆盖研究区域并且和气象数据时间匹配。5.2 空间对齐与时间匹配降尺度训练样本的构造核心是“同一物理时刻、同一空间范围、不同分辨率”。具体步骤如下把粗分辨率气象场插值到目标细网格作为低分辨率条件。把地球观测数据重采样到细网格并裁剪 patch。把细分辨率真值对准同一个网格。按时间逐帧切出训练样本随机做数据增强。下面是一个用 xarray 读取再分析资料的示例。ERA5 实际下载结构以资料为准这里展示的是通用流程。import xarray as xr # 读取粗分辨率再分析数据示例 ds xr.open_dataset(era5_demo.nc) area ds.sel( timeslice(2015-01-01, 2020-12-31), latitudeslice(50, 20), longitudeslice(90, 130) ) # 提取变量并转换为 float32 便于后续进入 PyTorch t2m area[t2m].astype(float32) tp area[tp].astype(float32) # 如果需要可以对细网格真值做重采样来匹配目标网格 # target_grid xr.Dataset(coords{...}) # t2m_high t2m.interp_like(target_grid)5.3 归一化与样本划分气象变量的量纲差异很大温度是 280 K 级别降水量是毫米级别直接送进模型会导致训练不稳定。建议按变量单独做 z-score 归一化归一化参数只从训练集统计避免验证集信息泄漏。样本划分时不要随机打乱时间。建议按时间段划分比如前 5 年训练、中间 1 年验证、最后 1 年测试。如果研究区域很大还应该考虑空间划分让模型在没见过的区域上测试否则会高估泛化性能。遥感数据需要特别注意云掩膜。云覆盖区域的卫星观测值并不能反映地表状态需要用云掩膜产品把这些像素标记成无效值或者填充成合理的季节性气候态。否则模型会学到“有云区域”的错误特征。6. 训练、评估与验证流程6.1 评估指标体系只看 RMSE 远远不够。概率降尺度模型的核心价值在于不确定性估计是否可靠因此需要同时评估“空间精度”和“概率校准程度”。指标全称衡量内容数值方向CRPSContinuous Ranked Probability Score预测分布与观测的匹配程度越小越好RMSERoot Mean Squared Error均值预测的总体误差越小越好MAEMean Absolute Error平均绝对误差越小越好空间相关系数Spatial Correlation空间形态还原程度越大越好PITProbability Integral Transform概率校准是否均匀越接近均匀越好可靠性图Reliability Diagram预测概率与观测频率一致性越接近对角线越好CRPS 是概率预报的核心指标。它同时考虑预测分布和观测单点值预测分布越集中且越接近观测CRPS 越小。极端情况下如果预测分布退化成一个确定的正确值CRPS 等于 MAE。计算 CRPS 可以直接使用 Python 的 xskillscore 库它专门做气象预报评分用法如下import xarray as xr import xskillscore as xs # obs: 观测值 DataArray维度至少包含 time # fcst: 集合预报 DataArray包含 member 维度和 time 维度 obs xr.DataArray(...) fcst xr.DataArray(...) # 计算每个时间点的 CRPS然后再对时间取平均 crps xs.crps_ensemble(obs, fcst, member_dimmember) mean_crps crps.mean(time) print(mean_crps)如果你的模型输出的是参数化分布而不是集合样本也可以用xs.crps_quadrature对高斯分布做数值积分但需要对分布形式做假设。6.2 极端事件评估降尺度模型最怕的不是平均误差而是极值压平。某天暴雨过程是 80mm模型平均输出可能只有 40mm。均值误差不大但业务里完全不可用。建议把测试集独立抽取极端事件样本集计算99% 分位点的 CRPS降水阈值的命中率和空报率高温热浪过程的空间覆盖率。如果模型在极端事件上的 CRPS 比整体 CRPS 差很多说明概率分布不够厚尾需要调整损失函数权重或增加极端事件样本的采样权重。6.3 过平滑判断过平滑是降尺度模型的典型问题。判断方法很简单把模型输出的空间方差和观测真值的空间方差做对比。如果模型输出的方差系统性偏低说明空间细节没有恢复出来。另一个更细致的做法是看功率谱。观测场的功率谱在高频段有能量如果模型输出在同样频段能量明显偏低就说明高频信息被抹掉了。此时可以考虑引入对抗损失或感知损失有条件的话直接用扩散模型替换确定性生成头。7. 环境准备与部署建议7.1 环境依赖清单这类项目通常依赖 PyTorch、xarray、netcdf4、numpy、scikit-learn、xskillscore。下面给一个 conda 环境示例实际版本号需要按你的系统重新选。name: eo-downscale channels: - conda-forge - defaults dependencies: - python3.10 - pytorch2.1 - torchvision - xarray - netcdf4 - numpy - scikit-learn - xskillscore - pip安装时要注意 PyTorch 和 CUDA 的版本匹配。如果只做 CPU 推理直接装 CPU 版即可如果要训练建议先查清楚显卡驱动支持的 CUDA 版本再安装对应 PyTorch。7.2 训练与推理流程建议的训练流程是这样先用小 patch、小 batch、低嵌入维度跑通全流程确认数据管道没有 bug。再逐渐增加分辨率、嵌入维度、模型深度。每训练 10 到 20 个 epoch在验证集上计算 CRPS 和 RMSE保存最优 checkpoint。推理流程更简单。可以用下面的伪代码模板import torch torch.no_grad() def downscale_sample(model, encoder, coarse_field, eo_image, num_samples10): 概率降尺度推理示例。 coarse_field: (B, C, H, W) 粗分辨率场已对齐到目标网格 eo_image: (B, C_obs, H, W) 地球观测 patch已对齐到目标网格 embed encoder(eo_image) # (B, D) samples [] for _ in range(num_samples): sample model.sample(coarse_field, embed) samples.append(sample) return torch.stack(samples)注意如果你下载的是别人训练好的模型权重要仔细核对输入变量的顺序、归一化参数和网格定义。这些细节不一致输出结果会完全错误。7.3 原论文代码是否可用在复现之前先确认原论文是否公开了训练代码、模型权重和数据清单。很多学术论文只公开部分代码甚至不公开。如果没找到官方代码建议按本文描述的框架自己搭一版基线先用一个轻量条件扩散模型或分位数网络验证数据管道再逐步向原论文结构靠拢。8. 批量降尺度与业务化8.1 批量任务设计气象降尺度天然适合批量处理。比如要对过去 10 年逐小时降水做降尺度数据量非常大必须设计批量任务。推荐按时间分片每个任务处理一个月或一个季度输出到独立目录。任务内部再做网格分块避免一个超大数组占满内存。import glob import torch model.eval() input_files glob.glob(./inputs/era5_2024_*.nc) for file_path in input_files: dataset load_and_preprocess(file_path) samples downscale_all_time_steps(model, encoder, dataset) # 保存为一个 NetCDF 或 Zarr 文件路径按时间分片管理 save_output(samples, f./outputs/downscaled_{file_path.split(_)[-1]}.nc)8.2 接口化部署如果要把模型接入业务系统推荐把编码器和降尺度模型打包成一个服务对外暴露推理接口。核心接口设计成“输入粗网格场和地球观测数据输出多个集合样本或概率分布文件”。接口参数可以基于本机服务框架实现这是一个通用模板from flask import Flask, request, jsonify import numpy as np app Flask(__name__) app.route(/downscale, methods[POST]) def downscale(): data request.get_json() # data 中包含文件路径或 base64 编码的输入数据 output_paths run_batch_downscale(data[input_dir], data[output_dir]) return jsonify({status: ok, outputs: output_paths})生产环境部署时建议把推理服务放在内网限制访问来源避免未授权调用。批量任务要加日志和失败重试机制。气象数据量大任何一个时间片失败都可能中断整个任务所以要按任务单元记录状态。9. 资源占用与性能观察9.1 显存压力在哪降尺度模型的显存压力主要集中在两个地方一是训练时的特征图二是地球观测编码器的高分辨率输入。编码器如果输入的是 512x512 的多波段遥感影像即使 batch size 只有 1卷积特征图也会占据不少显存。解决方法是把输入切块或者使用更深的池化结构降低特征图尺寸。嵌入维度也需要控制。嵌入向量的作用是高度压缩描述信息一般不需要太大。如果嵌入维度从 64 提到 512编码器最后的全连接层参数会显著增加但性能不一定变好。训练时可以扫几个维度观察验证集 CRPS 的变化。9.2 CPU 与 GPU 推理差异训练阶段基本依赖 GPU。推理阶段如果只跑单帧CPU 也能跑但速度差很多。具体差距取决于模型结构和输入尺寸。如果要做长时间序列批量降尺度推荐 GPU 推理。观测资源占用的小技巧训练时用nvidia-smi观察显存占用推理时对比同一批数据在 CPU 和 GPU 下的耗时如果显存不足优先降低 batch size其次降低输入 patch 分辨率最后才考虑换小模型。9.3 降低显存开销的工程手段可以按优先级做这些事输入数据用 float32不要用 float64能省一半显存。大影像切 patch 训练推理时再拼接回完整网格。使用混合精度训练但要注意某些归一化层对精度敏感。避免在 DataLoader 里同时保存多份拷贝用生成器按需读取。10. 常见问题与排查方法问题现象可能原因排查方式解决方案训练 loss 不下降归一化参数错误、学习率不合适检查输入数据分布、打印 Batch loss修正归一化先小学习率跑 5 个 epoch 验证输出空间场过平滑L2 损失权重过高、模型容量不足对比输出与观测的方差、功率谱增加对抗/感知损失引入概率生成头CRPS 很低但 RMSE 很高预测分布过宽、中心偏差大看 PIT 直方图是否均匀调整分布假设或增加重建损失卫星影像输入始终无效云掩膜没有处理检查有效像素占比加入云掩膜无效像素填充气候态训练时显存不足batch size 太大、patch 太大观察 nvidia-smi 占用减小 batch、切 patch、使用混合精度推理结果边界有缝切块推理没有做重叠融合检查拼接逻辑使用重叠 patch 并加权平均时间序列不连续逐帧独立推理忽略了时间连续性对比相邻帧输出增加时间注意力或做滚动后处理平滑接口请求超时单次推理耗时过长记录接口耗时使用异步任务队列按任务状态查询11. 最佳实践与合规提醒11.1 数据与版权合规这个方向涉及的数据来源多样合规问题不能忽略。再分析资料如 ERA5 有 ECMWF 的数据许可允许研究使用但发布和商用要遵循相应条款。卫星观测数据如 MODIS、Sentinel 系列也要遵守各自的数据政策。训练标签如果来自商业高分辨率气象产品需要确认是否有再分发权限。任何模型训练、公开演示、业务化部署前都要先确认输入数据的版权和授权边界。气象数据通常不涉及个人隐私但如果研究区域包含精细地理信息注意不要发布未经授权的敏感空间细节。11.2 模型验证与发布建议气象模型发布结果前至少要完成四步检查在独立时间段的测试集上计算 CRPS 和 RMSE不要只报告训练集表现。单独检查极端天气过程确认极值没有被压平。对比概率预测的校准曲线确认不确定性估计不是摆设。用传统降尺度方法或粗网格插值做 baseline确认新方法确实带来了增量。如果模型后续要商用还要考虑模型训练时使用的数据集是否允许商用。严格来说训练数据许可、模型权重授权、代码开源协议三者要一起核查。12. 总结与下一步这个研究方向最值得抓住的点是把卫星观测压缩成次网格描述符再用概率生成模型输出细分辨率气象场。对比传统统计降尺度它的优势在于能自动挖掘高分辨率观测中的空间结构对比动力降尺度它的计算成本低得多。如果要从零开始复现我会建议按这个顺序推进先准备数据最小化到一个变量、一个区域跑通数据管道。搭一个简单的条件分位数网络把 baseline 的 CRPS 和 RMSE 记下来。加入编码器提取观测嵌入对比是否带来提升。确认嵌入有效后再升级为概率生成模型。最容易踩的坑有两个一是数据空间对齐出错导致模型学到错误对应关系二是过度追求细节模型看起来清晰但概率校准很差。前者靠严格的 grid 检查后者靠 CRPS 和 PIT 指标兜底。下一步可以在两个方向延伸一是用预训练遥感基础模型替换随机初始化的编码器看嵌入质量能否进一步提升二是把时间维度加入条件引入多个时间步的粗网格气象场让降尺度结果在时间序列上更连续。两条路都值得做但前提是先把这个基础框架跑稳。 地球观测嵌入作为次网格描述符的概率天气降尺度方法
这次我们来看一个天气降尺度方向的 AI 研究方法。论文标题是“Earth observation embeddings are effective sub-grid descriptors for probabilistic weather downscaling”。一句话概括用地球观测数据编码得到的嵌入向量作为“次网格描述符”辅助概率天气降尺度模型生成更高分辨率的气象场。这里面的逻辑其实很直接。粗分辨率气象数据例如几十公里一个网格很难表达山脉、海岸线、局地对流等小尺度过程。传统上要么用动力降尺度要么用统计降尺度把分辨率提上去。这篇研究提出的关键增量是卫星等地球观测数据自带丰富的高分辨率空间结构先把它编码成紧凑的嵌入向量再作为条件输入给生成式降尺度模型。模型不仅能给出细分辨率结果还能输出概率分布从而量化预报不确定性。本文会沿着整套技术路线展开先讲清楚“次网格描述符”到底解决什么问题再拆解 Earth observation embedding 的构造思路然后给出数据准备、模型训练、评估验证、批量推理的一整套可落地流程。内容适合做气候服务、气象预报、遥感与 AI 交叉研究和业务应用开发的读者。如果你考虑把这个方向落地成高分辨率气象产品建议直接收藏。1. 项目核心概念速览在进入细节前先用一张表把这个研究方向的关键信息整理出来。因为这是一个论文级别的方法研究不是已经打包好的一键启动工具所以很多参数需要你在实际复现时确认。项目类型地球观测与 AI 结合的概率天气降尺度研究核心方法从地球观测数据中提取嵌入向量作为次网格描述符输入给概率降尺度模型输入数据粗分辨率气象/气候场、地球观测数据卫星遥感等输出内容细分辨率气象要素场温度、降水等的概率分布或集合样本关键思想用观测嵌入表达粗网格内部的小尺度空间结构技术栈深度学习编码器CNN/ViT 等、生成模型、概率预测头评估要点CRPS、RMSE、MAE、空间相关性、概率校准、极端事件表现部署形态通常以实验代码/训练仓库形式发布具体需确认原作者是否开源硬件门槛训练阶段需要 GPU推理阶段显存压力相对小CPU 也能跑但速度偏慢适合场景高分辨率气象服务、极端天气风险分析、气候模式后处理需要注意目前公开材料是论文标题层面的信息具体网络结构、训练数据、超参数、是否开源代码必须以原论文内容和发布仓库为准。本文后续给出的流程是同类机器学习降尺度项目的通用落地路径。2. 为什么天气降尺度需要次网格描述符2.1 粗网格气象数据的瓶颈气候模式或全球预报模式的网格分辨率通常比较粗常见的有 25 公里、50 公里甚至 100 公里。这个分辨率下一个网格内的地形、下垫面类型、局地对流都被“平均”掉了。山区的一个网格里可能同时包含山顶和河谷但模式只能给一个平均温度、平均降水。这种信息损失对精细化服务是致命的你想预报某个山谷的降水但模式只告诉你整个大网格的平均值。天气降尺度的目标就是把粗网格信息“拆回”细网格。这里的难点不只是插值。插值只能让画面变平滑却不能恢复被平均掉的小尺度物理过程。一个模型如果只看到粗网格温度它很难准确猜出山谷和山顶的温度差异。2.2 什么是次网格描述符次网格指的是“小于模式网格分辨率、无法被网格直接解析”的空间结构。描述符则是“能够描述这种结构的特征量”。举个例子一个大网格里可能有湖泊、城市、森林。这些下垫面类型就是次网格结构。如果降尺度模型知道“这一格里有 30% 是城市、20% 是水体”它就能更合理地推断出温度、湿度的空间变化。这种“网格内的组成信息”就是次网格描述符。论文标题强调 “Earth observation embeddings are effective sub-grid descriptors”意思是与其人工设计地表覆盖比例等描述符不如从卫星影像里直接用深度网络学出嵌入向量。卫星影像本身就有很高分辨率包含了地形纹理、水体分布、植被状况等信息。经过编码器压缩后的嵌入向量就成了相对紧凑但信息完整的次网格描述符。2.3 与动力降尺度、统计降尺度的关系动力降尺度是把全球模式结果作为边界条件驱动高分辨率区域模式。物理过程表达完整但计算成本高而且需要复杂的区域模式配置。统计降尺度是建立大尺度预报因子与局地观测之间的统计关系。计算成本低但依赖历史观测并且假设统计关系在未来气候状态下仍然成立。机器学习降尺度可以看作是统计降尺度的深度版。它可以引入比人工预报因子更丰富的输入包括粗网格气象场、地理信息、遥感观测。论文的思路就是在这一框架下强化“观测信息”这一路输入同时用概率模型代替传统回归输出从而把不确定性带进结果。3. 地球观测嵌入向量怎么构造3.1 输入形态卫星影像不只是影像地球观测数据通常以多波段影像形式存在。常见来源包括 MODIS、Sentinel-2、Landsat 等。每个波段反映不同的地表特征可见光反映植被颜色近红外反映植被活力热红外反映地表温度。针对不同任务输入通道也不同。在降尺度场景里卫星影像的作用不是“看图”而是提供当前时刻或气候平均意义下的下垫面状态。例如某块区域是裸土还是农田植被是茂盛还是枯黄有没有积雪覆盖。这些状态和局地气象要素有很强的空间关联正好可以作为降尺度模型的额外约束。前提是空间对齐。卫星影像分辨率通常远高于气象资料需要重采样到目标输出的细网格上并裁剪成固定尺寸的 patch才能和粗网格气象场组合使用。3.2 编码器从影像到嵌入向量从影像得到嵌入向量最直接的方式是用卷积网络或视觉 Transformer 做编码。输入是一块多波段影像 patch输出是一个低维向量。这个向量经过训练后要能保留和局地气象过程相关的次网格结构信息。下面给一个 PyTorch 的示意编码器。实际项目里的通道数、卷积层数、输出维度都要重新设计这里只是展示流程。import torch.nn as nn class EOEmbedEncoder(nn.Module): 从地球观测数据提取次网格描述符的编码器。 输入 shape: (B, C_obs, H, W) 输出 shape: (B, D) C_obs 为遥感特征通道数D 为嵌入向量维度。 def __init__(self, in_channels: int 6, embed_dim: int 64): super().__init__() self.conv_block nn.Sequential( nn.Conv2d(in_channels, 32, kernel_size3, stride2, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.Conv2d(32, 64, kernel_size3, stride2, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.Conv2d(64, 128, kernel_size3, stride2, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.AdaptiveAvgPool2d((1, 1)), ) self.fc nn.Linear(128, embed_dim) def forward(self, x): h self.conv_block(x) h h.flatten(1) return self.fc(h)3.3 为什么嵌入向量比原始影像更好用有人可能会问直接把卫星影像四通道拼进去不行吗当然可以但有几个问题。第一原始影像包含大量与降尺度无关的冗余信息直接作为条件会让模型参数爆炸也更容易过拟合。第二卫星影像有云污染、噪声、条带等问题原始像素级别输入不够稳健。第三嵌入向量可以脱离具体像素位置在更高语义层次上描述“这个网格的次网格结构”和粗网格气象变量拼接后更容易被生成模型利用。另外还有一个现实趋势遥感基础模型正在快速发展很多团队会先在大量卫星影像上预训练一个通用视觉编码器再在降尺度任务里微调。两种路线都值得验证一是从头训练一个专用编码器二是使用预训练遥感 embedding 后接一个小适配层。论文标题里的 “Earth observation embeddings” 大多数情况下指前者但后者的迁移效果同样值得测试。4. 概率降尺度的模型设计思路4.1 为什么要概率输出传统降尺度模型往往输出确定性结果给一个温度场输出一个温度场。问题在于次网格信息本身是不完备的。模型看到粗网格平均温度和部分地表信息它只能估计局地温度的大致分布不能保证每一次都猜得准。概率降尺度改变思路输出条件是观测样本给定时的条件概率分布或直接生成多个集合样本。这样用户不仅能看到最可能的结果还能知道结果的不确定性范围。对极端天气风险评估来说这种不确定性信息几乎和数值本身一样重要。4.2 生成式模型的角色概率降尺度的常用实现方案有几类方案类型代表思路优势难点条件生成对抗网络生成器输出细场判别器判断真假图像细节清晰训练不稳定模式崩塌风险扩散模型逐步去噪生成细场样本多样性好采样速度偏慢归一化流可逆变换拟合目标分布精确密度估计网络结构受限分位数回归网络输出多个分位数稳定、简单空间相关性刻画有限集合成员训练每次保留随机噪声输入生成多个成员工程实现简单集合质量依赖随机噪声设计论文标题强调“概率天气降尺度”因此模型的核心应该是一个带条件输入的生成式结构。粗网格气象场和地球观测嵌入向量共同作为条件控制生成过程。4.3 条件信息如何注入条件注入方式直接影响模型效果。常见做法包括把粗网格气象场插值到细网格和嵌入向量沿通道维度拼接再输入生成网络。在生成网络的多个中间层分别注入不同尺度的条件信息让浅层控制纹理、深层控制大尺度背景。使用自适应归一化层把嵌入向量映射成缩放和平移参数调制特征图。从工程经验看前者的实现最简单后两者效果通常更好但调参成本也更高。建议在初期先用拼接方式跑通基线再逐步增加条件注入深度。4.4 损失函数设计概率模型的损失通常包括两部分一是拟合目标分布二是保持空间细节。常见的组合是负对数似然或 CRPS 损失负责概率拟合。像素级 L1 或 L2 损失负责空间均值精度。对抗损失或感知损失负责纹理清晰度。需要注意的是过度强调 L2 损失会让输出趋向于所有可能性的平均导致结果过平滑。这也是很多确定性降尺度模型的通病空间场看起来平滑但极值被压平了。概率模型的价值就在于它可以允许单次输出偏离均值并在集合成员里体现这种离散度。训练循环框架可以参考下面这样的伪代码for epoch in range(epochs): for batch in train_loader: coarse_field, eo_image, target batch # 编码器提取次网格描述符 embed encoder(eo_image) # 条件概率模型生成样本分布参数 dist_params downscaler(coarse_field, embed) # 损失概率分布损失 重建损失 loss_prob criterion_dist(dist_params, target) loss_recon criterion_recon(dist_params.mean(), target) loss loss_prob 0.5 * loss_recon optimizer.zero_grad() loss.backward() optimizer.step()具体损失权重需要在实际数据上搜索。一般建议先让概率损失主导再逐渐加重建损失的权重。5. 数据准备与预处理5.1 常用数据来源这个方向通常需要三类数据第一粗分辨率气象场。常用的有 ERA5 再分析资料、CMIP6 模式输出、全球预报模式的初始场或后处理结果。它们是降尺度模型的输入背景场。第二细分辨率观测目标。生产环境中常用地面站点观测或高分辨率区域模式结果作为训练标签。如果是研究降水降尺度还可以使用雷达融合降水产品。第三地球观测数据。重点选择与下垫面强相关的波段和产品例如植被指数、地表温度、积雪覆盖、土地利用分类。这些数据要能覆盖研究区域并且和气象数据时间匹配。5.2 空间对齐与时间匹配降尺度训练样本的构造核心是“同一物理时刻、同一空间范围、不同分辨率”。具体步骤如下把粗分辨率气象场插值到目标细网格作为低分辨率条件。把地球观测数据重采样到细网格并裁剪 patch。把细分辨率真值对准同一个网格。按时间逐帧切出训练样本随机做数据增强。下面是一个用 xarray 读取再分析资料的示例。ERA5 实际下载结构以资料为准这里展示的是通用流程。import xarray as xr # 读取粗分辨率再分析数据示例 ds xr.open_dataset(era5_demo.nc) area ds.sel( timeslice(2015-01-01, 2020-12-31), latitudeslice(50, 20), longitudeslice(90, 130) ) # 提取变量并转换为 float32 便于后续进入 PyTorch t2m area[t2m].astype(float32) tp area[tp].astype(float32) # 如果需要可以对细网格真值做重采样来匹配目标网格 # target_grid xr.Dataset(coords{...}) # t2m_high t2m.interp_like(target_grid)5.3 归一化与样本划分气象变量的量纲差异很大温度是 280 K 级别降水量是毫米级别直接送进模型会导致训练不稳定。建议按变量单独做 z-score 归一化归一化参数只从训练集统计避免验证集信息泄漏。样本划分时不要随机打乱时间。建议按时间段划分比如前 5 年训练、中间 1 年验证、最后 1 年测试。如果研究区域很大还应该考虑空间划分让模型在没见过的区域上测试否则会高估泛化性能。遥感数据需要特别注意云掩膜。云覆盖区域的卫星观测值并不能反映地表状态需要用云掩膜产品把这些像素标记成无效值或者填充成合理的季节性气候态。否则模型会学到“有云区域”的错误特征。6. 训练、评估与验证流程6.1 评估指标体系只看 RMSE 远远不够。概率降尺度模型的核心价值在于不确定性估计是否可靠因此需要同时评估“空间精度”和“概率校准程度”。指标全称衡量内容数值方向CRPSContinuous Ranked Probability Score预测分布与观测的匹配程度越小越好RMSERoot Mean Squared Error均值预测的总体误差越小越好MAEMean Absolute Error平均绝对误差越小越好空间相关系数Spatial Correlation空间形态还原程度越大越好PITProbability Integral Transform概率校准是否均匀越接近均匀越好可靠性图Reliability Diagram预测概率与观测频率一致性越接近对角线越好CRPS 是概率预报的核心指标。它同时考虑预测分布和观测单点值预测分布越集中且越接近观测CRPS 越小。极端情况下如果预测分布退化成一个确定的正确值CRPS 等于 MAE。计算 CRPS 可以直接使用 Python 的 xskillscore 库它专门做气象预报评分用法如下import xarray as xr import xskillscore as xs # obs: 观测值 DataArray维度至少包含 time # fcst: 集合预报 DataArray包含 member 维度和 time 维度 obs xr.DataArray(...) fcst xr.DataArray(...) # 计算每个时间点的 CRPS然后再对时间取平均 crps xs.crps_ensemble(obs, fcst, member_dimmember) mean_crps crps.mean(time) print(mean_crps)如果你的模型输出的是参数化分布而不是集合样本也可以用xs.crps_quadrature对高斯分布做数值积分但需要对分布形式做假设。6.2 极端事件评估降尺度模型最怕的不是平均误差而是极值压平。某天暴雨过程是 80mm模型平均输出可能只有 40mm。均值误差不大但业务里完全不可用。建议把测试集独立抽取极端事件样本集计算99% 分位点的 CRPS降水阈值的命中率和空报率高温热浪过程的空间覆盖率。如果模型在极端事件上的 CRPS 比整体 CRPS 差很多说明概率分布不够厚尾需要调整损失函数权重或增加极端事件样本的采样权重。6.3 过平滑判断过平滑是降尺度模型的典型问题。判断方法很简单把模型输出的空间方差和观测真值的空间方差做对比。如果模型输出的方差系统性偏低说明空间细节没有恢复出来。另一个更细致的做法是看功率谱。观测场的功率谱在高频段有能量如果模型输出在同样频段能量明显偏低就说明高频信息被抹掉了。此时可以考虑引入对抗损失或感知损失有条件的话直接用扩散模型替换确定性生成头。7. 环境准备与部署建议7.1 环境依赖清单这类项目通常依赖 PyTorch、xarray、netcdf4、numpy、scikit-learn、xskillscore。下面给一个 conda 环境示例实际版本号需要按你的系统重新选。name: eo-downscale channels: - conda-forge - defaults dependencies: - python3.10 - pytorch2.1 - torchvision - xarray - netcdf4 - numpy - scikit-learn - xskillscore - pip安装时要注意 PyTorch 和 CUDA 的版本匹配。如果只做 CPU 推理直接装 CPU 版即可如果要训练建议先查清楚显卡驱动支持的 CUDA 版本再安装对应 PyTorch。7.2 训练与推理流程建议的训练流程是这样先用小 patch、小 batch、低嵌入维度跑通全流程确认数据管道没有 bug。再逐渐增加分辨率、嵌入维度、模型深度。每训练 10 到 20 个 epoch在验证集上计算 CRPS 和 RMSE保存最优 checkpoint。推理流程更简单。可以用下面的伪代码模板import torch torch.no_grad() def downscale_sample(model, encoder, coarse_field, eo_image, num_samples10): 概率降尺度推理示例。 coarse_field: (B, C, H, W) 粗分辨率场已对齐到目标网格 eo_image: (B, C_obs, H, W) 地球观测 patch已对齐到目标网格 embed encoder(eo_image) # (B, D) samples [] for _ in range(num_samples): sample model.sample(coarse_field, embed) samples.append(sample) return torch.stack(samples)注意如果你下载的是别人训练好的模型权重要仔细核对输入变量的顺序、归一化参数和网格定义。这些细节不一致输出结果会完全错误。7.3 原论文代码是否可用在复现之前先确认原论文是否公开了训练代码、模型权重和数据清单。很多学术论文只公开部分代码甚至不公开。如果没找到官方代码建议按本文描述的框架自己搭一版基线先用一个轻量条件扩散模型或分位数网络验证数据管道再逐步向原论文结构靠拢。8. 批量降尺度与业务化8.1 批量任务设计气象降尺度天然适合批量处理。比如要对过去 10 年逐小时降水做降尺度数据量非常大必须设计批量任务。推荐按时间分片每个任务处理一个月或一个季度输出到独立目录。任务内部再做网格分块避免一个超大数组占满内存。import glob import torch model.eval() input_files glob.glob(./inputs/era5_2024_*.nc) for file_path in input_files: dataset load_and_preprocess(file_path) samples downscale_all_time_steps(model, encoder, dataset) # 保存为一个 NetCDF 或 Zarr 文件路径按时间分片管理 save_output(samples, f./outputs/downscaled_{file_path.split(_)[-1]}.nc)8.2 接口化部署如果要把模型接入业务系统推荐把编码器和降尺度模型打包成一个服务对外暴露推理接口。核心接口设计成“输入粗网格场和地球观测数据输出多个集合样本或概率分布文件”。接口参数可以基于本机服务框架实现这是一个通用模板from flask import Flask, request, jsonify import numpy as np app Flask(__name__) app.route(/downscale, methods[POST]) def downscale(): data request.get_json() # data 中包含文件路径或 base64 编码的输入数据 output_paths run_batch_downscale(data[input_dir], data[output_dir]) return jsonify({status: ok, outputs: output_paths})生产环境部署时建议把推理服务放在内网限制访问来源避免未授权调用。批量任务要加日志和失败重试机制。气象数据量大任何一个时间片失败都可能中断整个任务所以要按任务单元记录状态。9. 资源占用与性能观察9.1 显存压力在哪降尺度模型的显存压力主要集中在两个地方一是训练时的特征图二是地球观测编码器的高分辨率输入。编码器如果输入的是 512x512 的多波段遥感影像即使 batch size 只有 1卷积特征图也会占据不少显存。解决方法是把输入切块或者使用更深的池化结构降低特征图尺寸。嵌入维度也需要控制。嵌入向量的作用是高度压缩描述信息一般不需要太大。如果嵌入维度从 64 提到 512编码器最后的全连接层参数会显著增加但性能不一定变好。训练时可以扫几个维度观察验证集 CRPS 的变化。9.2 CPU 与 GPU 推理差异训练阶段基本依赖 GPU。推理阶段如果只跑单帧CPU 也能跑但速度差很多。具体差距取决于模型结构和输入尺寸。如果要做长时间序列批量降尺度推荐 GPU 推理。观测资源占用的小技巧训练时用nvidia-smi观察显存占用推理时对比同一批数据在 CPU 和 GPU 下的耗时如果显存不足优先降低 batch size其次降低输入 patch 分辨率最后才考虑换小模型。9.3 降低显存开销的工程手段可以按优先级做这些事输入数据用 float32不要用 float64能省一半显存。大影像切 patch 训练推理时再拼接回完整网格。使用混合精度训练但要注意某些归一化层对精度敏感。避免在 DataLoader 里同时保存多份拷贝用生成器按需读取。10. 常见问题与排查方法问题现象可能原因排查方式解决方案训练 loss 不下降归一化参数错误、学习率不合适检查输入数据分布、打印 Batch loss修正归一化先小学习率跑 5 个 epoch 验证输出空间场过平滑L2 损失权重过高、模型容量不足对比输出与观测的方差、功率谱增加对抗/感知损失引入概率生成头CRPS 很低但 RMSE 很高预测分布过宽、中心偏差大看 PIT 直方图是否均匀调整分布假设或增加重建损失卫星影像输入始终无效云掩膜没有处理检查有效像素占比加入云掩膜无效像素填充气候态训练时显存不足batch size 太大、patch 太大观察 nvidia-smi 占用减小 batch、切 patch、使用混合精度推理结果边界有缝切块推理没有做重叠融合检查拼接逻辑使用重叠 patch 并加权平均时间序列不连续逐帧独立推理忽略了时间连续性对比相邻帧输出增加时间注意力或做滚动后处理平滑接口请求超时单次推理耗时过长记录接口耗时使用异步任务队列按任务状态查询11. 最佳实践与合规提醒11.1 数据与版权合规这个方向涉及的数据来源多样合规问题不能忽略。再分析资料如 ERA5 有 ECMWF 的数据许可允许研究使用但发布和商用要遵循相应条款。卫星观测数据如 MODIS、Sentinel 系列也要遵守各自的数据政策。训练标签如果来自商业高分辨率气象产品需要确认是否有再分发权限。任何模型训练、公开演示、业务化部署前都要先确认输入数据的版权和授权边界。气象数据通常不涉及个人隐私但如果研究区域包含精细地理信息注意不要发布未经授权的敏感空间细节。11.2 模型验证与发布建议气象模型发布结果前至少要完成四步检查在独立时间段的测试集上计算 CRPS 和 RMSE不要只报告训练集表现。单独检查极端天气过程确认极值没有被压平。对比概率预测的校准曲线确认不确定性估计不是摆设。用传统降尺度方法或粗网格插值做 baseline确认新方法确实带来了增量。如果模型后续要商用还要考虑模型训练时使用的数据集是否允许商用。严格来说训练数据许可、模型权重授权、代码开源协议三者要一起核查。12. 总结与下一步这个研究方向最值得抓住的点是把卫星观测压缩成次网格描述符再用概率生成模型输出细分辨率气象场。对比传统统计降尺度它的优势在于能自动挖掘高分辨率观测中的空间结构对比动力降尺度它的计算成本低得多。如果要从零开始复现我会建议按这个顺序推进先准备数据最小化到一个变量、一个区域跑通数据管道。搭一个简单的条件分位数网络把 baseline 的 CRPS 和 RMSE 记下来。加入编码器提取观测嵌入对比是否带来提升。确认嵌入有效后再升级为概率生成模型。最容易踩的坑有两个一是数据空间对齐出错导致模型学到错误对应关系二是过度追求细节模型看起来清晰但概率校准很差。前者靠严格的 grid 检查后者靠 CRPS 和 PIT 指标兜底。下一步可以在两个方向延伸一是用预训练遥感基础模型替换随机初始化的编码器看嵌入质量能否进一步提升二是把时间维度加入条件引入多个时间步的粗网格气象场让降尺度结果在时间序列上更连续。两条路都值得做但前提是先把这个基础框架跑稳。