1. 项目概述从赛题到实战的完整复盘几年前我带队参加了MathorCup高校数学建模挑战赛的大数据竞赛A题“移动通信基站流量预测”给我留下了深刻的印象。这不仅仅是一道赛题更是一个高度贴近工业界真实需求的缩影——如何利用历史数据精准预测未来每个基站的业务流量。对于通信运营商而言这种预测是网络扩容、资源调度、保障用户体验乃至商业决策的基石。题目提供的是经过脱敏的真实基站流量数据包含了时间、基站位置、流量指标等多个维度要求参赛者建立数学模型预测未来特定时段内各基站的流量。这本质上是一个典型的时间序列预测问题但因其“大数据”属性基站数量多、时间序列长和空间相关性相邻基站流量可能存在相互影响变得复杂而有趣。当时我们团队选择了Python作为核心工具栈这几乎是数据科学和数学建模领域的“普通话”。Python的生态尤其是Pandas、NumPy、Scikit-learn以及后来的Prophet、LSTM等库为我们从数据清洗、特征工程到模型构建、评估优化的全流程提供了强大支持。整个求解过程远不止是调个模型跑出结果那么简单它是一套完整的、从问题理解到工程实现的思维框架和实战演练。无论你是正在备战数模竞赛的学生还是对数据分析、预测建模感兴趣的从业者希望这篇结合我们实战经验与后续反思的深度复盘能为你提供一个可参考、可复现的完整解决思路。2. 核心问题拆解与解题思路设计面对“移动通信基站流量预测”这样一个命题第一步也是最关键的一步就是跳出赛题描述的框架将其还原为一个标准的、可被技术手段解决的预测问题。我们的思路是自顶向下层层分解。2.1 问题定义与目标量化题目要求预测未来一段时间内例如接下来24小时每个基站的流量。首先我们需要明确预测的“粒度”。预测对象单个基站由基站ID标识的流量时间序列。预测粒度通常是小时级或更细的粒度。我们需要根据提供的训练数据的时间间隔来确定例如如果历史数据是每15分钟一条记录那么预测未来96个时间点24小时 * 4的流量。预测目标这是一个单变量时间序列预测问题。即对于每个基站我们只关心其“流量”这一个指标随时间的变化。但请注意“单变量”并不意味着我们只能使用流量自身的历史值我们可以从时间戳中挖掘出丰富的特征如小时、星期几、是否节假日等这些被称为“外生变量”或“特征”用来辅助预测核心变量。因此我们的核心任务转化为为每一个基站建立一个映射函数 F使得流量(t1, t2, ..., tT) F( 流量历史序列 时间特征 其他可能的相关特征 )。这里T是预测的未来时间步长。2.2 数据特性分析与挑战识别拿到数据后切忌直接套模型。必须花足够的时间进行探索性数据分析EDA理解数据的“脾气”。时间序列特性趋势性基站流量可能呈现长期增长用户增多或下降的趋势。季节性这是通信流量最显著的特征。包含日内周期一天内流量在白天办公时间、晚间休闲时间会出现高峰和低谷深夜至凌晨为低谷。周内周期工作日和周末的流量模式通常差异巨大。工作日的“双峰”午间、晚间和周末的“单峰”或持续高位很常见。年内周期节假日如春节、国庆的流量模式会显著偏离平常日。周期性可能与季节性重合指固定间隔的波动。随机性/噪声由突发事件、网络故障等不可预测因素引起。大数据挑战规模大成千上万个基站每个基站都有长时间跨度的记录。直接为每个基站单独训练一个复杂模型如深度学习计算成本和时间成本可能无法承受。稀疏性与不均衡性某些偏远基站数据可能稀疏甚至长时间无流量城区热点基站流量巨大。模型需要能处理这种不均衡。空间相关性相邻基站的流量可能存在协同变化例如一个大型活动会导致周边一片基站的流量同时激增。如何有效利用这种空间信息是提升预测精度的关键也是本题的难点和亮点所在。数据质量问题真实数据不可避免存在缺失值、异常值如负流量、远超正常范围的峰值。如何处理它们直接影响模型效果。基于以上分析我们的解题思路框架逐渐清晰“数据预处理 - 特征工程 - 模型选型与训练 - 预测与评估”。其中模型选型部分需要权衡精度与效率并考虑是否以及如何引入空间信息。3. 数据预处理与特征工程实战这一部分是整个项目的基石决定了模型性能的上限。我们花了近40%的时间在这里。3.1 数据清洗与规整原始数据通常是以CSV或数据库表的形式提供包含timestamp,station_id,traffic等字段。缺失值处理连续缺失如果缺失时间不长可采用前后时刻的均值、线性插值法填充。长时间段缺失需判断基站是否在此期间停用。如果是对于预测未来假设基站已恢复这段历史数据的填充需要谨慎。一种策略是用该基站同期例如同为周一上午10点的历史均值填充或者直接标记为一个特征“是否存在历史缺失段”。随机缺失用插值或简单移动平均填充。实操心得对于时间序列避免使用整个数据集的全局均值填充这会被坏序列的局部特性。优先使用时间感知的填充方法。异常值检测与处理统计方法使用3σ原则三倍标准差或箱线图IQR识别出极端高/低值。业务规则流量值不应为负流量突增如千倍增长但短时间内回落可能是瞬时错误或特殊事件。处理方法对于明显的错误数据如负值直接按缺失值处理并填充。对于疑似特殊事件的峰值不宜简单剔除可以将其平滑例如用前后窗口的中位数替代或保留但作为一个特征例如增加一个“是否异常时刻”的布尔特征让模型去学习。踩过的坑初期我们粗暴地剔除了所有箱线图识别出的“异常值”结果导致模型对真实的流量高峰预测能力严重不足。后来明白有些“异常”正是需要预测的“峰值”。数据规整将数据转换为“干净”的格式。通常为每个基站创建一条完整的时间线缺失处已填充。最终得到一个大型的“宽表”或更方便处理的“长格式”数据。3.2 核心特征构建特征工程的目标是为模型提供有预测能力的“线索”。时间特征最重要hour_of_day: 一天中的小时0-23捕捉日内模式。day_of_week: 一周中的第几天0-6捕捉周内模式。is_weekend: 是否为周末。is_holiday: 是否为法定节假日需要外接节假日日历。hour_of_week: 一周中的第几个小时0-167这是一个强大的特征能同时表达“周几”和“几点”的信息。sin_hour/cos_hour: 将小时用正弦余弦编码能更好地表达“0点”和“23点”的连续性23点过后是0点。month,season等如果数据跨年这些特征可能有用。滞后特征这是时间序列预测的核心。将目标变量流量的历史值作为特征。例如lag_1h一小时前的流量、lag_24h一天前的同期流量、lag_168h一周前的同期流量。这些特征直接捕捉序列的自相关性。滚动统计特征过去一段时间窗口的统计量如过去3小时的均值(rolling_mean_3h)、标准差(rolling_std_3h)、最大值(rolling_max_3h)。这些能反映近期趋势和波动。基站属性特征如果提供station_type: 宏基站、微基站、室分基站等不同类型基站流量模式不同。region: 所属区域商业区、住宅区、学校、交通枢纽这隐含了流量模式。longitude,latitude: 经纬度。这是引入空间特征的关键。空间特征构建进阶难点邻近基站聚合特征对于每个基站找出其地理上最近的K个邻居如通过K-D树快速查询。然后计算这些邻居在历史同期例如同样上周一上午10点的流量均值、总和等作为该基站的一个特征neighbor_avg_traffic。这相当于为模型提供了“周边环境”的上下文信息。区域流量密度将地图网格化计算每个网格内所有基站的总流量作为该网格内每个基站的一个背景特征。注意事项计算空间特征计算量巨大需要优化。可以预先计算好基站之间的距离矩阵或邻居关系表避免在特征工程循环中重复计算。对于超大规模数据可以考虑采样或使用近似最近邻算法。4. 预测模型选型、实现与融合策略特征准备好后就进入了模型环节。我们采用了“从简到繁多层尝试最终融合”的策略。4.1 基线模型建立性能标杆首先建立一个简单的基线模型任何复杂模型都必须显著优于它才有意义。朴素预测直接用上一个时间点的值作为下一个时间点的预测y_pred(t1) y(t)。或者用昨天同期的值作为预测y_pred(t24h) y(t)。经典时序模型SARIMA季节性自回归综合移动平均模型。它能够很好地捕捉趋势和季节性是时间序列预测的经典方法。我们用statsmodels库实现。它为每个基站单独拟合一个SARIMA模型。优点理论完善可解释性强对规律性强的单序列效果好。缺点计算慢尤其对成千上万个序列难以融入丰富的特征如节假日、空间特征对异常波动处理能力弱。4.2 机器学习模型处理特征与规模为了利用我们精心构建的特征并处理大规模基站数据我们转向机器学习模型。这里的关键是将时间序列预测问题转化为监督学习问题每一行数据是一个样本特征是历史流量、时间特征、空间特征等标签是未来某个时刻的流量。模型选择LightGBM / XGBoost这是我们的主力选择。梯度提升树模型非常适合表格数据能自动处理特征交互对缺失值不敏感且训练预测速度极快。它能够很好地吸收我们构造的所有特征。随机森林作为对比稳定性好但通常性能略逊于梯度提升树。数据准备为每个基站生成监督学习格式的数据集。划分训练集和验证集时必须按时间划分不能用随机划分。例如用前80%时间的数据训练后20%验证以评估模型在“未来”的预测能力。对于多步预测预测未来T个时刻有两种策略直接多输出训练一个模型直接输出T个预测值。这要求模型容量足够大。滚动预测训练一个单步预测模型。预测t1时用真实历史数据预测t2时将t1的预测值当作已知历史数据输入依次滚动。这种方式误差会累积。多模型策略为每一个未来预测步长t1,t2, ...,tT单独训练一个模型。这是我们采用的主要方式虽然需要训练T个模型但每个模型更专注且避免了误差累积。训练技巧由于基站数量多我们可以将所有基站的数据合并在一起训练一个全局模型。模型会学习到所有基站共通的模式如工作日白天流量高同时通过station_id的独热编码或嵌入层对于树模型可以简单地将station_id作为一个类别特征让模型也能区分不同基站的个体差异。这种“全局模型”方法极大地提升了效率避免了为每个基站单独训练模型的巨大开销。4.3 深度学习模型捕捉复杂依赖对于有足够计算资源且希望挑战更高精度的情况可以尝试深度学习模型。LSTM/GRU循环神经网络的变体天生为序列数据设计能捕捉长程依赖。我们可以为每个基站单独训练一个LSTM网络输入是历史流量序列窗口输出是未来序列。但这种方法计算成本高。CNN-LSTM混合模型用CNN层来提取局部时间模式如小时内的波动再用LSTM层捕捉长期依赖。时空图神经网络这是处理本题的“终极武器”。将基站视为图Graph的节点基站之间的地理距离或流量相关性作为边。然后使用图神经网络如GCN, GraphSAGE或时空图神经网络如STGCN, DCRNN进行建模。这类模型能同时捕捉时间动态和空间相关性是理论上最契合本题的架构。但实现复杂对数据组织和计算资源要求极高在竞赛有限时间内挑战很大。4.4 模型融合策略单一模型可能有其局限性。我们采用了简单的加权平均融合。选择基模型我们选择了表现最好的两个模型LightGBM全局模型擅长利用特征和针对重点基站单独微调的SARIMA模型对规律性强的单序列捕捉到位。确定权重在验证集上通过网格搜索或简单根据性能分配权重。例如LightGBM在整体上更稳健权重0.7SARIMA在某些基站上表现突出权重0.3。融合预测对于每个基站每个时刻的预测值取两个模型预测值的加权平均作为最终输出。实操心得融合不一定能大幅提升指标但通常能增加结果的稳定性和鲁棒性减少个别模型“发疯”带来的风险。在竞赛中这是冲刺更高排名的常用技巧。5. 评估指标、调参与结果分析模型做出来不是终点必须科学地评估和优化。5.1 评估指标选择预测问题常用的指标有MAE平均绝对误差。MAE mean(|y_true - y_pred|)。对异常值不敏感解释直观平均差了多少流量单位。MSE/RMSE均方误差/均方根误差。RMSE sqrt(mean((y_true - y_pred)^2))。会放大较大误差的影响对异常值敏感。在业务上可能更关注避免大的预测偏差RMSE更合适。MAPE平均绝对百分比误差。MAPE mean(|(y_true - y_pred) / y_true|)。优点是百分比易于理解不同量级序列的误差。但当真实值y_true为0或接近0时MAPE会趋于无穷大或极大不适用。基站流量在深夜可能接近0因此MAPE在此场景下需谨慎使用或使用改进的sMAPE。赛题指定指标竞赛通常会指定一个或多个评估指标必须以其为准进行优化。我们主要以RMSE作为核心评估指标因为它惩罚大误差更符合运营商避免网络拥塞的业务诉求。同时辅以MAE观察整体偏差水平。5.2 模型调参与优化LightGBM调参num_leaves: 控制树复杂度。从31开始调不宜过大以防过拟合。learning_rate: 学习率配合n_estimators。小学习率多树通常更稳健。max_depth: 树的最大深度防止过拟合的关键。subsample/colsample_bytree: 行采样和列采样增加随机性提升模型泛化能力。reg_alpha,reg_lambda: L1和L2正则化项。调参方法使用网格搜索或贝叶斯优化工具如optuna在验证集上进行。注意时间序列的验证集必须是时间上靠后的部分。过拟合与欠拟合判断观察训练集和验证集上的误差曲线。如果训练误差远低于验证误差可能是过拟合需要增加正则化、减少模型复杂度、增加数据多样性。如果两者都高可能是欠拟合需要增加模型复杂度、添加更有用的特征。5.3 结果分析与可视化预测完成后必须进行分析而不仅仅是提交一个数字。整体误差分析计算所有基站所有预测时刻的平均RMSE/MAE。观察误差分布直方图是大多数基站预测都较好还是误差主要由少数基站贡献分基站分析找出预测误差最大最差和最小最好的Top 10基站。分析它们的特征是位于流量波动剧烈的商圈还是数据本身质量差缺失多或者是位于边缘、邻居少的孤点基站这能反向指导特征工程和模型改进。分时段分析计算一天中不同小时的平均预测误差。是否在流量变化剧烈的早晚高峰误差更大这提示模型可能对突变模式学习不足。可视化对几个典型基站如市区热点、住宅区、郊区绘制真实流量曲线与预测曲线的时间序列对比图。一目了然地看出模型在哪些地方跟得好哪些地方跟丢。绘制所有基站预测误差的地理热力图。看看误差是否有空间聚集性例如是否城市边缘区域的预测普遍更差这强烈提示需要加强空间特征的构建。6. 工程实现与代码框架要点将上述思路转化为代码需要一个清晰、可复现的工程结构。以下是我们用Python实现的核心框架要点。# 目录结构示意 project/ ├── data/ # 存放原始数据、处理后的数据 │ ├── raw/ # 原始赛题数据 │ └── processed/ # 清洗、特征工程后的数据 ├── features/ # 特征工程相关脚本 │ ├── build_basic_features.py │ ├── build_lag_features.py │ └── build_spatial_features.py ├── models/ # 模型定义与训练脚本 │ ├── baseline.py # 朴素预测、SARIMA │ ├── lgb_model.py # LightGBM模型 │ └── ensemble.py # 模型融合 ├── utils/ # 工具函数 │ ├── data_loader.py │ ├── evaluator.py # 评估指标计算 │ └── visualizer.py # 绘图函数 ├── config.yaml # 配置文件参数、路径 ├── train.py # 主训练流程 ├── predict.py # 生成最终预测结果 └── README.md关键代码片段示例特征工程 - 创建滞后特征import pandas as pd import numpy as np def create_lag_features(df, station_id_col, traffic_col, time_col, lags[1, 2, 3, 24, 168]): 为DataFrame创建滞后特征。 df: 包含时间、基站ID、流量的DataFrame lags: 滞后的时间步长列表例如[1,2,24]表示滞后1、2、24小时。 df df.sort_values([station_id_col, time_col]).copy() grouped df.groupby(station_id_col)[traffic_col] for lag in lags: df[ftraffic_lag_{lag}] grouped.shift(lag) # 创建滚动窗口统计特征 df[traffic_rolling_mean_3h] grouped.transform(lambda x: x.rolling(window3, min_periods1).mean()) df[traffic_rolling_std_3h] grouped.transform(lambda x: x.rolling(window3, min_periods1).std()) # 滞后特征会产生缺失值最开始的几行需要后续处理 return df关键代码片段示例LightGBM全局模型训练import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit from sklearn.preprocessing import LabelEncoder # 假设 df 是已经完成所有特征工程的数据框 # 1. 划分特征X和标签y例如预测下一时刻流量 df[target] df.groupby(station_id)[traffic].shift(-1) # 创建预测目标 df df.dropna(subset[target]) # 删除最后一行没有target # 2. 编码类别特征如station_id, region cat_cols [station_id, region] for col in cat_cols: le LabelEncoder() df[col] le.fit_transform(df[col]) feature_cols [col for col in df.columns if col not in [target, timestamp, traffic]] X df[feature_cols] y df[target] # 3. 按时间顺序划分训练/验证集不能随机打乱 split_idx int(len(X) * 0.8) X_train, X_val X.iloc[:split_idx], X.iloc[split_idx:] y_train, y_val y.iloc[:split_idx], y.iloc[split_idx:] # 4. 创建LightGBM数据集指定类别列 train_data lgb.Dataset(X_train, labely_train, categorical_featurecat_cols) val_data lgb.Dataset(X_val, labely_val, referencetrain_data, categorical_featurecat_cols) # 5. 设置参数 params { objective: regression, metric: rmse, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: 0, seed: 42 } # 6. 训练 model lgb.train(params, train_data, valid_sets[val_data], num_boost_round1000, callbacks[lgb.early_stopping(stopping_rounds50)])7. 常见问题、避坑指南与竞赛心得回顾整个项目我们遇到了不少坑也积累了一些宝贵的经验。7.1 数据与特征相关问题模型在训练集上表现很好但在验证集上突然变差。排查首先检查数据划分时间序列数据绝对不能随机打乱后划分。必须严格按照时间先后顺序划分训练集和验证集/测试集否则就是“数据泄露”模型看到了未来的信息导致评估结果虚高且完全不可信。问题构建滞后特征后开始部分的数据出现大量NaN。解决这是正常现象。对于每个序列的前max(lags)个时间点无法构造滞后特征。处理方法是要么直接丢弃这些行如果数据量足够大要么用其他方法填充如向前填充或使用全局初始值。在预测时也需要用已知的真实值来填充初始的滞后窗口。问题空间特征计算太慢内存爆炸。优化使用scipy.spatial.cKDTree或sklearn.neighbors.BallTree进行高效的最近邻搜索比双重循环快几个数量级。对于超大数据可以按区域如市、区分块计算或者只对每个基站计算固定数量如最近的5个邻居的特征而不是全量计算。将计算好的空间特征持久化到磁盘避免每次运行都重复计算。7.2 模型训练与评估问题为每个基站单独训练SARIMA模型跑几天都跑不完。策略放弃全量单独训练。可以只对少数流量大、模式重要的核心基站单独训练SARIMA。对于其他基站使用快速的全局机器学习模型如LightGBM。或者使用pmdarima库的auto_arima函数进行自动参数搜索但依然很慢需谨慎使用。问题LightGBM模型对所有基站的预测曲线看起来都“平滑”了抓不住个别基站的尖峰。分析这是全局模型的固有特点它学习的是“共性”。为了提升个性化预测能力加强基站个体标识特征如对station_id做独热编码或均值编码。加入更多能反映该基站独特性的特征如该基站历史流量的统计特征均值、方差、偏度等。采用分层建模或聚类建模先根据基站流量模式、地理位置等进行聚类对每一类基站分别训练一个模型。问题多步预测中使用滚动预测策略误差累积非常严重预测几步之后结果就偏离很远。转向果断放弃滚动预测改用多模型策略为每个预测步长训练独立模型或使用Seq2Seq结构的深度学习模型如LSTM encoder-decoder其设计目标就是多步输出。7.3 竞赛策略与团队协作时间管理数学建模竞赛通常只有几天时间。必须严格规划第一天理解题目、EDA、确定基线第二天完成核心特征工程和基线模型第三天尝试高级模型和融合最后一天整合结果、撰写文档、检查提交。切忌在一个难点上钻牛角尖。文档与可复现性代码必须规范注释关键步骤和参数选择的原因要在文档中写明。使用Jupyter Notebook或脚本日志的方式确保每一步结果都可追溯。这不仅是竞赛要求也是良好的科研和工程习惯。结果稳定性最终提交前用不同的随机种子多跑几次模型观察结果是否稳定。如果波动很大说明模型或数据划分可能有问题。取多次运行的平均值作为最终预测可以增加稳定性。这次移动通信基站流量预测的项目让我深刻体会到解决一个真实世界的数据科学问题技术只是工具更重要的是问题定义、数据洞察和系统化的工程思维。从赛题到实战最大的收获不是某个模型的参数而是这一整套从分析到落地的框架。它适用于许多类似的时空预测问题比如交通流量预测、共享单车需求预测、电力负荷预测等。希望这份详细的复盘能为你打开一扇门当你下次面对一堆数据和一个预测目标时能更有章法更少踩坑。记住好的预测始于对数据的深刻理解成于严谨的迭代实验。 移动通信基站流量预测实战：从时间序列到时空建模的完整解决方案
1. 项目概述从赛题到实战的完整复盘几年前我带队参加了MathorCup高校数学建模挑战赛的大数据竞赛A题“移动通信基站流量预测”给我留下了深刻的印象。这不仅仅是一道赛题更是一个高度贴近工业界真实需求的缩影——如何利用历史数据精准预测未来每个基站的业务流量。对于通信运营商而言这种预测是网络扩容、资源调度、保障用户体验乃至商业决策的基石。题目提供的是经过脱敏的真实基站流量数据包含了时间、基站位置、流量指标等多个维度要求参赛者建立数学模型预测未来特定时段内各基站的流量。这本质上是一个典型的时间序列预测问题但因其“大数据”属性基站数量多、时间序列长和空间相关性相邻基站流量可能存在相互影响变得复杂而有趣。当时我们团队选择了Python作为核心工具栈这几乎是数据科学和数学建模领域的“普通话”。Python的生态尤其是Pandas、NumPy、Scikit-learn以及后来的Prophet、LSTM等库为我们从数据清洗、特征工程到模型构建、评估优化的全流程提供了强大支持。整个求解过程远不止是调个模型跑出结果那么简单它是一套完整的、从问题理解到工程实现的思维框架和实战演练。无论你是正在备战数模竞赛的学生还是对数据分析、预测建模感兴趣的从业者希望这篇结合我们实战经验与后续反思的深度复盘能为你提供一个可参考、可复现的完整解决思路。2. 核心问题拆解与解题思路设计面对“移动通信基站流量预测”这样一个命题第一步也是最关键的一步就是跳出赛题描述的框架将其还原为一个标准的、可被技术手段解决的预测问题。我们的思路是自顶向下层层分解。2.1 问题定义与目标量化题目要求预测未来一段时间内例如接下来24小时每个基站的流量。首先我们需要明确预测的“粒度”。预测对象单个基站由基站ID标识的流量时间序列。预测粒度通常是小时级或更细的粒度。我们需要根据提供的训练数据的时间间隔来确定例如如果历史数据是每15分钟一条记录那么预测未来96个时间点24小时 * 4的流量。预测目标这是一个单变量时间序列预测问题。即对于每个基站我们只关心其“流量”这一个指标随时间的变化。但请注意“单变量”并不意味着我们只能使用流量自身的历史值我们可以从时间戳中挖掘出丰富的特征如小时、星期几、是否节假日等这些被称为“外生变量”或“特征”用来辅助预测核心变量。因此我们的核心任务转化为为每一个基站建立一个映射函数 F使得流量(t1, t2, ..., tT) F( 流量历史序列 时间特征 其他可能的相关特征 )。这里T是预测的未来时间步长。2.2 数据特性分析与挑战识别拿到数据后切忌直接套模型。必须花足够的时间进行探索性数据分析EDA理解数据的“脾气”。时间序列特性趋势性基站流量可能呈现长期增长用户增多或下降的趋势。季节性这是通信流量最显著的特征。包含日内周期一天内流量在白天办公时间、晚间休闲时间会出现高峰和低谷深夜至凌晨为低谷。周内周期工作日和周末的流量模式通常差异巨大。工作日的“双峰”午间、晚间和周末的“单峰”或持续高位很常见。年内周期节假日如春节、国庆的流量模式会显著偏离平常日。周期性可能与季节性重合指固定间隔的波动。随机性/噪声由突发事件、网络故障等不可预测因素引起。大数据挑战规模大成千上万个基站每个基站都有长时间跨度的记录。直接为每个基站单独训练一个复杂模型如深度学习计算成本和时间成本可能无法承受。稀疏性与不均衡性某些偏远基站数据可能稀疏甚至长时间无流量城区热点基站流量巨大。模型需要能处理这种不均衡。空间相关性相邻基站的流量可能存在协同变化例如一个大型活动会导致周边一片基站的流量同时激增。如何有效利用这种空间信息是提升预测精度的关键也是本题的难点和亮点所在。数据质量问题真实数据不可避免存在缺失值、异常值如负流量、远超正常范围的峰值。如何处理它们直接影响模型效果。基于以上分析我们的解题思路框架逐渐清晰“数据预处理 - 特征工程 - 模型选型与训练 - 预测与评估”。其中模型选型部分需要权衡精度与效率并考虑是否以及如何引入空间信息。3. 数据预处理与特征工程实战这一部分是整个项目的基石决定了模型性能的上限。我们花了近40%的时间在这里。3.1 数据清洗与规整原始数据通常是以CSV或数据库表的形式提供包含timestamp,station_id,traffic等字段。缺失值处理连续缺失如果缺失时间不长可采用前后时刻的均值、线性插值法填充。长时间段缺失需判断基站是否在此期间停用。如果是对于预测未来假设基站已恢复这段历史数据的填充需要谨慎。一种策略是用该基站同期例如同为周一上午10点的历史均值填充或者直接标记为一个特征“是否存在历史缺失段”。随机缺失用插值或简单移动平均填充。实操心得对于时间序列避免使用整个数据集的全局均值填充这会被坏序列的局部特性。优先使用时间感知的填充方法。异常值检测与处理统计方法使用3σ原则三倍标准差或箱线图IQR识别出极端高/低值。业务规则流量值不应为负流量突增如千倍增长但短时间内回落可能是瞬时错误或特殊事件。处理方法对于明显的错误数据如负值直接按缺失值处理并填充。对于疑似特殊事件的峰值不宜简单剔除可以将其平滑例如用前后窗口的中位数替代或保留但作为一个特征例如增加一个“是否异常时刻”的布尔特征让模型去学习。踩过的坑初期我们粗暴地剔除了所有箱线图识别出的“异常值”结果导致模型对真实的流量高峰预测能力严重不足。后来明白有些“异常”正是需要预测的“峰值”。数据规整将数据转换为“干净”的格式。通常为每个基站创建一条完整的时间线缺失处已填充。最终得到一个大型的“宽表”或更方便处理的“长格式”数据。3.2 核心特征构建特征工程的目标是为模型提供有预测能力的“线索”。时间特征最重要hour_of_day: 一天中的小时0-23捕捉日内模式。day_of_week: 一周中的第几天0-6捕捉周内模式。is_weekend: 是否为周末。is_holiday: 是否为法定节假日需要外接节假日日历。hour_of_week: 一周中的第几个小时0-167这是一个强大的特征能同时表达“周几”和“几点”的信息。sin_hour/cos_hour: 将小时用正弦余弦编码能更好地表达“0点”和“23点”的连续性23点过后是0点。month,season等如果数据跨年这些特征可能有用。滞后特征这是时间序列预测的核心。将目标变量流量的历史值作为特征。例如lag_1h一小时前的流量、lag_24h一天前的同期流量、lag_168h一周前的同期流量。这些特征直接捕捉序列的自相关性。滚动统计特征过去一段时间窗口的统计量如过去3小时的均值(rolling_mean_3h)、标准差(rolling_std_3h)、最大值(rolling_max_3h)。这些能反映近期趋势和波动。基站属性特征如果提供station_type: 宏基站、微基站、室分基站等不同类型基站流量模式不同。region: 所属区域商业区、住宅区、学校、交通枢纽这隐含了流量模式。longitude,latitude: 经纬度。这是引入空间特征的关键。空间特征构建进阶难点邻近基站聚合特征对于每个基站找出其地理上最近的K个邻居如通过K-D树快速查询。然后计算这些邻居在历史同期例如同样上周一上午10点的流量均值、总和等作为该基站的一个特征neighbor_avg_traffic。这相当于为模型提供了“周边环境”的上下文信息。区域流量密度将地图网格化计算每个网格内所有基站的总流量作为该网格内每个基站的一个背景特征。注意事项计算空间特征计算量巨大需要优化。可以预先计算好基站之间的距离矩阵或邻居关系表避免在特征工程循环中重复计算。对于超大规模数据可以考虑采样或使用近似最近邻算法。4. 预测模型选型、实现与融合策略特征准备好后就进入了模型环节。我们采用了“从简到繁多层尝试最终融合”的策略。4.1 基线模型建立性能标杆首先建立一个简单的基线模型任何复杂模型都必须显著优于它才有意义。朴素预测直接用上一个时间点的值作为下一个时间点的预测y_pred(t1) y(t)。或者用昨天同期的值作为预测y_pred(t24h) y(t)。经典时序模型SARIMA季节性自回归综合移动平均模型。它能够很好地捕捉趋势和季节性是时间序列预测的经典方法。我们用statsmodels库实现。它为每个基站单独拟合一个SARIMA模型。优点理论完善可解释性强对规律性强的单序列效果好。缺点计算慢尤其对成千上万个序列难以融入丰富的特征如节假日、空间特征对异常波动处理能力弱。4.2 机器学习模型处理特征与规模为了利用我们精心构建的特征并处理大规模基站数据我们转向机器学习模型。这里的关键是将时间序列预测问题转化为监督学习问题每一行数据是一个样本特征是历史流量、时间特征、空间特征等标签是未来某个时刻的流量。模型选择LightGBM / XGBoost这是我们的主力选择。梯度提升树模型非常适合表格数据能自动处理特征交互对缺失值不敏感且训练预测速度极快。它能够很好地吸收我们构造的所有特征。随机森林作为对比稳定性好但通常性能略逊于梯度提升树。数据准备为每个基站生成监督学习格式的数据集。划分训练集和验证集时必须按时间划分不能用随机划分。例如用前80%时间的数据训练后20%验证以评估模型在“未来”的预测能力。对于多步预测预测未来T个时刻有两种策略直接多输出训练一个模型直接输出T个预测值。这要求模型容量足够大。滚动预测训练一个单步预测模型。预测t1时用真实历史数据预测t2时将t1的预测值当作已知历史数据输入依次滚动。这种方式误差会累积。多模型策略为每一个未来预测步长t1,t2, ...,tT单独训练一个模型。这是我们采用的主要方式虽然需要训练T个模型但每个模型更专注且避免了误差累积。训练技巧由于基站数量多我们可以将所有基站的数据合并在一起训练一个全局模型。模型会学习到所有基站共通的模式如工作日白天流量高同时通过station_id的独热编码或嵌入层对于树模型可以简单地将station_id作为一个类别特征让模型也能区分不同基站的个体差异。这种“全局模型”方法极大地提升了效率避免了为每个基站单独训练模型的巨大开销。4.3 深度学习模型捕捉复杂依赖对于有足够计算资源且希望挑战更高精度的情况可以尝试深度学习模型。LSTM/GRU循环神经网络的变体天生为序列数据设计能捕捉长程依赖。我们可以为每个基站单独训练一个LSTM网络输入是历史流量序列窗口输出是未来序列。但这种方法计算成本高。CNN-LSTM混合模型用CNN层来提取局部时间模式如小时内的波动再用LSTM层捕捉长期依赖。时空图神经网络这是处理本题的“终极武器”。将基站视为图Graph的节点基站之间的地理距离或流量相关性作为边。然后使用图神经网络如GCN, GraphSAGE或时空图神经网络如STGCN, DCRNN进行建模。这类模型能同时捕捉时间动态和空间相关性是理论上最契合本题的架构。但实现复杂对数据组织和计算资源要求极高在竞赛有限时间内挑战很大。4.4 模型融合策略单一模型可能有其局限性。我们采用了简单的加权平均融合。选择基模型我们选择了表现最好的两个模型LightGBM全局模型擅长利用特征和针对重点基站单独微调的SARIMA模型对规律性强的单序列捕捉到位。确定权重在验证集上通过网格搜索或简单根据性能分配权重。例如LightGBM在整体上更稳健权重0.7SARIMA在某些基站上表现突出权重0.3。融合预测对于每个基站每个时刻的预测值取两个模型预测值的加权平均作为最终输出。实操心得融合不一定能大幅提升指标但通常能增加结果的稳定性和鲁棒性减少个别模型“发疯”带来的风险。在竞赛中这是冲刺更高排名的常用技巧。5. 评估指标、调参与结果分析模型做出来不是终点必须科学地评估和优化。5.1 评估指标选择预测问题常用的指标有MAE平均绝对误差。MAE mean(|y_true - y_pred|)。对异常值不敏感解释直观平均差了多少流量单位。MSE/RMSE均方误差/均方根误差。RMSE sqrt(mean((y_true - y_pred)^2))。会放大较大误差的影响对异常值敏感。在业务上可能更关注避免大的预测偏差RMSE更合适。MAPE平均绝对百分比误差。MAPE mean(|(y_true - y_pred) / y_true|)。优点是百分比易于理解不同量级序列的误差。但当真实值y_true为0或接近0时MAPE会趋于无穷大或极大不适用。基站流量在深夜可能接近0因此MAPE在此场景下需谨慎使用或使用改进的sMAPE。赛题指定指标竞赛通常会指定一个或多个评估指标必须以其为准进行优化。我们主要以RMSE作为核心评估指标因为它惩罚大误差更符合运营商避免网络拥塞的业务诉求。同时辅以MAE观察整体偏差水平。5.2 模型调参与优化LightGBM调参num_leaves: 控制树复杂度。从31开始调不宜过大以防过拟合。learning_rate: 学习率配合n_estimators。小学习率多树通常更稳健。max_depth: 树的最大深度防止过拟合的关键。subsample/colsample_bytree: 行采样和列采样增加随机性提升模型泛化能力。reg_alpha,reg_lambda: L1和L2正则化项。调参方法使用网格搜索或贝叶斯优化工具如optuna在验证集上进行。注意时间序列的验证集必须是时间上靠后的部分。过拟合与欠拟合判断观察训练集和验证集上的误差曲线。如果训练误差远低于验证误差可能是过拟合需要增加正则化、减少模型复杂度、增加数据多样性。如果两者都高可能是欠拟合需要增加模型复杂度、添加更有用的特征。5.3 结果分析与可视化预测完成后必须进行分析而不仅仅是提交一个数字。整体误差分析计算所有基站所有预测时刻的平均RMSE/MAE。观察误差分布直方图是大多数基站预测都较好还是误差主要由少数基站贡献分基站分析找出预测误差最大最差和最小最好的Top 10基站。分析它们的特征是位于流量波动剧烈的商圈还是数据本身质量差缺失多或者是位于边缘、邻居少的孤点基站这能反向指导特征工程和模型改进。分时段分析计算一天中不同小时的平均预测误差。是否在流量变化剧烈的早晚高峰误差更大这提示模型可能对突变模式学习不足。可视化对几个典型基站如市区热点、住宅区、郊区绘制真实流量曲线与预测曲线的时间序列对比图。一目了然地看出模型在哪些地方跟得好哪些地方跟丢。绘制所有基站预测误差的地理热力图。看看误差是否有空间聚集性例如是否城市边缘区域的预测普遍更差这强烈提示需要加强空间特征的构建。6. 工程实现与代码框架要点将上述思路转化为代码需要一个清晰、可复现的工程结构。以下是我们用Python实现的核心框架要点。# 目录结构示意 project/ ├── data/ # 存放原始数据、处理后的数据 │ ├── raw/ # 原始赛题数据 │ └── processed/ # 清洗、特征工程后的数据 ├── features/ # 特征工程相关脚本 │ ├── build_basic_features.py │ ├── build_lag_features.py │ └── build_spatial_features.py ├── models/ # 模型定义与训练脚本 │ ├── baseline.py # 朴素预测、SARIMA │ ├── lgb_model.py # LightGBM模型 │ └── ensemble.py # 模型融合 ├── utils/ # 工具函数 │ ├── data_loader.py │ ├── evaluator.py # 评估指标计算 │ └── visualizer.py # 绘图函数 ├── config.yaml # 配置文件参数、路径 ├── train.py # 主训练流程 ├── predict.py # 生成最终预测结果 └── README.md关键代码片段示例特征工程 - 创建滞后特征import pandas as pd import numpy as np def create_lag_features(df, station_id_col, traffic_col, time_col, lags[1, 2, 3, 24, 168]): 为DataFrame创建滞后特征。 df: 包含时间、基站ID、流量的DataFrame lags: 滞后的时间步长列表例如[1,2,24]表示滞后1、2、24小时。 df df.sort_values([station_id_col, time_col]).copy() grouped df.groupby(station_id_col)[traffic_col] for lag in lags: df[ftraffic_lag_{lag}] grouped.shift(lag) # 创建滚动窗口统计特征 df[traffic_rolling_mean_3h] grouped.transform(lambda x: x.rolling(window3, min_periods1).mean()) df[traffic_rolling_std_3h] grouped.transform(lambda x: x.rolling(window3, min_periods1).std()) # 滞后特征会产生缺失值最开始的几行需要后续处理 return df关键代码片段示例LightGBM全局模型训练import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit from sklearn.preprocessing import LabelEncoder # 假设 df 是已经完成所有特征工程的数据框 # 1. 划分特征X和标签y例如预测下一时刻流量 df[target] df.groupby(station_id)[traffic].shift(-1) # 创建预测目标 df df.dropna(subset[target]) # 删除最后一行没有target # 2. 编码类别特征如station_id, region cat_cols [station_id, region] for col in cat_cols: le LabelEncoder() df[col] le.fit_transform(df[col]) feature_cols [col for col in df.columns if col not in [target, timestamp, traffic]] X df[feature_cols] y df[target] # 3. 按时间顺序划分训练/验证集不能随机打乱 split_idx int(len(X) * 0.8) X_train, X_val X.iloc[:split_idx], X.iloc[split_idx:] y_train, y_val y.iloc[:split_idx], y.iloc[split_idx:] # 4. 创建LightGBM数据集指定类别列 train_data lgb.Dataset(X_train, labely_train, categorical_featurecat_cols) val_data lgb.Dataset(X_val, labely_val, referencetrain_data, categorical_featurecat_cols) # 5. 设置参数 params { objective: regression, metric: rmse, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: 0, seed: 42 } # 6. 训练 model lgb.train(params, train_data, valid_sets[val_data], num_boost_round1000, callbacks[lgb.early_stopping(stopping_rounds50)])7. 常见问题、避坑指南与竞赛心得回顾整个项目我们遇到了不少坑也积累了一些宝贵的经验。7.1 数据与特征相关问题模型在训练集上表现很好但在验证集上突然变差。排查首先检查数据划分时间序列数据绝对不能随机打乱后划分。必须严格按照时间先后顺序划分训练集和验证集/测试集否则就是“数据泄露”模型看到了未来的信息导致评估结果虚高且完全不可信。问题构建滞后特征后开始部分的数据出现大量NaN。解决这是正常现象。对于每个序列的前max(lags)个时间点无法构造滞后特征。处理方法是要么直接丢弃这些行如果数据量足够大要么用其他方法填充如向前填充或使用全局初始值。在预测时也需要用已知的真实值来填充初始的滞后窗口。问题空间特征计算太慢内存爆炸。优化使用scipy.spatial.cKDTree或sklearn.neighbors.BallTree进行高效的最近邻搜索比双重循环快几个数量级。对于超大数据可以按区域如市、区分块计算或者只对每个基站计算固定数量如最近的5个邻居的特征而不是全量计算。将计算好的空间特征持久化到磁盘避免每次运行都重复计算。7.2 模型训练与评估问题为每个基站单独训练SARIMA模型跑几天都跑不完。策略放弃全量单独训练。可以只对少数流量大、模式重要的核心基站单独训练SARIMA。对于其他基站使用快速的全局机器学习模型如LightGBM。或者使用pmdarima库的auto_arima函数进行自动参数搜索但依然很慢需谨慎使用。问题LightGBM模型对所有基站的预测曲线看起来都“平滑”了抓不住个别基站的尖峰。分析这是全局模型的固有特点它学习的是“共性”。为了提升个性化预测能力加强基站个体标识特征如对station_id做独热编码或均值编码。加入更多能反映该基站独特性的特征如该基站历史流量的统计特征均值、方差、偏度等。采用分层建模或聚类建模先根据基站流量模式、地理位置等进行聚类对每一类基站分别训练一个模型。问题多步预测中使用滚动预测策略误差累积非常严重预测几步之后结果就偏离很远。转向果断放弃滚动预测改用多模型策略为每个预测步长训练独立模型或使用Seq2Seq结构的深度学习模型如LSTM encoder-decoder其设计目标就是多步输出。7.3 竞赛策略与团队协作时间管理数学建模竞赛通常只有几天时间。必须严格规划第一天理解题目、EDA、确定基线第二天完成核心特征工程和基线模型第三天尝试高级模型和融合最后一天整合结果、撰写文档、检查提交。切忌在一个难点上钻牛角尖。文档与可复现性代码必须规范注释关键步骤和参数选择的原因要在文档中写明。使用Jupyter Notebook或脚本日志的方式确保每一步结果都可追溯。这不仅是竞赛要求也是良好的科研和工程习惯。结果稳定性最终提交前用不同的随机种子多跑几次模型观察结果是否稳定。如果波动很大说明模型或数据划分可能有问题。取多次运行的平均值作为最终预测可以增加稳定性。这次移动通信基站流量预测的项目让我深刻体会到解决一个真实世界的数据科学问题技术只是工具更重要的是问题定义、数据洞察和系统化的工程思维。从赛题到实战最大的收获不是某个模型的参数而是这一整套从分析到落地的框架。它适用于许多类似的时空预测问题比如交通流量预测、共享单车需求预测、电力负荷预测等。希望这份详细的复盘能为你打开一扇门当你下次面对一堆数据和一个预测目标时能更有章法更少踩坑。记住好的预测始于对数据的深刻理解成于严谨的迭代实验。