1. 项目概述从一道赛题看疾病预测的实战脉络刚拿到2025年APMCM这道B题的时候我第一反应是这题目出得挺“实诚”。它没有拐弯抹角直接把“疾病的预测与大数据分析”这个核心目标摆在了台面上。对于参加过数学建模竞赛尤其是像亚太赛APMCM、国赛、美赛这类赛事的同学来说这种题目既熟悉又充满挑战。熟悉在于预测类、数据分析类题目几乎是每届必考挑战在于“疾病预测”这个领域水太深了从简单的时序外推到复杂的多因素耦合建模中间隔着无数个需要权衡和抉择的岔路口。这道题本质上是在考察我们如何将现实世界中庞大、杂乱、充满不确定性的医疗健康数据通过数学和计算工具转化为对未来疾病发生、发展态势的可靠洞察。它绝不仅仅是让你跑几个现成的机器学习模型那么简单。你需要理解疾病传播或发生的机理哪怕是简化的需要处理真实数据中必然存在的缺失、异常和尺度不一问题需要根据不同的预测目标比如是预测某个地区的发病率还是预测个体患病风险选择合适的模型架构最后还需要用清晰、有说服力的方式呈现你的分析过程和结论。这整个过程就是一个标准的数据科学项目在数学建模竞赛语境下的缩影。无论你是初次参赛的新手还是身经百战的老兵这道题都值得你投入时间去深挖因为它所涉及的方法论在未来的科研或工业界数据分析工作中具有极高的通用性。接下来我将结合自己多年指导竞赛和进行数据分析的经验为你彻底拆解这道题。我们会从解题的核心思路开始一步步深入到数据怎么处理、模型怎么选、结果怎么分析以及那些在优秀论文里不会写但实际操作中能让你事半功倍或者避免翻车的“坑”与技巧。2. 核心思路拆解构建你的分析框架面对“疾病预测与大数据分析”这样宽泛的命题第一步也是最关键的一步不是急着找数据、跑代码而是定义问题边界和构建分析框架。题目通常只会给一个方向比如“基于提供的数据预测未来某段时间的疾病趋势”但“趋势”具体指什么是每日新增病例数是不同年龄段的患病风险还是医疗资源的需求峰值你需要自己把它明确下来。2.1 问题定义与目标量化首先我们必须把模糊的“预测”转化为一个或多个具体的、可量化的数学问题。以常见的传染病如流感预测为例可能的量化目标包括发病率/患病率时间序列预测这是最经典的方向。目标是根据历史每日/每周/每月的新增病例数预测未来一段时间如下一个月、下一个季度的病例数。这本质上是一个时间序列预测问题。空间分布预测预测疾病在未来某个时间点在不同区域如城市、区县的分布情况。这通常需要结合地理信息数据构建空间统计模型或图神经网络模型。高风险人群/区域识别目标不是预测具体数字而是识别出哪些特征如年龄、职业、基础疾病的人群或哪些特征如人口密度、流动率、医疗资源的区域在未来具有更高的患病风险。这更像一个分类或排序问题。流行峰值与时间预测对于有明显季节性或周期性的疾病预测下一次流行高峰的强度峰值病例数和出现的时间点。在APMCM这类竞赛中我强烈建议选择1和3的结合或者1和4的结合。因为单纯的时间序列预测目标1虽然经典但略显单薄难以体现“大数据分析”的深度。如果你能先利用大数据比如结合搜索引擎指数、气象数据、交通流量等识别出关键风险因素目标3再将这些因素作为特征融入时间序列模型进行预测目标1整个工作的层次感和创新性就出来了。这就是你分析框架的顶层设计。2.2 数据维度与特征工程构想题目提到“大数据分析”这意味着我们考虑的数据源不应局限于传统的病例报告。在正式分析前就要在脑子里搭建一个多维数据池。这些数据通常可以分为以下几层核心层靶心数据疾病本身的历史数据。包括每日新增确诊病例数、累计病例数、康复数、死亡数等。这是预测最直接的依据。关联层直接影响因素与疾病传播或发生机理强相关的数据。气象数据温度、湿度、降水量。很多呼吸道、消化道疾病与气象条件密切相关。人口流动数据城市内部的交通流量地铁、公交刷卡数据、跨区域的人口迁徙指数如百度迁徙指数。这是刻画传染病空间扩散的关键。互联网行为数据搜索引擎中与疾病症状相关的关键词搜索量如“发烧”、“咳嗽”、“腹泻”。这往往能领先于官方报告提供早期预警信号。背景层潜在影响因素更宏观、影响更间接的数据。社会经济数据区域人口密度、年龄结构、人均GDP、医疗资源医院床位、医生数。日历信息节假日、工作日。人类行为模式在节假日会发生显著变化从而影响疾病接触机会。特征工程的核心思想就是如何将这些原始数据转化为机器学习模型能够有效“理解”并用于预测的“特征”。例如对于时间序列我们不仅要用当天的数据还要构造出滞后特征过去7天、14天、21天的病例数。这是捕捉趋势和周期的基础。滑动统计特征过去7天的移动平均值、标准差、最大值。这能平滑噪声并反映近期水平。趋势特征计算近期序列的斜率或拟合线性回归的系数。交互特征将气象数据如低温与人口流动数据如高迁徙相乘构造一个“高风险暴露”特征这可能比单独使用两个特征更有效。提前构思好这些你在真正拿到数据时就不会手忙脚乱而是有条不紊地进行加工和提取。2.3 模型技术选型逻辑模型不是越高级越好而是越合适越好。你的模型选择必须紧密服务于你定义的问题和目标。如果核心是时间序列预测目标1基线模型ARIMA/SARIMA模型。这是时间序列预测的“基准线”。你必须做用来对比证明你更复杂的模型是有提升的。它的优势是理论成熟、可解释性强能捕捉自相关性和季节性。但缺点也很明显难以融入多源的外部特征如天气、搜索指数。经典机器学习模型LightGBM/XGBoost。这是当前竞赛中的“万金油”。它们能极其方便地处理表格数据自动学习特征重要性并且对缺失值、异常值有一定鲁棒性。你需要将时间序列问题转化为监督学习问题即用过去一段时间比如t-1, t-2, ... t-n的所有特征来预测未来时刻t的目标值。LightGBM效率通常更高。深度学习模型LSTM/GRU等循环神经网络或Transformer模型。它们擅长捕捉长期依赖和复杂模式。当数据量足够大、序列模式非常复杂时它们的潜力更大。但缺点是需要更多的数据、更长的训练时间且可解释性差。在竞赛有限的时间内需要谨慎评估其投入产出比。如果核心是风险识别目标3逻辑回归非常好的基线模型结果有概率解释性可以初步判断特征的影响方向正/负。随机森林 / GBDTLightGBM, XGBoost用于特征重要性排序找出哪些因素如老年人口比例、搜索指数对高风险贡献最大。聚类分析如K-means可以将区域按照疾病风险特征进行分群直观展示高风险区域的聚集情况。一个高级的策略是模型融合。例如用LightGBM来融合多源特征进行初步预测同时用LSTM来深度挖掘纯病例序列中的时序模式然后将两个模型的预测结果进行加权平均或 stacking往往能获得比单一模型更稳定、更精准的结果。3. 数据预处理实战清洗、整合与探索在实际操作中数据预处理会消耗你60%以上的时间和精力。这一步做得好模型成功一半做得不好再高级的模型也无力回天。3.1 数据清洗处理现实世界的“不完美”你拿到的数据很可能包含以下问题缺失值某些日期或地区的数据缺失。应对策略对于时间序列优先使用前向填充或线性插值。对于特征数据如果缺失率不高可以用中位数或均值填充如果缺失率很高考虑是否直接删除该特征或构造一个“是否缺失”的二元标志作为新特征。注意千万不要用未来数据填充过去必须严格按时间顺序处理。异常值由于报告错误或其他原因出现远超正常范围的数值如某天病例数激增后又骤降。应对策略首先结合背景知识判断是否为真实情况如疫情爆发初期。如果不是可以采用统计方法如3σ原则识别并用滑动窗口的中位数或 capped 方法将超出阈值的数据设为阈值进行处理。数据不一致不同来源的数据时间粒度不同有的日度有的周度地区编码标准不同。应对策略统一时间粒度通常以日为单位周度数据可通过平均分配到日建立地区名称与标准编码如城市代码的映射表。3.2 多源数据整合关键的一步这是体现“大数据分析”的关键。假设我们有三张表cases_daily.csv病例数据weather_daily.csv气象数据migration_index.csv迁徙数据。import pandas as pd # 读取数据 cases_df pd.read_csv(cases_daily.csv, parse_dates[date]) weather_df pd.read_csv(weather_daily.csv, parse_dates[date]) migration_df pd.read_csv(migration_index.csv, parse_dates[date]) # 假设我们以城市和日期作为关联键 # 首先确保每个DataFrame的‘city_code’和‘date’是连接键 # 使用merge进行整合howleft表示以病例数据为主表保留所有日期即使其他数据有缺失 merged_df pd.merge(cases_df, weather_df, on[city_code, date], howleft) merged_df pd.merge(merged_df, migration_df, on[city_code, date], howleft) # 检查整合后的数据 print(merged_df.info()) # 查看各列非空数量 print(merged_df.head())整合后每一行就代表了某个城市在某一天的完整画像当天的病例数、温度、湿度、迁入指数等。这个merged_df就是后续所有特征工程和模型训练的基石。3.3 探索性数据分析用可视化发现故事在建模前花时间做EDA至关重要。这不是为了凑篇幅而是为了真正理解数据。病例数随时间变化趋势绘制折线图。观察是否有明显的周期如年度周期、趋势上升或下降以及异常点。病例数与外部因素的相关性计算并绘制病例数与滞后N天的温度、搜索指数等的散点图或计算相关系数矩阵。你可能会发现当搜索“流感症状”的指数上升后大约1-2周报告病例数也开始上升。这个“滞后关系”就是你构造特征的重要依据。空间分布如果数据包含地理信息用热力图展示不同区域在不同时间点的发病率可以直观看到疾病的扩散路径。实操心得EDA阶段发现的任何有趣模式都值得在论文的“模型建立”部分提一句作为你选择某个特征或某种模型结构的依据。这能让你的论文显得更有洞察力而不是机械地堆砌模型。4. 预测模型构建与实现细节框架搭好数据备齐现在进入核心环节——构建预测模型。我们以一个结合了多源特征的时间序列预测场景为例详细走一遍流程。4.1 特征工程的具体实现基于我们之前整合好的merged_df开始构造特征。这里以构造预测未来第7天病例数的特征为例。import numpy as np def create_features(df, target_colnew_cases, lags[1, 7, 14], window_sizes[7, 14]): 为时间序列预测创建特征。 df: 按城市和日期排序后的DataFrame target_col: 要预测的目标列名 lags: 滞后阶数列表 window_sizes: 滑动窗口大小列表 df df.copy() # 必须按城市和时间排序确保滞后操作正确 df.sort_values([city_code, date], inplaceTrue) # 1. 创建滞后特征 for lag in lags: df[f{target_col}_lag_{lag}] df.groupby(city_code)[target_col].shift(lag) # 2. 创建滑动窗口统计特征 for window in window_sizes: df[f{target_col}_rolling_mean_{window}] df.groupby(city_code)[target_col].transform( lambda x: x.rolling(windowwindow, min_periods1).mean() ) df[f{target_col}_rolling_std_{window}] df.groupby(city_code)[target_col].transform( lambda x: x.rolling(windowwindow, min_periods1).std() ) # 可以添加更多如最大值、最小值、分位数等 # 3. 时间特征 df[day_of_week] df[date].dt.dayofweek df[month] df[date].dt.month df[is_weekend] df[day_of_week].isin([5, 6]).astype(int) # 可以加入是否为节假日的特征 # 4. 外部特征的滞后例如认为7天前的搜索指数影响今天的病例 external_cols [search_index, avg_temperature, migration_in] for col in external_cols: for lag in [7, 14]: # 外部特征的滞后可能更长 df[f{col}_lag_{lag}] df.groupby(city_code)[col].shift(lag) # 5. 交互特征示例低温且高迁徙 df[low_temp_high_migration] ((df[avg_temperature] 5) (df[migration_in_lag_7] df[migration_in_lag_7].median())).astype(int) # 删除因创建滞后特征而产生的缺失值行最开始的几天 df.dropna(inplaceTrue) return df # 应用函数 featured_df create_features(merged_df)现在featured_df中的每一行都包含了用于预测该行日期病例数的丰富特征这些特征均来自该日期之前的历史信息严格避免了数据泄露。4.2 模型训练与验证策略我们不能直接用全部数据训练然后预测必须评估模型的泛化能力尤其是时间序列要模拟真实的“用过去预测未来”。from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_absolute_error, mean_squared_error import lightgbm as lgb # 假设我们要预测的目标是‘new_cases’ target new_cases # 选择特征列排除日期、城市编码和目标列本身 feature_cols [col for col in featured_df.columns if col not in [date, city_code, target]] # 划分训练集和测试集按时间划分 cutoff_date featured_df[date].max() - pd.Timedelta(days30) # 假设用最后30天作为测试集 train_df featured_df[featured_df[date] cutoff_date] test_df featured_df[featured_df[date] cutoff_date] X_train, y_train train_df[feature_cols], train_df[target] X_test, y_test test_df[feature_cols], test_df[target] # 使用时间序列交叉验证更稳健 tscv TimeSeriesSplit(n_splits5) model lgb.LGBMRegressor(n_estimators200, learning_rate0.05, random_state42) cv_scores [] for train_idx, val_idx in tscv.split(X_train): X_tr, X_val X_train.iloc[train_idx], X_train.iloc[val_idx] y_tr, y_val y_train.iloc[train_idx], y_train.iloc[val_idx] model.fit(X_tr, y_tr, eval_set[(X_val, y_val)], eval_metricmae, callbacks[lgb.early_stopping(stopping_rounds30), lgb.log_evaluation(0)]) preds model.predict(X_val) score mean_absolute_error(y_val, preds) cv_scores.append(score) print(fFold MAE: {score:.2f}) print(fCV平均MAE: {np.mean(cv_scores):.2f}) # 用全部训练数据重新训练一次然后在真正的测试集上评估 final_model lgb.LGBMRegressor(n_estimators200, learning_rate0.05, random_state42) final_model.fit(X_train, y_train) test_preds final_model.predict(X_test) final_mae mean_absolute_error(y_test, test_preds) final_rmse np.sqrt(mean_squared_error(y_test, test_preds)) print(f测试集 MAE: {final_mae:.2f}, RMSE: {final_rmse:.2f})4.3 模型解释与结果分析LightGBM/XGBoost的一个巨大优势是可解释性。训练完成后一定要分析特征重要性。import matplotlib.pyplot as plt import seaborn as sns # 获取特征重要性 importance_df pd.DataFrame({ feature: feature_cols, importance: final_model.feature_importances_ }).sort_values(importance, ascendingFalse) plt.figure(figsize(10, 8)) sns.barplot(dataimportance_df.head(15), ximportance, yfeature) plt.title(Top 15 Feature Importance) plt.tight_layout() plt.show()你可能会发现new_cases_lag_7一周前的病例数和search_index_lag_14两周前的搜索指数是最重要的特征。这个结论本身就是一个重要的分析成果你可以在论文中阐述“模型揭示疾病的传播具有显著的周度自相关性且互联网搜索行为能提供约两周的领先预警指标。” 这就将单纯的预测提升到了机理洞察的层面。最后将预测结果与真实值绘制在同一张图上直观展示模型的预测能力。对于测试集上的预测计算误差的分布并分析哪些时间点预测误差较大尝试结合实际情况如是否发生突发公共卫生事件、数据报告是否有延迟进行解释。5. 竞赛论文撰写要点与避坑指南数学建模竞赛三分靠做七分靠写。一个清晰、完整、有说服力的论文是获奖的关键。5.1 论文结构框架摘要重中之重评委可能只用几分钟看摘要。必须用精炼的语言说明研究了什么问题、用了什么方法模型、处理了哪些数据、得到了什么关键结论包括重要的量化指标如预测误差MAE降低了多少。避免空洞的形容词多用事实和数据。问题重述与分析不要照抄题目。用自己的话梳理问题的背景、目标和难点并简要阐述你的整体解决思路。模型假设与符号说明列出必要的、合理的假设如“假设数据报告是准确且及时的”。清晰定义文中用到的主要数学符号。数据分析与预处理展示EDA的关键图表趋势图、相关性热力图说明数据清洗和特征工程的过程。这里可以放一两个核心的代码片段或流程图。模型建立与求解这是核心章节。详细描述你选择的每一个模型如ARIMA, LightGBM, LSTM的原理、在该问题上的应用方式、模型融合的策略。一定要解释“为什么”选择这个模型。给出关键的公式和算法步骤。模型检验与结果分析展示交叉验证结果、测试集预测效果图、误差分析、特征重要性分析。对结果进行深入的讨论而不仅仅是罗列数字。例如“如图所示模型在平稳期预测准确但在病例数骤升的拐点处存在滞后这是因为模型主要依赖历史趋势对突发因素的响应不足。”模型评价与推广客观评价自己模型的优点和局限性如对数据质量依赖高、未考虑政策干预因素等。提出可能的改进方向。参考文献与附录规范引用。将冗长的代码、补充的数据图表放在附录。5.2 常见“坑”与应对技巧坑1数据泄露这是新手最容易犯的致命错误。绝对不能用未来的信息预测过去。在构造特征时任何基于目标变量或同时刻外部变量的操作都必须使用滞后值。在划分训练集/测试集时必须按时间顺序划分不能随机打乱。坑2盲目追求复杂模型一上来就用LSTM、Transformer结果调参调到天昏地暗效果还不如LightGBM。务必建立基线模型。先用ARIMA或简单线性回归建立一个基准性能再用更复杂的模型去超越它这样才能体现你模型的价值。坑3忽略可解释性评委不仅看预测数字准不准更看你的分析是否合理。特征重要性分析、误差案例分析、关键参数的影响分析如改变搜索指数的滞后天数会怎样这些都能极大地增强论文的说服力。坑4论文像实验报告只罗列步骤和结果没有逻辑主线。你的论文应该讲一个“故事”我们遇到了一个什么问题 - 这个问题可以从几个角度分析 - 我们收集并处理了这些数据 - 基于数据特性我们选择了这些模型 - 模型告诉我们以下几个重要发现 - 这些发现意味着什么还有什么不足。保持这种叙述性。坑5图表质量低下使用模糊的截图、默认的Excel图表风格、没有标注的坐标轴。学习使用Matplotlib或Seaborn绘制清晰、专业的图表。确保所有图表都有编号、标题坐标轴有清晰的标签和单位。个人体会在时间紧迫的竞赛中“快糙猛”但完整的工作流远优于“精雕细琢”但未完成的想法。先搭建一个从数据预处理到基础预测的完整管道并跑通确保论文有东西可写。然后再有选择性地对其中1-2个环节进行深化和创新比如尝试一种新颖的特征构造方法或一个简单的模型融合策略这样既能保证完整性又能体现亮点。最后务必留出至少1/3的时间来撰写和打磨论文好的呈现能让你的工作增值50%以上。 从APMCM赛题解析疾病预测：数据科学实战与建模竞赛指南
1. 项目概述从一道赛题看疾病预测的实战脉络刚拿到2025年APMCM这道B题的时候我第一反应是这题目出得挺“实诚”。它没有拐弯抹角直接把“疾病的预测与大数据分析”这个核心目标摆在了台面上。对于参加过数学建模竞赛尤其是像亚太赛APMCM、国赛、美赛这类赛事的同学来说这种题目既熟悉又充满挑战。熟悉在于预测类、数据分析类题目几乎是每届必考挑战在于“疾病预测”这个领域水太深了从简单的时序外推到复杂的多因素耦合建模中间隔着无数个需要权衡和抉择的岔路口。这道题本质上是在考察我们如何将现实世界中庞大、杂乱、充满不确定性的医疗健康数据通过数学和计算工具转化为对未来疾病发生、发展态势的可靠洞察。它绝不仅仅是让你跑几个现成的机器学习模型那么简单。你需要理解疾病传播或发生的机理哪怕是简化的需要处理真实数据中必然存在的缺失、异常和尺度不一问题需要根据不同的预测目标比如是预测某个地区的发病率还是预测个体患病风险选择合适的模型架构最后还需要用清晰、有说服力的方式呈现你的分析过程和结论。这整个过程就是一个标准的数据科学项目在数学建模竞赛语境下的缩影。无论你是初次参赛的新手还是身经百战的老兵这道题都值得你投入时间去深挖因为它所涉及的方法论在未来的科研或工业界数据分析工作中具有极高的通用性。接下来我将结合自己多年指导竞赛和进行数据分析的经验为你彻底拆解这道题。我们会从解题的核心思路开始一步步深入到数据怎么处理、模型怎么选、结果怎么分析以及那些在优秀论文里不会写但实际操作中能让你事半功倍或者避免翻车的“坑”与技巧。2. 核心思路拆解构建你的分析框架面对“疾病预测与大数据分析”这样宽泛的命题第一步也是最关键的一步不是急着找数据、跑代码而是定义问题边界和构建分析框架。题目通常只会给一个方向比如“基于提供的数据预测未来某段时间的疾病趋势”但“趋势”具体指什么是每日新增病例数是不同年龄段的患病风险还是医疗资源的需求峰值你需要自己把它明确下来。2.1 问题定义与目标量化首先我们必须把模糊的“预测”转化为一个或多个具体的、可量化的数学问题。以常见的传染病如流感预测为例可能的量化目标包括发病率/患病率时间序列预测这是最经典的方向。目标是根据历史每日/每周/每月的新增病例数预测未来一段时间如下一个月、下一个季度的病例数。这本质上是一个时间序列预测问题。空间分布预测预测疾病在未来某个时间点在不同区域如城市、区县的分布情况。这通常需要结合地理信息数据构建空间统计模型或图神经网络模型。高风险人群/区域识别目标不是预测具体数字而是识别出哪些特征如年龄、职业、基础疾病的人群或哪些特征如人口密度、流动率、医疗资源的区域在未来具有更高的患病风险。这更像一个分类或排序问题。流行峰值与时间预测对于有明显季节性或周期性的疾病预测下一次流行高峰的强度峰值病例数和出现的时间点。在APMCM这类竞赛中我强烈建议选择1和3的结合或者1和4的结合。因为单纯的时间序列预测目标1虽然经典但略显单薄难以体现“大数据分析”的深度。如果你能先利用大数据比如结合搜索引擎指数、气象数据、交通流量等识别出关键风险因素目标3再将这些因素作为特征融入时间序列模型进行预测目标1整个工作的层次感和创新性就出来了。这就是你分析框架的顶层设计。2.2 数据维度与特征工程构想题目提到“大数据分析”这意味着我们考虑的数据源不应局限于传统的病例报告。在正式分析前就要在脑子里搭建一个多维数据池。这些数据通常可以分为以下几层核心层靶心数据疾病本身的历史数据。包括每日新增确诊病例数、累计病例数、康复数、死亡数等。这是预测最直接的依据。关联层直接影响因素与疾病传播或发生机理强相关的数据。气象数据温度、湿度、降水量。很多呼吸道、消化道疾病与气象条件密切相关。人口流动数据城市内部的交通流量地铁、公交刷卡数据、跨区域的人口迁徙指数如百度迁徙指数。这是刻画传染病空间扩散的关键。互联网行为数据搜索引擎中与疾病症状相关的关键词搜索量如“发烧”、“咳嗽”、“腹泻”。这往往能领先于官方报告提供早期预警信号。背景层潜在影响因素更宏观、影响更间接的数据。社会经济数据区域人口密度、年龄结构、人均GDP、医疗资源医院床位、医生数。日历信息节假日、工作日。人类行为模式在节假日会发生显著变化从而影响疾病接触机会。特征工程的核心思想就是如何将这些原始数据转化为机器学习模型能够有效“理解”并用于预测的“特征”。例如对于时间序列我们不仅要用当天的数据还要构造出滞后特征过去7天、14天、21天的病例数。这是捕捉趋势和周期的基础。滑动统计特征过去7天的移动平均值、标准差、最大值。这能平滑噪声并反映近期水平。趋势特征计算近期序列的斜率或拟合线性回归的系数。交互特征将气象数据如低温与人口流动数据如高迁徙相乘构造一个“高风险暴露”特征这可能比单独使用两个特征更有效。提前构思好这些你在真正拿到数据时就不会手忙脚乱而是有条不紊地进行加工和提取。2.3 模型技术选型逻辑模型不是越高级越好而是越合适越好。你的模型选择必须紧密服务于你定义的问题和目标。如果核心是时间序列预测目标1基线模型ARIMA/SARIMA模型。这是时间序列预测的“基准线”。你必须做用来对比证明你更复杂的模型是有提升的。它的优势是理论成熟、可解释性强能捕捉自相关性和季节性。但缺点也很明显难以融入多源的外部特征如天气、搜索指数。经典机器学习模型LightGBM/XGBoost。这是当前竞赛中的“万金油”。它们能极其方便地处理表格数据自动学习特征重要性并且对缺失值、异常值有一定鲁棒性。你需要将时间序列问题转化为监督学习问题即用过去一段时间比如t-1, t-2, ... t-n的所有特征来预测未来时刻t的目标值。LightGBM效率通常更高。深度学习模型LSTM/GRU等循环神经网络或Transformer模型。它们擅长捕捉长期依赖和复杂模式。当数据量足够大、序列模式非常复杂时它们的潜力更大。但缺点是需要更多的数据、更长的训练时间且可解释性差。在竞赛有限的时间内需要谨慎评估其投入产出比。如果核心是风险识别目标3逻辑回归非常好的基线模型结果有概率解释性可以初步判断特征的影响方向正/负。随机森林 / GBDTLightGBM, XGBoost用于特征重要性排序找出哪些因素如老年人口比例、搜索指数对高风险贡献最大。聚类分析如K-means可以将区域按照疾病风险特征进行分群直观展示高风险区域的聚集情况。一个高级的策略是模型融合。例如用LightGBM来融合多源特征进行初步预测同时用LSTM来深度挖掘纯病例序列中的时序模式然后将两个模型的预测结果进行加权平均或 stacking往往能获得比单一模型更稳定、更精准的结果。3. 数据预处理实战清洗、整合与探索在实际操作中数据预处理会消耗你60%以上的时间和精力。这一步做得好模型成功一半做得不好再高级的模型也无力回天。3.1 数据清洗处理现实世界的“不完美”你拿到的数据很可能包含以下问题缺失值某些日期或地区的数据缺失。应对策略对于时间序列优先使用前向填充或线性插值。对于特征数据如果缺失率不高可以用中位数或均值填充如果缺失率很高考虑是否直接删除该特征或构造一个“是否缺失”的二元标志作为新特征。注意千万不要用未来数据填充过去必须严格按时间顺序处理。异常值由于报告错误或其他原因出现远超正常范围的数值如某天病例数激增后又骤降。应对策略首先结合背景知识判断是否为真实情况如疫情爆发初期。如果不是可以采用统计方法如3σ原则识别并用滑动窗口的中位数或 capped 方法将超出阈值的数据设为阈值进行处理。数据不一致不同来源的数据时间粒度不同有的日度有的周度地区编码标准不同。应对策略统一时间粒度通常以日为单位周度数据可通过平均分配到日建立地区名称与标准编码如城市代码的映射表。3.2 多源数据整合关键的一步这是体现“大数据分析”的关键。假设我们有三张表cases_daily.csv病例数据weather_daily.csv气象数据migration_index.csv迁徙数据。import pandas as pd # 读取数据 cases_df pd.read_csv(cases_daily.csv, parse_dates[date]) weather_df pd.read_csv(weather_daily.csv, parse_dates[date]) migration_df pd.read_csv(migration_index.csv, parse_dates[date]) # 假设我们以城市和日期作为关联键 # 首先确保每个DataFrame的‘city_code’和‘date’是连接键 # 使用merge进行整合howleft表示以病例数据为主表保留所有日期即使其他数据有缺失 merged_df pd.merge(cases_df, weather_df, on[city_code, date], howleft) merged_df pd.merge(merged_df, migration_df, on[city_code, date], howleft) # 检查整合后的数据 print(merged_df.info()) # 查看各列非空数量 print(merged_df.head())整合后每一行就代表了某个城市在某一天的完整画像当天的病例数、温度、湿度、迁入指数等。这个merged_df就是后续所有特征工程和模型训练的基石。3.3 探索性数据分析用可视化发现故事在建模前花时间做EDA至关重要。这不是为了凑篇幅而是为了真正理解数据。病例数随时间变化趋势绘制折线图。观察是否有明显的周期如年度周期、趋势上升或下降以及异常点。病例数与外部因素的相关性计算并绘制病例数与滞后N天的温度、搜索指数等的散点图或计算相关系数矩阵。你可能会发现当搜索“流感症状”的指数上升后大约1-2周报告病例数也开始上升。这个“滞后关系”就是你构造特征的重要依据。空间分布如果数据包含地理信息用热力图展示不同区域在不同时间点的发病率可以直观看到疾病的扩散路径。实操心得EDA阶段发现的任何有趣模式都值得在论文的“模型建立”部分提一句作为你选择某个特征或某种模型结构的依据。这能让你的论文显得更有洞察力而不是机械地堆砌模型。4. 预测模型构建与实现细节框架搭好数据备齐现在进入核心环节——构建预测模型。我们以一个结合了多源特征的时间序列预测场景为例详细走一遍流程。4.1 特征工程的具体实现基于我们之前整合好的merged_df开始构造特征。这里以构造预测未来第7天病例数的特征为例。import numpy as np def create_features(df, target_colnew_cases, lags[1, 7, 14], window_sizes[7, 14]): 为时间序列预测创建特征。 df: 按城市和日期排序后的DataFrame target_col: 要预测的目标列名 lags: 滞后阶数列表 window_sizes: 滑动窗口大小列表 df df.copy() # 必须按城市和时间排序确保滞后操作正确 df.sort_values([city_code, date], inplaceTrue) # 1. 创建滞后特征 for lag in lags: df[f{target_col}_lag_{lag}] df.groupby(city_code)[target_col].shift(lag) # 2. 创建滑动窗口统计特征 for window in window_sizes: df[f{target_col}_rolling_mean_{window}] df.groupby(city_code)[target_col].transform( lambda x: x.rolling(windowwindow, min_periods1).mean() ) df[f{target_col}_rolling_std_{window}] df.groupby(city_code)[target_col].transform( lambda x: x.rolling(windowwindow, min_periods1).std() ) # 可以添加更多如最大值、最小值、分位数等 # 3. 时间特征 df[day_of_week] df[date].dt.dayofweek df[month] df[date].dt.month df[is_weekend] df[day_of_week].isin([5, 6]).astype(int) # 可以加入是否为节假日的特征 # 4. 外部特征的滞后例如认为7天前的搜索指数影响今天的病例 external_cols [search_index, avg_temperature, migration_in] for col in external_cols: for lag in [7, 14]: # 外部特征的滞后可能更长 df[f{col}_lag_{lag}] df.groupby(city_code)[col].shift(lag) # 5. 交互特征示例低温且高迁徙 df[low_temp_high_migration] ((df[avg_temperature] 5) (df[migration_in_lag_7] df[migration_in_lag_7].median())).astype(int) # 删除因创建滞后特征而产生的缺失值行最开始的几天 df.dropna(inplaceTrue) return df # 应用函数 featured_df create_features(merged_df)现在featured_df中的每一行都包含了用于预测该行日期病例数的丰富特征这些特征均来自该日期之前的历史信息严格避免了数据泄露。4.2 模型训练与验证策略我们不能直接用全部数据训练然后预测必须评估模型的泛化能力尤其是时间序列要模拟真实的“用过去预测未来”。from sklearn.model_selection import TimeSeriesSplit from sklearn.metrics import mean_absolute_error, mean_squared_error import lightgbm as lgb # 假设我们要预测的目标是‘new_cases’ target new_cases # 选择特征列排除日期、城市编码和目标列本身 feature_cols [col for col in featured_df.columns if col not in [date, city_code, target]] # 划分训练集和测试集按时间划分 cutoff_date featured_df[date].max() - pd.Timedelta(days30) # 假设用最后30天作为测试集 train_df featured_df[featured_df[date] cutoff_date] test_df featured_df[featured_df[date] cutoff_date] X_train, y_train train_df[feature_cols], train_df[target] X_test, y_test test_df[feature_cols], test_df[target] # 使用时间序列交叉验证更稳健 tscv TimeSeriesSplit(n_splits5) model lgb.LGBMRegressor(n_estimators200, learning_rate0.05, random_state42) cv_scores [] for train_idx, val_idx in tscv.split(X_train): X_tr, X_val X_train.iloc[train_idx], X_train.iloc[val_idx] y_tr, y_val y_train.iloc[train_idx], y_train.iloc[val_idx] model.fit(X_tr, y_tr, eval_set[(X_val, y_val)], eval_metricmae, callbacks[lgb.early_stopping(stopping_rounds30), lgb.log_evaluation(0)]) preds model.predict(X_val) score mean_absolute_error(y_val, preds) cv_scores.append(score) print(fFold MAE: {score:.2f}) print(fCV平均MAE: {np.mean(cv_scores):.2f}) # 用全部训练数据重新训练一次然后在真正的测试集上评估 final_model lgb.LGBMRegressor(n_estimators200, learning_rate0.05, random_state42) final_model.fit(X_train, y_train) test_preds final_model.predict(X_test) final_mae mean_absolute_error(y_test, test_preds) final_rmse np.sqrt(mean_squared_error(y_test, test_preds)) print(f测试集 MAE: {final_mae:.2f}, RMSE: {final_rmse:.2f})4.3 模型解释与结果分析LightGBM/XGBoost的一个巨大优势是可解释性。训练完成后一定要分析特征重要性。import matplotlib.pyplot as plt import seaborn as sns # 获取特征重要性 importance_df pd.DataFrame({ feature: feature_cols, importance: final_model.feature_importances_ }).sort_values(importance, ascendingFalse) plt.figure(figsize(10, 8)) sns.barplot(dataimportance_df.head(15), ximportance, yfeature) plt.title(Top 15 Feature Importance) plt.tight_layout() plt.show()你可能会发现new_cases_lag_7一周前的病例数和search_index_lag_14两周前的搜索指数是最重要的特征。这个结论本身就是一个重要的分析成果你可以在论文中阐述“模型揭示疾病的传播具有显著的周度自相关性且互联网搜索行为能提供约两周的领先预警指标。” 这就将单纯的预测提升到了机理洞察的层面。最后将预测结果与真实值绘制在同一张图上直观展示模型的预测能力。对于测试集上的预测计算误差的分布并分析哪些时间点预测误差较大尝试结合实际情况如是否发生突发公共卫生事件、数据报告是否有延迟进行解释。5. 竞赛论文撰写要点与避坑指南数学建模竞赛三分靠做七分靠写。一个清晰、完整、有说服力的论文是获奖的关键。5.1 论文结构框架摘要重中之重评委可能只用几分钟看摘要。必须用精炼的语言说明研究了什么问题、用了什么方法模型、处理了哪些数据、得到了什么关键结论包括重要的量化指标如预测误差MAE降低了多少。避免空洞的形容词多用事实和数据。问题重述与分析不要照抄题目。用自己的话梳理问题的背景、目标和难点并简要阐述你的整体解决思路。模型假设与符号说明列出必要的、合理的假设如“假设数据报告是准确且及时的”。清晰定义文中用到的主要数学符号。数据分析与预处理展示EDA的关键图表趋势图、相关性热力图说明数据清洗和特征工程的过程。这里可以放一两个核心的代码片段或流程图。模型建立与求解这是核心章节。详细描述你选择的每一个模型如ARIMA, LightGBM, LSTM的原理、在该问题上的应用方式、模型融合的策略。一定要解释“为什么”选择这个模型。给出关键的公式和算法步骤。模型检验与结果分析展示交叉验证结果、测试集预测效果图、误差分析、特征重要性分析。对结果进行深入的讨论而不仅仅是罗列数字。例如“如图所示模型在平稳期预测准确但在病例数骤升的拐点处存在滞后这是因为模型主要依赖历史趋势对突发因素的响应不足。”模型评价与推广客观评价自己模型的优点和局限性如对数据质量依赖高、未考虑政策干预因素等。提出可能的改进方向。参考文献与附录规范引用。将冗长的代码、补充的数据图表放在附录。5.2 常见“坑”与应对技巧坑1数据泄露这是新手最容易犯的致命错误。绝对不能用未来的信息预测过去。在构造特征时任何基于目标变量或同时刻外部变量的操作都必须使用滞后值。在划分训练集/测试集时必须按时间顺序划分不能随机打乱。坑2盲目追求复杂模型一上来就用LSTM、Transformer结果调参调到天昏地暗效果还不如LightGBM。务必建立基线模型。先用ARIMA或简单线性回归建立一个基准性能再用更复杂的模型去超越它这样才能体现你模型的价值。坑3忽略可解释性评委不仅看预测数字准不准更看你的分析是否合理。特征重要性分析、误差案例分析、关键参数的影响分析如改变搜索指数的滞后天数会怎样这些都能极大地增强论文的说服力。坑4论文像实验报告只罗列步骤和结果没有逻辑主线。你的论文应该讲一个“故事”我们遇到了一个什么问题 - 这个问题可以从几个角度分析 - 我们收集并处理了这些数据 - 基于数据特性我们选择了这些模型 - 模型告诉我们以下几个重要发现 - 这些发现意味着什么还有什么不足。保持这种叙述性。坑5图表质量低下使用模糊的截图、默认的Excel图表风格、没有标注的坐标轴。学习使用Matplotlib或Seaborn绘制清晰、专业的图表。确保所有图表都有编号、标题坐标轴有清晰的标签和单位。个人体会在时间紧迫的竞赛中“快糙猛”但完整的工作流远优于“精雕细琢”但未完成的想法。先搭建一个从数据预处理到基础预测的完整管道并跑通确保论文有东西可写。然后再有选择性地对其中1-2个环节进行深化和创新比如尝试一种新颖的特征构造方法或一个简单的模型融合策略这样既能保证完整性又能体现亮点。最后务必留出至少1/3的时间来撰写和打磨论文好的呈现能让你的工作增值50%以上。