1. 项目背景与核心挑战从赛题到现实问题的映射去年带队参加MathorCup大数据竞赛做到赛道B这道关于北京移动用户体验影响因素研究的题目时感触很深。这绝不是一个纸上谈兵的数学游戏它几乎完整复刻了一个真实商业数据分析团队在运营商内部会面临的典型困境你手上有海量的用户行为数据、网络信令数据、业务订购数据但老板只问一个问题——“哪些因素真正影响了用户的体验感知我们该怎么优化”问题二通常是最见功力的部分它要求你不仅找出影响因素还要构建可解释、可量化、甚至可预测的模型。这直接对应到运营商市场部或网络优化部门的KPI如何分配有限的营销资源或网络建设预算才能最大化提升用户满意度NPS或降低离网率很多初次接触这类题目的同学容易一头扎进模型调参的细节里却忽略了最关键的起点如何将“用户体验”这个模糊的商业概念转化为一个或多个可以被数学模型处理的、明确的“目标变量”。我们的核心挑战正在于此。用户体验是主观的但数据是客观的。我们的任务就是在这两者之间架起一座桥梁。通过分析赛题提供的数据字段我们发现能直接反映“体验”的数据可能包括网络速率上下行、网络时延、掉线率、业务使用流畅度如视频卡顿次数、客服投诉记录等。但更深入一层这些技术指标如何聚合一个下载速率很快但频繁卡顿的视频用户体验算好还是坏这就需要我们基于业务理解去构建一个或多个“体验得分”综合指标。注意在真实项目中这个“体验得分”的定义权往往需要与业务部门反复对齐。竞赛中我们需要基于数据分布和常识做出合理且可辩护的假设。2. 问题二的核心拆解从分析到建模的完整链路问题二通常不会简单地要求“做一个回归分析”。它往往被设计成有层次、有递进的若干个子问题。根据过往赛题经验我将其拆解为以下四个关键环节这构成了我们整个建模方案的骨架。2.1 目标变量Y的定义与工程化这是所有工作的基石。我们不能直接对“体验”建模必须先把它量化。直接指标选择从原始数据中筛选与体验强相关的原始指标作为Y。例如将“月度平均下载速率Mbps”或“视频业务卡顿率%”作为直接Y。这种方法简单直接但可能只反映了体验的某一个侧面。综合得分构建这是更高级也更贴近业务实际的做法。我们可以采用主成分分析PCA或因子分析FA将多个高度相关的体验指标如速率、时延、掉线率降维合成一个或少数几个“综合体验因子”作为Y。PCA能帮助我们找到这些指标背后共同的“体验潜变量”。分类问题转化有时问题会要求识别“体验差”的用户。我们可以根据业务经验设定阈值如速率低于10Mbps定义为“差体验”将Y转化为二分类变量0/1。这样问题就变成了一个分类如逻辑回归、决策树或异常检测问题。在我们的方案中我倾向于采用方法2和方法3的结合。首先用PCA构建一个连续的“综合体验得分”用于后续的回归分析探究各因素的影响强度和方向。同时设定一个阈值如得分位于后20%将用户划分为“体验优良”和“体验待提升”两类用于后续的分类模型识别高风险用户群体。2.2 特征变量X的体系化构建特征工程决定了模型天花板的一半。我们不能简单地把所有数据字段扔进模型。需要体系化地构建特征池通常分为以下几类用户属性特征套餐类型、在网时长、ARPU值、用户等级金/银/卡。这些是静态的、相对稳定的特征反映了用户的基本面。网络性能特征这是核心。包括时间维度忙时/闲时速率、空间维度常驻小区/基站的平均信号强度、干扰水平、业务维度游戏时延、网页打开成功率。需要从原始信令数据中聚合出用户级别的统计量如均值、方差、分位数P95时延比均值更有意义、劣化次数速率低于阈值的次数。业务行为特征各类APP使用时长、流量消耗、业务访问时间模式。例如夜间大量使用视频的用户对网络连续性的要求可能更高。交互与投诉特征拨打客服次数、投诉工单类型、问题解决时长。这是体验结果的直接反馈但需注意因果关系的混淆是体验差导致投诉还是投诉多的用户更敏感。衍生特征这才是体现思考深度的地方。例如“套餐-使用”错配度用户实际流量使用量 / 套餐内含流量。比值远大于1可能意味着用户常处于限速状态体验差。“网络需求-供给”差异用户密集使用高带宽业务如视频时段的平均速率与全时段平均速率的比值。体验波动性网络速率或时延的变异系数标准差/均值反映体验是否稳定。2.3 模型选型与融合策略没有“银弹”模型需要根据Y的类型和问题侧重点进行选择和融合。对于连续型Y综合体验得分线性回归/Lasso回归基准模型。Lasso可以自动进行特征选择帮助我们从上百个特征中筛选出真正重要的模型可解释性极强。我们可以通过系数大小和正负直接判断某个因素是提升还是损害了体验以及影响程度。梯度提升树如XGBoost/LightGBM主力预测模型。这类模型能自动捕捉复杂的非线性关系和特征交互预测精度通常更高。虽然可解释性不如线性模型但可以通过SHAPSHapley Additive exPlanations值进行事后解释量化每个特征对单个预测结果的贡献。对于分类型Y是否体验差逻辑回归可解释性的标杆。我们可以得到每个特征影响“体验差”概率的比值OR值。随机森林/XGBoost同样作为主力分类器追求更高的AUC或F1-score。融合策略我们采用“解释性模型预测性模型”的融合思路。先用Lasso回归筛选出关键特征子集比如前30个这个过程本身就能输出一份重要的影响因素排序报告。然后用这个特征子集去训练LightGBM模型获得更精准的预测能力。最后对LightGBM的预测结果用SHAP进行可视化解释这样既保证了精度又能深入理解模型是如何做出判断的。2.4 模型评估与业务解读竞赛不是训练完模型就结束了评估必须紧扣业务目标。回归任务不仅看R²、RMSE更要看残差分析。残差是否随机分布是否存在特定用户群如高ARPU用户的预测误差系统性偏大这能揭示模型盲区。分类任务关注精确率Precision和召回率Recall的权衡。在资源有限的情况下我们可能更追求高精确率确保我们圈定的“体验差用户”尽可能准确避免营销资源浪费还是高召回率尽可能不漏掉任何一个潜在不满用户防止离网这需要根据赛题要求设定。业务解读报告这是升华部分。输出不能只是一堆指标和图表而应是关键影响因素排行榜结合Lasso系数和SHAP平均绝对贡献值列出Top 10的影响因素。因素深度分析例如发现“忙时P95时延”是负向第一影响因子。进一步分析显示影响主要集中于中央商务区等几个重点区域。这就将问题从“什么因素重要”推进到了“在哪里重要”。用户分群与策略建议根据模型预测和特征聚类将体验待提升用户分为几类如“高价值网络敏感型”、“套餐错配型”、“弱覆盖区域型”并针对每类用户提出具体的、差异化的优化建议如网络扩容、套餐升档、推送Wi-Fi助手工具。3. 代码实现详解从数据清洗到SHAP解释的全流程这里以Python为例阐述核心代码模块。假设我们已有一个包含用户ID、各类网络指标、业务指标、用户属性的DataFramedf并已构建了连续型目标变量composite_experience_score。3.1 数据预处理与特征工程import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler, LabelEncoder from sklearn.decomposition import PCA # 1. 缺失值处理 # 对于数值特征使用中位数填充比均值对异常值更鲁棒 numeric_cols df.select_dtypes(include[np.number]).columns df[numeric_cols] df[numeric_cols].fillna(df[numeric_cols].median()) # 对于分类特征使用众数填充 categorical_cols df.select_dtypes(include[object]).columns for col in categorical_cols: df[col] df[col].fillna(df[col].mode()[0]) # 2. 分类特征编码 # 有序分类如用户等级普卡银卡金卡使用LabelEncoder le LabelEncoder() df[user_level_encoded] le.fit_transform(df[user_level]) # 无序分类如套餐类型使用独热编码但注意维度爆炸可先观察高频类别 package_dummies pd.get_dummies(df[package_type], prefixpackage, drop_firstTrue) df pd.concat([df, package_dummies], axis1) df.drop(package_type, axis1, inplaceTrue) # 3. 构建衍生特征示例 df[usage_package_mismatch] df[monthly_total_flow_GB] / (df[package_flow_GB] 1e-5) # 避免除零 df[peak_hour_speed_degradation] df[offpeak_avg_speed] / (df[peak_avg_speed] 1e-5) df[speed_volatility] df[[speed_9am, speed_2pm, speed_8pm]].std(axis1) / (df[[speed_9am, speed_2pm, speed_8pm]].mean(axis1) 1e-5) # 4. 特征缩放对线性模型和PCA很重要 scaler StandardScaler() feature_cols [col for col in df.columns if col not in [user_id, composite_experience_score]] df_scaled df.copy() df_scaled[feature_cols] scaler.fit_transform(df[feature_cols]) # 5. 可选使用PCA构建综合体验得分Y如果原始Y未给定 # 假设我们有多个原始体验指标 experience_indicators [avg_download_speed, avg_latency, video_stutter_rate, drop_call_rate] X_experience df_scaled[experience_indicators] pca PCA(n_components1) # 提取第一个主成分 df[composite_experience_score] pca.fit_transform(X_experience) # 注意第一个主成分可能代表“综合体验”但需检查载荷因子符号确保高分代表好体验。3.2 Lasso回归进行特征筛选与初步分析from sklearn.linear_model import LassoCV from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt # 准备数据 X df_scaled[feature_cols] y df_scaled[composite_experience_score] # 使用标准化后的Y # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 使用LassoCV交叉验证选择最佳alpha正则化强度 lasso_cv LassoCV(cv5, random_state42, max_iter10000) lasso_cv.fit(X_train, y_train) print(fBest alpha from CV: {lasso_cv.alpha_}) # 获取非零系数特征 coef pd.Series(lasso_cv.coef_, indexX.columns) selected_features coef[coef ! 0].index.tolist() print(fNumber of features selected by Lasso: {len(selected_features)}) print(Top 10 positive and negative coefficients:) print(coef[selected_features].sort_values(ascendingFalse).head(10)) print(coef[selected_features].sort_values().head(10)) # 可视化特征重要性系数绝对值 imp_coef coef[selected_features].sort_values() plt.figure(figsize(10, len(selected_features)//3)) imp_coef.plot(kindbarh) plt.title(Feature Importance from Lasso Regression (Coefficient)) plt.tight_layout() plt.show() # 基于筛选后的特征重新划分数据集用于后续复杂模型 X_train_selected X_train[selected_features] X_test_selected X_test[selected_features]提示Lasso筛选后一定要分析系数为正和为负的特征。例如“忙时平均速率”系数为正很好理解但“客服联系次数”系数可能为负这需要结合业务谨慎解释是体验差导致联系客服还是联系客服本身可能意味着问题未解决加剧了体验差避免将相关性误读为因果性。3.3 LightGBM建模与调优import lightgbm as lgb from sklearn.metrics import mean_squared_error, r2_score # 创建LightGBM数据集 train_data lgb.Dataset(X_train_selected, labely_train) test_data lgb.Dataset(X_test_selected, labely_test, referencetrain_data) # 设置初始参数 params { objective: regression, metric: rmse, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: -1, random_state: 42 } # 训练模型 gbm lgb.train(params, train_data, num_boost_round1000, valid_sets[test_data], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(100)]) # 预测与评估 y_pred gbm.predict(X_test_selected, num_iterationgbm.best_iteration) rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) print(fLightGBM Test RMSE: {rmse:.4f}) print(fLightGBM Test R²: {r2:.4f}) # 获取特征重要性基于分裂次数或增益 lgb_importance pd.DataFrame({ feature: selected_features, importance: gbm.feature_importance(importance_typegain) # 使用gain通常比split更有意义 }).sort_values(importance, ascendingFalse) plt.figure(figsize(10, 8)) plt.barh(lgb_importance[feature][:20], lgb_importance[importance][:20]) plt.xlabel(Feature Importance (Gain)) plt.title(Top 20 Feature Importance from LightGBM) plt.gca().invert_yaxis() plt.tight_layout() plt.show()3.4 使用SHAP进行模型解释这是将“黑盒”模型变得可解释的关键一步。import shap # 创建SHAP解释器 explainer shap.TreeExplainer(gbm) shap_values explainer.shap_values(X_test_selected) # 1. 全局解释特征总体重要性与LightGBM自带的importance互相印证 shap.summary_plot(shap_values, X_test_selected, plot_typebar) # 2. 全局解释特征影响方向与分布 shap.summary_plot(shap_values, X_test_selected) # 3. 局部解释对单个样本的预测进行解释 # 例如找出测试集中预测体验最差的一个用户 worst_user_idx np.argmin(y_pred) shap.force_plot(explainer.expected_value, shap_values[worst_user_idx, :], X_test_selected.iloc[worst_user_idx, :], matplotlibTrue) # 4. 依赖图分析单个特征与SHAP值即对预测的影响的关系 # 例如分析“忙时P95时延”的影响 shap.dependence_plot(peak_p95_latency, shap_values, X_test_selected, interaction_indexNone) # 可以尝试加入交互特征看时延的影响是否随用户套餐变化 # shap.dependence_plot(peak_p95_latency, shap_values, X_test_selected, interaction_indexpackage_premium)SHAP图能告诉我们对于“忙时P95时延”这个特征其值越大时延越高SHAP值越负对体验得分贡献越负这与常识一致。更重要的是它能揭示非线性关系可能当时延低于某个阈值时影响不大但超过阈值后负面影响急剧增大。4. 方案进阶与竞赛提分要点完成基础建模和解释只是及格线。要在MathorCup这类高水平竞赛中脱颖而出必须在方案中体现深度思考和创新。4.1 引入时空动态特征与图网络移动网络数据具有强烈的时空属性。用户在不同时间工作日/周末、忙时/闲时、不同地点家、公司、通勤路上体验不同。时间序列特征将用户每天的网络指标如每小时速率视为时间序列提取趋势、周期性、波动性特征如通过傅里叶变换提取周期分量。空间关联性用户不是孤立的。同一基站下的用户会共享资源相互影响。可以尝试构建“用户-基站”二分图利用图神经网络GNN来捕捉这种空间依赖关系。一个用户的体验可能受到其地理位置邻近用户网络行为的影响。这在处理网络拥塞问题时尤其有用。4.2 处理样本不均衡与因果推断样本不均衡如果做二分类体验差用户识别差体验用户通常是少数。需要使用过采样SMOTE、欠采样或调整分类阈值如F1-score最大化的阈值以及使用代价敏感学习class_weight。因果推断尝试相关性不是因果。我们可以尝试引入一些因果推断的方法来增强结论的可靠性。例如使用倾向得分匹配PSM。假设我们想评估“从4G套餐升级到5G套餐”对体验的影响。我们不能直接比较升级和未升级用户因为他们本身可能存在差异选择升级的用户可能原本就是高价值用户。PSM可以为我们从未升级用户中找到与升级用户“相似”的对照组从而更干净地估计“处理效应Treatment Effect”。4.3 模型部署与策略模拟的思考在论文中展示模型如何落地能极大提升方案的说服力。部署架构可以简要描述一个离线实时系统。离线模型每日更新对所有用户进行体验评分和归因实时模型基于流数据对体验突然劣化的用户进行实时预警。策略模拟与ROI估算这是商业价值的核心。例如模型指出“XX区域扩容是提升体验的关键”。我们可以估算扩容成本是多少模型预测该区域有多少用户体验会提升预计能减少多少离网用户带来的客户生命周期价值LTV提升是多少进行一个简单的成本收益分析。即使数据不全做出合理的假设并进行估算也能体现商业思维。4.4 论文写作与可视化呈现竞赛最终提交的是论文。代码和模型只是工具论文才是产品。逻辑主线清晰遵循“问题定义 - 数据理解与预处理 - 特征工程 - 模型构建与选择 - 模型评估与解释 - 业务建议”的流程。图文并茂多用图表说话。除了常规的性能指标图一定要把SHAP摘要图、依赖图、特征重要性图放进去并配上精炼的文字说明解释从图中看出了什么业务洞见。突出创新点在摘要、引言和模型部分明确点出本方案的创新之处无论是特征工程的巧思如“套餐-使用错配度”、模型融合的策略LassoLightGBMSHAP还是对因果推断的初步探索。代码附录将核心、简洁、有注释的代码作为附录。评委可能会看整洁的代码是加分项。最后我想分享一点最深的体会数学建模竞赛尤其是大数据赛道比拼的从来不只是谁的模型更复杂、更前沿。它更像是一次解决真实商业问题的全流程演练。从理解业务、定义问题到清洗数据、构建特征再到选择模型、解释结果最后形成决策建议每一个环节都需要严谨的逻辑和深刻的思考。模型精度高0.01当然好但一个能清晰讲述数据故事、直指业务痛点、并给出可操作建议的方案往往更能打动评委。在解题过程中不妨时常跳出技术细节问问自己“如果我是北京移动的运营总监我最关心什么这份报告能帮我做决策吗” 从数据到决策：用户体验建模实战与SHAP可解释性分析
1. 项目背景与核心挑战从赛题到现实问题的映射去年带队参加MathorCup大数据竞赛做到赛道B这道关于北京移动用户体验影响因素研究的题目时感触很深。这绝不是一个纸上谈兵的数学游戏它几乎完整复刻了一个真实商业数据分析团队在运营商内部会面临的典型困境你手上有海量的用户行为数据、网络信令数据、业务订购数据但老板只问一个问题——“哪些因素真正影响了用户的体验感知我们该怎么优化”问题二通常是最见功力的部分它要求你不仅找出影响因素还要构建可解释、可量化、甚至可预测的模型。这直接对应到运营商市场部或网络优化部门的KPI如何分配有限的营销资源或网络建设预算才能最大化提升用户满意度NPS或降低离网率很多初次接触这类题目的同学容易一头扎进模型调参的细节里却忽略了最关键的起点如何将“用户体验”这个模糊的商业概念转化为一个或多个可以被数学模型处理的、明确的“目标变量”。我们的核心挑战正在于此。用户体验是主观的但数据是客观的。我们的任务就是在这两者之间架起一座桥梁。通过分析赛题提供的数据字段我们发现能直接反映“体验”的数据可能包括网络速率上下行、网络时延、掉线率、业务使用流畅度如视频卡顿次数、客服投诉记录等。但更深入一层这些技术指标如何聚合一个下载速率很快但频繁卡顿的视频用户体验算好还是坏这就需要我们基于业务理解去构建一个或多个“体验得分”综合指标。注意在真实项目中这个“体验得分”的定义权往往需要与业务部门反复对齐。竞赛中我们需要基于数据分布和常识做出合理且可辩护的假设。2. 问题二的核心拆解从分析到建模的完整链路问题二通常不会简单地要求“做一个回归分析”。它往往被设计成有层次、有递进的若干个子问题。根据过往赛题经验我将其拆解为以下四个关键环节这构成了我们整个建模方案的骨架。2.1 目标变量Y的定义与工程化这是所有工作的基石。我们不能直接对“体验”建模必须先把它量化。直接指标选择从原始数据中筛选与体验强相关的原始指标作为Y。例如将“月度平均下载速率Mbps”或“视频业务卡顿率%”作为直接Y。这种方法简单直接但可能只反映了体验的某一个侧面。综合得分构建这是更高级也更贴近业务实际的做法。我们可以采用主成分分析PCA或因子分析FA将多个高度相关的体验指标如速率、时延、掉线率降维合成一个或少数几个“综合体验因子”作为Y。PCA能帮助我们找到这些指标背后共同的“体验潜变量”。分类问题转化有时问题会要求识别“体验差”的用户。我们可以根据业务经验设定阈值如速率低于10Mbps定义为“差体验”将Y转化为二分类变量0/1。这样问题就变成了一个分类如逻辑回归、决策树或异常检测问题。在我们的方案中我倾向于采用方法2和方法3的结合。首先用PCA构建一个连续的“综合体验得分”用于后续的回归分析探究各因素的影响强度和方向。同时设定一个阈值如得分位于后20%将用户划分为“体验优良”和“体验待提升”两类用于后续的分类模型识别高风险用户群体。2.2 特征变量X的体系化构建特征工程决定了模型天花板的一半。我们不能简单地把所有数据字段扔进模型。需要体系化地构建特征池通常分为以下几类用户属性特征套餐类型、在网时长、ARPU值、用户等级金/银/卡。这些是静态的、相对稳定的特征反映了用户的基本面。网络性能特征这是核心。包括时间维度忙时/闲时速率、空间维度常驻小区/基站的平均信号强度、干扰水平、业务维度游戏时延、网页打开成功率。需要从原始信令数据中聚合出用户级别的统计量如均值、方差、分位数P95时延比均值更有意义、劣化次数速率低于阈值的次数。业务行为特征各类APP使用时长、流量消耗、业务访问时间模式。例如夜间大量使用视频的用户对网络连续性的要求可能更高。交互与投诉特征拨打客服次数、投诉工单类型、问题解决时长。这是体验结果的直接反馈但需注意因果关系的混淆是体验差导致投诉还是投诉多的用户更敏感。衍生特征这才是体现思考深度的地方。例如“套餐-使用”错配度用户实际流量使用量 / 套餐内含流量。比值远大于1可能意味着用户常处于限速状态体验差。“网络需求-供给”差异用户密集使用高带宽业务如视频时段的平均速率与全时段平均速率的比值。体验波动性网络速率或时延的变异系数标准差/均值反映体验是否稳定。2.3 模型选型与融合策略没有“银弹”模型需要根据Y的类型和问题侧重点进行选择和融合。对于连续型Y综合体验得分线性回归/Lasso回归基准模型。Lasso可以自动进行特征选择帮助我们从上百个特征中筛选出真正重要的模型可解释性极强。我们可以通过系数大小和正负直接判断某个因素是提升还是损害了体验以及影响程度。梯度提升树如XGBoost/LightGBM主力预测模型。这类模型能自动捕捉复杂的非线性关系和特征交互预测精度通常更高。虽然可解释性不如线性模型但可以通过SHAPSHapley Additive exPlanations值进行事后解释量化每个特征对单个预测结果的贡献。对于分类型Y是否体验差逻辑回归可解释性的标杆。我们可以得到每个特征影响“体验差”概率的比值OR值。随机森林/XGBoost同样作为主力分类器追求更高的AUC或F1-score。融合策略我们采用“解释性模型预测性模型”的融合思路。先用Lasso回归筛选出关键特征子集比如前30个这个过程本身就能输出一份重要的影响因素排序报告。然后用这个特征子集去训练LightGBM模型获得更精准的预测能力。最后对LightGBM的预测结果用SHAP进行可视化解释这样既保证了精度又能深入理解模型是如何做出判断的。2.4 模型评估与业务解读竞赛不是训练完模型就结束了评估必须紧扣业务目标。回归任务不仅看R²、RMSE更要看残差分析。残差是否随机分布是否存在特定用户群如高ARPU用户的预测误差系统性偏大这能揭示模型盲区。分类任务关注精确率Precision和召回率Recall的权衡。在资源有限的情况下我们可能更追求高精确率确保我们圈定的“体验差用户”尽可能准确避免营销资源浪费还是高召回率尽可能不漏掉任何一个潜在不满用户防止离网这需要根据赛题要求设定。业务解读报告这是升华部分。输出不能只是一堆指标和图表而应是关键影响因素排行榜结合Lasso系数和SHAP平均绝对贡献值列出Top 10的影响因素。因素深度分析例如发现“忙时P95时延”是负向第一影响因子。进一步分析显示影响主要集中于中央商务区等几个重点区域。这就将问题从“什么因素重要”推进到了“在哪里重要”。用户分群与策略建议根据模型预测和特征聚类将体验待提升用户分为几类如“高价值网络敏感型”、“套餐错配型”、“弱覆盖区域型”并针对每类用户提出具体的、差异化的优化建议如网络扩容、套餐升档、推送Wi-Fi助手工具。3. 代码实现详解从数据清洗到SHAP解释的全流程这里以Python为例阐述核心代码模块。假设我们已有一个包含用户ID、各类网络指标、业务指标、用户属性的DataFramedf并已构建了连续型目标变量composite_experience_score。3.1 数据预处理与特征工程import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler, LabelEncoder from sklearn.decomposition import PCA # 1. 缺失值处理 # 对于数值特征使用中位数填充比均值对异常值更鲁棒 numeric_cols df.select_dtypes(include[np.number]).columns df[numeric_cols] df[numeric_cols].fillna(df[numeric_cols].median()) # 对于分类特征使用众数填充 categorical_cols df.select_dtypes(include[object]).columns for col in categorical_cols: df[col] df[col].fillna(df[col].mode()[0]) # 2. 分类特征编码 # 有序分类如用户等级普卡银卡金卡使用LabelEncoder le LabelEncoder() df[user_level_encoded] le.fit_transform(df[user_level]) # 无序分类如套餐类型使用独热编码但注意维度爆炸可先观察高频类别 package_dummies pd.get_dummies(df[package_type], prefixpackage, drop_firstTrue) df pd.concat([df, package_dummies], axis1) df.drop(package_type, axis1, inplaceTrue) # 3. 构建衍生特征示例 df[usage_package_mismatch] df[monthly_total_flow_GB] / (df[package_flow_GB] 1e-5) # 避免除零 df[peak_hour_speed_degradation] df[offpeak_avg_speed] / (df[peak_avg_speed] 1e-5) df[speed_volatility] df[[speed_9am, speed_2pm, speed_8pm]].std(axis1) / (df[[speed_9am, speed_2pm, speed_8pm]].mean(axis1) 1e-5) # 4. 特征缩放对线性模型和PCA很重要 scaler StandardScaler() feature_cols [col for col in df.columns if col not in [user_id, composite_experience_score]] df_scaled df.copy() df_scaled[feature_cols] scaler.fit_transform(df[feature_cols]) # 5. 可选使用PCA构建综合体验得分Y如果原始Y未给定 # 假设我们有多个原始体验指标 experience_indicators [avg_download_speed, avg_latency, video_stutter_rate, drop_call_rate] X_experience df_scaled[experience_indicators] pca PCA(n_components1) # 提取第一个主成分 df[composite_experience_score] pca.fit_transform(X_experience) # 注意第一个主成分可能代表“综合体验”但需检查载荷因子符号确保高分代表好体验。3.2 Lasso回归进行特征筛选与初步分析from sklearn.linear_model import LassoCV from sklearn.model_selection import train_test_split import matplotlib.pyplot as plt # 准备数据 X df_scaled[feature_cols] y df_scaled[composite_experience_score] # 使用标准化后的Y # 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 使用LassoCV交叉验证选择最佳alpha正则化强度 lasso_cv LassoCV(cv5, random_state42, max_iter10000) lasso_cv.fit(X_train, y_train) print(fBest alpha from CV: {lasso_cv.alpha_}) # 获取非零系数特征 coef pd.Series(lasso_cv.coef_, indexX.columns) selected_features coef[coef ! 0].index.tolist() print(fNumber of features selected by Lasso: {len(selected_features)}) print(Top 10 positive and negative coefficients:) print(coef[selected_features].sort_values(ascendingFalse).head(10)) print(coef[selected_features].sort_values().head(10)) # 可视化特征重要性系数绝对值 imp_coef coef[selected_features].sort_values() plt.figure(figsize(10, len(selected_features)//3)) imp_coef.plot(kindbarh) plt.title(Feature Importance from Lasso Regression (Coefficient)) plt.tight_layout() plt.show() # 基于筛选后的特征重新划分数据集用于后续复杂模型 X_train_selected X_train[selected_features] X_test_selected X_test[selected_features]提示Lasso筛选后一定要分析系数为正和为负的特征。例如“忙时平均速率”系数为正很好理解但“客服联系次数”系数可能为负这需要结合业务谨慎解释是体验差导致联系客服还是联系客服本身可能意味着问题未解决加剧了体验差避免将相关性误读为因果性。3.3 LightGBM建模与调优import lightgbm as lgb from sklearn.metrics import mean_squared_error, r2_score # 创建LightGBM数据集 train_data lgb.Dataset(X_train_selected, labely_train) test_data lgb.Dataset(X_test_selected, labely_test, referencetrain_data) # 设置初始参数 params { objective: regression, metric: rmse, boosting_type: gbdt, num_leaves: 31, learning_rate: 0.05, feature_fraction: 0.9, bagging_fraction: 0.8, bagging_freq: 5, verbose: -1, random_state: 42 } # 训练模型 gbm lgb.train(params, train_data, num_boost_round1000, valid_sets[test_data], callbacks[lgb.early_stopping(stopping_rounds50), lgb.log_evaluation(100)]) # 预测与评估 y_pred gbm.predict(X_test_selected, num_iterationgbm.best_iteration) rmse np.sqrt(mean_squared_error(y_test, y_pred)) r2 r2_score(y_test, y_pred) print(fLightGBM Test RMSE: {rmse:.4f}) print(fLightGBM Test R²: {r2:.4f}) # 获取特征重要性基于分裂次数或增益 lgb_importance pd.DataFrame({ feature: selected_features, importance: gbm.feature_importance(importance_typegain) # 使用gain通常比split更有意义 }).sort_values(importance, ascendingFalse) plt.figure(figsize(10, 8)) plt.barh(lgb_importance[feature][:20], lgb_importance[importance][:20]) plt.xlabel(Feature Importance (Gain)) plt.title(Top 20 Feature Importance from LightGBM) plt.gca().invert_yaxis() plt.tight_layout() plt.show()3.4 使用SHAP进行模型解释这是将“黑盒”模型变得可解释的关键一步。import shap # 创建SHAP解释器 explainer shap.TreeExplainer(gbm) shap_values explainer.shap_values(X_test_selected) # 1. 全局解释特征总体重要性与LightGBM自带的importance互相印证 shap.summary_plot(shap_values, X_test_selected, plot_typebar) # 2. 全局解释特征影响方向与分布 shap.summary_plot(shap_values, X_test_selected) # 3. 局部解释对单个样本的预测进行解释 # 例如找出测试集中预测体验最差的一个用户 worst_user_idx np.argmin(y_pred) shap.force_plot(explainer.expected_value, shap_values[worst_user_idx, :], X_test_selected.iloc[worst_user_idx, :], matplotlibTrue) # 4. 依赖图分析单个特征与SHAP值即对预测的影响的关系 # 例如分析“忙时P95时延”的影响 shap.dependence_plot(peak_p95_latency, shap_values, X_test_selected, interaction_indexNone) # 可以尝试加入交互特征看时延的影响是否随用户套餐变化 # shap.dependence_plot(peak_p95_latency, shap_values, X_test_selected, interaction_indexpackage_premium)SHAP图能告诉我们对于“忙时P95时延”这个特征其值越大时延越高SHAP值越负对体验得分贡献越负这与常识一致。更重要的是它能揭示非线性关系可能当时延低于某个阈值时影响不大但超过阈值后负面影响急剧增大。4. 方案进阶与竞赛提分要点完成基础建模和解释只是及格线。要在MathorCup这类高水平竞赛中脱颖而出必须在方案中体现深度思考和创新。4.1 引入时空动态特征与图网络移动网络数据具有强烈的时空属性。用户在不同时间工作日/周末、忙时/闲时、不同地点家、公司、通勤路上体验不同。时间序列特征将用户每天的网络指标如每小时速率视为时间序列提取趋势、周期性、波动性特征如通过傅里叶变换提取周期分量。空间关联性用户不是孤立的。同一基站下的用户会共享资源相互影响。可以尝试构建“用户-基站”二分图利用图神经网络GNN来捕捉这种空间依赖关系。一个用户的体验可能受到其地理位置邻近用户网络行为的影响。这在处理网络拥塞问题时尤其有用。4.2 处理样本不均衡与因果推断样本不均衡如果做二分类体验差用户识别差体验用户通常是少数。需要使用过采样SMOTE、欠采样或调整分类阈值如F1-score最大化的阈值以及使用代价敏感学习class_weight。因果推断尝试相关性不是因果。我们可以尝试引入一些因果推断的方法来增强结论的可靠性。例如使用倾向得分匹配PSM。假设我们想评估“从4G套餐升级到5G套餐”对体验的影响。我们不能直接比较升级和未升级用户因为他们本身可能存在差异选择升级的用户可能原本就是高价值用户。PSM可以为我们从未升级用户中找到与升级用户“相似”的对照组从而更干净地估计“处理效应Treatment Effect”。4.3 模型部署与策略模拟的思考在论文中展示模型如何落地能极大提升方案的说服力。部署架构可以简要描述一个离线实时系统。离线模型每日更新对所有用户进行体验评分和归因实时模型基于流数据对体验突然劣化的用户进行实时预警。策略模拟与ROI估算这是商业价值的核心。例如模型指出“XX区域扩容是提升体验的关键”。我们可以估算扩容成本是多少模型预测该区域有多少用户体验会提升预计能减少多少离网用户带来的客户生命周期价值LTV提升是多少进行一个简单的成本收益分析。即使数据不全做出合理的假设并进行估算也能体现商业思维。4.4 论文写作与可视化呈现竞赛最终提交的是论文。代码和模型只是工具论文才是产品。逻辑主线清晰遵循“问题定义 - 数据理解与预处理 - 特征工程 - 模型构建与选择 - 模型评估与解释 - 业务建议”的流程。图文并茂多用图表说话。除了常规的性能指标图一定要把SHAP摘要图、依赖图、特征重要性图放进去并配上精炼的文字说明解释从图中看出了什么业务洞见。突出创新点在摘要、引言和模型部分明确点出本方案的创新之处无论是特征工程的巧思如“套餐-使用错配度”、模型融合的策略LassoLightGBMSHAP还是对因果推断的初步探索。代码附录将核心、简洁、有注释的代码作为附录。评委可能会看整洁的代码是加分项。最后我想分享一点最深的体会数学建模竞赛尤其是大数据赛道比拼的从来不只是谁的模型更复杂、更前沿。它更像是一次解决真实商业问题的全流程演练。从理解业务、定义问题到清洗数据、构建特征再到选择模型、解释结果最后形成决策建议每一个环节都需要严谨的逻辑和深刻的思考。模型精度高0.01当然好但一个能清晰讲述数据故事、直指业务痛点、并给出可操作建议的方案往往更能打动评委。在解题过程中不妨时常跳出技术细节问问自己“如果我是北京移动的运营总监我最关心什么这份报告能帮我做决策吗”