1. 项目概述一次完整的国赛C题实战复盘去年国赛C题我们团队拿了个不错的奖。赛后有学弟学妹来问经验聊得最多的就是“论文怎么写”、“代码怎么跑”、“时间怎么安排”。网上资料虽然多但要么是零散的代码片段要么是过于理论化的模型讲解真正能把“从读题到交卷”全过程串起来、讲清楚、能复现的完整案例其实不多。正好借着这个机会我把我们队当时做2022年国赛C题的完整过程包括思路、模型、代码实现以及论文写作的关键点系统地梳理一遍。整个过程我们坚持用Python作为唯一工具链从数据处理、模型构建到可视化全部搞定。这篇文章的目的很直接给你一份能“抄作业”的实战指南。无论你是正在备赛的新手还是想提升实战能力的老手都能从中找到可以直接参考的代码框架、论文结构和避坑经验。我们会从最开始的题目剖析开始一步步还原我们当时的决策过程并附上完整的、可运行的Python代码和论文核心部分的撰写思路。2. 赛题核心剖析与解题思路形成2.1 题目回顾与问题本质识别2022年国赛C题的题目是关于“古代玻璃制品的成分分析与鉴别”。题目给了一批古代玻璃文物的化学成分检测数据要求我们研究成分之间的关系对文物进行分类并分析其风化规律最后还要对一批未知类别的玻璃文物进行预测。刚拿到题第一感觉是这是个典型的数据分析机器学习的综合题背景是考古但内核是数据科学。我们团队花了将近一个小时来“读题”这个时间绝对不能省。我们的分析逻辑是这样的拆解问题题目其实包含了几个子问题(1) 描述性统计与成分关联分析(2) 基于化学成分的文物分类(3) 风化前后成分变化规律研究(4) 对未知样本的类别与风化预测。这立刻决定了我们论文的结构至少要分成四个主要部分。识别数据类型数据是典型的“宽表”样本是文物特征是各种化学成分如二氧化硅、氧化钠、氧化钾等的含量百分比。这里有两个关键点一是数据是成分数据总和应为100%或接近这带来了“定和约束”问题二是含有大量缺失值尤其是风化后的成分数据。明确输出要求题目要求给出具体的分类结果、规律总结和预测结果。这意味着我们的模型不能只是个“黑箱”必须有一定的可解释性并且最终结果要以清晰的表格形式呈现。基于以上分析我们确定了核心思路以数据驱动为主结合统计分析与机器学习模型分步骤、分层级地解决问题。整个建模过程将围绕“数据预处理 - 探索性分析 - 模型构建与求解 - 结果分析与预测”这条主线展开。2.2 核心思路与模型选型背后的考量为什么选择这样的思路这是基于数学建模竞赛的特点和我们手头工具Python的优势所做的权衡。首先关于数据分析部分。成分数据不能直接套用传统的相关系数如皮尔逊相关系数。因为当一个成分增加其他成分必然减少这会带来虚假的相关性。我们查阅了文献决定采用对数比变换来处理成分数据然后再进行相关性分析和后续建模。这能有效消除定和约束的影响。对于缺失值我们根据风化机理判断部分成分如氧化钠、氧化钾在风化过程中容易流失其缺失可能本身就是“含量极低”的一种表现因此我们采用了基于KNNK近邻的缺失值填充但仅限于在同类别的样本内进行避免引入类别间的偏差。其次关于分类模型的选择。这是一个有监督分类问题但样本量不大百来个数。我们放弃了复杂的深度学习模型因为数据量支撑不起且可解释性差。我们选用了三个模型进行对比逻辑回归作为基线模型简单、可解释性强能给出特征系数便于分析哪些化学成分对分类贡献大。支持向量机对于中小规模、可能线性不可分的数据SVM通常表现稳健。我们计划使用线性核和RBF核进行对比。随机森林集成学习模型能处理非线性关系还能给出特征重要性排序这对我们分析“关键化学成分”非常有帮助。我们计划先用PCA主成分分析对处理后的数据进行降维和可视化观察类别可分性然后再用上述模型进行分类并通过交叉验证比较效果最终选择一个或组合模型作为我们的分类器。最后关于风化规律分析。这更像一个“前后对比”的问题。我们计划将风化前后的样品配对如果是同一样品不同部位或按类别计算风化前后各成分含量的平均变化率、变化方向。使用箱线图、折线图进行可视化并结合化学知识如碱金属氧化物易溶蚀进行物理解释。对于风化预测我们将其视为一个二分类问题是否风化使用分类模型如逻辑回归对未知样品的风化状态进行预测。注意模型选型没有绝对的对错关键在于自洽。你的论文必须清晰阐述为什么选A不选B并且通过实验哪怕是很简单的交叉验证准确率对比来支撑你的选择。评委最反感的就是“拍脑袋”式地用了一个复杂模型却说不清原因。3. 数据预处理建模成功的基石3.1 成分数据的特殊处理与缺失值填补数据预处理是建模中最繁琐但也最重要的一环直接决定了模型的天花板。我们的原始数据是一个Excel表格用Pandas加载后第一件事就是审视数据。import pandas as pd import numpy as np # 假设数据文件为 glass_data.xlsx df pd.read_excel(glass_data.xlsx) print(df.head()) print(df.info()) print(df.isnull().sum())面对成分数据我们首先检查了主要成分如二氧化硅、氧化钠等的样本总和。由于测量误差和微量元素的存在总和并非严格100%。我们采用了闭合变换将每个样本的所有成分含量除以该样本的成分总和再乘以100%使其归一化。但更重要的是后续的中心对数比变换。CLR变换能消除定和约束将数据映射到欧氏空间。我们使用sklearn的preprocessing模块并不直接支持需要手动实现import numpy as np def clr_transform(data): 对成分数据进行中心对数比变换。 假设输入data是一个numpy数组或pandas DataFrame行为样本列为成分。 处理前确保数据已去除零值可用一个小常数如1e-6替换。 # 防止取log(0) data data.replace(0, 1e-6) # 计算每个样本的几何均值 gmean np.exp(np.mean(np.log(data), axis1)) # CLR变换 ln(x_i / g(x)) clr_data np.log(data.div(gmean, axis0)) return clr_data # 假设df_composition是包含主要成分列的DataFrame df_composition df[[SiO2, Na2O, K2O, ...]] # 列出所有成分列 df_clr pd.DataFrame(clr_transform(df_composition.values), columnsdf_composition.columns, indexdf_composition.index)对于缺失值我们进行了区分处理。对于类别标签已知的样本我们按类别分组使用KNNImputer进行填充。关键是n_neighbors参数要设小一点比如3或5并且只在同类别内寻找近邻这样可以保持类别内的数据结构。from sklearn.impute import KNNImputer def impute_within_group(df, group_col, feature_cols): 在每组内对特征列进行KNN缺失值填充。 imputed_dfs [] for name, group in df.groupby(group_col): imputer KNNImputer(n_neighbors3) group_imputed group.copy() group_imputed[feature_cols] imputer.fit_transform(group[feature_cols]) imputed_dfs.append(group_imputed) return pd.concat(imputed_dfs, ignore_indexTrue) # 假设‘类型’是已知的类别列 df_imputed impute_within_group(df, group_col类型, feature_colsdf_clr.columns.tolist())3.2 特征工程与探索性数据分析数据处理好后我们进行了深入的EDA。这不仅能帮助我们理解数据还能为后续建模提供灵感。描述性统计计算了各类别文物各成分的平均值、中位数、标准差制作成表格放入论文附录。这能直观展示不同类别玻璃的成分差异。相关性分析对CLR变换后的数据计算斯皮尔曼秩相关系数对异常值更稳健并绘制热力图。我们发现了一些强相关/负相关的成分对这可能在物理上反映了制备工艺或原料来源的关联。可视化PCA降维散点图将CLR数据降至2维或3维按类别着色绘制散点图。这是非常关键的一步它能直观告诉我们这些类别在成分空间里是否可分。如果PCA图上类别已经混在一起那分类模型的预期准确率就不会太高。箱线图按类别绘制关键成分如SiO2, Na2O的箱线图观察其分布差异和异常值。import matplotlib.pyplot as plt import seaborn as sns from sklearn.decomposition import PCA # PCA可视化 pca PCA(n_components2) X_pca pca.fit_transform(df_imputed[feature_cols]) # feature_cols是CLR变换后的特征列 plt.figure(figsize(10,8)) scatter plt.scatter(X_pca[:, 0], X_pca[:, 1], cdf_imputed[类型].astype(category).cat.codes, cmapviridis, alpha0.7) plt.xlabel(PC1 (解释方差: {:.2f}%).format(pca.explained_variance_ratio_[0]*100)) plt.ylabel(PC2 (解释方差: {:.2f}%).format(pca.explained_variance_ratio_[1]*100)) plt.title(PCA Plot of Glass Samples by Type) plt.legend(*scatter.legend_elements(), titleTypes) plt.grid(True, linestyle--, alpha0.5) plt.show()EDA的结果直接指导了后续建模从PCA图上看某些类别区分度较好这增强了我们使用分类模型的信心而箱线图则提示我们某些成分在不同类别间的中位数差异显著这些成分很可能成为分类的关键特征。4. 模型构建、求解与结果分析4.1 分类模型实现与对比验证我们将数据分为训练集和测试集比例通常为7:3或8:2。由于样本量不大我们更倾向于使用分层K折交叉验证来评估模型这比单次划分更稳健。from sklearn.model_selection import StratifiedKFold, cross_val_score, train_test_split from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from sklearn.preprocessing import StandardScaler # 准备数据 X df_imputed[feature_cols].values y df_imputed[类型].values # 假设‘类型’是目标列 # 标准化对LR和SVM很重要 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 划分训练集和最终测试集 X_train, X_test, y_train, y_test train_test_split(X_scaled, y, test_size0.2, stratifyy, random_state42) # 初始化模型 models { LR: LogisticRegression(max_iter1000, random_state42), SVM_linear: SVC(kernellinear, random_state42), SVM_rbf: SVC(kernelrbf, random_state42), RF: RandomForestClassifier(n_estimators100, random_state42) } # 使用交叉验证比较模型 cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) results {} for name, model in models.items(): cv_scores cross_val_score(model, X_train, y_train, cvcv, scoringaccuracy) results[name] { mean_cv_accuracy: cv_scores.mean(), std_cv_accuracy: cv_scores.std(), cv_scores: cv_scores } print(f{name}: 平均交叉验证准确率 {cv_scores.mean():.4f} (/- {cv_scores.std():.4f})) # 选择表现最好的模型在测试集上做最终评估 best_model_name max(results, keylambda x: results[x][mean_cv_accuracy]) best_model models[best_model_name] best_model.fit(X_train, y_train) test_accuracy best_model.score(X_test, y_test) print(f\n最佳模型 [{best_model_name}] 在独立测试集上的准确率: {test_accuracy:.4f})在实际操作中我们发现随机森林的交叉验证准确率最稳定且最高同时它给出的特征重要性排名对我们后续的“关键成分分析”极为有用。SVM with RBF核虽然有时也能达到相近精度但训练时间更长且可解释性不如随机森林。逻辑回归作为线性模型在这个非线性可能较强的数据上表现稍逊。因此我们选择随机森林作为主分类模型。4.2 风化规律分析与预测模型对于风化规律我们首先将已知的、有风化前后配对数据或明确风化标识的样本筛选出来。分析步骤如下计算变化率对于配对样本计算(风化后含量 - 风化前含量) / 风化前含量。对于按类别统计的则计算风化组与非风化组各成分的平均值差异。可视化用分组柱状图展示各成分在风化前后的平均含量变化用折线图展示变化率趋势。例如我们清晰地看到Na2O、K2O等碱金属氧化物含量显著下降而SiO2、Al2O3等相对稳定或略有升高相对比例上升。规律总结结合化学知识进行解释。例如“风化过程主要表现为环境中的水与玻璃网络中的碱金属离子发生离子交换或溶蚀导致Na2O、K2O流失而SiO2等形成网络骨架的氧化物相对含量因此升高。”对于“预测未知样品是否风化”我们将其构建为一个二分类任务。特征同样是化学成分含量经过CLR变换标签是“风化”或“未风化”。采用与主分类类似的流程数据预处理、模型选择。这里我们使用了梯度提升树因为它通常对表格数据有很好的效果。from sklearn.ensemble import GradientBoostingClassifier from sklearn.metrics import classification_report, confusion_matrix # 假设 df_weathering 是包含风化标签‘是否风化’(0/1)的数据 X_w df_weathering[feature_cols].values y_w df_weathering[是否风化].values # 划分、标准化、建模、评估流程与主分类类似 # ... gbc GradientBoostingClassifier(n_estimators100, random_state42) gbc.fit(X_train_w, y_train_w) y_pred_w gbc.predict(X_test_w) print(classification_report(y_test_w, y_pred_w)) # 输出精确率、召回率、F1-score等详细指标4.3 结果整合与论文图表生成模型跑出结果只是第一步如何清晰、专业地呈现在论文里更重要。分类结果表将未知样本的预测类别、预测概率随机森林的predict_proba整理成表格。表格设计要清晰表头注明样本编号、预测类型、属于各类别的概率取前两位。风化预测结果表类似地整理未知样本的风化状态预测结果。关键图表特征重要性图用随机森林的feature_importances_属性绘制水平条形图展示对分类最重要的前10个化学成分。这是论文的亮点能将数据挖掘与物理背景联系起来。混淆矩阵热力图展示模型在测试集上的详细分类情况直观显示哪些类别容易混淆。风化成分变化图前面提到的分组柱状图或折线图。# 绘制特征重要性图 importances best_model.feature_importances_ # 假设best_model是训练好的随机森林 indices np.argsort(importances)[::-1][:10] # 取前10个重要特征 plt.figure(figsize(10,6)) plt.title(Top 10 Feature Importances for Classification) plt.barh(range(10), importances[indices], aligncenter) plt.yticks(range(10), [feature_cols[i] for i in indices]) plt.xlabel(Relative Importance) plt.gca().invert_yaxis() # 最重要的在最上面 plt.tight_layout() plt.savefig(feature_importance.png, dpi300) # 保存高清图用于论文 plt.show()实操心得论文中的图表务必高清、规范。保存图片时用dpi300或更高。坐标轴标签、图例要清晰。表格使用三线表。这些细节能极大提升论文的专业观感。评委在快速浏览时清晰美观的图表能第一时间抓住眼球。5. 完整论文框架与写作要点数学建模竞赛论文是最终交付物其重要性不亚于模型本身。我们的论文结构严格遵循了“问题重述 - 模型假设 - 符号说明 - 模型建立与求解 - 结果分析 - 模型评价与推广”的经典框架但在每个部分都注入了我们自己的思考。5.1 摘要与问题重述的写法摘要是论文的门面必须精炼、完整。我们采用“模板化”但内容充实的方式来写第一段总述针对2022年国赛C题“古代玻璃制品成分分析与鉴别”本文构建了一套基于成分数据分析的综合模型。首先对成分数据进行中心对数比变换以消除定和约束并采用KNN方法进行缺失值填补。第二段方法概述针对分类问题采用主成分分析进行可视化探索并对比了逻辑回归、支持向量机和随机森林模型最终选取随机森林作为分类器其交叉验证准确率达XX%。针对风化分析计算了成分变化率总结了“碱金属流失”等规律并利用梯度提升树预测了未知样品风化状态。第三段关键结果模型成功将未知样品分为A、B等类关键鉴别成分为SiO2、Na2O等。预测了所有未知样品是否风化。本文方法具有较好的鲁棒性和可解释性。注意XX处填入你的实际结果切勿写“较高”、“较好”等模糊词问题重述不是简单抄题。我们用更简洁、更数学化的语言将四个子问题重新表述了一遍并明确了每个问题的输入、输出和核心任务。这显示了我们对题目的深刻理解。5.2 模型建立与求解部分的细节填充这是论文的核心章节我们分成了四个小节对应四个子问题。数据预处理与探索性分析模型详细阐述CLR变换的原理、公式及为何要使用它。说明KNN填补缺失值的具体步骤和参数选择依据。展示PCA可视化图并描述观察到的现象如类别可分性。玻璃文物分类模型这是重点。先讲清楚为什么选择随机森林基于交叉验证结果对比。给出随机森林的基本原理不必过于深入但要点到决策树、Bagging、特征重要性。给出模型的关键参数如n_estimators100, max_depthNone等及设置理由。最后给出分类结果混淆矩阵、准确率和特征重要性分析。风化规律分析模型定义“变化率”的计算公式。展示风化前后成分含量对比图柱状图。结合图表分点陈述发现的规律如规律一Na2O、K2O含量显著降低规律二SiO2、Al2O3相对含量升高规律三...。每个规律都尝试从化学角度给出简要解释。未知样品预测模型说明如何将分类和风化预测模型应用到未知数据上。给出最终的预测结果表格作为附件。这里可以简要提及模型的稳健性。5.3 模型评价、优缺点与推广模型评价不能只说“好”。我们设计了几个维度准确性交叉验证准确率、测试集准确率、F1-score等量化指标。稳健性通过在不同随机种子下运行模型观察结果波动。可解释性随机森林提供了特征重要性逻辑回归提供了系数这使得模型决策过程相对透明。计算效率在个人电脑上整个流程预处理到预测可在X分钟内完成。优缺点分析要客观优点流程完整处理了成分数据的特殊性模型对比充分选择合理结果具有可解释性。缺点样本量较小可能影响复杂模型的性能对风化过程的物理化学建模较为浅显受限于赛题时间和数据对于严重风化的样品成分数据失真可能影响预测。模型推广可以谈谈该方法稍作调整后可用于其他领域的成分数据分析如地质岩石分类、合金材料鉴别等。6. 代码组织、调试与常见问题实录6.1 可复现的代码工程结构竞赛时间紧但代码不能乱。我们建立了一个清晰的目录结构这大大提升了协作和调试效率。2022_国赛C题_代码/ ├── data/ │ ├── raw/ # 存放原始赛题数据 │ └── processed/ # 存放处理后的中间数据如填充缺失值后、CLR变换后 ├── src/ │ ├── 01_data_preprocessing.py # 数据加载、清洗、CLR变换、缺失值填补 │ ├── 02_eda.py # 探索性数据分析绘制PCA、相关性热图等 │ ├── 03_classification_model.py # 分类模型训练、评估、特征重要性分析 │ ├── 04_weathering_analysis.py # 风化规律分析、风化预测模型 │ └── 05_generate_results.py # 整合结果生成论文所需的最终表格和图表 ├── output/ │ ├── figures/ # 保存所有生成的图表PNG/PDF格式 │ └── tables/ # 保存预测结果等CSV文件 ├── requirements.txt # Python依赖包列表 └── README.md # 项目说明包括运行顺序每个脚本都设计为模块化的通过函数封装主要功能。关键步骤添加详细注释。使用argparse或直接设置全局变量来控制文件路径和关键参数方便调整。6.2 实战中遇到的典型问题与解决方案问题CLR变换遇到零值或负值。现象计算几何均值时np.log遇到0或负值报错。排查检查原始数据发现部分成分含量检测值为“0”或“-”表示未检出或低于检测限。解决将所有非正数0替换为一个极小的正数如1e-6这是一种常见的成分数据处理方法。在论文中需要说明这一处理及其可能带来的微小偏差。问题分类模型准确率始终很低60%。现象尝试了多种模型和参数准确率都上不去。排查首先回头检查PCA图发现样本点本身在降维后就是混杂的说明特征本身的区分能力有限。其次检查数据预处理是否不当比如没有做标准化影响SVM、LR或者缺失值填充方法破坏了数据结构。解决接受数据本身区分度有限的事实将重点从一味追求高精度转移到模型的可解释性和稳定性上。在论文中如实汇报交叉验证结果并深入分析特征重要性找出那些“相对”重要的成分结合考古学背景进行讨论这反而能体现你的分析深度。问题随机森林的特征重要性总和不为1或某些特征重要性为负。现象使用sklearn的随机森林时发现feature_importances_之和大于1或小于1甚至有个别负值在极端情况下。排查这通常是因为存在高度相关的特征或者使用了bootstrapFalse等参数导致的不稳定估计。解决使用排列重要性作为替代。sklearn提供了permutation_importance函数它通过打乱某个特征的值看模型性能下降程度来评估重要性更可靠。from sklearn.inspection import permutation_importance result permutation_importance(best_model, X_test, y_test, n_repeats10, random_state42) sorted_idx result.importances_mean.argsort()[::-1] # 然后使用 result.importances_mean[sorted_idx] 和对应的特征名进行绘图问题论文图表在Word里模糊。现象Matplotlib生成的图插入Word后打印或放大看很模糊。解决保存图像时指定高DPI和合适的格式。plt.savefig(output/figures/pca_plot.png, dpi300, bbox_inchestight) # 或者保存为矢量图无限清晰 plt.savefig(output/figures/pca_plot.pdf, bbox_inchestight)在Word中尽量插入PDF或EMF格式的矢量图。6.3 时间管理与合作心得国赛就三天时间管理至关重要。我们队的大致时间线第一天上午全力读题、讨论、确定初步思路。完成数据初步查看和简单的EDA。第一天下午晚上完成数据预处理全套流程清洗、变换、填补并完成第一个子问题描述统计、关联分析的代码和论文初稿。第二天全天主攻分类模型。尝试不同模型、调参、评估确定最终模型。完成分类部分的代码、结果分析和论文撰写。同时开始构思风化分析部分。第三天上午完成风化规律分析和预测模型。整合所有结果生成最终预测表格和图表。第三天下午通宵论文合稿、修改、润色、检查。这是最紧张的阶段要留足时间给写作。代码和论文的最终版本必须在这时冻结。合作技巧我们使用Git进行代码版本管理即使只是本地仓库避免覆盖队友的工作。论文用Overleaf在线LaTeX编写可以实时协作。每天固定时间开短会同步进度和问题。最重要的一个队友专门负责“写作”他/她不一定敲最多代码但负责将大家的成果整合成流畅的论文并时刻关注格式和表达。这个人非常重要。最后提交前务必检查论文PDF里所有图表编号是否正确、引用是否对应承诺的附件代码、数据结果是否齐全摘要里的关键数字是否与正文一致这些细节上的失误非常可惜。通过这样一次完整的实战你收获的将不仅是奖项更是一套解决复杂数据问题的标准化思维和工程化能力。 国赛C题实战复盘：Python数据分析与机器学习建模全流程解析
1. 项目概述一次完整的国赛C题实战复盘去年国赛C题我们团队拿了个不错的奖。赛后有学弟学妹来问经验聊得最多的就是“论文怎么写”、“代码怎么跑”、“时间怎么安排”。网上资料虽然多但要么是零散的代码片段要么是过于理论化的模型讲解真正能把“从读题到交卷”全过程串起来、讲清楚、能复现的完整案例其实不多。正好借着这个机会我把我们队当时做2022年国赛C题的完整过程包括思路、模型、代码实现以及论文写作的关键点系统地梳理一遍。整个过程我们坚持用Python作为唯一工具链从数据处理、模型构建到可视化全部搞定。这篇文章的目的很直接给你一份能“抄作业”的实战指南。无论你是正在备赛的新手还是想提升实战能力的老手都能从中找到可以直接参考的代码框架、论文结构和避坑经验。我们会从最开始的题目剖析开始一步步还原我们当时的决策过程并附上完整的、可运行的Python代码和论文核心部分的撰写思路。2. 赛题核心剖析与解题思路形成2.1 题目回顾与问题本质识别2022年国赛C题的题目是关于“古代玻璃制品的成分分析与鉴别”。题目给了一批古代玻璃文物的化学成分检测数据要求我们研究成分之间的关系对文物进行分类并分析其风化规律最后还要对一批未知类别的玻璃文物进行预测。刚拿到题第一感觉是这是个典型的数据分析机器学习的综合题背景是考古但内核是数据科学。我们团队花了将近一个小时来“读题”这个时间绝对不能省。我们的分析逻辑是这样的拆解问题题目其实包含了几个子问题(1) 描述性统计与成分关联分析(2) 基于化学成分的文物分类(3) 风化前后成分变化规律研究(4) 对未知样本的类别与风化预测。这立刻决定了我们论文的结构至少要分成四个主要部分。识别数据类型数据是典型的“宽表”样本是文物特征是各种化学成分如二氧化硅、氧化钠、氧化钾等的含量百分比。这里有两个关键点一是数据是成分数据总和应为100%或接近这带来了“定和约束”问题二是含有大量缺失值尤其是风化后的成分数据。明确输出要求题目要求给出具体的分类结果、规律总结和预测结果。这意味着我们的模型不能只是个“黑箱”必须有一定的可解释性并且最终结果要以清晰的表格形式呈现。基于以上分析我们确定了核心思路以数据驱动为主结合统计分析与机器学习模型分步骤、分层级地解决问题。整个建模过程将围绕“数据预处理 - 探索性分析 - 模型构建与求解 - 结果分析与预测”这条主线展开。2.2 核心思路与模型选型背后的考量为什么选择这样的思路这是基于数学建模竞赛的特点和我们手头工具Python的优势所做的权衡。首先关于数据分析部分。成分数据不能直接套用传统的相关系数如皮尔逊相关系数。因为当一个成分增加其他成分必然减少这会带来虚假的相关性。我们查阅了文献决定采用对数比变换来处理成分数据然后再进行相关性分析和后续建模。这能有效消除定和约束的影响。对于缺失值我们根据风化机理判断部分成分如氧化钠、氧化钾在风化过程中容易流失其缺失可能本身就是“含量极低”的一种表现因此我们采用了基于KNNK近邻的缺失值填充但仅限于在同类别的样本内进行避免引入类别间的偏差。其次关于分类模型的选择。这是一个有监督分类问题但样本量不大百来个数。我们放弃了复杂的深度学习模型因为数据量支撑不起且可解释性差。我们选用了三个模型进行对比逻辑回归作为基线模型简单、可解释性强能给出特征系数便于分析哪些化学成分对分类贡献大。支持向量机对于中小规模、可能线性不可分的数据SVM通常表现稳健。我们计划使用线性核和RBF核进行对比。随机森林集成学习模型能处理非线性关系还能给出特征重要性排序这对我们分析“关键化学成分”非常有帮助。我们计划先用PCA主成分分析对处理后的数据进行降维和可视化观察类别可分性然后再用上述模型进行分类并通过交叉验证比较效果最终选择一个或组合模型作为我们的分类器。最后关于风化规律分析。这更像一个“前后对比”的问题。我们计划将风化前后的样品配对如果是同一样品不同部位或按类别计算风化前后各成分含量的平均变化率、变化方向。使用箱线图、折线图进行可视化并结合化学知识如碱金属氧化物易溶蚀进行物理解释。对于风化预测我们将其视为一个二分类问题是否风化使用分类模型如逻辑回归对未知样品的风化状态进行预测。注意模型选型没有绝对的对错关键在于自洽。你的论文必须清晰阐述为什么选A不选B并且通过实验哪怕是很简单的交叉验证准确率对比来支撑你的选择。评委最反感的就是“拍脑袋”式地用了一个复杂模型却说不清原因。3. 数据预处理建模成功的基石3.1 成分数据的特殊处理与缺失值填补数据预处理是建模中最繁琐但也最重要的一环直接决定了模型的天花板。我们的原始数据是一个Excel表格用Pandas加载后第一件事就是审视数据。import pandas as pd import numpy as np # 假设数据文件为 glass_data.xlsx df pd.read_excel(glass_data.xlsx) print(df.head()) print(df.info()) print(df.isnull().sum())面对成分数据我们首先检查了主要成分如二氧化硅、氧化钠等的样本总和。由于测量误差和微量元素的存在总和并非严格100%。我们采用了闭合变换将每个样本的所有成分含量除以该样本的成分总和再乘以100%使其归一化。但更重要的是后续的中心对数比变换。CLR变换能消除定和约束将数据映射到欧氏空间。我们使用sklearn的preprocessing模块并不直接支持需要手动实现import numpy as np def clr_transform(data): 对成分数据进行中心对数比变换。 假设输入data是一个numpy数组或pandas DataFrame行为样本列为成分。 处理前确保数据已去除零值可用一个小常数如1e-6替换。 # 防止取log(0) data data.replace(0, 1e-6) # 计算每个样本的几何均值 gmean np.exp(np.mean(np.log(data), axis1)) # CLR变换 ln(x_i / g(x)) clr_data np.log(data.div(gmean, axis0)) return clr_data # 假设df_composition是包含主要成分列的DataFrame df_composition df[[SiO2, Na2O, K2O, ...]] # 列出所有成分列 df_clr pd.DataFrame(clr_transform(df_composition.values), columnsdf_composition.columns, indexdf_composition.index)对于缺失值我们进行了区分处理。对于类别标签已知的样本我们按类别分组使用KNNImputer进行填充。关键是n_neighbors参数要设小一点比如3或5并且只在同类别内寻找近邻这样可以保持类别内的数据结构。from sklearn.impute import KNNImputer def impute_within_group(df, group_col, feature_cols): 在每组内对特征列进行KNN缺失值填充。 imputed_dfs [] for name, group in df.groupby(group_col): imputer KNNImputer(n_neighbors3) group_imputed group.copy() group_imputed[feature_cols] imputer.fit_transform(group[feature_cols]) imputed_dfs.append(group_imputed) return pd.concat(imputed_dfs, ignore_indexTrue) # 假设‘类型’是已知的类别列 df_imputed impute_within_group(df, group_col类型, feature_colsdf_clr.columns.tolist())3.2 特征工程与探索性数据分析数据处理好后我们进行了深入的EDA。这不仅能帮助我们理解数据还能为后续建模提供灵感。描述性统计计算了各类别文物各成分的平均值、中位数、标准差制作成表格放入论文附录。这能直观展示不同类别玻璃的成分差异。相关性分析对CLR变换后的数据计算斯皮尔曼秩相关系数对异常值更稳健并绘制热力图。我们发现了一些强相关/负相关的成分对这可能在物理上反映了制备工艺或原料来源的关联。可视化PCA降维散点图将CLR数据降至2维或3维按类别着色绘制散点图。这是非常关键的一步它能直观告诉我们这些类别在成分空间里是否可分。如果PCA图上类别已经混在一起那分类模型的预期准确率就不会太高。箱线图按类别绘制关键成分如SiO2, Na2O的箱线图观察其分布差异和异常值。import matplotlib.pyplot as plt import seaborn as sns from sklearn.decomposition import PCA # PCA可视化 pca PCA(n_components2) X_pca pca.fit_transform(df_imputed[feature_cols]) # feature_cols是CLR变换后的特征列 plt.figure(figsize(10,8)) scatter plt.scatter(X_pca[:, 0], X_pca[:, 1], cdf_imputed[类型].astype(category).cat.codes, cmapviridis, alpha0.7) plt.xlabel(PC1 (解释方差: {:.2f}%).format(pca.explained_variance_ratio_[0]*100)) plt.ylabel(PC2 (解释方差: {:.2f}%).format(pca.explained_variance_ratio_[1]*100)) plt.title(PCA Plot of Glass Samples by Type) plt.legend(*scatter.legend_elements(), titleTypes) plt.grid(True, linestyle--, alpha0.5) plt.show()EDA的结果直接指导了后续建模从PCA图上看某些类别区分度较好这增强了我们使用分类模型的信心而箱线图则提示我们某些成分在不同类别间的中位数差异显著这些成分很可能成为分类的关键特征。4. 模型构建、求解与结果分析4.1 分类模型实现与对比验证我们将数据分为训练集和测试集比例通常为7:3或8:2。由于样本量不大我们更倾向于使用分层K折交叉验证来评估模型这比单次划分更稳健。from sklearn.model_selection import StratifiedKFold, cross_val_score, train_test_split from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from sklearn.preprocessing import StandardScaler # 准备数据 X df_imputed[feature_cols].values y df_imputed[类型].values # 假设‘类型’是目标列 # 标准化对LR和SVM很重要 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 划分训练集和最终测试集 X_train, X_test, y_train, y_test train_test_split(X_scaled, y, test_size0.2, stratifyy, random_state42) # 初始化模型 models { LR: LogisticRegression(max_iter1000, random_state42), SVM_linear: SVC(kernellinear, random_state42), SVM_rbf: SVC(kernelrbf, random_state42), RF: RandomForestClassifier(n_estimators100, random_state42) } # 使用交叉验证比较模型 cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) results {} for name, model in models.items(): cv_scores cross_val_score(model, X_train, y_train, cvcv, scoringaccuracy) results[name] { mean_cv_accuracy: cv_scores.mean(), std_cv_accuracy: cv_scores.std(), cv_scores: cv_scores } print(f{name}: 平均交叉验证准确率 {cv_scores.mean():.4f} (/- {cv_scores.std():.4f})) # 选择表现最好的模型在测试集上做最终评估 best_model_name max(results, keylambda x: results[x][mean_cv_accuracy]) best_model models[best_model_name] best_model.fit(X_train, y_train) test_accuracy best_model.score(X_test, y_test) print(f\n最佳模型 [{best_model_name}] 在独立测试集上的准确率: {test_accuracy:.4f})在实际操作中我们发现随机森林的交叉验证准确率最稳定且最高同时它给出的特征重要性排名对我们后续的“关键成分分析”极为有用。SVM with RBF核虽然有时也能达到相近精度但训练时间更长且可解释性不如随机森林。逻辑回归作为线性模型在这个非线性可能较强的数据上表现稍逊。因此我们选择随机森林作为主分类模型。4.2 风化规律分析与预测模型对于风化规律我们首先将已知的、有风化前后配对数据或明确风化标识的样本筛选出来。分析步骤如下计算变化率对于配对样本计算(风化后含量 - 风化前含量) / 风化前含量。对于按类别统计的则计算风化组与非风化组各成分的平均值差异。可视化用分组柱状图展示各成分在风化前后的平均含量变化用折线图展示变化率趋势。例如我们清晰地看到Na2O、K2O等碱金属氧化物含量显著下降而SiO2、Al2O3等相对稳定或略有升高相对比例上升。规律总结结合化学知识进行解释。例如“风化过程主要表现为环境中的水与玻璃网络中的碱金属离子发生离子交换或溶蚀导致Na2O、K2O流失而SiO2等形成网络骨架的氧化物相对含量因此升高。”对于“预测未知样品是否风化”我们将其构建为一个二分类任务。特征同样是化学成分含量经过CLR变换标签是“风化”或“未风化”。采用与主分类类似的流程数据预处理、模型选择。这里我们使用了梯度提升树因为它通常对表格数据有很好的效果。from sklearn.ensemble import GradientBoostingClassifier from sklearn.metrics import classification_report, confusion_matrix # 假设 df_weathering 是包含风化标签‘是否风化’(0/1)的数据 X_w df_weathering[feature_cols].values y_w df_weathering[是否风化].values # 划分、标准化、建模、评估流程与主分类类似 # ... gbc GradientBoostingClassifier(n_estimators100, random_state42) gbc.fit(X_train_w, y_train_w) y_pred_w gbc.predict(X_test_w) print(classification_report(y_test_w, y_pred_w)) # 输出精确率、召回率、F1-score等详细指标4.3 结果整合与论文图表生成模型跑出结果只是第一步如何清晰、专业地呈现在论文里更重要。分类结果表将未知样本的预测类别、预测概率随机森林的predict_proba整理成表格。表格设计要清晰表头注明样本编号、预测类型、属于各类别的概率取前两位。风化预测结果表类似地整理未知样本的风化状态预测结果。关键图表特征重要性图用随机森林的feature_importances_属性绘制水平条形图展示对分类最重要的前10个化学成分。这是论文的亮点能将数据挖掘与物理背景联系起来。混淆矩阵热力图展示模型在测试集上的详细分类情况直观显示哪些类别容易混淆。风化成分变化图前面提到的分组柱状图或折线图。# 绘制特征重要性图 importances best_model.feature_importances_ # 假设best_model是训练好的随机森林 indices np.argsort(importances)[::-1][:10] # 取前10个重要特征 plt.figure(figsize(10,6)) plt.title(Top 10 Feature Importances for Classification) plt.barh(range(10), importances[indices], aligncenter) plt.yticks(range(10), [feature_cols[i] for i in indices]) plt.xlabel(Relative Importance) plt.gca().invert_yaxis() # 最重要的在最上面 plt.tight_layout() plt.savefig(feature_importance.png, dpi300) # 保存高清图用于论文 plt.show()实操心得论文中的图表务必高清、规范。保存图片时用dpi300或更高。坐标轴标签、图例要清晰。表格使用三线表。这些细节能极大提升论文的专业观感。评委在快速浏览时清晰美观的图表能第一时间抓住眼球。5. 完整论文框架与写作要点数学建模竞赛论文是最终交付物其重要性不亚于模型本身。我们的论文结构严格遵循了“问题重述 - 模型假设 - 符号说明 - 模型建立与求解 - 结果分析 - 模型评价与推广”的经典框架但在每个部分都注入了我们自己的思考。5.1 摘要与问题重述的写法摘要是论文的门面必须精炼、完整。我们采用“模板化”但内容充实的方式来写第一段总述针对2022年国赛C题“古代玻璃制品成分分析与鉴别”本文构建了一套基于成分数据分析的综合模型。首先对成分数据进行中心对数比变换以消除定和约束并采用KNN方法进行缺失值填补。第二段方法概述针对分类问题采用主成分分析进行可视化探索并对比了逻辑回归、支持向量机和随机森林模型最终选取随机森林作为分类器其交叉验证准确率达XX%。针对风化分析计算了成分变化率总结了“碱金属流失”等规律并利用梯度提升树预测了未知样品风化状态。第三段关键结果模型成功将未知样品分为A、B等类关键鉴别成分为SiO2、Na2O等。预测了所有未知样品是否风化。本文方法具有较好的鲁棒性和可解释性。注意XX处填入你的实际结果切勿写“较高”、“较好”等模糊词问题重述不是简单抄题。我们用更简洁、更数学化的语言将四个子问题重新表述了一遍并明确了每个问题的输入、输出和核心任务。这显示了我们对题目的深刻理解。5.2 模型建立与求解部分的细节填充这是论文的核心章节我们分成了四个小节对应四个子问题。数据预处理与探索性分析模型详细阐述CLR变换的原理、公式及为何要使用它。说明KNN填补缺失值的具体步骤和参数选择依据。展示PCA可视化图并描述观察到的现象如类别可分性。玻璃文物分类模型这是重点。先讲清楚为什么选择随机森林基于交叉验证结果对比。给出随机森林的基本原理不必过于深入但要点到决策树、Bagging、特征重要性。给出模型的关键参数如n_estimators100, max_depthNone等及设置理由。最后给出分类结果混淆矩阵、准确率和特征重要性分析。风化规律分析模型定义“变化率”的计算公式。展示风化前后成分含量对比图柱状图。结合图表分点陈述发现的规律如规律一Na2O、K2O含量显著降低规律二SiO2、Al2O3相对含量升高规律三...。每个规律都尝试从化学角度给出简要解释。未知样品预测模型说明如何将分类和风化预测模型应用到未知数据上。给出最终的预测结果表格作为附件。这里可以简要提及模型的稳健性。5.3 模型评价、优缺点与推广模型评价不能只说“好”。我们设计了几个维度准确性交叉验证准确率、测试集准确率、F1-score等量化指标。稳健性通过在不同随机种子下运行模型观察结果波动。可解释性随机森林提供了特征重要性逻辑回归提供了系数这使得模型决策过程相对透明。计算效率在个人电脑上整个流程预处理到预测可在X分钟内完成。优缺点分析要客观优点流程完整处理了成分数据的特殊性模型对比充分选择合理结果具有可解释性。缺点样本量较小可能影响复杂模型的性能对风化过程的物理化学建模较为浅显受限于赛题时间和数据对于严重风化的样品成分数据失真可能影响预测。模型推广可以谈谈该方法稍作调整后可用于其他领域的成分数据分析如地质岩石分类、合金材料鉴别等。6. 代码组织、调试与常见问题实录6.1 可复现的代码工程结构竞赛时间紧但代码不能乱。我们建立了一个清晰的目录结构这大大提升了协作和调试效率。2022_国赛C题_代码/ ├── data/ │ ├── raw/ # 存放原始赛题数据 │ └── processed/ # 存放处理后的中间数据如填充缺失值后、CLR变换后 ├── src/ │ ├── 01_data_preprocessing.py # 数据加载、清洗、CLR变换、缺失值填补 │ ├── 02_eda.py # 探索性数据分析绘制PCA、相关性热图等 │ ├── 03_classification_model.py # 分类模型训练、评估、特征重要性分析 │ ├── 04_weathering_analysis.py # 风化规律分析、风化预测模型 │ └── 05_generate_results.py # 整合结果生成论文所需的最终表格和图表 ├── output/ │ ├── figures/ # 保存所有生成的图表PNG/PDF格式 │ └── tables/ # 保存预测结果等CSV文件 ├── requirements.txt # Python依赖包列表 └── README.md # 项目说明包括运行顺序每个脚本都设计为模块化的通过函数封装主要功能。关键步骤添加详细注释。使用argparse或直接设置全局变量来控制文件路径和关键参数方便调整。6.2 实战中遇到的典型问题与解决方案问题CLR变换遇到零值或负值。现象计算几何均值时np.log遇到0或负值报错。排查检查原始数据发现部分成分含量检测值为“0”或“-”表示未检出或低于检测限。解决将所有非正数0替换为一个极小的正数如1e-6这是一种常见的成分数据处理方法。在论文中需要说明这一处理及其可能带来的微小偏差。问题分类模型准确率始终很低60%。现象尝试了多种模型和参数准确率都上不去。排查首先回头检查PCA图发现样本点本身在降维后就是混杂的说明特征本身的区分能力有限。其次检查数据预处理是否不当比如没有做标准化影响SVM、LR或者缺失值填充方法破坏了数据结构。解决接受数据本身区分度有限的事实将重点从一味追求高精度转移到模型的可解释性和稳定性上。在论文中如实汇报交叉验证结果并深入分析特征重要性找出那些“相对”重要的成分结合考古学背景进行讨论这反而能体现你的分析深度。问题随机森林的特征重要性总和不为1或某些特征重要性为负。现象使用sklearn的随机森林时发现feature_importances_之和大于1或小于1甚至有个别负值在极端情况下。排查这通常是因为存在高度相关的特征或者使用了bootstrapFalse等参数导致的不稳定估计。解决使用排列重要性作为替代。sklearn提供了permutation_importance函数它通过打乱某个特征的值看模型性能下降程度来评估重要性更可靠。from sklearn.inspection import permutation_importance result permutation_importance(best_model, X_test, y_test, n_repeats10, random_state42) sorted_idx result.importances_mean.argsort()[::-1] # 然后使用 result.importances_mean[sorted_idx] 和对应的特征名进行绘图问题论文图表在Word里模糊。现象Matplotlib生成的图插入Word后打印或放大看很模糊。解决保存图像时指定高DPI和合适的格式。plt.savefig(output/figures/pca_plot.png, dpi300, bbox_inchestight) # 或者保存为矢量图无限清晰 plt.savefig(output/figures/pca_plot.pdf, bbox_inchestight)在Word中尽量插入PDF或EMF格式的矢量图。6.3 时间管理与合作心得国赛就三天时间管理至关重要。我们队的大致时间线第一天上午全力读题、讨论、确定初步思路。完成数据初步查看和简单的EDA。第一天下午晚上完成数据预处理全套流程清洗、变换、填补并完成第一个子问题描述统计、关联分析的代码和论文初稿。第二天全天主攻分类模型。尝试不同模型、调参、评估确定最终模型。完成分类部分的代码、结果分析和论文撰写。同时开始构思风化分析部分。第三天上午完成风化规律分析和预测模型。整合所有结果生成最终预测表格和图表。第三天下午通宵论文合稿、修改、润色、检查。这是最紧张的阶段要留足时间给写作。代码和论文的最终版本必须在这时冻结。合作技巧我们使用Git进行代码版本管理即使只是本地仓库避免覆盖队友的工作。论文用Overleaf在线LaTeX编写可以实时协作。每天固定时间开短会同步进度和问题。最重要的一个队友专门负责“写作”他/她不一定敲最多代码但负责将大家的成果整合成流畅的论文并时刻关注格式和表达。这个人非常重要。最后提交前务必检查论文PDF里所有图表编号是否正确、引用是否对应承诺的附件代码、数据结果是否齐全摘要里的关键数字是否与正文一致这些细节上的失误非常可惜。通过这样一次完整的实战你收获的将不仅是奖项更是一套解决复杂数据问题的标准化思维和工程化能力。