1. 从赛题到实战一次完整的建模竞赛复盘去年带学生打数模C题“古代玻璃制品的成分分析与鉴别”让不少队伍直呼头大。表面看是化学数据分析内核却是一道典型的“数据驱动机理建模”综合题。它不像纯优化或预测题那样有明确的套路你得在成分分析、风化机理、分类鉴别几个看似独立又紧密关联的环节中反复横跳。很多队伍卡在第一步——面对那一堆二氧化硅、氧化钠、氧化钾的百分比数据不知道从何下手更别提用MATLAB或Python把想法实现了。今天我就以这道题为例拆解一遍从赛题理解、数据清洗、模型构建到代码实现的完整链路重点不是给出一个“标准答案”数模本就没有唯一解而是分享一套遇到这类多阶段、跨学科问题的通用分析框架和实操避坑指南。无论你是正在备赛的学生还是对数据科学感兴趣的新手都能从中获得可直接复用的思路和代码片段。2. 赛题核心拆解“成分分析”与“鉴别”的双重任务拿到题目第一步永远是精读题干拆解出所有子问题。C题的要求可以概括为两个核心任务它们相互嵌套构成了解题的主线。2.1 任务一成分关联与风化规律分析这部分是典型的数据探索性分析EDA加统计建模。题目提供了玻璃文物样本的化学成分含量数据包括风化与未风化样本。你需要回答成分关联性各种化学成分如SiO2, Na2O, K2O, CaO等之间的统计关系是什么是正相关、负相关还是存在某种组合规律风化规律风化前后哪些成分的含量发生了显著变化变化的规律是什么例如某些成分流失某些成分相对富集能否定量描述风化程度与成分变化的关系注意这里最大的坑是数据中的“缺失值”。原始数据里很多成分含量是“ND”未检测到或空白。你不能简单地删除或填0。对于“ND”通常需要根据检测限如果题目给出或同类型样本的分布用一个小值如检测限的一半或更科学的方法如随机森林填充进行合理插补。直接忽略会导致相关性分析严重偏差。2.2 任务二玻璃类型鉴别与风化预测这是题目的升华要求你建立分类模型。高钾 vs. 铅钡玻璃鉴别根据化学成分数据构建一个分类器能够区分未知玻璃文物是属于高钾玻璃还是铅钡玻璃。这是有监督分类问题。风化点判别对于给定的文物判断其表面某部位是否风化。这可以看作一个二分类问题风化/未风化但特征可能不仅仅是成分还可能包括成分变化率、部位信息等。风化前成分预测这是最难也最体现建模水平的部分。已知风化后的成分如何反推其风化前的原始成分这本质上是一个“反问题”求解需要你基于任务一中挖掘出的风化物理化学规律构建逆向预测模型。3. 数据预处理清洗、转换与特征工程的魔鬼细节在建模之前80%的精力可能都要花在数据预处理上。这部分工作决定了模型的天花板。3.1 缺失值与异常值处理实战原始数据通常是Excel表格我们以Python的pandas库为例进行演示。import pandas as pd import numpy as np # 读取数据 df pd.read_excel(glass_data.xlsx) # 1. 处理‘ND’和空白 # 假设‘ND’代表低于检测限我们用一个小值替代例如0.01需根据实际情况调整 df.replace(ND, 0.01, inplaceTrue) # 将数据转换为数值型无法转换的如残留的字符串变为NaN df df.apply(pd.to_numeric, errorscoerce) # 2. 缺失值可视化与决策 import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(12,6)) sns.heatmap(df.isnull(), cbarFalse, cmapviridis) plt.title(Missing Values Heatmap) plt.show() # 通过热图查看缺失情况如果某列缺失率超过50%考虑删除该特征否则进行填充。 # 3. 填充缺失值 # 对于数值列常用中位数或均值填充避免极端值影响 from sklearn.impute import SimpleImputer imputer SimpleImputer(strategymedian) # 对于成分数据中位数通常比均值更稳健 df_filled pd.DataFrame(imputer.fit_transform(df), columnsdf.columns) # 4. 异常值检测箱线图或IQR法则 plt.figure(figsize(15,10)) df_filled.boxplot() plt.xticks(rotation90) plt.title(Boxplot of Components (Check Outliers)) plt.show() # 对于明显的、可解释为录入错误的异常值如某成分100%直接修正或删除该样本。 # 对于潜在的但合理的极端值可能是特殊样本予以保留但建模时考虑使用对异常值不敏感的模型如树模型。3.2 关键特征构造从原始数据到模型输入原始成分数据是百分比总和接近100%。直接使用会导致“闭合效应”即特征间存在天然的负相关一种成分增加其他成分必然减少。我们需要进行特征工程成分比率特征创建一些有物理化学意义的比率如K2O/Na2O区分高钾与钠钙玻璃的关键、PbO/BaO、SiO2/(Na2OK2O)玻璃网络形成体与修饰体的比例这些比风化前后的绝对含量更具鉴别力。风化变化率特征对于配对的风化-未风化样本如果题目提供计算每个成分的(风化后-风化前)/风化前作为描述风化行为的直接特征。对数或中心对数比变换为了消除闭合效应统计学中常用中心对数比变换。将每个成分除以所有成分的几何平均数再取对数。这能使得数据更符合正态分布更适合后续的线性模型。import numpy as np # 假设df_composition只包含成分百分比列 composition_cols [SiO2, Na2O, K2O, CaO, MgO, Al2O3, Fe2O3, CuO, PbO, BaO] df_comp df_filled[composition_cols] # 计算几何平均值按行 geo_mean df_comp.apply(lambda x: np.exp(np.mean(np.log(x))), axis1) # 中心对数比变换 df_clr df_comp.apply(lambda x: np.log(x / geo_mean), axis1)降维特征如果特征太多成分种类多可以使用主成分分析PCA提取主要信息既能降维减少过拟合风险又能发现潜在的数据结构如前几个主成分可能分别代表“玻璃类型”和“风化程度”。4. 模型构建与实现分类、回归与机理融合数据准备好后就要针对不同任务选择合适的模型。这里没有银弹需要结合任务特点和数据情况灵活选择。4.1 任务一成分关联与风化规律建模相关性分析使用斯皮尔曼秩相关系数Spearman比皮尔逊相关系数Pearson更稳健因为它不要求数据严格服从正态分布且对异常值不敏感。import seaborn as sns # 计算相关系数矩阵 corr_matrix df_clr.corr(methodspearman) # 绘制热图 plt.figure(figsize(10,8)) sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(Spearman Correlation Matrix of CLR-transformed Components) plt.show()从热图中可以清晰看到SiO2与Na2O、K2O可能呈负相关网络形成体与修饰体而PbO与BaO可能呈强正相关铅钡玻璃的典型特征。风化规律定量分析风化前后差异检验对于有配对样本的数据使用配对样本t检验或Wilcoxon符号秩检验判断每个成分风化前后均值是否有显著差异。风化程度指标构建如果有多级风化数据可以尝试定义“风化指数”例如(K2O流失量 Na2O流失量) / SiO2含量。然后建立该指数与其它环境因素如果提供或成分初始状态的回归模型。风化路径可视化使用散点图矩阵或平行坐标图将风化前后的样本连接起来直观展示成分变化轨迹。4.2 任务二玻璃类型分类高钾 vs. 铅钡这是一个经典的二分类问题。我们可以尝试多种模型并比较。from sklearn.model_selection import train_test_split, cross_val_score from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # 假设df_ready是预处理好的特征数据target是‘类型’标签0-高钾1-铅钡 X df_ready.drop(type, axis1) y df_ready[type] # 划分训练测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42, stratifyy) # 标准化对SVM和逻辑回归很重要 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 1. 逻辑回归可解释性强 lr LogisticRegression(max_iter1000, random_state42) lr.fit(X_train_scaled, y_train) y_pred_lr lr.predict(X_test_scaled) print(Logistic Regression Accuracy:, accuracy_score(y_test, y_pred_lr)) print(classification_report(y_test, y_pred_lr)) # 查看特征系数可以知道哪些成分对区分类型最重要 lr_coef pd.DataFrame(lr.coef_.T, indexX.columns, columns[Coefficient]) print(lr_coef.sort_values(byCoefficient, ascendingFalse)) # 2. 支持向量机SVM svm SVC(kernelrbf, C1.0, gammascale, random_state42) svm.fit(X_train_scaled, y_train) y_pred_svm svm.predict(X_test_scaled) print(\nSVM Accuracy:, accuracy_score(y_test, y_pred_svm)) # 3. 随机森林通常表现好且能给出特征重要性 rf RandomForestClassifier(n_estimators100, random_state42) rf.fit(X_train, y_train) # 树模型一般不需要标准化 y_pred_rf rf.predict(X_test) print(\nRandom Forest Accuracy:, accuracy_score(y_test, y_pred_rf)) # 特征重要性可视化 rf_importance pd.DataFrame({feature: X.columns, importance: rf.feature_importances_}) rf_importance rf_importance.sort_values(importance, ascendingFalse) plt.figure(figsize(10,6)) plt.barh(rf_importance[feature][:10], rf_importance[importance][:10]) plt.xlabel(Feature Importance) plt.title(Top 10 Features for Glass Type Classification (Random Forest)) plt.gca().invert_yaxis() plt.show()实操心得不要只追求最高的准确率。数模竞赛中模型的可解释性和物理意义同样重要。如果逻辑回归能达到85%准确率而随机森林能达到88%但逻辑回归能明确告诉你“PbO含量高是铅钡玻璃的最强指示剂”这个结论的价值可能比3%的准确率提升更大。在论文中建议展示多种模型的结果并讨论其优劣。4.3 任务三风化前成分预测——反问题求解的两种思路这是最具挑战性的部分。已知风化后成分向量Y求风化前成分向量X。风化过程可以抽象为一个函数F:X-Y。我们需要求解F的逆。思路一基于机理的回归模型假设风化过程主要是可溶性碱金属离子K, Na的流失。那么对于每个样本可以假设风化后成分 风化前成分 - 流失量流失量可能与风化前该成分含量、环境因素、时间有关。我们可以为每种易流失成分如K2O, Na2O建立一个回归模型预测其流失量。例如流失量(K2O) a * 风化前K2O b * (环境湿度) c但问题是我们不知道风化前的K2O这正是我们要预测的。这就变成了一个“鸡生蛋蛋生鸡”的问题。一个可行的近似方法是假设风化过程中SiO2、Al2O3等稳定成分基本不变将它们作为“锚点”。根据稳定成分在风化前后的比例变化估算出整体的质量损失比例。利用这个比例和风化后易流失成分的含量去反推风化前的含量。这需要较强的化学领域先验知识。思路二数据驱动的机器学习模型更通用将问题转化为一个多输出回归问题。把每个风化前成分作为一个预测目标。我们需要一批配对数据即同时知道同一文物风化前和风化后的成分。用风化后的成分数据作为特征去预测风化前的各个成分。from sklearn.multioutput import MultiOutputRegressor from sklearn.ensemble import GradientBoostingRegressor from sklearn.metrics import mean_squared_error # 假设 df_weathered 是风化后数据特征df_original 是对应的风化前数据目标 X_train_w, X_test_w, y_train_o, y_test_o train_test_split(df_weathered, df_original, test_size0.2, random_state42) # 使用多输出回归器包装一个强大的回归模型如梯度提升树 model MultiOutputRegressor(GradientBoostingRegressor(n_estimators100, random_state42)) model.fit(X_train_w, y_train_o) y_pred_o model.predict(X_test_w) # 评估每个成分的预测误差 mse_per_component mean_squared_error(y_test_o, y_pred_o, multioutputraw_values) for comp, mse in zip(df_original.columns, mse_per_component): print(fMSE for {comp}: {mse:.4f})这个方法的最大瓶颈在于数据。通常我们很难获得大量精确配对的“风化前-风化后”数据。如果题目没有提供这个思路就无法直接使用。此时必须回到思路一结合化学知识进行合理的简化假设和推导。5. 论文写作与结果可视化如何清晰表达你的工作数模竞赛最终提交的是论文。模型再好表达不清也白搭。这部分讲讲如何将上述分析转化为论文中的亮点。5.1 可视化一图胜千言成分分布对比图使用分组小提琴图或箱线图对比高钾玻璃和铅钡玻璃在关键成分如PbO, K2O, BaO上的分布差异。import seaborn as sns plt.figure(figsize(8,5)) sns.violinplot(xtype, yPbO, datadf, splitTrue, innerquartile) plt.title(Distribution of PbO Content by Glass Type) plt.xlabel(Glass Type (0:High-K, 1:Pb-Ba)) plt.ylabel(PbO Content (%)) plt.show()风化前后变化雷达图针对一个典型样本用雷达图展示其主要成分在风化前后的变化非常直观。from matplotlib.patches import Circle import matplotlib.pyplot as plt import numpy as np # 示例数据 categories [SiO2, Na2O, K2O, CaO, PbO, BaO] before [70, 10, 5, 5, 2, 3] # 风化前 after [75, 5, 2, 5, 2, 3] # 风化后假设Na2O, K2O流失 angles np.linspace(0, 2*np.pi, len(categories), endpointFalse).tolist() before before[:1] # 闭合图形 after after[:1] angles angles[:1] fig, ax plt.subplots(figsize(6,6), subplot_kwdict(projectionpolar)) ax.plot(angles, before, o-, linewidth2, labelBefore Weathering) ax.fill(angles, before, alpha0.25) ax.plot(angles, after, o-, linewidth2, labelAfter Weathering) ax.fill(angles, after, alpha0.25) ax.set_xticks(angles[:-1]) ax.set_xticklabels(categories) ax.set_ylim(0, max(beforeafter)5) ax.legend(locupper right) plt.title(Composition Change Before and After Weathering (Example)) plt.show()分类模型决策边界图如果特征经过PCA降维到2维可以绘制样本散点图和分类器的决策边界展示模型如何区分两类玻璃。from sklearn.decomposition import PCA from mlxtend.plotting import plot_decision_regions # 将特征降至2维用于可视化 pca PCA(n_components2) X_pca pca.fit_transform(X_train_scaled) # 在降维后的数据上训练一个分类器如SVM svm_vis SVC(kernelrbf, C1.0, gammascale) svm_vis.fit(X_pca, y_train) # 绘制决策区域 plt.figure(figsize(8,6)) plot_decision_regions(X_pca, y_train.values, clfsvm_vis, legend2) plt.xlabel(Principal Component 1) plt.ylabel(Principal Component 2) plt.title(Decision Boundary of SVM on PCA-reduced Data) plt.show()5.2 论文行文逻辑与亮点突出论文结构建议摘要用最精炼的语言概括问题、方法、模型、结论和亮点。务必出现“风化机理”、“成分关联”、“分类鉴别”、“反演预测”等关键词。问题重述与分析不要照抄题目要用自己的话拆分出1、2、3点具体任务并分析每个任务的难点和关键点。模型假设与符号说明列出重要的、合理的假设如“假设风化过程中SiO2、Al2O3含量基本不变”并给出文中主要变量的符号。数据分析与预处理详细说明缺失值、异常值处理过程展示处理前后的数据对比如用表格并解释为什么这样做。这是体现你工作细致程度的重要部分。模型建立与求解对应每个子问题分小节阐述。讲清楚“为什么用这个模型”模型选择依据和“怎么用的”关键步骤和参数。将核心公式和流程图放在这里。结果分析与检验展示模型结果准确率、误差等并对结果进行讨论。例如分类器认错了哪些样本为什么可能认错是不是成分介于两者之间的过渡类型预测风化前成分的误差主要来自哪里对结果的深入分析比单纯罗列数字更重要。模型评价与推广客观评价自己模型的优缺点灵敏度、稳定性等并提出可以改进的方向。简要说明模型方法可以推广到其他类似问题如其他文物的成分分析、材料老化研究等。参考文献与附录规范引用。将篇幅较长的核心代码、大型数据表格放在附录。个人经验之谈评委看多了千篇一律的“先用逻辑回归再用随机森林最后用XGBoost”。如果你的论文能体现出清晰的物理化学洞察比如从离子半径、化学键能角度解释为什么K比Na更容易流失并将这种洞察融入到特征构造或模型约束中哪怕模型简单也更容易脱颖而出。数模竞赛本质上比拼的是“用数学和计算机工具解决实际问题的能力”而不仅仅是调包调参的技巧。 数据建模竞赛实战：从成分分析到分类预测的完整流程解析
1. 从赛题到实战一次完整的建模竞赛复盘去年带学生打数模C题“古代玻璃制品的成分分析与鉴别”让不少队伍直呼头大。表面看是化学数据分析内核却是一道典型的“数据驱动机理建模”综合题。它不像纯优化或预测题那样有明确的套路你得在成分分析、风化机理、分类鉴别几个看似独立又紧密关联的环节中反复横跳。很多队伍卡在第一步——面对那一堆二氧化硅、氧化钠、氧化钾的百分比数据不知道从何下手更别提用MATLAB或Python把想法实现了。今天我就以这道题为例拆解一遍从赛题理解、数据清洗、模型构建到代码实现的完整链路重点不是给出一个“标准答案”数模本就没有唯一解而是分享一套遇到这类多阶段、跨学科问题的通用分析框架和实操避坑指南。无论你是正在备赛的学生还是对数据科学感兴趣的新手都能从中获得可直接复用的思路和代码片段。2. 赛题核心拆解“成分分析”与“鉴别”的双重任务拿到题目第一步永远是精读题干拆解出所有子问题。C题的要求可以概括为两个核心任务它们相互嵌套构成了解题的主线。2.1 任务一成分关联与风化规律分析这部分是典型的数据探索性分析EDA加统计建模。题目提供了玻璃文物样本的化学成分含量数据包括风化与未风化样本。你需要回答成分关联性各种化学成分如SiO2, Na2O, K2O, CaO等之间的统计关系是什么是正相关、负相关还是存在某种组合规律风化规律风化前后哪些成分的含量发生了显著变化变化的规律是什么例如某些成分流失某些成分相对富集能否定量描述风化程度与成分变化的关系注意这里最大的坑是数据中的“缺失值”。原始数据里很多成分含量是“ND”未检测到或空白。你不能简单地删除或填0。对于“ND”通常需要根据检测限如果题目给出或同类型样本的分布用一个小值如检测限的一半或更科学的方法如随机森林填充进行合理插补。直接忽略会导致相关性分析严重偏差。2.2 任务二玻璃类型鉴别与风化预测这是题目的升华要求你建立分类模型。高钾 vs. 铅钡玻璃鉴别根据化学成分数据构建一个分类器能够区分未知玻璃文物是属于高钾玻璃还是铅钡玻璃。这是有监督分类问题。风化点判别对于给定的文物判断其表面某部位是否风化。这可以看作一个二分类问题风化/未风化但特征可能不仅仅是成分还可能包括成分变化率、部位信息等。风化前成分预测这是最难也最体现建模水平的部分。已知风化后的成分如何反推其风化前的原始成分这本质上是一个“反问题”求解需要你基于任务一中挖掘出的风化物理化学规律构建逆向预测模型。3. 数据预处理清洗、转换与特征工程的魔鬼细节在建模之前80%的精力可能都要花在数据预处理上。这部分工作决定了模型的天花板。3.1 缺失值与异常值处理实战原始数据通常是Excel表格我们以Python的pandas库为例进行演示。import pandas as pd import numpy as np # 读取数据 df pd.read_excel(glass_data.xlsx) # 1. 处理‘ND’和空白 # 假设‘ND’代表低于检测限我们用一个小值替代例如0.01需根据实际情况调整 df.replace(ND, 0.01, inplaceTrue) # 将数据转换为数值型无法转换的如残留的字符串变为NaN df df.apply(pd.to_numeric, errorscoerce) # 2. 缺失值可视化与决策 import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(12,6)) sns.heatmap(df.isnull(), cbarFalse, cmapviridis) plt.title(Missing Values Heatmap) plt.show() # 通过热图查看缺失情况如果某列缺失率超过50%考虑删除该特征否则进行填充。 # 3. 填充缺失值 # 对于数值列常用中位数或均值填充避免极端值影响 from sklearn.impute import SimpleImputer imputer SimpleImputer(strategymedian) # 对于成分数据中位数通常比均值更稳健 df_filled pd.DataFrame(imputer.fit_transform(df), columnsdf.columns) # 4. 异常值检测箱线图或IQR法则 plt.figure(figsize(15,10)) df_filled.boxplot() plt.xticks(rotation90) plt.title(Boxplot of Components (Check Outliers)) plt.show() # 对于明显的、可解释为录入错误的异常值如某成分100%直接修正或删除该样本。 # 对于潜在的但合理的极端值可能是特殊样本予以保留但建模时考虑使用对异常值不敏感的模型如树模型。3.2 关键特征构造从原始数据到模型输入原始成分数据是百分比总和接近100%。直接使用会导致“闭合效应”即特征间存在天然的负相关一种成分增加其他成分必然减少。我们需要进行特征工程成分比率特征创建一些有物理化学意义的比率如K2O/Na2O区分高钾与钠钙玻璃的关键、PbO/BaO、SiO2/(Na2OK2O)玻璃网络形成体与修饰体的比例这些比风化前后的绝对含量更具鉴别力。风化变化率特征对于配对的风化-未风化样本如果题目提供计算每个成分的(风化后-风化前)/风化前作为描述风化行为的直接特征。对数或中心对数比变换为了消除闭合效应统计学中常用中心对数比变换。将每个成分除以所有成分的几何平均数再取对数。这能使得数据更符合正态分布更适合后续的线性模型。import numpy as np # 假设df_composition只包含成分百分比列 composition_cols [SiO2, Na2O, K2O, CaO, MgO, Al2O3, Fe2O3, CuO, PbO, BaO] df_comp df_filled[composition_cols] # 计算几何平均值按行 geo_mean df_comp.apply(lambda x: np.exp(np.mean(np.log(x))), axis1) # 中心对数比变换 df_clr df_comp.apply(lambda x: np.log(x / geo_mean), axis1)降维特征如果特征太多成分种类多可以使用主成分分析PCA提取主要信息既能降维减少过拟合风险又能发现潜在的数据结构如前几个主成分可能分别代表“玻璃类型”和“风化程度”。4. 模型构建与实现分类、回归与机理融合数据准备好后就要针对不同任务选择合适的模型。这里没有银弹需要结合任务特点和数据情况灵活选择。4.1 任务一成分关联与风化规律建模相关性分析使用斯皮尔曼秩相关系数Spearman比皮尔逊相关系数Pearson更稳健因为它不要求数据严格服从正态分布且对异常值不敏感。import seaborn as sns # 计算相关系数矩阵 corr_matrix df_clr.corr(methodspearman) # 绘制热图 plt.figure(figsize(10,8)) sns.heatmap(corr_matrix, annotTrue, fmt.2f, cmapcoolwarm, center0) plt.title(Spearman Correlation Matrix of CLR-transformed Components) plt.show()从热图中可以清晰看到SiO2与Na2O、K2O可能呈负相关网络形成体与修饰体而PbO与BaO可能呈强正相关铅钡玻璃的典型特征。风化规律定量分析风化前后差异检验对于有配对样本的数据使用配对样本t检验或Wilcoxon符号秩检验判断每个成分风化前后均值是否有显著差异。风化程度指标构建如果有多级风化数据可以尝试定义“风化指数”例如(K2O流失量 Na2O流失量) / SiO2含量。然后建立该指数与其它环境因素如果提供或成分初始状态的回归模型。风化路径可视化使用散点图矩阵或平行坐标图将风化前后的样本连接起来直观展示成分变化轨迹。4.2 任务二玻璃类型分类高钾 vs. 铅钡这是一个经典的二分类问题。我们可以尝试多种模型并比较。from sklearn.model_selection import train_test_split, cross_val_score from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # 假设df_ready是预处理好的特征数据target是‘类型’标签0-高钾1-铅钡 X df_ready.drop(type, axis1) y df_ready[type] # 划分训练测试集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42, stratifyy) # 标准化对SVM和逻辑回归很重要 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 1. 逻辑回归可解释性强 lr LogisticRegression(max_iter1000, random_state42) lr.fit(X_train_scaled, y_train) y_pred_lr lr.predict(X_test_scaled) print(Logistic Regression Accuracy:, accuracy_score(y_test, y_pred_lr)) print(classification_report(y_test, y_pred_lr)) # 查看特征系数可以知道哪些成分对区分类型最重要 lr_coef pd.DataFrame(lr.coef_.T, indexX.columns, columns[Coefficient]) print(lr_coef.sort_values(byCoefficient, ascendingFalse)) # 2. 支持向量机SVM svm SVC(kernelrbf, C1.0, gammascale, random_state42) svm.fit(X_train_scaled, y_train) y_pred_svm svm.predict(X_test_scaled) print(\nSVM Accuracy:, accuracy_score(y_test, y_pred_svm)) # 3. 随机森林通常表现好且能给出特征重要性 rf RandomForestClassifier(n_estimators100, random_state42) rf.fit(X_train, y_train) # 树模型一般不需要标准化 y_pred_rf rf.predict(X_test) print(\nRandom Forest Accuracy:, accuracy_score(y_test, y_pred_rf)) # 特征重要性可视化 rf_importance pd.DataFrame({feature: X.columns, importance: rf.feature_importances_}) rf_importance rf_importance.sort_values(importance, ascendingFalse) plt.figure(figsize(10,6)) plt.barh(rf_importance[feature][:10], rf_importance[importance][:10]) plt.xlabel(Feature Importance) plt.title(Top 10 Features for Glass Type Classification (Random Forest)) plt.gca().invert_yaxis() plt.show()实操心得不要只追求最高的准确率。数模竞赛中模型的可解释性和物理意义同样重要。如果逻辑回归能达到85%准确率而随机森林能达到88%但逻辑回归能明确告诉你“PbO含量高是铅钡玻璃的最强指示剂”这个结论的价值可能比3%的准确率提升更大。在论文中建议展示多种模型的结果并讨论其优劣。4.3 任务三风化前成分预测——反问题求解的两种思路这是最具挑战性的部分。已知风化后成分向量Y求风化前成分向量X。风化过程可以抽象为一个函数F:X-Y。我们需要求解F的逆。思路一基于机理的回归模型假设风化过程主要是可溶性碱金属离子K, Na的流失。那么对于每个样本可以假设风化后成分 风化前成分 - 流失量流失量可能与风化前该成分含量、环境因素、时间有关。我们可以为每种易流失成分如K2O, Na2O建立一个回归模型预测其流失量。例如流失量(K2O) a * 风化前K2O b * (环境湿度) c但问题是我们不知道风化前的K2O这正是我们要预测的。这就变成了一个“鸡生蛋蛋生鸡”的问题。一个可行的近似方法是假设风化过程中SiO2、Al2O3等稳定成分基本不变将它们作为“锚点”。根据稳定成分在风化前后的比例变化估算出整体的质量损失比例。利用这个比例和风化后易流失成分的含量去反推风化前的含量。这需要较强的化学领域先验知识。思路二数据驱动的机器学习模型更通用将问题转化为一个多输出回归问题。把每个风化前成分作为一个预测目标。我们需要一批配对数据即同时知道同一文物风化前和风化后的成分。用风化后的成分数据作为特征去预测风化前的各个成分。from sklearn.multioutput import MultiOutputRegressor from sklearn.ensemble import GradientBoostingRegressor from sklearn.metrics import mean_squared_error # 假设 df_weathered 是风化后数据特征df_original 是对应的风化前数据目标 X_train_w, X_test_w, y_train_o, y_test_o train_test_split(df_weathered, df_original, test_size0.2, random_state42) # 使用多输出回归器包装一个强大的回归模型如梯度提升树 model MultiOutputRegressor(GradientBoostingRegressor(n_estimators100, random_state42)) model.fit(X_train_w, y_train_o) y_pred_o model.predict(X_test_w) # 评估每个成分的预测误差 mse_per_component mean_squared_error(y_test_o, y_pred_o, multioutputraw_values) for comp, mse in zip(df_original.columns, mse_per_component): print(fMSE for {comp}: {mse:.4f})这个方法的最大瓶颈在于数据。通常我们很难获得大量精确配对的“风化前-风化后”数据。如果题目没有提供这个思路就无法直接使用。此时必须回到思路一结合化学知识进行合理的简化假设和推导。5. 论文写作与结果可视化如何清晰表达你的工作数模竞赛最终提交的是论文。模型再好表达不清也白搭。这部分讲讲如何将上述分析转化为论文中的亮点。5.1 可视化一图胜千言成分分布对比图使用分组小提琴图或箱线图对比高钾玻璃和铅钡玻璃在关键成分如PbO, K2O, BaO上的分布差异。import seaborn as sns plt.figure(figsize(8,5)) sns.violinplot(xtype, yPbO, datadf, splitTrue, innerquartile) plt.title(Distribution of PbO Content by Glass Type) plt.xlabel(Glass Type (0:High-K, 1:Pb-Ba)) plt.ylabel(PbO Content (%)) plt.show()风化前后变化雷达图针对一个典型样本用雷达图展示其主要成分在风化前后的变化非常直观。from matplotlib.patches import Circle import matplotlib.pyplot as plt import numpy as np # 示例数据 categories [SiO2, Na2O, K2O, CaO, PbO, BaO] before [70, 10, 5, 5, 2, 3] # 风化前 after [75, 5, 2, 5, 2, 3] # 风化后假设Na2O, K2O流失 angles np.linspace(0, 2*np.pi, len(categories), endpointFalse).tolist() before before[:1] # 闭合图形 after after[:1] angles angles[:1] fig, ax plt.subplots(figsize(6,6), subplot_kwdict(projectionpolar)) ax.plot(angles, before, o-, linewidth2, labelBefore Weathering) ax.fill(angles, before, alpha0.25) ax.plot(angles, after, o-, linewidth2, labelAfter Weathering) ax.fill(angles, after, alpha0.25) ax.set_xticks(angles[:-1]) ax.set_xticklabels(categories) ax.set_ylim(0, max(beforeafter)5) ax.legend(locupper right) plt.title(Composition Change Before and After Weathering (Example)) plt.show()分类模型决策边界图如果特征经过PCA降维到2维可以绘制样本散点图和分类器的决策边界展示模型如何区分两类玻璃。from sklearn.decomposition import PCA from mlxtend.plotting import plot_decision_regions # 将特征降至2维用于可视化 pca PCA(n_components2) X_pca pca.fit_transform(X_train_scaled) # 在降维后的数据上训练一个分类器如SVM svm_vis SVC(kernelrbf, C1.0, gammascale) svm_vis.fit(X_pca, y_train) # 绘制决策区域 plt.figure(figsize(8,6)) plot_decision_regions(X_pca, y_train.values, clfsvm_vis, legend2) plt.xlabel(Principal Component 1) plt.ylabel(Principal Component 2) plt.title(Decision Boundary of SVM on PCA-reduced Data) plt.show()5.2 论文行文逻辑与亮点突出论文结构建议摘要用最精炼的语言概括问题、方法、模型、结论和亮点。务必出现“风化机理”、“成分关联”、“分类鉴别”、“反演预测”等关键词。问题重述与分析不要照抄题目要用自己的话拆分出1、2、3点具体任务并分析每个任务的难点和关键点。模型假设与符号说明列出重要的、合理的假设如“假设风化过程中SiO2、Al2O3含量基本不变”并给出文中主要变量的符号。数据分析与预处理详细说明缺失值、异常值处理过程展示处理前后的数据对比如用表格并解释为什么这样做。这是体现你工作细致程度的重要部分。模型建立与求解对应每个子问题分小节阐述。讲清楚“为什么用这个模型”模型选择依据和“怎么用的”关键步骤和参数。将核心公式和流程图放在这里。结果分析与检验展示模型结果准确率、误差等并对结果进行讨论。例如分类器认错了哪些样本为什么可能认错是不是成分介于两者之间的过渡类型预测风化前成分的误差主要来自哪里对结果的深入分析比单纯罗列数字更重要。模型评价与推广客观评价自己模型的优缺点灵敏度、稳定性等并提出可以改进的方向。简要说明模型方法可以推广到其他类似问题如其他文物的成分分析、材料老化研究等。参考文献与附录规范引用。将篇幅较长的核心代码、大型数据表格放在附录。个人经验之谈评委看多了千篇一律的“先用逻辑回归再用随机森林最后用XGBoost”。如果你的论文能体现出清晰的物理化学洞察比如从离子半径、化学键能角度解释为什么K比Na更容易流失并将这种洞察融入到特征构造或模型约束中哪怕模型简单也更容易脱颖而出。数模竞赛本质上比拼的是“用数学和计算机工具解决实际问题的能力”而不仅仅是调包调参的技巧。