1. 从“集训”到“实战”第三天为何是分水岭如果你正在经历数学建模的集训或者自己制定了学习计划那么第三天往往是一个关键节点。前两天你可能还在熟悉环境、回顾基础数学知识、了解建模的基本流程。到了第三天那种“纸上谈兵”的感觉会开始消退真正的“硬骨头”开始出现——如何将现实问题转化为数学模型并用代码去求解和验证。这恰恰是数学建模从“知道”到“做到”的核心跨越。集训的第三天主题通常会聚焦于数据处理与初步建模。为什么是这个因为无论题目是优化、预测还是评价你拿到的数据无论是组委会给的还是自己搜集的几乎都是“脏”的、不规整的。直接把这些数据丢进模型结果大概率惨不忍睹。所以第三天的核心任务就是掌握一套高效、可靠的“数据炼金术”把原始数据变成模型能“消化”的“营养餐”。而Python的Numpy和Pandas库就是这套炼金术的核心工具包。它们不仅仅是两个库更是你构建整个模型计算地基的“钢筋”和“水泥”。很多人会陷入一个误区一提到数学建模编程就想到复杂的算法和深奥的数学模型。但实际上在国赛、美赛等限时比赛中超过50%的时间可能都花在了数据理解和预处理上。一个干净、特征明确的数据集即使用一个相对简单的模型效果也常常优于在一个混乱数据集上强行运行复杂模型。因此第三天的学习成效直接决定了你后续建模工作是事半功倍还是事倍功半。2. 核心工具箱解析Numpy与Pandas的角色定位在动手之前我们必须厘清Numpy和Pandas各自该在什么场景下出场。混用或错用会导致代码效率低下且难以维护。2.1 Numpy高性能数值计算的“发动机”你可以把Numpy想象成一个超级强大的多维数组计算器。它的核心对象是ndarrayN-dimensional array所有元素必须是同一种数据类型比如全是浮点数。这种设计牺牲了一些灵活性但换来了极高的计算效率和内存使用效率。它的主战场是大规模的数值运算矩阵乘法、求解线性方程组、傅里叶变换、随机数生成等。当你需要做复杂的数学计算时底层几乎都是Numpy数组在运作。向量化操作这是Numpy的精华。它允许你对整个数组进行运算而无需编写慢速的Python循环。例如array * 2会将数组中每个元素乘以2速度极快。为高级模型库提供基础Scipy、Scikit-learn、Pandas乃至深度学习框架如TensorFlow/PyTorch其底层数据结构都大量依赖或兼容Numpy数组。注意不要用Numpy去处理表格中混杂着字符串、日期、缺失值的列那是Pandas的领域。Numpy专注于“纯”的数值计算。2.2 Pandas表格数据操作的“瑞士军刀”Pandas则是建立在Numpy之上的它引入了两个核心数据结构Series一维带标签数组和DataFrame二维表格可理解为Series的字典。Pandas的核心优势在于数据清洗、整合、分析和可视化前的准备。它的主战场是数据读写轻松读取CSV、Excel、SQL数据库、JSON等格式的数据这是建模的数据入口。数据清洗处理缺失值、重复值、异常值进行数据转换类型转换、分箱、标准化等。数据筛选与切片基于复杂的条件布尔索引快速筛选出行和列。数据聚合与分组groupby操作是统计分析的神器可以方便地计算各组的统计量。表格化操作维护行索引和列标签使得数据操作更直观更像在操作Excel表格但功能强大无数倍。一个简单的协作流程是用Pandas读入并清洗数据当需要进行核心的数值计算如自定义一个损失函数、实现一个优化算法时将Pandas的列df[‘column’].values或整个DataFramedf.to_numpy()转换为Numpy数组利用Numpy的高效完成计算必要时再将结果转回Pandas便于查看和分析。3. 数据处理全流程实操从原始数据到模型输入假设我们拿到一个数学建模比赛中常见的简易数据集sales_data.csv包含店铺ID、日期、销售额、客流量、促销力度等字段。我们的目标是分析促销对销售额的影响。下面我们走一遍完整流程。3.1 环境准备与数据加载首先确保环境正确。如果你使用PyCharm或VSCode新建项目后在终端Terminal使用pip安装pip install numpy pandas如果遇到“pip无法识别”的错误通常是因为Python或pip未正确加入系统环境变量。一个稳妥的方法是使用python -m pip install numpy pandas。加载数据是第一步import pandas as pd import numpy as np # 加载数据 df pd.read_csv(sales_data.csv) # 首次查看数据概览 print(df.head()) # 查看前5行 print(df.info()) # 查看列名、非空值数量、数据类型 print(df.describe()) # 查看数值型列的统计摘要均值、标准差、分位数等df.info()会立刻告诉你是否有缺失值以及每列的数据类型这是制定清洗策略的依据。3.2 数据清洗解决缺失、异常与不一致清洗是建模的基石脏数据输入必然导致垃圾输出。1. 处理缺失值# 查看每列缺失值数量 print(df.isnull().sum()) # 策略1删除缺失值过多的行或列谨慎使用可能损失信息 # 如果‘促销力度’列缺失超过30%考虑删除该列 if df[促销力度].isnull().mean() 0.3: df df.drop(columns[促销力度]) else: # 策略2填充缺失值 # 数值列用均值、中位数或前后值填充 df[销售额].fillna(df[销售额].median(), inplaceTrue) # 用中位数填充对异常值不敏感 # 分类列用众数填充 df[店铺类型].fillna(df[店铺类型].mode()[0], inplaceTrue) # 时间序列用前向或后向填充 df[客流量].fillna(methodffill, inplaceTrue) # 用前一个非空值填充2. 处理异常值异常值不一定是错误但可能扭曲模型。常用方法是基于标准差σ或四分位距IQR。# 使用IQR方法检测‘销售额’的异常值 Q1 df[销售额].quantile(0.25) Q3 df[销售额].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR # 标记异常值 outliers df[(df[销售额] lower_bound) | (df[销售额] upper_bound)] print(f发现 {len(outliers)} 个异常值) # 处理方式根据业务决定。这里选择用上下边界值截断Winsorization df[销售额_修正] df[销售额].clip(lowerlower_bound, upperupper_bound)3. 数据类型转换与特征工程# 日期转换 df[日期] pd.to_datetime(df[日期]) df[月份] df[日期].dt.month # 提取月份作为新特征 df[是否周末] df[日期].dt.dayofweek 5 # 提取是否周末 # 分类变量编码为后续数值模型准备 # 独热编码 (One-Hot Encoding) df pd.get_dummies(df, columns[店铺类型], prefixtype) # 数值标准化很多模型需要如回归、SVM from sklearn.preprocessing import StandardScaler scaler StandardScaler() df[[销售额_修正, 客流量]] scaler.fit_transform(df[[销售额_修正, 客流量]])3.3 数据探索与可视化EDA在建模前用Pandas和Matplotlib/Seaborn进行探索性数据分析至关重要。import matplotlib.pyplot as plt import seaborn as sns # 1. 销售额随时间趋势 plt.figure(figsize(12,5)) df.groupby(日期)[销售额_修正].sum().plot() plt.title(日销售额趋势) plt.xlabel(日期) plt.ylabel(销售额标准化后) plt.grid(True) plt.show() # 2. 促销力度与销售额的散点图与相关性 plt.figure(figsize(8,6)) sns.scatterplot(datadf, x促销力度, y销售额_修正, alpha0.6) plt.title(促销力度 vs 销售额) plt.show() correlation df[[促销力度, 销售额_修正]].corr().iloc[0,1] print(f促销力度与销售额的相关系数{correlation:.3f}) # 3. 箱线图查看不同月份销售额分布 plt.figure(figsize(10,6)) sns.boxplot(datadf, x月份, y销售额_修正) plt.title(各月份销售额分布对比) plt.show()EDA能帮你发现潜在规律、检验假设并决定后续采用何种模型。3.4 为建模准备数据集最后将处理好的数据拆分为特征X和目标变量y并划分训练集/测试集。from sklearn.model_selection import train_test_split # 假设我们想预测销售额 # 选择特征列剔除日期、目标列等 feature_columns [客流量, 促销力度, 月份, 是否周末] [col for col in df.columns if col.startswith(type_)] X df[feature_columns] y df[销售额_修正] # 划分数据集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # random_state保证结果可复现 print(f训练集大小{X_train.shape}, 测试集大小{X_test.shape})至此一份干净、可用于建模的数据集就准备好了。你可以将其输入到线性回归、决策树等任何模型中进行训练。4. Numpy核心操作为自定义模型算法奠基当Pandas完成数据“后勤”工作后复杂的模型算法底层往往需要Numpy来实现。这里讲几个建模中极高频的操作。4.1 数组创建与基础运算# 创建数组 arr_from_list np.array([1, 2, 3, 4, 5]) arr_zeros np.zeros((3, 4)) # 3行4列的全0矩阵 arr_ones np.ones((2, 3)) arr_range np.arange(0, 10, 2) # 类似range但生成数组 [0, 2, 4, 6, 8] arr_random np.random.randn(100, 2) # 100行2列的标准正态分布随机数常用于生成模拟数据 # 基础运算 a np.array([[1,2], [3,4]]) b np.array([[5,6], [7,8]]) print(a b) # 元素对应相加 print(a * b) # 元素对应相乘哈达玛积 print(a.dot(b)) # 矩阵乘法至关重要 print(np.linalg.inv(a)) # 求矩阵逆如果可逆4.2 索引、切片与布尔索引这是高效数据操作的关键。arr np.arange(12).reshape(3, 4) # 3x4矩阵 print(arr) # [[ 0 1 2 3] # [ 4 5 6 7] # [ 8 9 10 11]] print(arr[1, 2]) # 第2行第3列 - 6 print(arr[:, 1]) # 所有行的第2列 - [1, 5, 9] print(arr[1:3, :2]) # 第2到3行前2列 - [[4,5], [8,9]] # 布尔索引非常强大的筛选功能 bool_idx arr 5 print(bool_idx) # 布尔矩阵 print(arr[bool_idx]) # 一维数组[6, 7, 8, 9, 10, 11] # 等价于 print(arr[arr 5])4.3 向量化函数与广播机制向量化是避免Python循环、提升速度的核心。# 低效的循环 def slow_square(values): result [] for v in values: result.append(v ** 2) return np.array(result) # 高效的向量化操作 def fast_square(values): return values ** 2 # 直接对整个数组操作 large_arr np.random.rand(1000000) # 实测向量化比循环快数十到数百倍广播允许不同形状的数组进行运算。# 将一个3x1数组与一个1x3数组相加得到3x3数组 a np.array([[1], [2], [3]]) # shape (3,1) b np.array([10, 20, 30]) # shape (3,) print(a b) # b被广播为(1,3)然后扩展为(3,3) # 结果 # [[11 21 31] # [12 22 32] # [13 23 33]]理解广播对于实现许多数学公式如计算点到一组点的距离至关重要。4.4 一个简单线性回归的Numpy实现理解原理最好的方式是动手实现。下面用Numpy实现一个最小二乘法线性回归。class SimpleLinearRegression: def __init__(self): self.coef_ None # 斜率 self.intercept_ None # 截距 def fit(self, X, y): 使用正规方程求解θ (X^T X)^{-1} X^T y 这里X是二维特征为简化我们先处理单特征情况并添加偏置项。 # 为X添加一列1用于计算截距 X_b np.c_[np.ones((X.shape[0], 1)), X] # shape (n_samples, 2) # 计算正规方程解 theta_best np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) self.intercept_ theta_best[0] self.coef_ theta_best[1:] return self def predict(self, X): X_b np.c_[np.ones((X.shape[0], 1)), X] return X_b.dot(np.r_[self.intercept_, self.coef_]) # 使用示例 np.random.seed(42) X_sim 2 * np.random.rand(100, 1) y_sim 4 3 * X_sim np.random.randn(100, 1) # y 4 3x 噪声 model SimpleLinearRegression() model.fit(X_sim, y_sim) print(f截距intercept: {model.intercept_:.3f}) print(f系数coef: {model.coef_[0]:.3f}) # 应该接近真实值 4 和 3这个例子展示了如何用Numpy的矩阵运算dot,inv,c_,r_简洁地实现一个核心算法。在建模中你可能需要自己实现一些损失函数、优化步骤Numpy是必不可少的工具。5. 常见问题与避坑指南实录在实际操作中你会遇到各种各样的问题。这里记录一些高频“坑点”和解决方案。5.1 环境与安装问题问题AttributeError: module numpy has no attribute product。原因与解决这不是Numpy没有product而是你错误地调用了。在较新版本中np.product已弃用应使用np.prod()。检查你的代码拼写并查阅官方文档使用正确函数名。问题在PyCharm或VSCode中安装包失败提示“pip不是内部或外部命令”。解决确认Python已添加到系统环境变量PATH中。在终端中使用完整路径调用pip例如python -m pip install numpy pandas。在PyCharm中可以直接在设置Settings- 项目Project- Python解释器Python Interpreter中点击“”号搜索安装。考虑使用Anaconda发行版管理环境和包能避免大量环境冲突。5.2 数据处理中的陷阱问题使用df.fillna(0)一股脑填充所有缺失值。避坑这是非常危险的操作。对于数值型特征用0填充可能会引入严重的偏差比如温度数据缺失填0。务必先分析缺失原因是完全随机缺失还是与某些变量有关再选择删除、均值/中位数填充、插值或使用模型预测填充等策略。问题没有区分df.copy()和直接赋值。避坑Pandas中df2 df1是创建了一个指向同一数据的新引用修改df2会影响df1。如果你想要一个独立的副本必须使用df2 df1.copy()。在数据清洗的链式操作中忽略这一点会导致难以调试的数据污染。问题SettingWithCopyWarning警告。原因与解决这个警告通常出现在你对一个DataFrame的切片df[a][b]进行赋值时。Pandas不确定你是想修改原始数据的一个视图view还是副本copy。为了避免歧义和潜在错误最佳实践是使用.loc或.iloc进行明确索引赋值df.loc[df[‘销售额’] 100, ‘等级’] ‘高’。5.3 Numpy使用误区问题误用*进行矩阵乘法。避坑Numpy中a * b是元素对应相乘要求形状相同。矩阵乘法应使用a.dot(b)或np.dot(a, b)或a bPython 3.5。在实现数学模型时用错运算符会导致完全错误的结果。问题广播机制使用不当导致形状不匹配错误。排查当出现ValueError: operands could not be broadcast together with shapes...时仔细检查参与运算的所有数组的形状arr.shape。广播规则是从尾部维度开始对齐每个维度要么相等要么其中一个是1要么其中一个不存在。画出示意图有助于理解。问题整数除法结果不符预期。注意在Python 2时代和某些语言中整数相除得到整数。但在Python 3和Numpy中/是真除法返回浮点。如果你需要向下取整除法应使用//。在建模计算中确保数据类型dtype符合你的数学假设必要时使用astype(np.float64)进行转换。5.4 效率与内存优化技巧对于超大数据集如果内存吃紧可以在pd.read_csv时指定usecols参数只读取需要的列。指定dtype参数例如将int64转为int32将float64转为float32。使用chunksize参数分块读取和处理。技巧避免在循环中逐行操作DataFrame。优先使用Pandas的向量化方法如apply,map,transform或Numpy的向量化运算。如果必须循环考虑使用iterrows()或itertuples()后者速度更快。集训第三天当你把数据处理的流程跑通把Numpy和Pandas的核心操作练熟你会发现自己对问题的掌控力大大增强。你不再是被杂乱数据牵着鼻子走而是有了清晰的方法论和工具链去驯服它们。这份从数据清洗到特征工程再到为建模做好准备的完整能力是支撑你在后续几天乃至正式比赛中快速构建有效模型的坚实基础。记住干净的、理解透彻的数据本身就已经解决了建模一半以上的问题。剩下的就是用合适的模型去揭示数据中隐藏的故事了。 数学建模第三天：用Numpy与Pandas掌握数据处理核心技能
1. 从“集训”到“实战”第三天为何是分水岭如果你正在经历数学建模的集训或者自己制定了学习计划那么第三天往往是一个关键节点。前两天你可能还在熟悉环境、回顾基础数学知识、了解建模的基本流程。到了第三天那种“纸上谈兵”的感觉会开始消退真正的“硬骨头”开始出现——如何将现实问题转化为数学模型并用代码去求解和验证。这恰恰是数学建模从“知道”到“做到”的核心跨越。集训的第三天主题通常会聚焦于数据处理与初步建模。为什么是这个因为无论题目是优化、预测还是评价你拿到的数据无论是组委会给的还是自己搜集的几乎都是“脏”的、不规整的。直接把这些数据丢进模型结果大概率惨不忍睹。所以第三天的核心任务就是掌握一套高效、可靠的“数据炼金术”把原始数据变成模型能“消化”的“营养餐”。而Python的Numpy和Pandas库就是这套炼金术的核心工具包。它们不仅仅是两个库更是你构建整个模型计算地基的“钢筋”和“水泥”。很多人会陷入一个误区一提到数学建模编程就想到复杂的算法和深奥的数学模型。但实际上在国赛、美赛等限时比赛中超过50%的时间可能都花在了数据理解和预处理上。一个干净、特征明确的数据集即使用一个相对简单的模型效果也常常优于在一个混乱数据集上强行运行复杂模型。因此第三天的学习成效直接决定了你后续建模工作是事半功倍还是事倍功半。2. 核心工具箱解析Numpy与Pandas的角色定位在动手之前我们必须厘清Numpy和Pandas各自该在什么场景下出场。混用或错用会导致代码效率低下且难以维护。2.1 Numpy高性能数值计算的“发动机”你可以把Numpy想象成一个超级强大的多维数组计算器。它的核心对象是ndarrayN-dimensional array所有元素必须是同一种数据类型比如全是浮点数。这种设计牺牲了一些灵活性但换来了极高的计算效率和内存使用效率。它的主战场是大规模的数值运算矩阵乘法、求解线性方程组、傅里叶变换、随机数生成等。当你需要做复杂的数学计算时底层几乎都是Numpy数组在运作。向量化操作这是Numpy的精华。它允许你对整个数组进行运算而无需编写慢速的Python循环。例如array * 2会将数组中每个元素乘以2速度极快。为高级模型库提供基础Scipy、Scikit-learn、Pandas乃至深度学习框架如TensorFlow/PyTorch其底层数据结构都大量依赖或兼容Numpy数组。注意不要用Numpy去处理表格中混杂着字符串、日期、缺失值的列那是Pandas的领域。Numpy专注于“纯”的数值计算。2.2 Pandas表格数据操作的“瑞士军刀”Pandas则是建立在Numpy之上的它引入了两个核心数据结构Series一维带标签数组和DataFrame二维表格可理解为Series的字典。Pandas的核心优势在于数据清洗、整合、分析和可视化前的准备。它的主战场是数据读写轻松读取CSV、Excel、SQL数据库、JSON等格式的数据这是建模的数据入口。数据清洗处理缺失值、重复值、异常值进行数据转换类型转换、分箱、标准化等。数据筛选与切片基于复杂的条件布尔索引快速筛选出行和列。数据聚合与分组groupby操作是统计分析的神器可以方便地计算各组的统计量。表格化操作维护行索引和列标签使得数据操作更直观更像在操作Excel表格但功能强大无数倍。一个简单的协作流程是用Pandas读入并清洗数据当需要进行核心的数值计算如自定义一个损失函数、实现一个优化算法时将Pandas的列df[‘column’].values或整个DataFramedf.to_numpy()转换为Numpy数组利用Numpy的高效完成计算必要时再将结果转回Pandas便于查看和分析。3. 数据处理全流程实操从原始数据到模型输入假设我们拿到一个数学建模比赛中常见的简易数据集sales_data.csv包含店铺ID、日期、销售额、客流量、促销力度等字段。我们的目标是分析促销对销售额的影响。下面我们走一遍完整流程。3.1 环境准备与数据加载首先确保环境正确。如果你使用PyCharm或VSCode新建项目后在终端Terminal使用pip安装pip install numpy pandas如果遇到“pip无法识别”的错误通常是因为Python或pip未正确加入系统环境变量。一个稳妥的方法是使用python -m pip install numpy pandas。加载数据是第一步import pandas as pd import numpy as np # 加载数据 df pd.read_csv(sales_data.csv) # 首次查看数据概览 print(df.head()) # 查看前5行 print(df.info()) # 查看列名、非空值数量、数据类型 print(df.describe()) # 查看数值型列的统计摘要均值、标准差、分位数等df.info()会立刻告诉你是否有缺失值以及每列的数据类型这是制定清洗策略的依据。3.2 数据清洗解决缺失、异常与不一致清洗是建模的基石脏数据输入必然导致垃圾输出。1. 处理缺失值# 查看每列缺失值数量 print(df.isnull().sum()) # 策略1删除缺失值过多的行或列谨慎使用可能损失信息 # 如果‘促销力度’列缺失超过30%考虑删除该列 if df[促销力度].isnull().mean() 0.3: df df.drop(columns[促销力度]) else: # 策略2填充缺失值 # 数值列用均值、中位数或前后值填充 df[销售额].fillna(df[销售额].median(), inplaceTrue) # 用中位数填充对异常值不敏感 # 分类列用众数填充 df[店铺类型].fillna(df[店铺类型].mode()[0], inplaceTrue) # 时间序列用前向或后向填充 df[客流量].fillna(methodffill, inplaceTrue) # 用前一个非空值填充2. 处理异常值异常值不一定是错误但可能扭曲模型。常用方法是基于标准差σ或四分位距IQR。# 使用IQR方法检测‘销售额’的异常值 Q1 df[销售额].quantile(0.25) Q3 df[销售额].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR # 标记异常值 outliers df[(df[销售额] lower_bound) | (df[销售额] upper_bound)] print(f发现 {len(outliers)} 个异常值) # 处理方式根据业务决定。这里选择用上下边界值截断Winsorization df[销售额_修正] df[销售额].clip(lowerlower_bound, upperupper_bound)3. 数据类型转换与特征工程# 日期转换 df[日期] pd.to_datetime(df[日期]) df[月份] df[日期].dt.month # 提取月份作为新特征 df[是否周末] df[日期].dt.dayofweek 5 # 提取是否周末 # 分类变量编码为后续数值模型准备 # 独热编码 (One-Hot Encoding) df pd.get_dummies(df, columns[店铺类型], prefixtype) # 数值标准化很多模型需要如回归、SVM from sklearn.preprocessing import StandardScaler scaler StandardScaler() df[[销售额_修正, 客流量]] scaler.fit_transform(df[[销售额_修正, 客流量]])3.3 数据探索与可视化EDA在建模前用Pandas和Matplotlib/Seaborn进行探索性数据分析至关重要。import matplotlib.pyplot as plt import seaborn as sns # 1. 销售额随时间趋势 plt.figure(figsize(12,5)) df.groupby(日期)[销售额_修正].sum().plot() plt.title(日销售额趋势) plt.xlabel(日期) plt.ylabel(销售额标准化后) plt.grid(True) plt.show() # 2. 促销力度与销售额的散点图与相关性 plt.figure(figsize(8,6)) sns.scatterplot(datadf, x促销力度, y销售额_修正, alpha0.6) plt.title(促销力度 vs 销售额) plt.show() correlation df[[促销力度, 销售额_修正]].corr().iloc[0,1] print(f促销力度与销售额的相关系数{correlation:.3f}) # 3. 箱线图查看不同月份销售额分布 plt.figure(figsize(10,6)) sns.boxplot(datadf, x月份, y销售额_修正) plt.title(各月份销售额分布对比) plt.show()EDA能帮你发现潜在规律、检验假设并决定后续采用何种模型。3.4 为建模准备数据集最后将处理好的数据拆分为特征X和目标变量y并划分训练集/测试集。from sklearn.model_selection import train_test_split # 假设我们想预测销售额 # 选择特征列剔除日期、目标列等 feature_columns [客流量, 促销力度, 月份, 是否周末] [col for col in df.columns if col.startswith(type_)] X df[feature_columns] y df[销售额_修正] # 划分数据集 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # random_state保证结果可复现 print(f训练集大小{X_train.shape}, 测试集大小{X_test.shape})至此一份干净、可用于建模的数据集就准备好了。你可以将其输入到线性回归、决策树等任何模型中进行训练。4. Numpy核心操作为自定义模型算法奠基当Pandas完成数据“后勤”工作后复杂的模型算法底层往往需要Numpy来实现。这里讲几个建模中极高频的操作。4.1 数组创建与基础运算# 创建数组 arr_from_list np.array([1, 2, 3, 4, 5]) arr_zeros np.zeros((3, 4)) # 3行4列的全0矩阵 arr_ones np.ones((2, 3)) arr_range np.arange(0, 10, 2) # 类似range但生成数组 [0, 2, 4, 6, 8] arr_random np.random.randn(100, 2) # 100行2列的标准正态分布随机数常用于生成模拟数据 # 基础运算 a np.array([[1,2], [3,4]]) b np.array([[5,6], [7,8]]) print(a b) # 元素对应相加 print(a * b) # 元素对应相乘哈达玛积 print(a.dot(b)) # 矩阵乘法至关重要 print(np.linalg.inv(a)) # 求矩阵逆如果可逆4.2 索引、切片与布尔索引这是高效数据操作的关键。arr np.arange(12).reshape(3, 4) # 3x4矩阵 print(arr) # [[ 0 1 2 3] # [ 4 5 6 7] # [ 8 9 10 11]] print(arr[1, 2]) # 第2行第3列 - 6 print(arr[:, 1]) # 所有行的第2列 - [1, 5, 9] print(arr[1:3, :2]) # 第2到3行前2列 - [[4,5], [8,9]] # 布尔索引非常强大的筛选功能 bool_idx arr 5 print(bool_idx) # 布尔矩阵 print(arr[bool_idx]) # 一维数组[6, 7, 8, 9, 10, 11] # 等价于 print(arr[arr 5])4.3 向量化函数与广播机制向量化是避免Python循环、提升速度的核心。# 低效的循环 def slow_square(values): result [] for v in values: result.append(v ** 2) return np.array(result) # 高效的向量化操作 def fast_square(values): return values ** 2 # 直接对整个数组操作 large_arr np.random.rand(1000000) # 实测向量化比循环快数十到数百倍广播允许不同形状的数组进行运算。# 将一个3x1数组与一个1x3数组相加得到3x3数组 a np.array([[1], [2], [3]]) # shape (3,1) b np.array([10, 20, 30]) # shape (3,) print(a b) # b被广播为(1,3)然后扩展为(3,3) # 结果 # [[11 21 31] # [12 22 32] # [13 23 33]]理解广播对于实现许多数学公式如计算点到一组点的距离至关重要。4.4 一个简单线性回归的Numpy实现理解原理最好的方式是动手实现。下面用Numpy实现一个最小二乘法线性回归。class SimpleLinearRegression: def __init__(self): self.coef_ None # 斜率 self.intercept_ None # 截距 def fit(self, X, y): 使用正规方程求解θ (X^T X)^{-1} X^T y 这里X是二维特征为简化我们先处理单特征情况并添加偏置项。 # 为X添加一列1用于计算截距 X_b np.c_[np.ones((X.shape[0], 1)), X] # shape (n_samples, 2) # 计算正规方程解 theta_best np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) self.intercept_ theta_best[0] self.coef_ theta_best[1:] return self def predict(self, X): X_b np.c_[np.ones((X.shape[0], 1)), X] return X_b.dot(np.r_[self.intercept_, self.coef_]) # 使用示例 np.random.seed(42) X_sim 2 * np.random.rand(100, 1) y_sim 4 3 * X_sim np.random.randn(100, 1) # y 4 3x 噪声 model SimpleLinearRegression() model.fit(X_sim, y_sim) print(f截距intercept: {model.intercept_:.3f}) print(f系数coef: {model.coef_[0]:.3f}) # 应该接近真实值 4 和 3这个例子展示了如何用Numpy的矩阵运算dot,inv,c_,r_简洁地实现一个核心算法。在建模中你可能需要自己实现一些损失函数、优化步骤Numpy是必不可少的工具。5. 常见问题与避坑指南实录在实际操作中你会遇到各种各样的问题。这里记录一些高频“坑点”和解决方案。5.1 环境与安装问题问题AttributeError: module numpy has no attribute product。原因与解决这不是Numpy没有product而是你错误地调用了。在较新版本中np.product已弃用应使用np.prod()。检查你的代码拼写并查阅官方文档使用正确函数名。问题在PyCharm或VSCode中安装包失败提示“pip不是内部或外部命令”。解决确认Python已添加到系统环境变量PATH中。在终端中使用完整路径调用pip例如python -m pip install numpy pandas。在PyCharm中可以直接在设置Settings- 项目Project- Python解释器Python Interpreter中点击“”号搜索安装。考虑使用Anaconda发行版管理环境和包能避免大量环境冲突。5.2 数据处理中的陷阱问题使用df.fillna(0)一股脑填充所有缺失值。避坑这是非常危险的操作。对于数值型特征用0填充可能会引入严重的偏差比如温度数据缺失填0。务必先分析缺失原因是完全随机缺失还是与某些变量有关再选择删除、均值/中位数填充、插值或使用模型预测填充等策略。问题没有区分df.copy()和直接赋值。避坑Pandas中df2 df1是创建了一个指向同一数据的新引用修改df2会影响df1。如果你想要一个独立的副本必须使用df2 df1.copy()。在数据清洗的链式操作中忽略这一点会导致难以调试的数据污染。问题SettingWithCopyWarning警告。原因与解决这个警告通常出现在你对一个DataFrame的切片df[a][b]进行赋值时。Pandas不确定你是想修改原始数据的一个视图view还是副本copy。为了避免歧义和潜在错误最佳实践是使用.loc或.iloc进行明确索引赋值df.loc[df[‘销售额’] 100, ‘等级’] ‘高’。5.3 Numpy使用误区问题误用*进行矩阵乘法。避坑Numpy中a * b是元素对应相乘要求形状相同。矩阵乘法应使用a.dot(b)或np.dot(a, b)或a bPython 3.5。在实现数学模型时用错运算符会导致完全错误的结果。问题广播机制使用不当导致形状不匹配错误。排查当出现ValueError: operands could not be broadcast together with shapes...时仔细检查参与运算的所有数组的形状arr.shape。广播规则是从尾部维度开始对齐每个维度要么相等要么其中一个是1要么其中一个不存在。画出示意图有助于理解。问题整数除法结果不符预期。注意在Python 2时代和某些语言中整数相除得到整数。但在Python 3和Numpy中/是真除法返回浮点。如果你需要向下取整除法应使用//。在建模计算中确保数据类型dtype符合你的数学假设必要时使用astype(np.float64)进行转换。5.4 效率与内存优化技巧对于超大数据集如果内存吃紧可以在pd.read_csv时指定usecols参数只读取需要的列。指定dtype参数例如将int64转为int32将float64转为float32。使用chunksize参数分块读取和处理。技巧避免在循环中逐行操作DataFrame。优先使用Pandas的向量化方法如apply,map,transform或Numpy的向量化运算。如果必须循环考虑使用iterrows()或itertuples()后者速度更快。集训第三天当你把数据处理的流程跑通把Numpy和Pandas的核心操作练熟你会发现自己对问题的掌控力大大增强。你不再是被杂乱数据牵着鼻子走而是有了清晰的方法论和工具链去驯服它们。这份从数据清洗到特征工程再到为建模做好准备的完整能力是支撑你在后续几天乃至正式比赛中快速构建有效模型的坚实基础。记住干净的、理解透彻的数据本身就已经解决了建模一半以上的问题。剩下的就是用合适的模型去揭示数据中隐藏的故事了。