1. 从“猜数字”到“猜规律”多项式拟合的直觉入门想象一下你面前有一张散点图上面记录着过去一年里你每天喝咖啡的杯数和当天代码产出行数的关系。数据点散乱分布但隐约能看出一个趋势咖啡喝得越多代码似乎写得也越多当然喝到某个量之后可能就直线下降了。现在老板让你基于这个“规律”预测下个月当你计划每天喝3杯咖啡时大概能写多少行代码。你怎么做最朴素的想法是找一条直线让它尽可能地穿过所有这些点或者至少离每个点都“不太远”。这条直线就是一次多项式y ax b的拟合。但现实数据往往没那么“直”比如咖啡因的提神效果可能先升后降那趋势线就该是个弯的曲线。这时你可能需要一条抛物线二次多项式y ax² b*x c或者更复杂的曲线来捕捉这种关系。这个寻找一条“最合适”的曲线来描述已知数据点背后潜在规律的过程就是多项式拟合。它不是什么高深莫测的魔法而是一种强大且直观的数据分析与预测工具。其核心思想是我们假设要预测的变量如代码行数和已知变量如咖啡杯数之间存在一个可以用多项式函数来近似描述的关系。通过已有的数据点我们可以反推出这个多项式函数的各项系数那些a, b, c...一旦系数确定这个函数就成了一个“规律模型”。对于任何一个新的输入值比如新的咖啡杯数我们就能通过这个模型计算出一个预测的输出值。从物理学中的实验数据校准如弹簧的伸长量与受力关系到金融领域的趋势预测如股价的短期波动再到图像处理中的轮廓平滑如将离散的像素点拟合成光滑曲线甚至是你手机里天气预报的模型背后多项式拟合都扮演着基础而关键的角色。它是在噪声中寻找信号在无序中建立有序的经典方法。2. 核心原理拆解最小二乘法是如何“找到”最佳曲线的多项式拟合听起来很直观但“最合适”如何定义计算机又如何自动找到这条曲线这背后的引擎绝大多数时候是最小二乘法。理解它你就理解了拟合的精髓。2.1 “误差”的量化与最小化目标假设我们有N个数据点 (xᵢ, yᵢ)我们想用一个m次多项式 P(x) a₀ a₁x a₂x² ... aₘxᵐ 来拟合。对于每一个已知的xᵢ多项式会给出一个预测值 P(xᵢ)而实际值是 yᵢ。那么预测值与实际值之间的偏差就是残差rᵢ yᵢ - P(xᵢ)。如果曲线完美经过所有点所有残差都为0但这在现实有噪声的数据中几乎不可能且容易导致“过拟合”后面会详谈。因此我们需要一个整体衡量拟合好坏的指标。最小二乘法采用的指标是残差平方和RSS Σ (yᵢ - P(xᵢ))²即所有残差的平方加起来。为什么用平方而不是绝对值平方项在数学上更友好它处处可导这使得寻找最小值点通过求导数为零成为一个标准的数学优化问题有成熟的解析解线性方程组。而绝对值函数在零点不可导求解更复杂。所以“最佳拟合”的数学定义就是找到一组多项式系数 (a₀, a₁, ..., aₘ)使得残差平方和 RSS 达到最小。这就是“最小二乘”的含义——让误差的“平方”和“最小”。2.2 从优化问题到线性方程组将多项式 P(xᵢ) 的表达式代入 RSS我们会得到一个关于系数 a₀, a₁, ..., aₘ 的二次函数。要最小化这个二次函数我们对其每一个系数求偏导数并令偏导数等于零。例如对 a₀ 求偏导 ∂RSS/∂a₀ -2 * Σ (yᵢ - (a₀ a₁xᵢ ... aₘxᵢᵐ)) 0对 a₁ 求偏导 ∂RSS/∂a₁ -2 * Σ [ (yᵢ - (a₀ a₁xᵢ ... aₘxᵢᵐ)) * xᵢ ] 0以此类推对每个系数都有一个方程。这最终形成了一个包含 (m1) 个未知数 (系数个数)、 (m1) 个方程的线性方程组被称为“正规方程”或“法方程”。这个方程组可以用矩阵形式简洁地表示XᵀX a Xᵀy。X是设计矩阵其第 i 行是 [1, xᵢ, xᵢ², ..., xᵢᵐ]。a是待求的系数向量 [a₀, a₁, ..., aₘ]ᵀ。y是观测值向量 [y₀, y₁, ..., y_N]ᵀ。只要矩阵 XᵀX 是可逆的通常当数据点数量 N 大于等于多项式阶数 m1且 x 值不全是同一个数我们就可以通过求解这个线性方程组一次性得到最优的系数向量a (XᵀX)⁻¹Xᵀy。这个解是全局最优的没有局部最小值的问题。2.3 一个手工演算的极简例子假设我们有三个数据点(1, 1) (2, 3) (3, 6)。我们想用二次多项式 y a₀ a₁x a₂x² 来拟合。构建矩阵和向量设计矩阵 X每一行对应一个点列对应 1, x, x²。X [[1, 1, 1²], [1, 2, 2²], [1, 3, 3²]] [[1, 1, 1], [1, 2, 4], [1, 3, 9]]观测向量 y[[1], [3], [6]]。计算 XᵀX 和 XᵀyXᵀX [[1,1,1], * [[1, 1, 1], [[3, 6, 14], [1,2,3], [1, 2, 4], [6, 14, 36], [1,4,9]] [1, 3, 9]] [14,36,98]] Xᵀy [[1,1,1], * [[1], [[10], [1,2,3], [3], [23], [1,4,9]] [6]] [61]]求解方程组 (XᵀX) a Xᵀy 我们需要解[3, 6, 14] [a₀] [10] [6, 14, 36] * [a₁] [23] [14,36, 98] [a₂] [61]通过高斯消元法或矩阵求逆这里演示结果可以得到解a₀ 0, a₁ 0.5, a₂ 0.5。得到拟合多项式 y 0 0.5x 0.5x² 0.5x(1 x)。你可以验证将这个多项式代入原始点计算出的预测值1, 3, 6与原始 y 值完全一致因为三点唯一确定一条抛物线RSS0。这个例子展示了最小二乘法在“完美拟合”情况下的工作过程。当数据点更多、更嘈杂时RSS 不会为零但算法会找到使 RSS 最小的那条曲线。3. 关键抉择多项式阶数m一个权衡的艺术在实际操作中面对一组数据第一个也是最关键的问题是我的多项式应该选几阶m这是一个典型的偏差-方差权衡问题选错了方向结果可能南辕北辙。3.1 欠拟合、适度拟合与过拟合欠拟合多项式阶数太低例如用直线去拟合明显弯曲的数据。模型过于简单无法捕捉数据中的潜在规律。表现在图上就是拟合曲线距离大部分数据点都较远训练误差和未来预测误差都会很大。模型“偏差”高。适度拟合多项式阶数选择合适。曲线能够较好地反映数据的整体趋势又不会对噪声过度反应。这是我们的目标。过拟合多项式阶数太高。模型复杂到不仅学到了规律还“死记硬背”了训练数据中的每一个噪声点。表现在图上就是拟合曲线疯狂扭曲力求穿过每一个数据点。这在训练集上表现极好RSS甚至接近0但一旦遇到新的、没见过的数据预测性能会急剧下降因为模型学到的“规律”包含了大量随机的噪声。模型“方差”高。下图想象中可以清晰展示这三种情况一条平直的线欠拟合、一条光滑的波浪线适度拟合、一条上下穿梭经过每个点的复杂曲线过拟合。3.2 如何科学地选择阶数实践中的方法论你不能仅仅靠“看图感觉”来选择阶数。以下是几种实用的、可量化的方法可视化分析辅助手段绘制不同阶数下的拟合曲线与原始数据点的对比图。这是最直观的方法。从低阶如12开始尝试逐步增加阶数。观察曲线何时开始从“捕捉趋势”变为“追逐噪声”。通常当曲线在数据边缘出现剧烈、不合理的震荡时就可能是过拟合的迹象。交叉验证这是更可靠、更标准的做法。其核心思想是将数据分为两部分训练集用于拟合模型验证集用于评估模型在未知数据上的表现。步骤将数据随机分成K份例如5份。依次将其中1份作为验证集其余K-1份作为训练集用训练集拟合模型并在验证集上计算误差如均方误差MSE。重复K次得到K个验证误差取其平均值作为该阶数模型的性能估计。操作分别对 m1, 2, 3, ... 等不同阶数进行上述交叉验证过程。选择在验证集上平均误差最小的那个阶数。因为验证集模拟了“新数据”所以在此表现好的模型泛化能力通常更强。信息准则如赤池信息准则。AIC在平衡模型拟合优度与复杂度方面提供了一个标准。AIC 2k - 2ln(L)其中k是模型参数个数多项式阶数m1L是模型的最大似然值与RSS相关。AIC值越小模型相对越好。它惩罚了模型复杂度因此倾向于选择更简洁的模型。你可以计算不同阶数下的AIC选择最小的。实操心得在资源允许的情况下我强烈推荐使用交叉验证作为主要选择依据。可视化作为辅助检查看拟合曲线是否符合物理或业务常识。例如如果你拟合一个随时间增长的趋势结果曲线在末尾突然掉头向下而业务上并无此依据那很可能就是过拟合了。一个常用的启发性规则是多项式阶数不应超过数据点数量的1/5或1/10这是一个防止严重过拟合的经验红线。4. 从理论到代码手把手实现多项式拟合理解了原理我们来看看如何用代码实现。这里以Python为例因为它有强大的科学计算库。我们将分步骤从零开始构建并对比使用现成库的方法。4.1 底层实现手动求解正规方程我们首先不借助高级拟合库仅用NumPy的线性代数功能来实现最小二乘求解这能让你彻底理解背后的矩阵运算。import numpy as np import matplotlib.pyplot as plt # 1. 生成示例数据带噪声的二次曲线 np.random.seed(42) # 确保结果可复现 x np.linspace(0, 10, 20) # 生成20个0到10之间的点 y_true 2 1.5 * x - 0.3 * x**2 # 真实的二次关系 y_noise y_true np.random.randn(len(x)) * 3 # 加入高斯噪声 x_data, y_data x, y_noise # 2. 选择多项式阶数 degree 2 # 3. 手动构建设计矩阵 X # X的每一行是 [1, x_i, x_i^2, ..., x_i^degree] X np.column_stack([x_data**i for i in range(degree 1)]) # 列表推导式创建列并堆叠 # 4. 求解正规方程 (X^T X) a X^T y # 使用NumPy的线性代数求解器更数值稳定 coefficients np.linalg.lstsq(X, y_data, rcondNone)[0] # np.linalg.lstsq 直接给出了最小二乘解它内部处理了 (X^T X) 可能不可逆的情况。 # 如果你想显式求解正规方程可以 # XTX X.T X # XTy X.T y_data # coefficients np.linalg.inv(XTX) XTy # 直接求逆数值稳定性较差不推荐用于实际生产。 print(f拟合的多项式系数从常数项到最高次项: {coefficients}) # 5. 使用拟合出的系数生成拟合曲线上的点 x_fit np.linspace(x_data.min(), x_data.max(), 200) # 更密的点用于画光滑曲线 X_fit np.column_stack([x_fit**i for i in range(degree 1)]) y_fit X_fit coefficients # 矩阵乘法计算拟合值 # 6. 绘图 plt.figure(figsize(10, 6)) plt.scatter(x_data, y_data, colorblue, alpha0.6, label原始数据带噪声) plt.plot(x_fit, y_fit, colorred, linewidth2, labelf{degree}阶多项式拟合) plt.plot(x, y_true, colorgreen, linestyle--, linewidth1.5, label真实关系无噪声) plt.xlabel(X) plt.ylabel(Y) plt.title(手动实现多项式拟合) plt.legend() plt.grid(True, alpha0.3) plt.show() # 7. 计算评估指标均方误差 (MSE) y_pred X coefficients mse np.mean((y_data - y_pred) ** 2) print(f拟合模型在训练数据上的均方误差 (MSE): {mse:.4f})这段代码的关键在于第3步构建设计矩阵X和第4步的求解。np.linalg.lstsq是专业选择它使用更稳定的数值算法如奇异值分解SVD来求解即使X.TX接近奇异病态也能给出一个合理的解。直接求逆(np.linalg.inv)在数学上等价但数值计算中容易因舍入误差放大而导致结果不准确尤其是高阶拟合时。4.2 高效实践使用NumPy和SciPy的现成函数在实际项目中我们很少从头造轮子。NumPy和SciPy提供了极其便捷的函数。方法一使用np.polyfit和np.polyval这是最简洁的方式。# 使用 np.polyfit 拟合直接返回系数 coefficients_np np.polyfit(x_data, y_data, degdegree) # 注意np.polyfit返回的系数是降幂排列 [a_n, a_{n-1}, ..., a_0] print(fnp.polyfit 拟合系数降幂: {coefficients_np}) # 使用 np.polyval 计算多项式值 y_fit_np np.polyval(coefficients_np, x_fit) # 绘图验证略方法二使用SciPy的curve_fit更通用scipy.optimize.curve_fit可以拟合任意形式的函数不仅仅是多项式它使用非线性最小二乘算法。from scipy.optimize import curve_fit # 首先定义你想要拟合的函数形式 def poly_func(x, a, b, c): # 这里以二次为例 return a * x**2 b * x c # 使用curve_fit进行拟合popt是最优参数pcov是参数的协方差矩阵可用于估计误差 popt, pcov curve_fit(poly_func, x_data, y_data) print(fcurve_fit 拟合系数 (a, b, c): {popt}) # 注意curve_fit对初始猜测敏感对于多项式np.polyfit的结果通常可以作为很好的初始值。对比与选择np.polyfit专为多项式设计接口最简单速度很快。首选。np.linalg.lstsq更底层更灵活可以用于其他线性模型理解它有助于掌握原理。scipy.optimize.curve_fit最通用可以拟合任何你能够写出表达式的模型包括非线性的。当多项式模型不够用时比如需要指数、对数形式就用它。4.3 评估拟合效果不止于看图画出曲线和散点图对比是最直观的评估但我们需要量化指标。均方误差如前所述MSE mean((y_true - y_pred)^2)。衡量的是平均误差的平方值越小越好。但它受量纲影响。R平方这是一个非常常用的指标表示模型能够解释的数据方差的比例。R² 1 - (SS_res / SS_tot)其中SS_res是残差平方和SS_tot是总平方和数据自身的方差。R²越接近1说明模型对数据的解释能力越强。# 计算R平方 ss_res np.sum((y_data - y_pred) ** 2) ss_tot np.sum((y_data - np.mean(y_data)) ** 2) r_squared 1 - (ss_res / ss_tot) print(fR平方 (R²) 分数: {r_squared:.4f})注意R²会随着多项式阶数增加而单调增加因为模型更复杂总能更贴近训练数据。因此在比较不同阶数模型时不能只看训练集上的R²必须结合验证集的R²或调整R²来看。调整R²考虑了参数个数对模型复杂度进行了惩罚。残差分析绘制残差y_data - y_pred与预测值y_pred或自变量x的散点图。一个好的拟合残差应该随机、均匀地分布在0轴附近没有明显的模式如曲线、漏斗形。如果残差图显示出规律说明模型可能遗漏了某个重要的影响因素或函数形式。5. 高阶话题与实战避坑指南掌握了基础操作后在实际应用中你一定会遇到更复杂的情况和陷阱。以下是几个关键的高阶话题和避坑经验。5.1 病态问题与数值稳定性当“完美数学”遇上“不完美计算机”当多项式阶数较高或者x的数据范围很大/很小时设计矩阵X的列即1, x, x², ...之间可能变得高度相关例如x¹⁰和x⁹在数值上差异巨大但趋势相似。这会导致X.TX矩阵接近奇异行列式接近零即所谓的“病态”问题。在病态情况下正规方程的解对数据中的微小噪声如测量误差会变得极其敏感。系数值可能变得异常巨大且正负抵消以求通过数据点但预测新数据时完全失控。这就是高阶多项式容易过拟合在数值计算上的体现。解决方案中心化与缩放在拟合前对x数据进行处理使其均值为0标准差为1。这能显著改善矩阵的条件数。x_mean, x_std x_data.mean(), x_data.std() x_scaled (x_data - x_mean) / x_std # 用 x_scaled 去拟合 # 得到系数后如果要预测原始尺度的x_new需要先缩放(x_new - x_mean)/x_std使用正交多项式如勒让德多项式、切比雪夫多项式。它们在特定区间上正交能从根本上避免病态问题。np.polyfit在内部可能就使用了类似的稳定算法。正则化在损失函数中加入对系数大小的惩罚项如岭回归。这迫使系数值不会变得过大即使在高阶情况下也能获得更稳定、泛化能力更强的解。这已经进入了“多项式回归正则化”的领域。实操心得对于中低阶拟合如m10且x范围不太极端直接用np.polyfit通常没问题。如果遇到高阶拟合或系数值异常大的情况第一反应应该是检查是否真的需要这么高的阶数其次才是应用中心化缩放。正则化是更高级但更强大的武器。5.2 过拟合的识别与应对模型选择的实战过拟合是多项式拟合的头号敌人。除了前面提到的交叉验证在实战中还有以下信号系数值巨大拟合出的多项式系数尤其是高次项系数绝对值非常大。这意味着曲线为了穿过噪声点进行了极端的弯曲。预测结果违反常识在训练数据范围之外进行一点点外推预测值就飞涨或暴跌到不合理的地步。学习曲线绘制模型在训练集和验证集上的误差如MSE随多项式阶数变化的曲线。理想情况下训练误差随阶数增加持续下降而验证误差会先下降后上升。验证误差的最低点对应的阶数就是最优阶数。如果两条曲线差距随着阶数增加越来越大就是过拟合的典型表现。应对策略收集更多数据这是最有效但往往最难的方法。更多的数据能让噪声的影响相对减小模型更可能学到真实规律。降低模型复杂度果断降低多项式阶数。有时简单的线性或二次模型比复杂的高次模型更可靠。使用正则化如前所述在损失函数中加入L1或L2范数惩罚项。L1正则化Lasso甚至可以将一些不重要的特征的系数压缩至0实现特征选择。提前停止如果你使用迭代算法求解可以在验证误差不再下降反而开始上升时停止迭代。5.3 分段多项式拟合与样条曲线当一条曲线不够用时有时整个数据区间用一个多项式描述效果很差但不同区间呈现出不同的规律。例如经济数据在政策变化前后趋势不同。这时可以考虑分段多项式拟合。最简单的分段是分段线性拟合即连接各点的折线。但折线在连接点节点处不可导不够光滑。更高级的方法是样条拟合特别是三次样条。它要求在每个分段内部是三次多项式并且在节点处具有连续的一阶和二阶导数即曲线光滑过渡。在Python中可以使用scipy.interpolate中的UnivariateSpline或CubicSpline。from scipy.interpolate import CubicSpline, UnivariateSpline # 使用所有数据点作为节点的三次样条平滑参数s0强制通过所有点 cs CubicSpline(x_data, y_data) y_fit_spline cs(x_fit) # 使用UnivariateSpline可以通过平滑参数s来控制平滑度与拟合度的权衡 # s越大曲线越平滑但可能偏离数据点越多。 spl UnivariateSpline(x_data, y_data, s1) # s需要根据数据调整 y_fit_smooth_spline spl(x_fit)样条曲线提供了极大的灵活性特别适用于绘制光滑的曲线图或对不规则数据进行插值。但它本质上是一个插值器当s0时用于预测未知区间时需要格外小心因为其外推行为可能不可控。6. 超越曲线拟合多项式回归的广阔天地当我们把多项式拟合看作一种特殊的线性回归时它的视野就开阔了。这被称为多项式回归。在线性回归中我们假设 y β₀ β₁x ε。在多项式回归中我们只是将特征x进行了变换生成了新的特征x, x², x³, ...然后对这些新特征进行线性回归。因此多项式回归依然是线性模型这里的“线性”指的是模型关于参数系数是线性的。这个视角带来了两个强大的扩展多元多项式回归我们有不止一个自变量。例如预测房价特征有面积(x₁)和房龄(x₂)。我们可以构建包含交互项和高次项的特征集如x₁, x₂, x₁², x₂², x₁x₂, x₁²x₂, ... 然后用线性回归的方法如最小二乘求解系数。这可以捕捉特征间复杂的非线性相互作用。# 假设有两个特征 area 和 age from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score # 生成包含交互项和二次项的特征 poly PolynomialFeatures(degree2, include_biasFalse) # degree2 生成到二次项 X_poly poly.fit_transform(X) # X 是一个两列的数组 [area, age] # X_poly 现在包含 [area, age, area^2, area*age, age^2] model LinearRegression() model.fit(X_poly, y)与正则化结合如前所述将多项式回归与岭回归L2、Lasso回归L1或弹性网络结合可以有效地控制模型复杂度防止过拟合这在特征维度多项式项很多时尤其重要。Scikit-learn的Ridge,Lasso等类可以无缝衔接。最后的心得多项式拟合/回归是一个“入门简单精通难”的领域。它为你提供了一把强大的瑞士军刀但如何用好它取决于你对数据的理解、对模型假设的把握以及对过拟合的警惕。我的建议是永远从最简单的模型线性开始逐步增加复杂度并始终用验证集来客观评估每一步的收益。记住一个在训练集上表现稍差但在验证集上表现稳健的模型远胜于一个在训练集上完美但在新数据上崩盘的复杂模型。在实践中清晰的可视化和严谨的误差分析是你最可靠的向导。 多项式拟合原理与实践：从最小二乘法到过拟合应对
1. 从“猜数字”到“猜规律”多项式拟合的直觉入门想象一下你面前有一张散点图上面记录着过去一年里你每天喝咖啡的杯数和当天代码产出行数的关系。数据点散乱分布但隐约能看出一个趋势咖啡喝得越多代码似乎写得也越多当然喝到某个量之后可能就直线下降了。现在老板让你基于这个“规律”预测下个月当你计划每天喝3杯咖啡时大概能写多少行代码。你怎么做最朴素的想法是找一条直线让它尽可能地穿过所有这些点或者至少离每个点都“不太远”。这条直线就是一次多项式y ax b的拟合。但现实数据往往没那么“直”比如咖啡因的提神效果可能先升后降那趋势线就该是个弯的曲线。这时你可能需要一条抛物线二次多项式y ax² b*x c或者更复杂的曲线来捕捉这种关系。这个寻找一条“最合适”的曲线来描述已知数据点背后潜在规律的过程就是多项式拟合。它不是什么高深莫测的魔法而是一种强大且直观的数据分析与预测工具。其核心思想是我们假设要预测的变量如代码行数和已知变量如咖啡杯数之间存在一个可以用多项式函数来近似描述的关系。通过已有的数据点我们可以反推出这个多项式函数的各项系数那些a, b, c...一旦系数确定这个函数就成了一个“规律模型”。对于任何一个新的输入值比如新的咖啡杯数我们就能通过这个模型计算出一个预测的输出值。从物理学中的实验数据校准如弹簧的伸长量与受力关系到金融领域的趋势预测如股价的短期波动再到图像处理中的轮廓平滑如将离散的像素点拟合成光滑曲线甚至是你手机里天气预报的模型背后多项式拟合都扮演着基础而关键的角色。它是在噪声中寻找信号在无序中建立有序的经典方法。2. 核心原理拆解最小二乘法是如何“找到”最佳曲线的多项式拟合听起来很直观但“最合适”如何定义计算机又如何自动找到这条曲线这背后的引擎绝大多数时候是最小二乘法。理解它你就理解了拟合的精髓。2.1 “误差”的量化与最小化目标假设我们有N个数据点 (xᵢ, yᵢ)我们想用一个m次多项式 P(x) a₀ a₁x a₂x² ... aₘxᵐ 来拟合。对于每一个已知的xᵢ多项式会给出一个预测值 P(xᵢ)而实际值是 yᵢ。那么预测值与实际值之间的偏差就是残差rᵢ yᵢ - P(xᵢ)。如果曲线完美经过所有点所有残差都为0但这在现实有噪声的数据中几乎不可能且容易导致“过拟合”后面会详谈。因此我们需要一个整体衡量拟合好坏的指标。最小二乘法采用的指标是残差平方和RSS Σ (yᵢ - P(xᵢ))²即所有残差的平方加起来。为什么用平方而不是绝对值平方项在数学上更友好它处处可导这使得寻找最小值点通过求导数为零成为一个标准的数学优化问题有成熟的解析解线性方程组。而绝对值函数在零点不可导求解更复杂。所以“最佳拟合”的数学定义就是找到一组多项式系数 (a₀, a₁, ..., aₘ)使得残差平方和 RSS 达到最小。这就是“最小二乘”的含义——让误差的“平方”和“最小”。2.2 从优化问题到线性方程组将多项式 P(xᵢ) 的表达式代入 RSS我们会得到一个关于系数 a₀, a₁, ..., aₘ 的二次函数。要最小化这个二次函数我们对其每一个系数求偏导数并令偏导数等于零。例如对 a₀ 求偏导 ∂RSS/∂a₀ -2 * Σ (yᵢ - (a₀ a₁xᵢ ... aₘxᵢᵐ)) 0对 a₁ 求偏导 ∂RSS/∂a₁ -2 * Σ [ (yᵢ - (a₀ a₁xᵢ ... aₘxᵢᵐ)) * xᵢ ] 0以此类推对每个系数都有一个方程。这最终形成了一个包含 (m1) 个未知数 (系数个数)、 (m1) 个方程的线性方程组被称为“正规方程”或“法方程”。这个方程组可以用矩阵形式简洁地表示XᵀX a Xᵀy。X是设计矩阵其第 i 行是 [1, xᵢ, xᵢ², ..., xᵢᵐ]。a是待求的系数向量 [a₀, a₁, ..., aₘ]ᵀ。y是观测值向量 [y₀, y₁, ..., y_N]ᵀ。只要矩阵 XᵀX 是可逆的通常当数据点数量 N 大于等于多项式阶数 m1且 x 值不全是同一个数我们就可以通过求解这个线性方程组一次性得到最优的系数向量a (XᵀX)⁻¹Xᵀy。这个解是全局最优的没有局部最小值的问题。2.3 一个手工演算的极简例子假设我们有三个数据点(1, 1) (2, 3) (3, 6)。我们想用二次多项式 y a₀ a₁x a₂x² 来拟合。构建矩阵和向量设计矩阵 X每一行对应一个点列对应 1, x, x²。X [[1, 1, 1²], [1, 2, 2²], [1, 3, 3²]] [[1, 1, 1], [1, 2, 4], [1, 3, 9]]观测向量 y[[1], [3], [6]]。计算 XᵀX 和 XᵀyXᵀX [[1,1,1], * [[1, 1, 1], [[3, 6, 14], [1,2,3], [1, 2, 4], [6, 14, 36], [1,4,9]] [1, 3, 9]] [14,36,98]] Xᵀy [[1,1,1], * [[1], [[10], [1,2,3], [3], [23], [1,4,9]] [6]] [61]]求解方程组 (XᵀX) a Xᵀy 我们需要解[3, 6, 14] [a₀] [10] [6, 14, 36] * [a₁] [23] [14,36, 98] [a₂] [61]通过高斯消元法或矩阵求逆这里演示结果可以得到解a₀ 0, a₁ 0.5, a₂ 0.5。得到拟合多项式 y 0 0.5x 0.5x² 0.5x(1 x)。你可以验证将这个多项式代入原始点计算出的预测值1, 3, 6与原始 y 值完全一致因为三点唯一确定一条抛物线RSS0。这个例子展示了最小二乘法在“完美拟合”情况下的工作过程。当数据点更多、更嘈杂时RSS 不会为零但算法会找到使 RSS 最小的那条曲线。3. 关键抉择多项式阶数m一个权衡的艺术在实际操作中面对一组数据第一个也是最关键的问题是我的多项式应该选几阶m这是一个典型的偏差-方差权衡问题选错了方向结果可能南辕北辙。3.1 欠拟合、适度拟合与过拟合欠拟合多项式阶数太低例如用直线去拟合明显弯曲的数据。模型过于简单无法捕捉数据中的潜在规律。表现在图上就是拟合曲线距离大部分数据点都较远训练误差和未来预测误差都会很大。模型“偏差”高。适度拟合多项式阶数选择合适。曲线能够较好地反映数据的整体趋势又不会对噪声过度反应。这是我们的目标。过拟合多项式阶数太高。模型复杂到不仅学到了规律还“死记硬背”了训练数据中的每一个噪声点。表现在图上就是拟合曲线疯狂扭曲力求穿过每一个数据点。这在训练集上表现极好RSS甚至接近0但一旦遇到新的、没见过的数据预测性能会急剧下降因为模型学到的“规律”包含了大量随机的噪声。模型“方差”高。下图想象中可以清晰展示这三种情况一条平直的线欠拟合、一条光滑的波浪线适度拟合、一条上下穿梭经过每个点的复杂曲线过拟合。3.2 如何科学地选择阶数实践中的方法论你不能仅仅靠“看图感觉”来选择阶数。以下是几种实用的、可量化的方法可视化分析辅助手段绘制不同阶数下的拟合曲线与原始数据点的对比图。这是最直观的方法。从低阶如12开始尝试逐步增加阶数。观察曲线何时开始从“捕捉趋势”变为“追逐噪声”。通常当曲线在数据边缘出现剧烈、不合理的震荡时就可能是过拟合的迹象。交叉验证这是更可靠、更标准的做法。其核心思想是将数据分为两部分训练集用于拟合模型验证集用于评估模型在未知数据上的表现。步骤将数据随机分成K份例如5份。依次将其中1份作为验证集其余K-1份作为训练集用训练集拟合模型并在验证集上计算误差如均方误差MSE。重复K次得到K个验证误差取其平均值作为该阶数模型的性能估计。操作分别对 m1, 2, 3, ... 等不同阶数进行上述交叉验证过程。选择在验证集上平均误差最小的那个阶数。因为验证集模拟了“新数据”所以在此表现好的模型泛化能力通常更强。信息准则如赤池信息准则。AIC在平衡模型拟合优度与复杂度方面提供了一个标准。AIC 2k - 2ln(L)其中k是模型参数个数多项式阶数m1L是模型的最大似然值与RSS相关。AIC值越小模型相对越好。它惩罚了模型复杂度因此倾向于选择更简洁的模型。你可以计算不同阶数下的AIC选择最小的。实操心得在资源允许的情况下我强烈推荐使用交叉验证作为主要选择依据。可视化作为辅助检查看拟合曲线是否符合物理或业务常识。例如如果你拟合一个随时间增长的趋势结果曲线在末尾突然掉头向下而业务上并无此依据那很可能就是过拟合了。一个常用的启发性规则是多项式阶数不应超过数据点数量的1/5或1/10这是一个防止严重过拟合的经验红线。4. 从理论到代码手把手实现多项式拟合理解了原理我们来看看如何用代码实现。这里以Python为例因为它有强大的科学计算库。我们将分步骤从零开始构建并对比使用现成库的方法。4.1 底层实现手动求解正规方程我们首先不借助高级拟合库仅用NumPy的线性代数功能来实现最小二乘求解这能让你彻底理解背后的矩阵运算。import numpy as np import matplotlib.pyplot as plt # 1. 生成示例数据带噪声的二次曲线 np.random.seed(42) # 确保结果可复现 x np.linspace(0, 10, 20) # 生成20个0到10之间的点 y_true 2 1.5 * x - 0.3 * x**2 # 真实的二次关系 y_noise y_true np.random.randn(len(x)) * 3 # 加入高斯噪声 x_data, y_data x, y_noise # 2. 选择多项式阶数 degree 2 # 3. 手动构建设计矩阵 X # X的每一行是 [1, x_i, x_i^2, ..., x_i^degree] X np.column_stack([x_data**i for i in range(degree 1)]) # 列表推导式创建列并堆叠 # 4. 求解正规方程 (X^T X) a X^T y # 使用NumPy的线性代数求解器更数值稳定 coefficients np.linalg.lstsq(X, y_data, rcondNone)[0] # np.linalg.lstsq 直接给出了最小二乘解它内部处理了 (X^T X) 可能不可逆的情况。 # 如果你想显式求解正规方程可以 # XTX X.T X # XTy X.T y_data # coefficients np.linalg.inv(XTX) XTy # 直接求逆数值稳定性较差不推荐用于实际生产。 print(f拟合的多项式系数从常数项到最高次项: {coefficients}) # 5. 使用拟合出的系数生成拟合曲线上的点 x_fit np.linspace(x_data.min(), x_data.max(), 200) # 更密的点用于画光滑曲线 X_fit np.column_stack([x_fit**i for i in range(degree 1)]) y_fit X_fit coefficients # 矩阵乘法计算拟合值 # 6. 绘图 plt.figure(figsize(10, 6)) plt.scatter(x_data, y_data, colorblue, alpha0.6, label原始数据带噪声) plt.plot(x_fit, y_fit, colorred, linewidth2, labelf{degree}阶多项式拟合) plt.plot(x, y_true, colorgreen, linestyle--, linewidth1.5, label真实关系无噪声) plt.xlabel(X) plt.ylabel(Y) plt.title(手动实现多项式拟合) plt.legend() plt.grid(True, alpha0.3) plt.show() # 7. 计算评估指标均方误差 (MSE) y_pred X coefficients mse np.mean((y_data - y_pred) ** 2) print(f拟合模型在训练数据上的均方误差 (MSE): {mse:.4f})这段代码的关键在于第3步构建设计矩阵X和第4步的求解。np.linalg.lstsq是专业选择它使用更稳定的数值算法如奇异值分解SVD来求解即使X.TX接近奇异病态也能给出一个合理的解。直接求逆(np.linalg.inv)在数学上等价但数值计算中容易因舍入误差放大而导致结果不准确尤其是高阶拟合时。4.2 高效实践使用NumPy和SciPy的现成函数在实际项目中我们很少从头造轮子。NumPy和SciPy提供了极其便捷的函数。方法一使用np.polyfit和np.polyval这是最简洁的方式。# 使用 np.polyfit 拟合直接返回系数 coefficients_np np.polyfit(x_data, y_data, degdegree) # 注意np.polyfit返回的系数是降幂排列 [a_n, a_{n-1}, ..., a_0] print(fnp.polyfit 拟合系数降幂: {coefficients_np}) # 使用 np.polyval 计算多项式值 y_fit_np np.polyval(coefficients_np, x_fit) # 绘图验证略方法二使用SciPy的curve_fit更通用scipy.optimize.curve_fit可以拟合任意形式的函数不仅仅是多项式它使用非线性最小二乘算法。from scipy.optimize import curve_fit # 首先定义你想要拟合的函数形式 def poly_func(x, a, b, c): # 这里以二次为例 return a * x**2 b * x c # 使用curve_fit进行拟合popt是最优参数pcov是参数的协方差矩阵可用于估计误差 popt, pcov curve_fit(poly_func, x_data, y_data) print(fcurve_fit 拟合系数 (a, b, c): {popt}) # 注意curve_fit对初始猜测敏感对于多项式np.polyfit的结果通常可以作为很好的初始值。对比与选择np.polyfit专为多项式设计接口最简单速度很快。首选。np.linalg.lstsq更底层更灵活可以用于其他线性模型理解它有助于掌握原理。scipy.optimize.curve_fit最通用可以拟合任何你能够写出表达式的模型包括非线性的。当多项式模型不够用时比如需要指数、对数形式就用它。4.3 评估拟合效果不止于看图画出曲线和散点图对比是最直观的评估但我们需要量化指标。均方误差如前所述MSE mean((y_true - y_pred)^2)。衡量的是平均误差的平方值越小越好。但它受量纲影响。R平方这是一个非常常用的指标表示模型能够解释的数据方差的比例。R² 1 - (SS_res / SS_tot)其中SS_res是残差平方和SS_tot是总平方和数据自身的方差。R²越接近1说明模型对数据的解释能力越强。# 计算R平方 ss_res np.sum((y_data - y_pred) ** 2) ss_tot np.sum((y_data - np.mean(y_data)) ** 2) r_squared 1 - (ss_res / ss_tot) print(fR平方 (R²) 分数: {r_squared:.4f})注意R²会随着多项式阶数增加而单调增加因为模型更复杂总能更贴近训练数据。因此在比较不同阶数模型时不能只看训练集上的R²必须结合验证集的R²或调整R²来看。调整R²考虑了参数个数对模型复杂度进行了惩罚。残差分析绘制残差y_data - y_pred与预测值y_pred或自变量x的散点图。一个好的拟合残差应该随机、均匀地分布在0轴附近没有明显的模式如曲线、漏斗形。如果残差图显示出规律说明模型可能遗漏了某个重要的影响因素或函数形式。5. 高阶话题与实战避坑指南掌握了基础操作后在实际应用中你一定会遇到更复杂的情况和陷阱。以下是几个关键的高阶话题和避坑经验。5.1 病态问题与数值稳定性当“完美数学”遇上“不完美计算机”当多项式阶数较高或者x的数据范围很大/很小时设计矩阵X的列即1, x, x², ...之间可能变得高度相关例如x¹⁰和x⁹在数值上差异巨大但趋势相似。这会导致X.TX矩阵接近奇异行列式接近零即所谓的“病态”问题。在病态情况下正规方程的解对数据中的微小噪声如测量误差会变得极其敏感。系数值可能变得异常巨大且正负抵消以求通过数据点但预测新数据时完全失控。这就是高阶多项式容易过拟合在数值计算上的体现。解决方案中心化与缩放在拟合前对x数据进行处理使其均值为0标准差为1。这能显著改善矩阵的条件数。x_mean, x_std x_data.mean(), x_data.std() x_scaled (x_data - x_mean) / x_std # 用 x_scaled 去拟合 # 得到系数后如果要预测原始尺度的x_new需要先缩放(x_new - x_mean)/x_std使用正交多项式如勒让德多项式、切比雪夫多项式。它们在特定区间上正交能从根本上避免病态问题。np.polyfit在内部可能就使用了类似的稳定算法。正则化在损失函数中加入对系数大小的惩罚项如岭回归。这迫使系数值不会变得过大即使在高阶情况下也能获得更稳定、泛化能力更强的解。这已经进入了“多项式回归正则化”的领域。实操心得对于中低阶拟合如m10且x范围不太极端直接用np.polyfit通常没问题。如果遇到高阶拟合或系数值异常大的情况第一反应应该是检查是否真的需要这么高的阶数其次才是应用中心化缩放。正则化是更高级但更强大的武器。5.2 过拟合的识别与应对模型选择的实战过拟合是多项式拟合的头号敌人。除了前面提到的交叉验证在实战中还有以下信号系数值巨大拟合出的多项式系数尤其是高次项系数绝对值非常大。这意味着曲线为了穿过噪声点进行了极端的弯曲。预测结果违反常识在训练数据范围之外进行一点点外推预测值就飞涨或暴跌到不合理的地步。学习曲线绘制模型在训练集和验证集上的误差如MSE随多项式阶数变化的曲线。理想情况下训练误差随阶数增加持续下降而验证误差会先下降后上升。验证误差的最低点对应的阶数就是最优阶数。如果两条曲线差距随着阶数增加越来越大就是过拟合的典型表现。应对策略收集更多数据这是最有效但往往最难的方法。更多的数据能让噪声的影响相对减小模型更可能学到真实规律。降低模型复杂度果断降低多项式阶数。有时简单的线性或二次模型比复杂的高次模型更可靠。使用正则化如前所述在损失函数中加入L1或L2范数惩罚项。L1正则化Lasso甚至可以将一些不重要的特征的系数压缩至0实现特征选择。提前停止如果你使用迭代算法求解可以在验证误差不再下降反而开始上升时停止迭代。5.3 分段多项式拟合与样条曲线当一条曲线不够用时有时整个数据区间用一个多项式描述效果很差但不同区间呈现出不同的规律。例如经济数据在政策变化前后趋势不同。这时可以考虑分段多项式拟合。最简单的分段是分段线性拟合即连接各点的折线。但折线在连接点节点处不可导不够光滑。更高级的方法是样条拟合特别是三次样条。它要求在每个分段内部是三次多项式并且在节点处具有连续的一阶和二阶导数即曲线光滑过渡。在Python中可以使用scipy.interpolate中的UnivariateSpline或CubicSpline。from scipy.interpolate import CubicSpline, UnivariateSpline # 使用所有数据点作为节点的三次样条平滑参数s0强制通过所有点 cs CubicSpline(x_data, y_data) y_fit_spline cs(x_fit) # 使用UnivariateSpline可以通过平滑参数s来控制平滑度与拟合度的权衡 # s越大曲线越平滑但可能偏离数据点越多。 spl UnivariateSpline(x_data, y_data, s1) # s需要根据数据调整 y_fit_smooth_spline spl(x_fit)样条曲线提供了极大的灵活性特别适用于绘制光滑的曲线图或对不规则数据进行插值。但它本质上是一个插值器当s0时用于预测未知区间时需要格外小心因为其外推行为可能不可控。6. 超越曲线拟合多项式回归的广阔天地当我们把多项式拟合看作一种特殊的线性回归时它的视野就开阔了。这被称为多项式回归。在线性回归中我们假设 y β₀ β₁x ε。在多项式回归中我们只是将特征x进行了变换生成了新的特征x, x², x³, ...然后对这些新特征进行线性回归。因此多项式回归依然是线性模型这里的“线性”指的是模型关于参数系数是线性的。这个视角带来了两个强大的扩展多元多项式回归我们有不止一个自变量。例如预测房价特征有面积(x₁)和房龄(x₂)。我们可以构建包含交互项和高次项的特征集如x₁, x₂, x₁², x₂², x₁x₂, x₁²x₂, ... 然后用线性回归的方法如最小二乘求解系数。这可以捕捉特征间复杂的非线性相互作用。# 假设有两个特征 area 和 age from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score # 生成包含交互项和二次项的特征 poly PolynomialFeatures(degree2, include_biasFalse) # degree2 生成到二次项 X_poly poly.fit_transform(X) # X 是一个两列的数组 [area, age] # X_poly 现在包含 [area, age, area^2, area*age, age^2] model LinearRegression() model.fit(X_poly, y)与正则化结合如前所述将多项式回归与岭回归L2、Lasso回归L1或弹性网络结合可以有效地控制模型复杂度防止过拟合这在特征维度多项式项很多时尤其重要。Scikit-learn的Ridge,Lasso等类可以无缝衔接。最后的心得多项式拟合/回归是一个“入门简单精通难”的领域。它为你提供了一把强大的瑞士军刀但如何用好它取决于你对数据的理解、对模型假设的把握以及对过拟合的警惕。我的建议是永远从最简单的模型线性开始逐步增加复杂度并始终用验证集来客观评估每一步的收益。记住一个在训练集上表现稍差但在验证集上表现稳健的模型远胜于一个在训练集上完美但在新数据上崩盘的复杂模型。在实践中清晰的可视化和严谨的误差分析是你最可靠的向导。