最大似然估计（MLE）

最大似然估计Maximum Likelihood Estimation简称 MLE是统计学和机器学习中最核心的参数估计方法。如果说 “均方误差MSE” 是为了衡量预测得准不准那么“最大似然估计”就是为了解决一个更根本的问题当我们观察到一堆数据后如何反推出产生这些数据背后的“规则参数”本文我们用通俗的语言和生活中的例子来拆解。一、 通俗解释从“结果”反推“原因”通俗解释最大似然估计的核心思想是既然这件事已经发生了那么导致它发生的概率最大的那个原因就是最真实的真相。生活中的例子假设你在一个不透明的箱子里摸球。你摸了 10 次摸出了 9 个红球1 个白球。现在让你猜箱子里红球和白球的比例是多少猜测 A红球占 90%白球占 10%。猜测 B红球占 50%白球占 50%。用脚趾头想也知道你会选 A。因为在“红球占 90%”这个假设下连续摸出 9 个红球的**可能性似然**是最大的。而如果是 50% 的比例摸出这种结果的概率极低。最大似然估计就是寻找一个参数比如红球的比例使得我们当前观察到的这组数据出现的概率达到最大。二、 数学上的“三步走”在数学上MLE 的过程非常严谨通常分为三步写出似然函数Likelihood Function假设数据是相互独立的把每个数据点出现的概率乘在一起得到一个总概率公式。这个公式里数据是已知的未知的是参数比如均值μ\muμ或方差σ2\sigma^2σ2。取对数Log-Likelihood因为一堆概率乘在一起数字会非常小而且乘法求导很麻烦。所以我们对这个式子取对数Log把“乘法”变成“加法”数学上更好处理。求导并令其为 0最大化把这个对数似然函数看作一个抛物线我们对参数求导数并让导数等于 0。找到这个“山顶”最大值点此时的参数值就是最大似然估计的结果。三、 MLE 与正态分布、线性回归的绝妙联系还记得我们前面的博文中聊过的正态分布和线性回归吗它们在这里完美闭环了MLE 与正态分布如果我们假设数据服从正态分布并使用 MLE 去推导它的均值μ\muμ和方差σ2\sigma^2σ2你会发现MLE 算出来的均值μ\muμ刚好就是所有样本的算术平均数算出来的方差也刚好是样本方差。这说明 MLE 完全符合我们的直觉。MLE 与线性回归重点线性回归寻找最佳直线时用的是“最小二乘法”让均方误差 MSE 最小。但这其实不是拍脑袋决定的。如果我们假设线性回归的误差项服从正态分布然后使用最大似然估计MLE去推导数学上推导出来的结果刚好就是“最小化均方误差MSE” 核心洞察“最小二乘法”和“最大似然估计”在正态分布的假设下是完全等价的。MSE 只是 MLE 在特定条件下的一个特例。这解释了为什么线性回归要用 MSE因为它的底层逻辑就是 MLE。四、 为什么大家都爱用 MLE优点理论基础极其扎实在样本量足够大的情况下MLE 估计出的参数具有“一致性”和“渐近正态性”通俗说就是数据越多它给出的答案越准且误差分布很规律。万能框架只要你能写出数据的概率分布似然函数无论是正态分布、泊松分布还是逻辑回归都可以用 MLE 来求解参数。它是现代机器学习包括深度学习的基石。五、 MLE 的弱点缺点极度依赖假设MLE 的前提是你必须猜对数据的分布。如果你明明知道数据是偏态的却硬套正态分布的 MLE得出的结果就会很离谱。容易过拟合OverfittingMLE 只看着眼前的数据容易把数据里的“噪音”也当成“规律”学进去。如果数据量太少MLE 可能会给出非常极端的参数。 补救措施为了解决这个问题后来人们发明了MAP最大后验估计在 MLE 的基础上加了一个“先验惩罚”比如 L1/L2 正则化防止模型学得太偏。六、 一句话总结最大似然估计MLE是一种“由果推因”的哲学。它认为能让当前观测数据发生概率最大的那个参数就是最合理的参数。它是连接概率论与机器学习的桥梁也是最小二乘法背后的终极解释。