李宏毅深度学习课程集成学习学习报告

近期学习了李宏毅老师深度学习课程中的集成学习Ensemble Learning 章节系统学习了集成学习的核心思想、误差优化原理、Bagging、Boosting、Stacking 三大主流框架。相较于单个模型训练集成学习通过多模型融合大幅降低模型泛化误差是机器学习提升精度最核心、最实用的手段之一。本次学习不仅掌握了理论逻辑同时结合课程公式与实操代码完成了算法验证对模型优化有了更深的理解。一、集成学习核心思想集成学习的核心思想可以概括为多个弱模型组合成为高精度强模型。单一模型往往存在固有缺陷简单模型高偏差、欠拟合复杂模型高方差、过拟合集成学习通过多模型差异化训练 结果融合同时降低偏差与方差从而获得更优的泛化性能。集成通用预测公式二、集成学习三大算法原理含核心公式1. Bagging 并行集成降低方差核心原理利用自助采样 Bootstrap 构造不同训练集并行训练多个模型最后平均融合结果。集成公式回归Bagging 可以有效抹平单模型方差因此对容易过拟合的模型决策树提升极大典型代表为随机森林。2. Boosting 串行集成降低偏差核心原理串行训练模型重点学习前一轮错误样本不断降低模型偏差逐步提升拟合能力。AdaBoost 权重更新公式错误样本权重升高后续模型更加关注难例数据不断修正欠拟合问题。最终集成输出3. Stacking 堆叠集成用多层模型嵌套第一层多种模型提取特征第二层模型学习融合权重拟合能力最强。三、集成学习误差理论结合课程 Bias/Variance李宏毅老师在课程中明确给出集成学习的误差优化逻辑单模型总误差Error Bias^2 Variance Noise1. Bagging 主要降低 Variance多个独立模型平均后模型越多方差越小过拟合越轻。2. Boosting 主要降低 Bias不断迭代修正拟合不足大幅降低系统偏差适合弱学习器。因此Bagging 稳、Boosting 准、Stacking 强。四、集成学习 Python 实操代码可直接运行下面给出课程对应随机森林Bagging AdaBoostBoosting完整极简实验代码可复现集成效果。# 1.构造数据集X, y make_classification(n_samples1000, random_state2026)X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2)# 2.单一决策树弱模型tree DecisionTreeClassifier()tree.fit(X_train, y_train)pred_tree tree.predict(X_test)acc_tree accuracy_score(y_test, pred_tree)# 3.Bagging随机森林rf RandomForestClassifier(n_estimators50)rf.fit(X_train, y_train)pred_rf rf.predict(X_test)acc_rf accuracy_score(y_test, pred_rf)# 4.BoostingAdaBoostada AdaBoostClassifier(n_estimators50)ada.fit(X_train, y_train)pred_ada ada.predict(X_test)acc_ada accuracy_score(y_test, pred_ada)# 输出对比print(单一决策树准确率:, acc_tree)print(随机森林(Bagging)准确率:, acc_rf)print(AdaBoost(Boosting)准确率:, acc_ada)实验结论单棵决策树准确率最低存在过拟合/不稳定随机森林方差更低结果更稳定AdaBoost偏差更低拟合精度更高完美对应李宏毅老师课程的理论讲解。五、学习收获与总结通过本次集成学习的学习并结合公式推导与代码实验我完整掌握了集成学习的底层逻辑1. Bagging 通过并行平均降低方差解决过拟合2. Boosting 通过迭代加权降低偏差解决欠拟合3. 集成学习本质是对 Bias、Variance 的双向优化4. 多模型融合是低成本、高效提升模型泛化能力的核心方法。本次学习打通了误差理论—优化算法—代码实现的完整链路不仅理解了理论公式也能够独立完成集成模型训练。后续我将继续结合梯度下降、反向传播知识深入深度学习模型的集成与调优进一步夯实深度学习基础。