1. 机器学习基础概念与核心算法概览机器学习是让计算机从数据中自动学习规律的科学。想象一下教小朋友认动物不是直接告诉他这是猫而是给他看100张猫狗照片让他自己总结区别。机器学习算法就是这样的聪明学生主要分为三大类监督学习就像有参考答案的练习题。算法通过分析带标签的数据如标记为猫或狗的图片建立输入与输出的映射关系。典型算法包括K近邻KNN根据邻居的标签投票决定分类就像参考周围同学的答案朴素贝叶斯基于概率的快判官假设特征相互独立如有胡须和会喵叫决策树类似20问游戏通过一系列问题逐步缩小范围无监督学习则是给数据不给答案。常见应用是聚类分析比如把用户分成不同消费群体。算法要自己发现数据中的模式就像把一堆混在一起的乐高积木按颜色形状分类。强化学习更接近试错学习像训练小狗做对给奖励做错就惩罚。AlphaGo就是通过数百万次自我对弈来提升棋艺。小贴士选择算法时先看你的目标是要预测具体值回归、分类别分类还是发现隐藏结构聚类2. K近邻算法实战解析2.1 算法原理与数学本质K近邻K-Nearest Neighbors的核心思想是物以类聚。要判断新数据点的类别只需计算它与所有训练数据的距离常用欧式距离找出距离最近的K个邻居根据这些邻居的标签投票决定分类数学表达式很简单 $$ \hat{y} \text{mode}(y_i | x_i \in N_k(x)) $$ 其中$N_k(x)$是x的K个最近邻。2.2 典型例题精解例题用KNN分类以下数据 特征[[3,2],[3,1],[1,3],[3,4],[2,2],[7,4],[5,3],[9,2],[7,3],[7,0]] 标签[0,0,0,0,0,1,1,1,1,1] 新样本[6,3]K3解题步骤计算距离到[7,4]√[(7-6)²(4-3)²]≈1.41到[5,3]√[(5-6)²(3-3)²]1到[7,3]√[(7-6)²(3-3)²]1最近3个邻居是[5,3],[7,3],[7,4]标签分别为1,1,1投票结果1全部邻居都是1类from sklearn.neighbors import KNeighborsClassifier X [[3,2],[3,1],[1,3],[3,4],[2,2],[7,4],[5,3],[9,2],[7,3],[7,0]] y [0,0,0,0,0,1,1,1,1,1] knn KNeighborsClassifier(n_neighbors3) knn.fit(X, y) print(knn.predict([[6,3]])) # 输出[1]2.3 关键参数与调优技巧K值选择太小容易过拟合如K1时对噪声敏感太大可能欠拟合。可用交叉验证选择距离度量欧式距离连续变量、汉明距离分类变量特征缩放不同量纲的特征需要标准化如身高cm vs 体重kg实际项目中我常用网格搜索寻找最优K值from sklearn.model_selection import GridSearchCV params {n_neighbors: range(1, 10)} grid GridSearchCV(KNeighborsClassifier(), params, cv5) grid.fit(X, y) print(grid.best_params_) # 输出最佳K值3. 朴素贝叶斯算法深度剖析3.1 概率基础与贝叶斯定理贝叶斯定理是算法的核心 $$ P(A|B) \frac{P(B|A)P(A)}{P(B)} $$在垃圾邮件过滤中$P(垃圾|单词)$ 看到某单词时邮件是垃圾的概率通过已知的$P(单词|垃圾)$和$P(垃圾)$计算得出朴素的假设是特征间相互独立虽然现实中很少成立如免费和赢取常一起出现但实际效果出奇地好。3.2 文本分类实战例题判断优惠促销是否为广告邮件 已知P(广告)0.2P(优惠|广告)0.4, P(促销|广告)0.3P(优惠|非广告)0.1, P(促销|非广告)0.05计算 $$ P(广告|优惠,促销) \propto 0.4×0.3×0.2 0.024 $$ $$ P(非广告|优惠,促销) \propto 0.1×0.05×0.8 0.004 $$ 归一化后P(广告|...)≈85.7%from sklearn.naive_bayes import MultinomialNB from sklearn.feature_extraction.text import CountVectorizer corpus [优惠促销, 会议通知, 限时折扣, 项目进度] labels [1, 0, 1, 0] # 1广告 vectorizer CountVectorizer() X vectorizer.fit_transform(corpus) clf MultinomialNB() clf.fit(X, labels) print(clf.predict(vectorizer.transform([特价活动]))) # 输出[1]3.3 不同变体对比类型适用场景特征要求高斯朴素贝叶斯连续数据符合正态分布多项式朴素贝叶斯文本分类词频离散计数伯努利朴素贝叶斯二值特征如是否出现是/否型特征曾在一个电商项目中使用伯努利版本来判断用户是否会点击banner基于是否浏览过相关品类A/B测试显示CTR提升了23%。4. 决策树与SVM高级应用4.1 决策树构建全过程以经典的鸢尾花数据集为例选择最佳分割特征通过信息增益或基尼系数递归分割直到纯度达标或达到最大深度剪枝防止过拟合信息增益计算示例原始数据熵$H(D)-∑p_i\log_2(p_i)$按某特征分割后的条件熵$H(D|A)∑\frac{|D_i|}{|D|}H(D_i)$信息增益$IG(A)H(D)-H(D|A)$from sklearn.tree import DecisionTreeClassifier, export_text iris load_iris() clf DecisionTreeClassifier(max_depth2) clf.fit(iris.data, iris.target) print(export_text(clf, feature_namesiris.feature_names))输出显示首先按花瓣宽度≤0.8分割这正是找到的最具区分力的特征。4.2 SVM核技巧揭秘当数据线性不可分时SVM通过核函数将数据映射到高维空间。常见核函数核函数公式适用场景线性核$K(x,z)x·z$线性可分多项式核$(γx·zr)^d$中等复杂度高斯核RBF$\exp(-γ|x-z|^2)$复杂非线性边界Sigmoid核$\tanh(γx·zr)$神经网络类似效果调参经验C值权衡分类准确与边界宽度太大可能过拟合γRBF核控制单个样本影响范围值越大决策边界越曲折from sklearn.svm import SVC X, y make_moons(noise0.1) svc SVC(kernelrbf, C10, gamma0.5) svc.fit(X, y) # 可视化决策边界 xx, yy np.meshgrid(np.linspace(-1.5,2.5,100), np.linspace(-1,1.5,100)) Z svc.decision_function(np.c_[xx.ravel(), yy.ravel()]) plt.contourf(xx, yy, Z0, alpha0.3) plt.scatter(X[:,0], X[:,1], cy)5. 模型评估与优化策略5.1 常用评估指标详解分类问题准确率(TPTN)/(PN) — 注意样本不平衡时失效精确率TP/(TPFP) — 预测为正的准确率召回率TP/(TPFN) — 实际为正的检出率F1分数2×(精确率×召回率)/(精确率召回率)回归问题MAE平均绝对误差 — 对异常值不敏感MSE均方误差 — 放大大误差影响R²解释方差比例 — 1表示完美拟合from sklearn.metrics import classification_report y_true [0, 1, 0, 1] y_pred [0, 1, 1, 0] print(classification_report(y_true, y_pred))5.2 过拟合解决方案数据层面增加训练数据数据增强人工生成更多样本SMOTE等模型层面决策树剪枝、限制最大深度神经网络Dropout、早停正则化L1/L2惩罚项集成方法Bagging如随机森林降低方差Boosting如XGBoost降低偏差在最近一个信用卡欺诈检测项目中原始数据只有0.1%的正样本。我们采用以下策略使用SMOTE生成更多欺诈样本选择PR曲线而非ROC作为评估标准最终F1-score从0.45提升到0.82from imblearn.over_sampling import SMOTE from sklearn.ensemble import RandomForestClassifier smote SMOTE() X_res, y_res smote.fit_resample(X, y) model RandomForestClassifier(class_weightbalanced) model.fit(X_res, y_res)