3.2.1 留出法与 k 折交叉验证留出法Hold-out 将数据集 D 一次性划分为互斥的训练集 S 和测试集 T满足 DS∪T 且 S∩T∅。划分时必须采用分层采样Stratified Sampling确保训练集和测试集中各类别样本的比例与原始数据集一致否则训练集分布偏离真实分布将引入系统性偏差。常见划分比例为训练集占 2/3∼4/5剩余部分用于测试。由于单次划分结果具有随机性实际应用中通常进行多次随机划分后取平均。k 折交叉验证k-fold Cross-Validation 的完整流程为首先将数据集 D 通过分层采样划分为 k 个大小相近的互斥子集 D1,D2,…,Dk然后进行 k 轮实验第 i 轮以 ⋃j≠iDj 作为训练集、Di 作为测试集记录评估结果最终将 k 次评估结果的均值作为模型性能估计CV(k)1k∑i1kscorei \text{CV}(k) \frac{1}{k} \sum_{i1}^{k} \text{score}_iCV(k)k1​i1∑k​scorei​k 折交叉验证的评估结果比留出法更稳定因为每个样本都恰好被测试一次且训练集规模达到原始数据的 k−1/k。最常用的取值为 k1010折交叉验证。为进一步降低样本划分方式的影响可重复执行 p 次 k 折交叉验证称为 p 次 k 折交叉验证。3.2.2 留一法、自助法与 63.2% 推导当 k 等于样本总数 m 时k 折交叉验证退化为留一法Leave-One-Out, LOO即每次只留一个样本作为测试集其余 m−1 个样本用于训练共进行 m 轮。留一法的优点是不受随机划分方式的影响且训练集规模几乎等同于原始数据集评估结果通常被认为较为准确缺点是计算开销极大需训练 m 个模型在大型数据集上不具备实用性。自助法Bootstrap 或称拔靴法采用有放回采样策略给定包含 m 个样本的数据集 D每次随机选取一个样本拷贝到 D′ 后将该样本放回重复 m 次得到同样规模为 m 的训练集 D′。对于数据集中任意一个特定样本单次采样不被选中的概率为 1−1mm 次独立采样均不被选中的概率为 1−1mm。取极限有lim⁡m→∞(1−1m)m1e≈0.368 \lim_{m \to \infty} \left(1 - \frac{1}{m}\right)^m \frac{1}{e} \approx 0.368m→∞lim​(1−m1​)me1​≈0.368这意味着约 36.8% 的原始样本不会出现在训练集 D′ 中。这些未被采样的样本构成测试集其评估结果称为包外估计Out-of-Bag Estimate, OOB。自助法在数据集较小、难以有效划分训练/测试集时尤为有用也是后续集成学习中Bagging和随机森林的理论基础。但自助法改变了初始数据集的分布会引入估计偏差因此在数据量充足时通常优先选用留出法或交叉验证法。3.2.3 调参与验证集的独立使用模型参数分为两类参数通过训练过程学习得到如神经网络的权重超参数则在训练前预先设定如学习率、树的深度、正则化系数。超参数的选择过程称为调参Parameter Tuning。调参阶段必须引入验证集Validation Set将数据划分为三部分训练集用于训练模型参数验证集用于调整超参数和选择模型测试集仅用于最终评估。测试集在调参过程中绝对不能被使用否则评估结果会因”信息泄露”而过于乐观。验证集与测试集的根本区别在于验证集在调参过程中被反复使用测试集只能使用一次。调参完成后应使用选定的最优超参数在全部数据训练集验证集上重新训练得到最终模型。下表总结了留出法、k折交叉验证、留一法和自助法的主要特点评估方法划分策略训练集规模测试集规模计算开销适用场景主要局限留出法一次性互斥划分∼70%–80%∼20%–30%低1次训练数据量大划分方式导致结果不稳定k折交叉验证k次轮流划分(k−1)/k1/k中k次训练通用场景样本量极小时测试集过小留一法km的极端CVm−11极高m次训练极小样本计算不可行大数据集自助法有放回采样m采样后≈36.8%样本中数据集很小改变数据分布引入偏差上表从六个维度系统对比了四种评估方法。在实际应用中10 折交叉验证因其在稳定性与计算开销之间取得了良好平衡成为最常用的默认选择。留出法适用于数据充裕且需要快速评估的场景。留一法虽然理论上有吸引力但由于其 Om 的训练开销仅在样本量极小如不足 100且模型训练代价较低时才考虑使用。自助法的核心价值在于催生了Bagging等集成学习方法其包外估计为集成模型的性能评估提供了无需额外划分数据的便利途径。需要特别强调的是无论采用哪种评估方法分层采样都是保证训练集与测试集分布一致的必要前提。