## **简单的留出验证、*K*折验证，以及带有打乱数据的重复*K*折验证**： ### **简单的留出验证**： * 留出一定比例的数据作为测试集 * 在剩余的数据上训练模型 * 在测试集上评估模型 * 保留一个验证集  #### **缺点**： 可用的数据很少，那么可能验证集和测试集包含的样本就太少，从而无法在统计学上代表数据 ***** ### ***K*折验证**： 如果模型性能的变化很大，那么这种方法很有用 * 将数据划分为**大小相同**的*K*个分区 * 对于每个分区`i`，在剩余的*K*\- 1 个分区上训练模型 * 在分区`i`上评估模型 * 最终分数等于*K*个分数的**平均值** * 需要**独立的验证集**进行模型校正  ***** ### **带有打乱数据的重复*K*折验证**（iterated*K*\-fold validation with shuffling）： * 可用的数据相对较**少**，需要**尽可能精确**地评估模型 * 具体做法是多次使用*K*折验证，在每次将数据划分为*K*个分区之前都先将数据打乱。最终分数是每次*K*折验证分数的平均值 * 这种方法一共要训练和评估*P*×*K*个模型（*P*是重复次数），**计算代价很大** *****