4.3 模型验证
- 测试集只能使用一次（一般是参数和超参数已经差不多最优的情况下使用，作推断的用处）
- 期中考试的成绩
- 我竞价的房价
- 验证集可以被使用多次（用于超参数的学习）
- 通常验证集属于训练集的一部分
- 当我们用test，大部分情况下指的是validation
- 使用验证集的方法
- hold out留出法
- 随机分割可能不好
- 有时序性信息的情况：股票，房价，验证集要在训练集之后的时间段
- 不平衡的数据的情况：验证集要包含一些样本较少的情况
- 房价的例子
- 顺序切割的情况过拟合发生的比较早，随机切割时过拟合发生的比较晚。因为顺序切割的话，模型对于未来的数据拟合能力会很差
- k折交叉验证
- 当数据量不多的情况可以用
- 常见的错误方法：
- 验证集里面有一些训练集中的数据，比如当使用数据增强的时候一张图可以有很多张图片，这时候验证集可能会使用到这个图片
- hold out留出法