5.2 Bagging

n个模型并行训练
如果是回归问题，平均所有的output；如果是分类问题，选出大部分的投票结果
每个学习器（决策树，mlp，神经网络）通过bootstrap sampling进行采样
- 假设有m个训练样本，之后随机取m个样本（可以重复）
- 大概每个模型会取得63%个样本；其余37%个样本是重复情况
通过bagging降低了方差，因此泛化误差会变小
决策树本来就不太稳定，因此做bagging效果更好；线性模型本来就稳定，因此做bagging效果变化不明显

References