当前位置: 代码迷 >> 综合 >> Ensemble methods 之 Random Forest(随机森林)
  详细解决方案

Ensemble methods 之 Random Forest(随机森林)

热度:23   发布时间:2024-01-13 01:30:28.0

1. 是什么

如前面所说,决策树有时候会出现过拟合(overfit)的问题,越强大的决策树越可能出现过拟合,但是如果几个模型或者一个模型的几个参数组合起来,就很容易弥补这种问题。所以,随机森林就是一种ensemble方法中的bagging方法,用原始数据进行训练至完全分裂最后得到多个决策树,对新的数据的预测就是对所有的决策树取平均值来进行预测。

2. 关键概念

  • 采样。样本数量为N,采样数量也为N,但是采取的是有放回的采样(bootstrap)。
  • 训练。决策树完全分裂至所有的叶子节点,不做各种形式的剪枝,不必担心过拟合问题。
  • 组合算法。训练结束之后,对新数据进行预测的时候,会让新数据在所有得到的M个决策树上进行预测,最后对结果进行平均或者进行投票。最早的算法是投票:每个树对每一类投票,sklearn的算法是对各个树进行了平均取结果。
  • 分类和回归。随机森林可以做分类,也可以做回归,但是很显然(实践上也是),做回归有点不靠谱,所以研究随机森林回归意思不大。

  相关解决方案