93-更多关于Bagging的讨论

  • 时间:
  • 来源:互联网
  • 文章标签:

更多关于Bagging的讨论

  
  上一篇博客介绍了 Bagging 这种集成学习的思路,也就是我们不使用不同的算法进行集成学习了,而使用同一种算法来学习,但是对于同一种算法,我们让它看不同的数据,在我们整体样本空间中,这种放回的取样使得每一个子模型之间都存在差异性。这一篇博客我们来看更多和 Bagging 相关的讨论。

  对于 Bagging 来说,有一个非常重要的概念就是 OOB(Out-Of-Bag)。那什么是 OOB 呢?它背后的原理是这样的,我们做放回取样的话,可能就会导致一部分样本很有可能没有取到。如果我们进行严格的数学计算的话,平均大约有 37% 的样本没被取到。那么这 37% 的样本通常就叫做 Out-Of-Bag。所以我们就可以不使用测试数据集了,直接使用这部分没有取到的样本做测试即可。

  对于 Bagging 算法来说,我们要让每一个子模型具有差异化,之前的方法就是我们让每一个子模型都去看更小的样本数据集。其实还有其它产生差异的方法,一个方式就是针对特征进行随机取样(Random Subspaces),使用这种方式一般是在样本特征数特别多的情况下,比如说在图像识别领域,每张图片每一个像素点都是一个特征,每一个样本的特征量就比较大。还有一种就是既结合之前 Bootstrap 方式,又针对特征进行随机采样,二者综合的采样方式又叫 Random Patches。
  
  
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述


  我们使用 Bagging 的方式都是集合了大量的决策树,其实这种集成方式还有一个名字叫做随机森林

  具体代码见 93 更多关于Bagging的讨论.ipynb

本文链接http://www.taodudu.cc/news/show-1781806.html