郭平Random Forests-0824

Breiman's work helped to bridge the gap between statistics and computer science, particularly in the field of machine learning. His most important contributions were his work on classification and regression trees and ensembles of trees fit to bootstrap samples. Bootstrap aggregation was given the name bagging by Breiman. Another of Breiman's ensemble approaches is the random forest.
日期 @地点
（2）设有M个变量，则在每一棵树的每个节点处随机抽取m 个变量(m远小于M)，然后在m中选择一个最具有分类能力的
变量，变量分类的阈值通过检查每一个分类点确定；
（3）自顶向下递归分裂，按照节点纯度最小原则，直到满 足分支停止规则而停止生长，不做任何剪枝； （4）将生成的多棵分类树组成随机森林，用随机森林分类 器对新的数据进行判别与分类，分类结果按树分类器的投票
日期 @地点
2）Tree bagging
Bagging由Breiman根据统计中Bootstrap思想提出的一种
集成学习算法，其思想是对训练集有放回地抽取训练样例，
从而为每一个基本分类器都构造出一个跟训练样集同样大小 但各不相同的训练集，进而训练出不同的基本分类器.
日期 @地点
Bagging方法的主要过程：
（1）收敛定理
它度量了随机森林对给定样本集的分类错误率。
（2）泛化误差界 单个决策树的分类强度越大，相关性越小，则泛化误差界 越小，随机森林分类准确度越高。 （3）袋外估计
Breiman在论文中指出袋外估计是无偏估计，袋外估计与用
同训练集一样大小的测试集进行估计的精度是一样的。Using out-of-bag estimates to monitor error, strength, and correlation
别是：在生成每棵树的时候，每个节点变量都仅仅在随机选
出的少数变量中产生。因此，不但样本是随机的，连每个节 点变量（Features）的产生都是随机的。
日期 @地点
3.随机森林
1）提出
Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 "Random Forests" 是他们的商标。 这个术语是1995年由贝
日期 @地点
6. 它提供一个实验方法，可以去侦测 variable interactions 。
7. 对于不平衡的分类资料集来说，它可以平衡误差。
8. 它计算各例中的亲近度，对于数据挖掘、侦测偏离者 （outlier）和将资料视觉化非常有用。 9. 使用上述。它可被延伸应用在未标记的资料上，这类资料 通常是使用非监督式聚类。也可侦测偏离者和观看资料。
10. 学习过程是很快速的。
11. 可以实现并行运行
日期 @地点
8）随机森林的缺点
1. 随机森林已经被证明在某些噪音较大的分类或回归问题上 会过拟 2. 对于有不同级别的属性的数据，级别划分较多的属性会对 随机森林产生更大的影响，所以随机森林在这种数据上产出
的属性权值是不可信的。
3. 由于随机选择属性，得单棵决策树的的预测效果很差 4. 投票机制中，并不是所有的树都能够准确地标记出所有的 对象。
行分类。
日期 @地点
4.与RF有关的一些算法
1）Bootstrapping
对于一个采样，我们只能计算出某个统计量的一个取 值，无法知道均值统计量的分布情况。但是通过自助法我
们可以模拟出均值统计量的近似分布。bootstrapping方法
的主要过程： i)重复地从一个样本集合D中采样n个样本 ii)针对每次采样的子样本集，进行统计学习，获得假 设Hi
i)训练分类器 从整体样本集合中，抽样n* < N个样本 针对抽样的集 合训练分类器Ci ii)分类器进行投票，最终的结果是分类器投票的优胜 结果
日期 @地点
3）From bagging to random forests
随机森林是以决策树为基本分类器的一个集成学习模型， 它包含多个由Bagging集成学习技术训练得到的决策树。 前面描述了原始的树的bagging算法。Random Forests不 同的是：在Bagging的基础上，他们使用一种改进的树学习算
尔实验室的Tin Kam Ho所提出的随机决策森林（random
decision forests）而来的。 这个方法则是结合 Breimans 的 "Bootstrap aggregating" 想 法和 Ho 的"random subspace method"以建造决策树的集合。 该方法是基于决策树（decision tree） 的分类器集成算法。
后剪枝的计算量代价比预剪枝方法大得多，特别是在大
样本集中，不过对于小样本的情况，后剪枝方法还是优于 预剪枝方法的。
日期 @地点
（2）过拟合
为了得到一致假设而使假设变得过度复杂称为过拟合。
“一个过配的模型试图连误差（噪音）都去解释（而实际 上噪音又是不需要解释的），导致泛化能力比较差，显然 就过犹不及了。” 简单地说，举例说就是你在学习过程中学习了错误，
Random Forests
Leo Breiman and Adele Cutler
Reporter：Guo Ping Date：2015-8-24
1. 主要作者
Leo Breiman (January 27, 1928 – July 5, 2005) was a distinguished statistician at the University of California, Berkeley. He was a member of the United States National Academy of Science.
日期 @地点
2.来源
1）Decision tree learning
机器学习中，决策树是一个树状预测模型；他代表的是 对象属性与对象值之间的一种映射关系。 决策树是一种常用的各种机器学习任务的方法。它在比 例和各种不同的特征值变换下的不变性，包含无关特征的稳
健性，并产生可检验的模型。
然而，他们有分类规则复杂、收敛到非全局的局部最优 解、过度拟合等缺点。
日期 @地点
随机森林在运算量没有显著提高的前提下提高了预测精 度。随机森林对多元线性不敏感，结果对缺失数据和非平衡
的数据比较稳健，可以很好地预测多达几千个解释变量的作
用（Breiman 2001b），被誉为当前最好的算法之一（Iverson et al. 2008）。
日期 @地点
2）几个概念
（1）剪枝 剪枝，就是通过某种判断，避免一些不必要的遍历过程。 剪枝是决策树停止分支的方法之一，剪枝有分预先剪枝和 后剪枝两种。
法，这种树学习算法在每个候选分裂的学习过程中，选择特
征值的一个随机子集。这个过程有时被称为“feature bagging”。
日期 @地点
以决策树为基本模型的bagging在每次bootstrap放回抽样 之后，产生一棵决策树，抽多少样本就生成多少棵树，在生 成这些树的时候没有进行更多的干预。 而随机森林也是进行bootstrap抽样，但它与bagging的区
那么在考试中就会用到这种错误。机器在学习中学习了误
差（噪音），宁愿少学习，也不能学习到错误。
日期 @地点
（3）纯度
若节点n上的分类数据全部来自于同一类别，则此节点 的纯度I(n)=0，纯度度量方法是Gini准则，即假设P(Xj)是节 点n上属于Xj 类样本个数占训练样本个数的概率。
日期 @地点
3）随机森林的基本思想
日期 @地点
Random Forests应用于R语言中：
由于R中早就出现randomForest包了，因此Random Forests在R中有不同的应用。在R中，两个主要函数比较重要： randomForest用来构建随机森林模型，predict()使用训练后的 随机森林对新数据进行预测。通过这两个函数来对新样本进
随机森林有两个重要参数： 一是树节点预选的变量个数； 二是随机森林中树的ห้องสมุดไป่ตู้数。
日期 @地点
4）学习算法
随机森林是通过一种新的自助法重采样技术生成很多个 树分类器, 其步骤如下： （1）原始训练集为N，应用bootstrap法有放回地每次随机 抽取N个样本，抽取k次，并由此构建k棵分类树，每次未被
抽到的样本组成了k个袋外数据；
当其个数趋向于无穷个数时，强分类器的错误率将趋向于 零。
日期 @地点
3）集成算法
Bagging, Boosting, Adaboost, Random Forests都属于集成学 习范畴.
Boosting算法是一种把若干个分类器整合为一个分类器的
方法，在boosting算法产生之前，还出现过boostrapping方法和 bagging方法。但是都只是将分类器进行简单的组合，实际上 并没有发挥出分类器组合的威力来。到1989年，Yoav Freund与 Robert Schapire提出了一种可行的将弱分类器组合为强分类器
iii)将若干个假设进行组合，形成最终的假设Hfinal
iv)将最终的假设用于具体的分类任务
日期 @地点
2）AdaBoost
AdaBoost算法针对不同的训练集训练同一个基本分类 器（弱分类器），然后把这些在不同训练集上得到的分类 器集合起来，构成一个更强的最终的分类器（强分类器）。