Adaboost算法原理及简单实现

AdaBoost( Adaptive Boosting) 算法，该算法效率和Freund于1991年提出的 Boosting算法几乎相同， 但不需要任何关于弱学习器的先验知识， 因而更容 易应用到实际问题当中。
Leabharlann Baidu
Adaboost原理简介
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器 (弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类 器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本 的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改 过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融
合起来作为最后的决策分类器。
Adaboost原理简介
AdaBoost.M1 Discrete AdaBoost： 训练过程
1.初始化：初始赋予每个样本相等的权重 基分类器个数L； 2. For k = 1, 2, …, L Do • 根据分布 从训练数据集中抽取样本 ; • 将 用作训练数据集建立一个分类器 ； • 计算该分类器的加权训练误差
； • • • 若 否则，计算 则令 = ，重新训练分类器 ; 继而更新训练集上的权重分布 ；
；
结束循环
训练过程
3.给定测试数据，采用加权融合方式计算每一类 的支持度
4.预测此测试数据的类标签为支持度最大的类。
实验
数据集：LISSAJOUS FIGURE DATA (p42) 训练数据个数：700 测试数据个数：300 基分类器：决策树(p95-99)
实验
数据集：LISSAJOUS FIGURE DATA (p42) 训练数据个数：700 测试数据个数：300 基分类器：决策树(p95-99) 基分类器个数为1及20时分类结果
实验
数据集：LISSAJOUS FIGURE DATA (p42) 训练数据个数：700 测试数据个数：300 基分类器：决策树(p95-99) 分类误差随基分类器个数变化图 test_error =
Columns 1 through 15 0.1037 0.1070 0.1271 0.0836 0.1003 0.0970 0.0936 0.1037 0.0903 0.0870 0.0903 0.0836 0.0870 0.0970 0.0903 Columns 16 through 20 0.0903 0.0936 0.1003 0.0870 0.0903
目录
1
2 3
背景简介
Adaboost原理简介
实验
背景简介
Bagging 和Boosting都是分类器的集成技术，Bagging 出现在Boosting之 前。这种算法都比较简单，只是将分类器进行简单的组合，实际上，并没有发 挥出分类器组合的威力来。之后在1990年，Schapire提出了Boosting算法，次 年Freund改进Boosting算法，这两种算法存在共同的实践上的缺陷， 那就是 都要求事先知道弱学习算法学习正确率的下限。 1995 年 ， Freund 和 Schapire 共 同 改 进 了 Boosting 算 法 ， 提 出 了