Adaboost算法概述

2 AdaBoost算法的基本原理（主要的训练 过程）
AdaBoost算法的核心思想是针对同一个训练集 训练出不同的分类器（弱分类器），然后把这些弱 分类器集合起来，构成一个性能更加强大的分类器 （强分类器）。
2.1 弱分类器的构造
构造弱分类器算法如下: 矩形特征值：Value[i][j], 1≤i≤n代表所有的Haar特 征，1≤j≤m代表所有的样本 FAULT=(curlerror+currerror)表示当前分类器的错误 率的最小值，初始设置：curlerror=currerror=m(m是 个暴力大的数值就可以) For i=1:n(对每个特征)
1989年Kearns and Valiant研究了PAC学习模型中 弱学习算法和强学习算法两者间的等价问题，即 任意给定仅仅比随机猜测稍好(准确率大于0.5)的弱 学习算法，是否可以被提升为强学习算法？若两 者等价，则我们只需寻找一个比随机猜测稍好的 若学习算法，然后将其提升为强学习算法，从而 不必费很大力气去直接寻找强学习算法。就此问 题，Schapire于1990年首次给出了肯定的答案。他 主持这样一个观点：任一弱学习算法可以通过加强 提升到一个任意正确率的强学习算法，并通过构造 一种多项式级的算法来实现这一加强过程，这就是 最 初 的Boosting算 法 的 原 型 。Freund于1991年 提 出 了另外一种效率更高的Boosting算法。但此算法需 要要提前知道弱学习算法正确率的下限，因而应用 范围十分有限。
Freund and Schapire于1995年 改 进 了Boosting算 法 ， 取 名 为Adaboost算 法 ， 该 算 法 不 需 要 提 前 知 道所有关于弱学习算法的先验知识，同时运算
效 率 与Freund在1991年 提 出 的Boosting算 法 几 乎 相 同。Adawenku.baidu.comoost即Adaptive Boosting，它能自适应的 调整弱学习算法的错误率，经过若干次迭代后错误 率能达到预期的效果。另一方面，它不需要精确知 道样本空间分布，在每次弱学习后调整样本空间分 布，更新所有训练样本的权重，把样本空间中被正 确分类的样本权重降低，被错误分类的样本权重将 会提高，这样下次弱学习时就更能更关注这些被错 误分类的样本。该算法可以很容易地应用到实际问 题中，因此，已成为目前最流行的Boosting算法。
现已有人将Adaboost算法应用到交通管理信息 系统中,利用弱学习器来训练道路交通数据,预测道 路交通流量情况并且取得良好的效果。Lin将Real Adaboost算法应用到基于内容的图像检索系统中,达 到降低噪声的效果,比KNN分类算法准确性有所提 高[4]。 也 有 人 讲AdaBoost算 法 应 用 到 区 域 图 像 检 索中,通过反复训练若分类器而得到了错分率较小 的强分类器，可以进行精确地查询。为了解决不同 的特征融合分类问题,有人提出了对AdaBoost 算法 的改进,改进后的算法在手写数字识别中取得了较 好的效果。李闯等人把改进后的AdaBoost 算法应 用于目标检测问题等方面。
在机器学习领域，Boosting算法是一种通用的 学习算法，这一算法可以提升任意给定的学习算 法 的 性 能 其 思 想 源 于1984年Valiant提 出 的”可 能 近
似 正 确”-PAC(Probably Approximately Correct)学 习 模型，在PAC模型中定义了两个概念-强学习算法 和弱学习算法。其概念是: 如果一个学习算法通过 学习一组样本，识别率很高，则称其为强学习算 法;如果识别率仅比随机猜测略高，其猜测准确率 大于50
AdaBoost classification algorithm
ZHAO xingli
( Southwest University, Beibei District, Chongqing Institute of Computer and Information Science, Chongqing 400715) Abstract: This article is designed to the classification algorithm -AdaBoost which is one of the ten learning algorithms in data mining .Firstly it introduces the origin, development and application, then introduces the main training process of the algorithm, performance improvements, and finally discusses the algorithm. Key words:AdaBoost algorithm; development background; training process ; performance improvement;classification algorithm
1 AdaBoost算法的提出背景及其应用范围
Adaboost算法是机器学习中一种比较重要的特 征分类算法，已被广泛应用人脸表情识别、图像 检索等应用中。就目前而言，对Adaboost算法的研 究以及应用大多集中于分类问题，在一些回归问题 上也有所应用。Adaboost主要解决的问题有: 两类 问题、多类单标签问题、多类多标签问题、回归问 题。
AdaBoost分类算法
赵兴丽
( 西南大学 计算机与信息科学学院 重庆 400715;) 摘要: 本文主要讲述了数据挖掘中十大分类算法之一AdaBoost学习算法的起源、发展和应用，然后介绍了该算 法的主要训练过程，性能改进，最后对该算法进行了展望。 关键词: AdaBoost算法；发展背景；训练过程；性能改进；分类算法
Found=0
For j=1:m eval[j]=Value[i][j](存放所有样本具有