Adaboost算法流程和证明

Adaboost算法
1、Adaboost算法简介
Adaboost算法是Freund和Schapire根据在线分配算法提出的，他们详细分析了Adaboost算法错误率的上界，以及为了使强分类器达到错误率，算法所需要的最多迭代次数等相关问题。

与Boosting算法不同的是，Adaboost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最后得到的强分类器的分类精度依赖于所有弱分类器的分类精度，这样可以深入挖掘弱分类器算法的能力。

2、Adaboost 算法基本原理
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。

将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

使用Adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。

Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的。

开始时，每个样本对应的权重是相同的，即其中n为样本个数，在此样本分布下训练出一弱分类器。

对于分类错误的样本，加大
其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本分布。

在新的样本分布下，再次对弱分类器进行训练，得到弱分类器。

依次类推，经过T 次循环，得到T 个弱分类器，把这T 个弱分类器按一定的权重叠加(boost)起来，得到最终想要的强分类器。

Adaboost 算法的具体步骤如下：
设输入的n 个训练样本为：1122{(,),(,),,(,)}n n x y x y x y ,其中i
x 是输入的训练样本，{0,1}i y ∈分别表示正样本和负样本，其中正样本数为l ，负样本数m 。

n l m =+，具体步骤如下：
⑴初始化每个样本的权重,()i w i D i ∈； ⑵对每个1,
,t T =(T 为弱分类器的个数)：
①把权重归一化为一个概率分布
,,,1
t i
t i n
t j
j w w w
==
∑
②对每个特征f ，训练一个弱分类器j h 计算对应所有特征的弱分类器的加权错误率
1()()n
j t i j i i i w x h x y ε==≠∑
③选取最佳的弱分类器t h (拥有最小错误率)：t ε ④按照这个最佳弱分类器，调整权重
11,,i t i t i t w w εβ-+=
其中0i ε=表示被正确地分类，1i ε=，表示被错误地分类
1t
t t
εβε=
- ⑶最后的强分类器为：
1111()()20T
T
t t t t t h x h x otherwise
αα==⎧≥⎪=⎨
⎪⎩
∑∑，1log t
t
αβ=
3、Adaboost 算法应用
随着Adaboost 算法的发展，目前Adaboost 算法广泛的应用于人脸检测、目标识别等领域，其中有在人脸识别、汽车识别、驾驶员眨眼识别的方面的应用和研究。

Discete-Adaboost 算法
1、给定训练集：()()11,,,,N N x y x y ，其中{}1,1i y ∈-，表示i x 的正确的类别标签，1,
,i N = ,()j i g x 表示第i 副图像的第
j 个特征值
2、训练集上样本的初始分布：()11D i m
= 3、寻找弱分类器t h (1,
,t T =)
⑴对于每个样本中的第j 个特征，可以得到一个弱分类器j h ，即可得到阈值j θ和方向j p ，使得1()()N
j t i j i i i D x h x y ε==≠∑达到最小，而弱分类器
j h 为：
1()()1
j j j j
j p g x p h x other θ<⎧=⎨
-⎩
其中j p 决定不等式的方向, 只有1±两种情况。

4、将所有特征(j )中挑选出一个具有最小误差t ε的弱分类器t h 。

5、对所有的样本权重进行更新
()()()()
1exp t t i t i t t
D i y h x D i Z α+-=
其中t Z 是使11
()1N
t i i D x +==∑得归一化因子。

6、经过T 轮训练得到T 个最优的弱分类器，此时组成一个强分类器；
()()1
T
final
t t
t H x sign h x α=⎛⎫
= ⎪⎝⎭
∑
在Adaboost 算法的弱学习中，将产生错误率为12,T εεε的弱分类器。

如果每个错误率1
2
t ε≤
，则强分类器的总错误率e <一切都从强分类器的错误率开始 首先权值更新
()()()()
(
)()1exp ()
exp exp ()t i t i t t i t i t i
i
t t
t
t
t t y h x D i y h x y f x D i Z m Z m Z αα+---=
=
=∑∏∏
其中()()i t t t f x h x α=∑ 然后强分类器的错误率
11()1
()01()01
01
exp(())()i i i i i i i i i
t t
i
t
if y H x training error H else
N if y f x else N y f x N D i Z +≠⎧=⎨
⎩≤⎧=⎨
⎩=
-=∑∑∑∑∏
使这个错误率快速下降？
()exp(())t t t i t i i
Z D i y h x α=-∑
t Z 为归一化因子。

转化为求t Z 的最小值了！
:()
:()
()exp(())
()exp()()exp()(1)exp()exp()
i i i i t t i t i t i i
t i t t i t i y H x i y H x t t t t Z D x y h x D x D x αααεαεα=≠=-=
-+
=--+∑∑
∑
此时我们用贪心算法求出t Z 的一个局部最小值 对t Z 中的t α求导[此时将t ε固定]
(1)exp()exp()t
t t t t t
dZ d εαεαα=---+ 令导数为零
0t
t
dZ d α=解出 11ln(
)2
t
t t
εαε-=
此时
t Z =绘制t Z 关于t ε的曲线图
从这幅图上我们可以看出，当错误率越小或者越大（只要不在中点处徘徊）的时候t Z 快速收敛到0。

越小：说明错误越小的分类器能快速识别出正例。

越大: 说明错误越大的分类器也能快速识别出正例。

1()()N
j t i j i i i D x h x y ε==≠∑
既然最大，只要我把弱分类器取反，这样错误率就是最小，这样还是收敛到0。

从以上的证明，我们知道只要是弱分类器的错误率都取最小，于是我们就能组合得到一个强分类器。

接下来我们就找出一个弱分类器1()h x 错误率1ε很小。

找T 个联合起来就得到了强分类器()final H x ！
怎么找弱分类器？
决策树ID3，C4.5，C5.0
ID3 生成树用（CIG 类别属性增益法） C4.5 生成树用（Gain Ratio 增益比率法） 修剪树用(Rule post-pruning 规则修剪) C5.0 生成树用(Gini index 基尼指数) 修剪树用(CRAT 回归树修剪)
然后给出Yoav Freund 论文中给出的寻找方法
12(),()
()j j j N g x g x g x
排序
12(),()
()N j j j g x g x g x
令阈值
1g ()()
2
i i j j i
j x g x θ++=
1()()0j j j j
j p g x p h x other
θ<⎧=⎨⎩，1()()N j t i j i i
i D x h x y ε==≠∑。