计算机模式识别 文献阅读讲义教材

……
弱分类器 hn(x) Classifier N
x Input vector
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
1.3 集成学习构造
• 我们一般选定加权平均的方法来构造集成学习的最终 学习器。但是里面的每一个Classifier i怎样做呢？
• 有一些研究，针对每个学习器都不同构的情况。比如 识别一个人，一个学习器考虑脸，另一个考虑步态，另一个 考虑指纹，这种研究通常称为Information Fusion。
• 当采用下面两式，只需对原图像扫描一次即可计算出积分图：
ii(x ,y ) ii(x 1 ,y ) s(x ,y )
s(x ,y)s(x ,y 1 ) i(x ,y)
• 其中， s(x, y) i(x', y) ，是对这一行及其以前行的像素值求和
，并且有：
x' x
s(x, 1 )0 ,ii( 1 ,y)0
3.1 The Human Face Detection Algorithms Based on AdaBoost 3.1.2 积分图
• 积分图是一种快速计算矩形特征（ Haar-like）的方法 。在一张积分图上，点i(x,y)的积分值ii(x,y)是原图像上该点 的上方和左方所有点的亮度值的和。即：
集成学习与Adaboost算法
§1 集成学习理论
1.0 集成学习术语
• 强分类器:如果一个学习算法通过一组样本的学习后， 能够达到理想的识别率。
• 弱分类器:如果一个学习算法的识别率仅好于随机的猜 测。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法 上海大学通信与信息工程学院电路与系统专业
• 有了积分图，矩形特征值就可以通过很少的计算量得到。任意一个 矩形内的像素和可以由积分图上对应的四点得到。由此可见，矩形特征 的特征值的计算，只与此特征的端点的积分图有关，而与图像的坐标值 无关。所以积分图的引入，大大提高了检测速度。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
• 所以，当然应该考虑研究一般的多模型。在算法上， 集成学习的典型代表AdaBoost算法，已经成为与SVM并立的 方法。而且，集成学习比SVM更为一般，可能可以有更广阔 的前景。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
§2 AdaBoost算法
2.1 AdaBoost来源
投票
个体3 (精度33.3%)
投票
个体必须有差异
个体精度不能太低
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
1.3 集成学习构造
【个体越多越好吗？】
• 既然多个个体的集成比单个个体更好，那么是不是个 体越多越好?
• 更多的个体意味着： （1）在预测时需要更大的计算开销，因为要计算更多的 个体预。 （2）更大的存储开销，因为有更多的个体需要保存 • 个体的增加将使得个体间的差异越来越难以获得
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
1.3 集成学习构造
【集成学习对个体有要求么？】
期望结果 个体1 (精度33.3%)
期望结果 个体1 (精度33.3%)
个体2 (精度33.3%)
集成(精度33.3%) 个体2 (精度33.3%)
集成 (精度0%)
个体3 (精度33.3%)
T
t
t1
。 0其他
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
2.3 AdaBoost算法描述
• 例如在下图中，需要一些线段把红色的球和深蓝色的 球分开，然如仅果仅用一条线的话，是分不开的。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
2.3 AdaBoost算法描述
集成学习与Adaboost算法
3.1 The Human Face Detection Algorithms Based on AdaBoost 3.1.1 Haar-like特征
• 在基于Adaboost的人脸检测系统中，每个弱分类器都 是对图像一个特征值的判断，常用的特征是Haar-like特征。
• 通常，针对一个具体的识别问题，我们很难找到一个 理想的强分类器，但是弱分类器一般都会很多，基于这种现 象，Freund和Schapire提出了Adaboosting算法：通过一定的 算法可以将一组弱分类器提升为一个强分类器。
• Adaboost 算法是一种用来分类的方法，它的基本原理 就是“三个臭皮匠，顶个诸葛亮”。它把一些比较弱的分类 方法合在一起，组合出新的很强的分类方法。
集成学习与Adaboost算法
3.1 The Human Face Detection Algorithms Based on AdaBoost 3.1.4级联检测器进行人脸检测
• 将强分类器串联在一起形成级联检测器，每层的强分 类器经过阈值调整，使得每一层都能让几乎全部的人脸样本 通过，而拒绝很大部分非人脸样本。
• 加权采样：通过给训练数据赋以不同的权，实际上使 得每个学习器关注训练集中的某一部分，这也符合我们最初 民主投票的想法。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
1.3 集成学习构造
• 直观上，每个学习器关注训练集中的某一部分，很多 个训练集应该可以覆盖训练集中的大部分，只要巧妙的选择 加权平均的权，就可以得到更好的学习效果。
集成学习与Adaboost算法
1.2 集成学习概念
• 集成学习，就是一种把输入送入多个学习器，再通过某 种办法把学习的结果集成起来的办法。
Classifier ensemble
h1(x) Classifier 1
Output Σαihi(x)
Combine Classifiers
h2(x) Classifier 2
ii(x,y) i(x',y') x'x,y'y
其中ii(x,y)为积分图，i(x,y)为原始图像，如下图所示。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
3.1 The Human Face Detection Algorithms Based on AdaBoost 3.1.2 积分图
其中 e i
w w t1,i
1ei t,i t
，
0 表示 x i 被正确分类，e i
t
t 11表示 t
x
i
被错误分类。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
2.3 AdaBoost算法描述
（5）最后的强分类器为：
其中 t
log
1 t
C(x)1tT1tht(x)12
学期：春 2015
集成学习与Adaboost算法
课程：计算机模式识别
课 题：集成学习与Adaboost算法 学 院： 通信与信息工程学院 学 号： 学生姓名： 上课老师：
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
目 录：
集成学习理论 Adaboost算法原理 论文分析
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
2.2 AdaBoost算法主要思想
• 针对同一个训练集训练不同的分类器（弱分类器）， 然后将这些弱分类器集合起来构成一个更强的最终分类器（ 强分类器）。
• 初始化的时候对每一个训练样本都赋予相同的权重， 然后用该学习算法对训练集训练T轮，每次训练后，对训练 失败的训练样本赋予较大的权重，在训练过程中会生成的一 个预测函数hj，其中hj也有一定的权重，预测效果好的预测 函数权重大。最终预测函数H用加权多数投票的方法产生。
• Haar-like特征：是用一 种类似Haar小波的方法来形 成人脸特征的。典型的矩阵 特征由2到4个矩形组成，分 别对应于边界、细线/棒或者 对角线特征，见下图。对应 的矩形特征的特征值定义为 白色矩形内的像素和减去黑 色矩形内的像素和。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
[1]. The Human Face Detection Algorithms Based on AdaBoost [2]. Face Detection Based on Skin Color Segmentation and AdaBoost Algorithm
上海大学通信与信息工程学院电路与系统专业
• 由于前面的层使用的 矩形特征数据很少，计算非 常快，越往后匹配的图片越 少。尽管随着级数的增多矩 形特征数量在增加，但计算 量却在减少，检测速度在加 快，具有实时性。
所有特征的弱分类器的加权错误率
f iqi|h(x,f)yi|
（3）选取最佳弱分类器 h t ( x )，按最小错误率。 f m i n f i q i |h ( x , f ) y i | i q i |h ( x , f t ) y i |
ht(x)h(x, ft)
（4）按照这个最佳弱分类器，调整权重：
【算法思想】
• Adaboost人脸检测算法是一种基于积分图、级联检测器和 Adaboost算法的方法。通过将大量分类能力一 般的弱分类器通过一定的 方法叠加起来，构成一个分类能力强的强分类器；再将若干个强分类器 串联成为分级分类器来完成人脸的搜索检测。
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法
上海大学通信与信息工程学院电路与系统专业
集成学习与Adaboost算法