模式识别基础教程.

“Bad” features
15
特征提取与选择
问题变成：如何优化特征提取算子φ(θ) 的 参数
维数灾难——如何降维？ PCA 选择具有最大区分能力的特征 LDA
Feature extraction
m1 m 2 mk
φ1
φ2
φn
x1 x 2 xn
学习分类规则 错误率检测
训练模式
13
模糊模式识别
1965年Zadeh提出模糊集理论
是对传统集合理论的一种推广
传统：属于或者不属于 模糊：以一定的程度属于
模糊逻辑：相对传统二值逻辑“是或不是” 模糊数学：研究模糊集和模糊逻辑 模糊系统：应用角度
14
特征提取：PR的第一步
22
基于AdaBoost的快速人脸检测
基于分级分类器的加速策略
大量候选窗口可以利用非常少量的特征（简单快速的分类器） 就可以排除是人脸的可能性！ 只有极少数需要大量的特征（更复杂的更慢的分类器来判别是 否人脸）
23
分级分类器的构建
采用由粗到细的思想（coarse to fine）
分类
确定模式 非确定模式 随机模式
4
定义：模式类
模式x : 具有某些量化测量值或者特征 模式类 (vi)：A collection of “similar” (not necessarily identical) objects
Inter-class variability
《模式识别》课程
模式识别
(Pattern Recognition)
主讲教师：宫宁生
提 纲
模式识别概论 主要模式识别方法 模式识别过程 案例介绍 DEMO
2
为什么需要模式识别？
模式识别：人类学习的基本方法
人眼识别物 中医看舌苔/脉搏 图谱辨别化合物
3
什么是模式？
21
Adaboost学习算法
输入：
1.训练用人脸和非脸样本 2.指定要挑选出来的弱分类器的数目T,这也是程序循 环的次数 3.利用先验知识初始化权值向量
弱分类器
其中， 表示弱分类器的值， 表示弱学习算法寻 找出的阈值， 表示不等号的方向， 表示特 征值， 表示一个Harr-like特征。
m1 m 2 m3 mk
Feature selection
x1 x 2 xn
16
基于AdaBoost 的快速人脸检测
17
AdaBoost算法简介
在2001年的ICCV上，Compaq的研究员Paul Viola和 Michael J.Jones发表了一个实时人脸检测系统，其速度 是平均每秒15帧，图像大小是384x288。
正例
4800张手工标定的人 脸照片作为训练样本 集 1000张人脸照片作为 测试集
反例
10万张反例样本
人脸样本
26
系统在技术上的三个贡献：
这种技术具有实时性的特点，而且有可能扩展到多个姿 态的人脸检测。
18
人脸的特征表示方法
矩形特征（Harr-like特征）
矩形特征的值是所有白色矩形中点的亮度值的和减 去所有灰色矩形中点的亮度值的和，所得到的差 有4种类型的矩形特征
19
输入图像
积分图像
基于积分图像的 Haar-like特征计算
20
AdaBoost分类器
AdaBoost分类器
Adaboost学习算法是用来提高某种简单分类算法的性能的。 它通过对一些弱分类器的组合来形成一个强分类器
功能
将分类性能不好的弱分类器提升为分类性能好的强分类器的学 习算法。
思想
学习一系列分类器，在这个序列中每一个分类器对它前一个分 类器导致的错误分类样例给予更大的重视。
8
典型应用
语音识别（例如：IBM ViaVoice系统） 表情分析、年龄、种族、性别分类 OCR: 车牌照、集装箱号码… 手写体识别：汉王 手势识别：基于视觉的，基于数据手套 人脸识别、指纹识别、虹膜识别… 军事目标识别 生物信息、医学图像 遥感、气象
9
模式识别方法
数据处理： 模式类的模型假设： 选择最优的模型并分类：
6
模式识别的主要问题
建模问题
描述 表示
例如：用面积和周长表示某种形状
特征提取与选择问题
维数灾难——如何降维？ 主成分分析PCA 选择具有最大区分能力的特征 线性判别分析LDA
任务特定的学习问题
贝叶斯决策理论、统计学习理论和SVM
参见：Paul Viola,Michael J. Jones. Robust Real-time Object Detection. CRL 2001/01 February 2001. 1.用简单的矩形特征来作为人脸图像特征; 2.基于AdaBoost的分类器; 3.采用了Cascade(分级分类器)技术提高检测速度。
模板匹配 结构模式识别 句法模式识别 统计模式识别 模糊模式识别
静态模式（不相关）
时序模式（相关的静态模式）
有监督学习
半监督学习
无监督学习
HMM
参数估计
· 非参数方法
最小距离
分层聚类
统计学习理论 和支持向量机
神经网络
近邻法
直接计算判别函数
10
模板匹配Template Matching
Template
任务：提取适于分类的特征（量化测量值） 好的特征
Objects from the same class have similar feature values. Objects from different classes have different values.
“Good” features
Input scene
11
统计模式识别
模式识别最初从统计理论发展而来 基本思想：模式被描述为一组测量值组成的随 机特征向量，用概率统计理论对其进行建模， 用统计决策理论划分特征空间来进行分类。
12
统计模式识别的一般过程
测试模式 预处理 特征提 取/选择
分类
分类
训练 预处理 特征提 取/选择
The letter “T” in different typefaces
Intra-class variability
Characters that look similar
模式类的统计特性
相似性-先验概率 ：P (vi) 类条件概率密度：p (x|vi)
5
Leabharlann Baidu
定义：模式识别
依据一定的规则，将模式进行分类的过程 （Classifies “patterns” into “classes”） 主要过程:
7
模式分类 vs. 模式聚类
Classification Clustering
Category “A”
Category “B” Clustering
Classification (Recognition)
(Supervised Classification)
(Unsupervised Classification)
将数量少的重要的特征构成的分类器置于前面若干 层，检测大部分人脸的同时，排除大量非脸 后面层包含大量次重要的特征对非脸进行进一步排 除 每层训练用非脸样本使用前面层分类器误判为人脸 的那些样本
24
基于AdaBoost的快速人脸检测
分级分类器的训练算法
25
实验结果和系统
训练样本