机器学习与模式识别-第1章_绪论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
25
模板匹配 首先对每个类别建立一个或多个模板 输入样本和数据库中每个类别的模版进行比较， 求相关或距离,根据相关性或距离大小进行决策 优点：直接、简单 缺点：适应性差 形变模板
26
统计方法 根据训练样本，建立决策边界 统计决策理论——根据每一类总体的概率分布决 定决策边界 判别分析方法——给出带参数的决策边界，根据 某种准则，由训练样本决定“最优”的参数
也可以选择向量间的夹角。
41
3) 特征的生成 如何找到合适的特征成为认知与识别的核心问题。
42
机器学习
43
教材与参考资料
Pattern Recognition and Machine Learning
Christopher M. Bishop
机器学习
Tom M. Mitchell
Andrew Ng’s Lecture Notes
增强
20
特征抽取和选择：在模式识别中，需要进行特征 的抽取和选择，例如，一幅64x64的图象可以得 到4096个数据，这种在测量空间的原始数据通 过变换获得在特征空间最能反映分类本质的 特征。这就是特征提取和选择的过程。
21
• 分类器设计：分类器设计的主要功能是通过 训练确定判决规则，使按此类判决规则分类 时，错误率最低。把这些判决规则建成标准库。 • 分类决策：在特征空间中对被识别对象进行 分类。
27
句法方法 许多复杂的模式可以分解为简单的子模式，这些 子模式组成所谓“基元” 每个模式都可以由基元根据一定的关系来组成 基元可以认为是语言中的字母，每个模式都可以 认为是一个句子，关系可以认为是语法 模式的相似性由句子的相似性来决定 优点：适合结构性强的模式 缺点：抗噪声能力差，计算复杂度高
28
38
假如每个模式类都满足紧致性假设，则解 决了模式识别的一个原则性的困难。
39
☉☉☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆ a 紧致性好 ☉☉☉☉ ◆◆◆◆ ☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆ b 紧致性中
◆☉◆ ☉◆☉◆☉ ☉◆☉◆☉ ◆☉◆ ☉◆☉☉◆☉◆◆☉ c 紧致性差
40
34
防伪
•
Commercial biometric systems cannot distinguish between real and artificial fingerprints (faces)
Dummy finger created from a lifted impression
35
样本的变化
8
1.2 模式识别学科的历史与应用 历史与目前热点 学术组织与学术会议 应用
9
模式识别的发展史
• 1929年 G. Tauschek发明阅读机 ，能够阅读 0-9的数字。 • 30年代 Fisher提出统计分类理论,奠定了统 计模式识别的基础。因此，在60～70年 代，统计模式识别发展很快，但由于被识 别的模式愈来愈复杂，特征也愈多，就出 现“维数灾难”。但由于计算机运算速度的 迅猛发展，这个问题得到一定克服。统计 模式识别仍是模式识别的主要理论。
7
Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)
22
？ ？ ？
？
？ ？
23
一个具体的模式识别系统
图像 获取 活体 检测 预处 理 特征 抽取 特 征 向 量 分类 器 识别 结果
模式1
模式2
模式3
模式4
模式5
… ...
预处理 特征提取 特征匹配
图像获取
识别算法
24
1.4 模式识别的常用方法 模板匹配 统计方法 句法方法 神经网络
44
第一讲 绪论与预备知识
45
什么是学习？
学习是人类的一种重要的智能行为。 “学习是系统所作的适应性变化，使得系统在下一次 完成同样或类似的任务时更为有效 ” ‐‐‐‐西蒙 “学习是构造或修改对于所经历事物的表示 ” ‐‐‐‐Michalski “学习是知识的获取” ‐‐‐‐专家系统研究者
46
5
模式识别的目的是对观测得到的 样本进行正确分类.
故:
我们把通过对具体的个别失去进行观测所得到 的具有时间和空间分布的信息称为模式, 而把 模式所属的类别或同一类中模式的总体称为模 式类(或简称为类).也可将个别具体的模式称为 样本, 将模式类称为模式.
6
国际学者的定义：
Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” – a fingerprint image – a handwritten cursive word – a human face – a speech signal –
神经网络 大规模并行计算 学习、推广、自适应、容错、分布表达和计算 优点：可以有效的解决一些复杂的非线性问题 缺点：缺少有效的学习理论
29
几种方法比较
方法 模板匹配 表达 样本，像 元，曲线 特征 基元 样本，像 元，特征 识别函数 相关，距离 度量 决策函数 规则、语法 网络函数 典型准则 分类错误
模式识别的一些基本问题
2) 相似与分类 模式识别是把具体的事物归入某一类的过程。（要进行分 类，首先要有类的存在）。 目前，得到广泛应用的相似性度量是在空间中定义的某种距 离。 如在 D 维欧几里德空间，可以选择：
δ ( xk , x j ) = f (
∑ (x
i =1
D
ki
− x ji ) 2 )
15
以虹膜识别为例介绍模式识别系统
瞳孔
虹膜
巩膜
虹膜 就是图像中红圈与白圈之间的环状部分。
16
17
• 预处理：包括A\D,二值化，图象的平滑，变换，
增强，恢复，滤波等。
为什么要进行预处理? 如何预处理?
18
图像预处理的必要性
正常光照下的虹膜图像
较暗光照下的虹膜图像
19
边缘检测
分段线性映射
光照估计
机器学习与 模式识别
夏榆滨 北京航空航天大学计算机学院
1
教学内容
• 学时：32学时
• 基本概念 • 基本理论 • 实践作业
2
教材：
•模式识别 清华大学出版社 边肇祺
•Pattern Classification, Richard O. Duda Peter E, Hart David G. Stork
53
切入点:一个简单的机器学习问题 曲线拟合问题
54
平方误差函数
55
M=0
36
变化是绝对的,不变是相对的, 模式识别的本质(奥妙)在于获得模式的 不变特征进行正确分类!!! 让计算机做得更好!
37
模式识别的一些基本问题
1)模式类的紧致性 假设同一类的各个模式在该空间中组成一个紧致集。 任何一点可以均匀地过度到同一集中的另外一点，而在过度 中的所有各点都仍然属于这个紧致集即属于同一模式类。 各点在任意方向有某些不大的移动（微小的变形）时它仍然 属于这个集合。
47
与机器学习相关的学科
人工智能 智能信息处理
模式识别
数据挖掘
计算机视觉 自然语言处理
48
模式识别
49
49
一对一的验证过程
模式识别侧重于识别的应用 机器学习侧重于识别的方法
50
50
数据挖掘
数据挖掘是从大量的数据中，抽取出潜 在的、有价值的知识（模型或规则）的 过程。 数据挖掘是机器学习方法在
12
主要期刊和会议
IEEE Trans. on PAMI, IP,SMC Pattern Recognition Pattern Recognition Letter Machine Learning Neural Computation 《模式识别与人工智能》 CVPR、ICPR、ICML、COLT、NIPS…… 《自动化学报》 《计算机学报》 《中国图象图形学报》
11
模式识别的国内、国际学术组织
• 1973年 IEEE发起了第一次关于模式识别 的国际会议“ICPR”，成立了国际模式识 别协会---“IAPR”，每2年召开一次国际 学术会议。 • 1977年 IEEE的计算机学会成立了模式分 析与机器智能（PAMI）委员会，每2年 召开一次模式识别与图象处理学术会议。 • 国内的组织有电子学会，通信学会，自 动化协会，计算机学会、中文信息学 会….。
10
wk.baidu.com
•50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。 •60年代 L.A.Zadeh提出了模糊集理论，模糊模式 识别理论得到了较广泛的应用。 •80年代 Hopfield提出神经元网络模型理论。近些 年人工神经元网络在模式识别和人工智能上得到 较广泛的应用。 •90年代 小样本学习理论，支持向量机也受到了 很大的重视。 •机器学习方法的兴盛。
3
第一章 绪论 1.1 模式识别和模式的概念
生活中模式识别随处可在 我们的目标: 利用计算机实现类似 人的模式识别功能
什么是模式识别? 人的模式识别 是如何完成的?
4
模式(pattern) ------ 存在于时间，空间中可观察 的事物，具有时间或空间分布的信息。 模式识别(Pattern Recognition) ------ 用计算机实 现人对各种事物或现象的分析,描述,判断,识别。 模式识别与图象识别，图象处理的关系 模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系统 模拟人的听觉: 计算机+声音传感器 模拟人的嗅觉和触觉: 计算机+传感器
知识获取中的应用
Data Mining can help discover knowledge
51
Databases are too big
计算机视觉
计算机视觉是机器学习方法 在图像视频处理中的应用
52
与机器学习相关的机构、期刊、会议
IEEE、AAAI、IAPR
IJCAI、AAAI、NIPS、ICML、ICCV、CVPR、ECCV、 ICPR、CCML、CCPR Machine Learning、NeuroComputing、PAMI、 PR、PRL、CVIU
统计方法 句法方法 神经网络
分类错误 接受错误 均方误差错误
30
1.5 模式识别的难点 利用计算机实现人的感知功能 不可避免地遇到许多问题.
来自于模式 来自于算法的限制 ……
31
人脸识别的问题
www.marykateandashley.com
news.bbc.co.uk/hi/english/in_depth/americas /2000/us_elections
13
模式识别的应用
文本分类 文本图像分析 工业自动化 数据挖掘 多媒体数据库检索 生物特征识别 语音识别 生物信息学 遥感 。。。。。。
14
1.3 模式识别系统
• 信息的获取：是通过传感器，将光或声音等信息转化 为电信息。信息可以是二维的图象如文字，图象等； 可以是一维的波形如声波，心电图，脑电图；也可以 是物理量与逻辑值。
什么是机器学习？
基本假设：假设y=F(x)是问题世界的模型，z=N(x)是观测 环境噪音，样本集是在噪音环境下，经过有限次观察，从 问题世界获得的一组观测数据，记为，S(z, {xk, yk})。它是 问题世界所有可能观测数据的一个子集。 机器学习：从样本集S(z, {xk, yk})学习(估计)一个假设 f(x)，使得f(x)是问题世界模型F(x)的一个近似。 机器学习的任务： (1)从S计算一个f(x)，使得在输入输出意义下逼近F(x)。 (2)过滤观测环境附加在数据上的噪音。
Twins
Father and son
32
33
模糊图像
• ~ 3% of the population has poor quality fingerprint images which means they have to be identified by some other means
Four impressions of a user’s fingerprint
模板匹配 首先对每个类别建立一个或多个模板 输入样本和数据库中每个类别的模版进行比较， 求相关或距离,根据相关性或距离大小进行决策 优点：直接、简单 缺点：适应性差 形变模板
26
统计方法 根据训练样本，建立决策边界 统计决策理论——根据每一类总体的概率分布决 定决策边界 判别分析方法——给出带参数的决策边界，根据 某种准则，由训练样本决定“最优”的参数
也可以选择向量间的夹角。
41
3) 特征的生成 如何找到合适的特征成为认知与识别的核心问题。
42
机器学习
43
教材与参考资料
Pattern Recognition and Machine Learning
Christopher M. Bishop
机器学习
Tom M. Mitchell
Andrew Ng’s Lecture Notes
增强
20
特征抽取和选择：在模式识别中，需要进行特征 的抽取和选择，例如，一幅64x64的图象可以得 到4096个数据，这种在测量空间的原始数据通 过变换获得在特征空间最能反映分类本质的 特征。这就是特征提取和选择的过程。
21
• 分类器设计：分类器设计的主要功能是通过 训练确定判决规则，使按此类判决规则分类 时，错误率最低。把这些判决规则建成标准库。 • 分类决策：在特征空间中对被识别对象进行 分类。
27
句法方法 许多复杂的模式可以分解为简单的子模式，这些 子模式组成所谓“基元” 每个模式都可以由基元根据一定的关系来组成 基元可以认为是语言中的字母，每个模式都可以 认为是一个句子，关系可以认为是语法 模式的相似性由句子的相似性来决定 优点：适合结构性强的模式 缺点：抗噪声能力差，计算复杂度高
28
38
假如每个模式类都满足紧致性假设，则解 决了模式识别的一个原则性的困难。
39
☉☉☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆ a 紧致性好 ☉☉☉☉ ◆◆◆◆ ☉☉ ◆◆◆◆ ☉☉☉☉ ◆◆◆◆ b 紧致性中
◆☉◆ ☉◆☉◆☉ ☉◆☉◆☉ ◆☉◆ ☉◆☉☉◆☉◆◆☉ c 紧致性差
40
34
防伪
•
Commercial biometric systems cannot distinguish between real and artificial fingerprints (faces)
Dummy finger created from a lifted impression
35
样本的变化
8
1.2 模式识别学科的历史与应用 历史与目前热点 学术组织与学术会议 应用
9
模式识别的发展史
• 1929年 G. Tauschek发明阅读机 ，能够阅读 0-9的数字。 • 30年代 Fisher提出统计分类理论,奠定了统 计模式识别的基础。因此，在60～70年 代，统计模式识别发展很快，但由于被识 别的模式愈来愈复杂，特征也愈多，就出 现“维数灾难”。但由于计算机运算速度的 迅猛发展，这个问题得到一定克服。统计 模式识别仍是模式识别的主要理论。
7
Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)
22
？ ？ ？
？
？ ？
23
一个具体的模式识别系统
图像 获取 活体 检测 预处 理 特征 抽取 特 征 向 量 分类 器 识别 结果
模式1
模式2
模式3
模式4
模式5
… ...
预处理 特征提取 特征匹配
图像获取
识别算法
24
1.4 模式识别的常用方法 模板匹配 统计方法 句法方法 神经网络
44
第一讲 绪论与预备知识
45
什么是学习？
学习是人类的一种重要的智能行为。 “学习是系统所作的适应性变化，使得系统在下一次 完成同样或类似的任务时更为有效 ” ‐‐‐‐西蒙 “学习是构造或修改对于所经历事物的表示 ” ‐‐‐‐Michalski “学习是知识的获取” ‐‐‐‐专家系统研究者
46
5
模式识别的目的是对观测得到的 样本进行正确分类.
故:
我们把通过对具体的个别失去进行观测所得到 的具有时间和空间分布的信息称为模式, 而把 模式所属的类别或同一类中模式的总体称为模 式类(或简称为类).也可将个别具体的模式称为 样本, 将模式类称为模式.
6
国际学者的定义：
Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” – a fingerprint image – a handwritten cursive word – a human face – a speech signal –
神经网络 大规模并行计算 学习、推广、自适应、容错、分布表达和计算 优点：可以有效的解决一些复杂的非线性问题 缺点：缺少有效的学习理论
29
几种方法比较
方法 模板匹配 表达 样本，像 元，曲线 特征 基元 样本，像 元，特征 识别函数 相关，距离 度量 决策函数 规则、语法 网络函数 典型准则 分类错误
模式识别的一些基本问题
2) 相似与分类 模式识别是把具体的事物归入某一类的过程。（要进行分 类，首先要有类的存在）。 目前，得到广泛应用的相似性度量是在空间中定义的某种距 离。 如在 D 维欧几里德空间，可以选择：
δ ( xk , x j ) = f (
∑ (x
i =1
D
ki
− x ji ) 2 )
15
以虹膜识别为例介绍模式识别系统
瞳孔
虹膜
巩膜
虹膜 就是图像中红圈与白圈之间的环状部分。
16
17
• 预处理：包括A\D,二值化，图象的平滑，变换，
增强，恢复，滤波等。
为什么要进行预处理? 如何预处理?
18
图像预处理的必要性
正常光照下的虹膜图像
较暗光照下的虹膜图像
19
边缘检测
分段线性映射
光照估计
机器学习与 模式识别
夏榆滨 北京航空航天大学计算机学院
1
教学内容
• 学时：32学时
• 基本概念 • 基本理论 • 实践作业
2
教材：
•模式识别 清华大学出版社 边肇祺
•Pattern Classification, Richard O. Duda Peter E, Hart David G. Stork
53
切入点:一个简单的机器学习问题 曲线拟合问题
54
平方误差函数
55
M=0
36
变化是绝对的,不变是相对的, 模式识别的本质(奥妙)在于获得模式的 不变特征进行正确分类!!! 让计算机做得更好!
37
模式识别的一些基本问题
1)模式类的紧致性 假设同一类的各个模式在该空间中组成一个紧致集。 任何一点可以均匀地过度到同一集中的另外一点，而在过度 中的所有各点都仍然属于这个紧致集即属于同一模式类。 各点在任意方向有某些不大的移动（微小的变形）时它仍然 属于这个集合。
47
与机器学习相关的学科
人工智能 智能信息处理
模式识别
数据挖掘
计算机视觉 自然语言处理
48
模式识别
49
49
一对一的验证过程
模式识别侧重于识别的应用 机器学习侧重于识别的方法
50
50
数据挖掘
数据挖掘是从大量的数据中，抽取出潜 在的、有价值的知识（模型或规则）的 过程。 数据挖掘是机器学习方法在
12
主要期刊和会议
IEEE Trans. on PAMI, IP,SMC Pattern Recognition Pattern Recognition Letter Machine Learning Neural Computation 《模式识别与人工智能》 CVPR、ICPR、ICML、COLT、NIPS…… 《自动化学报》 《计算机学报》 《中国图象图形学报》
11
模式识别的国内、国际学术组织
• 1973年 IEEE发起了第一次关于模式识别 的国际会议“ICPR”，成立了国际模式识 别协会---“IAPR”，每2年召开一次国际 学术会议。 • 1977年 IEEE的计算机学会成立了模式分 析与机器智能（PAMI）委员会，每2年 召开一次模式识别与图象处理学术会议。 • 国内的组织有电子学会，通信学会，自 动化协会，计算机学会、中文信息学 会….。
10
wk.baidu.com
•50年代 Noam Chemsky 提出形式语言理论 美籍华人付京荪 提出句法结构模式识别。 •60年代 L.A.Zadeh提出了模糊集理论，模糊模式 识别理论得到了较广泛的应用。 •80年代 Hopfield提出神经元网络模型理论。近些 年人工神经元网络在模式识别和人工智能上得到 较广泛的应用。 •90年代 小样本学习理论，支持向量机也受到了 很大的重视。 •机器学习方法的兴盛。
3
第一章 绪论 1.1 模式识别和模式的概念
生活中模式识别随处可在 我们的目标: 利用计算机实现类似 人的模式识别功能
什么是模式识别? 人的模式识别 是如何完成的?
4
模式(pattern) ------ 存在于时间，空间中可观察 的事物，具有时间或空间分布的信息。 模式识别(Pattern Recognition) ------ 用计算机实 现人对各种事物或现象的分析,描述,判断,识别。 模式识别与图象识别，图象处理的关系 模式识别是模拟人的某些功能 模拟人的视觉: 计算机+光学系统 模拟人的听觉: 计算机+声音传感器 模拟人的嗅觉和触觉: 计算机+传感器
知识获取中的应用
Data Mining can help discover knowledge
51
Databases are too big
计算机视觉
计算机视觉是机器学习方法 在图像视频处理中的应用
52
与机器学习相关的机构、期刊、会议
IEEE、AAAI、IAPR
IJCAI、AAAI、NIPS、ICML、ICCV、CVPR、ECCV、 ICPR、CCML、CCPR Machine Learning、NeuroComputing、PAMI、 PR、PRL、CVIU
统计方法 句法方法 神经网络
分类错误 接受错误 均方误差错误
30
1.5 模式识别的难点 利用计算机实现人的感知功能 不可避免地遇到许多问题.
来自于模式 来自于算法的限制 ……
31
人脸识别的问题
www.marykateandashley.com
news.bbc.co.uk/hi/english/in_depth/americas /2000/us_elections
13
模式识别的应用
文本分类 文本图像分析 工业自动化 数据挖掘 多媒体数据库检索 生物特征识别 语音识别 生物信息学 遥感 。。。。。。
14
1.3 模式识别系统
• 信息的获取：是通过传感器，将光或声音等信息转化 为电信息。信息可以是二维的图象如文字，图象等； 可以是一维的波形如声波，心电图，脑电图；也可以 是物理量与逻辑值。
什么是机器学习？
基本假设：假设y=F(x)是问题世界的模型，z=N(x)是观测 环境噪音，样本集是在噪音环境下，经过有限次观察，从 问题世界获得的一组观测数据，记为，S(z, {xk, yk})。它是 问题世界所有可能观测数据的一个子集。 机器学习：从样本集S(z, {xk, yk})学习(估计)一个假设 f(x)，使得f(x)是问题世界模型F(x)的一个近似。 机器学习的任务： (1)从S计算一个f(x)，使得在输入输出意义下逼近F(x)。 (2)过滤观测环境附加在数据上的噪音。
Twins
Father and son
32
33
模糊图像
• ~ 3% of the population has poor quality fingerprint images which means they have to be identified by some other means
Four impressions of a user’s fingerprint