模式识别第3章
模式识别(3-1)
§3.2 最大似然估计
最大似然估计量： －使似然函数达到最大值的参数向量。 －最符合已有的观测样本集的那一个参数向量。 ∵学习样本从总体样本集中独立抽取的
N ) p( X | ) p( X k | i ) k 1 N个学习样本出现概率的乘积
i
i
∴
p( X | i . i
i
§3.2 Bayes学习
假定： ①待估参数θ是随机的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = {X1,X2,… XN} 并且是从总体中独立抽取的 ③ 类条件概率密度具有某种确定的函数形式，但其 参数向量未知。 ④ Xi 中的样本不包含待估计参数θj(i≠j)的信息，不 同类别的参数在函数上是独立的，所以可以对每一 类样本独立进行处理。
有时上式是多解的, 上图有5个解,只有一个解最大即 （对所有的可能解进行检查或计算二阶导数）
§3.2 最大似然估计
例：假设随机变量x服从均匀分布，但参数1， 2未知， 1 1 x 2 p ( x | ) 2 1 ， 0 其他 求1， 2的最大似然估计量。 解：设从总体中独立抽取N个样本x1 , x2 , , xN , 则其似然函数为： 1 p ( x1 , x2 , , xN | 1， 2 ) ( 2 1 ) N l ( ) p ( X | ) 0
§3.2 Bayes学习
p ~ N 0 , 0
2
其中 0和 0 是已知的
2
已知的信息还包括一组抽取出来的样本X i x1 , x2 ,, xN ，从而 可以得到关于 的后验概率密度：
模式识别第三章
3 回归的线性模型至此，本书都聚焦在无监督学习，包括的议题有密度估计和数据聚类。
我们现在转向监督学习，并从回归开始。
回归的目的是：对给定的输入变量的D 维向量x 值，预测一个或更多连续目标变量t 值。
我们在第一章考虑多项式曲线拟合时，已经遇到过一个回归问题的例子。
多项式是线性回归模型的一大类函数中一个具体的例子，它也有含可调参数的线性函数的性质，并将组成本章的焦点。
最简单的线性回归模型也是输入变量的线性函数。
但是，通过取输入变量的一组给定的非线性函数的线性组合，我们可以获得更有用的函数类，称为基函数。
这样的模型是参数的线性函数，它们有简单的解析性，并且关于输入变量仍是非线性的。
给定一个训练数据集合，它有N 个观察值{}n x ，其中n=1,…,N ，以及对应的目标值{}n t ，目的是给定一个新的x 预测t 的值。
最简单方法是直接构造一个适当的函数()y x ，对一个新输入x ，它的值组成对应的t 的预测值。
更一般地，从概率角度考虑，我们想建立一个预测分布()p t x ，因为它表示了对x 的每一个值，t 值的不确定性。
由这个条件分布，我们可以为任意的新x 值预测t ，这相当于最小化一个适当选择的损失函数的期望。
如在第1.5.5所讨论的，通常选择损失函数的平方作为实值变量的损失函数，因为它的最优解由t 的条件期望给出。
对模式识别来说，虽然线性模型作为实用的技术有显著的限制，特别是涉及到高维输入空间的问题，但是它们具有好的解析性质，并且是以后章节要讨论的更复杂模型的基础。
3.1 线性基函数模型最简单的线性回归模型是输入变量的线性组合：011(,)D D y w w x w x =+++x w L （3.1） 其中1(,,)T D x x =x L ，这就是通常简称的线性回归。
此模型的关键特征是：它是参数0,,D w w L 的一个线性函数。
但同时它也是输入变量i x 的一个线性函数，这对模型产生了很大的限制。
模式识别讲义_(80pp)
第一章 绪论1．1模式和模式识别模式识别是一门很受人们重视的学科。
早在30年代就有人试图以当时的技术解决一些识别问题，在近代，随着计算机科学技术的发展和应用，模式识别才真正发展起来。
从60年代至今，在模式识别领域中已取得了不少成果。
它的迅速发展和广泛应用前景引起各方面的关注。
模式识别属于人工智能范畴，人工智能就是用机器去完成过去只有人类才能做的智能活动。
在这里，“智能”指的是人类在认识和改造自然的过程中表现出来的智力活动的能力。
例如：通过视觉、听觉、触觉等感官接受图象、文字、声音等各种自然信息去认识外界环境的能力；将感性知识加工成理性知识的能力，即经过分析、推理、判断等思维过程而形成概念、建立方法和作出决策的能力；经过教育、训练、学习不断提高认识与改造客观环境的能力‘对外界环境的变化和干扰作出适应性反应的能力等。
模式识别就是要用机器去完成人类智能中通过视觉、听觉、触觉等感官去识别外界环境的自然信息的那些工作。
虽然模式识别与人工智能关系很密切，但是发展到现在，它已经形成了独立的学科，有其自身的理论和方法。
在许多领域中，模式识别已有不少比较成功的实际应用。
模式的概念：模式这个概念的内涵是很丰富的。
“我们把凡是人类能用其感官直接或间接接受的外界信息都称为模式”。
比如：文字、图片、景物；声音、语言；心电图、脑电图、地震波等；社会经济现象、某个系统的状态等，都是模式。
模式识别：模式识别是一门研究对象描述和分类方法的科学。
如，我们要听某一门课，必须做以下识别：1)看课表—文字识别；2)找教室和座位—景物识别；3)听课—声音识别。
再比如，医生给病人看病：1)首先要了解病情；问2)再做一些必要的检验；查3)根据找到的能够诊断病情的主要特征，如体温、血压、血相等，做出分类决策，即诊断。
对于比较简单的问题，可以认为识别就是分类。
如，对于识别从“0”到“9”这十个阿拉伯数字的问题。
对于比较复杂的识别问题，就往往不能用简单的分类来解决，还需要对待识别模式的描述。
模式识别Chapter 3归纳.ppt
最新.课件
11
Discriminant functions
yk (x)
1 2
(x
k
)
t
k
1
(
x
k )
d 2
ln
2
1 2
ln
| k
| ln
p(ck )
Case 1 k 2I
yk
(x)
1
2
k t
x
kt k
ln
p(ck
)
yk (x) wkt x wk0
wk
1
2
k , wk 0
ktk
最新.课件
21
Introduction
we could design an optional classifier if we knew the priori probabilities and the class-conditional densities
Unfortunately, we rarely, if ever, have this kind of completely knowledge about the probabilistic structure
Feature space, feature point in space
Classification
-- Bayesian decision theory
-- Discriminant function
-- Decision region, Decision boundary
最新.课件
15
Example
Drawbacks -- the number of parameters grows with the size of the data -- slow
模式识别(3-2)
0
x为其它
解：此为多峰情况的估计
-2.5 -2 0
2x
设窗函数为正态
(u) 1 exp[ 1 u2], hN h1
2
2
N
❖
用
Parzen
窗 法 估 计 两 个 均 匀 分 布 的 实 验
h1 0.25 10.0
1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001 10.0 1.0 0.1 0.01 0.001
Parse窗口估计
例2：设待估计的P(x)是个均值为0，方差为1的正态密度
函数。若随机地抽取X样本中的1个、 16个、 256个作为
学习样本xi,试用窗口法估计PN(x)。 解：设窗口函数为正态的， σ＝1，μ＝0
(| x xi |)
1
exp[
1
(
|
x
xi
|
2
)]
设hN h1
hN
2
2 hN
N
0.01
0.001 10.0
1.0
0.1
0.01
0.001 10.0
1.0
0.1
0.01
0.001 10.0
1.0
0.1
0.01
0.001 2 0 2
h1 1 2 0 2
h1 4 2 0 2
Parse窗口估计
讨论：由图看出, PN(x)随N, h1的变化情况 ①正当态N＝形1时状，的P小N(丘x)，是与一窗个函以数第差一不个多样。本为中心的
概率密度估计
数学期望: E(k)=k=NP
∴对概率P的估计: P k。
N
模式识别第3章 近邻法
26
27
近邻法
重复剪辑近邻法
原始样本集（不同均矢和协方差阵的两类正态分布随机样本）28
近邻法
重复剪辑近邻法
第一次剪辑后留下的样本
29
近邻法
重复剪辑近邻法
第三次剪辑后留下的样本
36
近邻法
压缩近邻法
基本方法：
• 将样本集XN分为XS 和XG ，开始时XS 中只有一个样本， XG中为其余样本
• 考查XG 中每个样本，若用XS 可正确分类则保留，否则 移入XS
• 最后用XS作最近邻法的比较样本集。
37
近邻法
压缩近邻法
算法步骤（Condensing算法）：
1. 设置两个存储器，分别为STORE和GRABBAG，将第一个样本放 入STORE中，把其他样本放入GRABBAG中；
i1
如果
则 x m
5
近邻法
最近邻决策规则—k-NN
k的取值选择很重要！ 6
近邻法
最近邻决策规则—k-NN
特点： 思想简单，计算方便 需要存储所有样本，每次决策都要计算待识
别样本与全部训练样本之间的距离并进行比 较，存储量和计算量都很大
7
近邻法 例子：
最近邻决策规则—k-NN
8
近邻法
最近邻决策规则—k-NN
主要内容
第一章 第二章 第三章 第四章 第五章 第六章 第七章
绪论 非监督学习方法 近邻法 线性判别函数 人工神经网络 贝叶斯决策理论 模式识别应用
1
第三章 近邻法
• 最近邻决策规则 • 推广—K近邻决策规则 • 改进算法
模式识别第三章
第三章概率密度函数的估计1.概率密度函数的估计方法及分类概率密度函数估计方法分为两大类：参数估计和非参数估计。
参数估计中，一直概率密度函数的形式，但其中部分或全部参数未知，概率密度函数的估计就是用样本来估计这些参数。
主要方法又有两类：最大似然估计和贝叶斯估计。
非参数估计，就是概率密度函数的形式也未知，或者概率密度函数不符合目前研究的任何分布模型，因此不能仅仅估计几个参数，而是用样本把概率密度函数数值化地估计出来。
主要方法有：直方图法、K N 近邻估计法、Parzen 窗口。
2.最大似然估计假定一个随机试验有若干个可能的结果。
如果在一次试验后出现了结果，那么，一般认为试验条件对“结果出现”有利，即这个试验中“出现”的概率（站在试验前的立场上考察）最大。
3.贝叶斯估计与最大似然估计区别在这两种估计中，都是假设样本概率密度函数形式已知，需要估计的是是概率密度函数中的参数。
虽然使用贝叶斯方法和最大似然估计的结果很相似，但这两个方法在本质上有很大的不同。
在最大似然估计方法中，我们把需要估计的参数向量看作是一个确定而未知的参数。
而在贝叶斯学习方法中，我们把参数向量看成是一个随机变量，已有的训练样本使我们把对于参数的初始密度估计转化为厚颜概率密度。
4.直方图方法a. 把样本x 的每个分量在其取值范围内分成k 个等间隔的小窗。
如果x 是d 维向量，则会得到k d 个小体积或者称作小舱，每个小舱的体积记作V ；b. 统计落入小舱内的样本数目q ic. 把每个小舱内的概率密度看作是常数，并用q i /(NV)作为其估计值，其中N 为样本总数。
在上述直方图估计中，采用的是把特征空间在样本范围内等分的做法。
小舱的体积选择应该与样本总数相适应。
避免小舱过宽或过窄，随样本数的增加，小舱体积应尽可能小，同时又必须保证小舱内有足够充分逗得样本，但每个小舱内的样本数有必须是总样本数中很小的一部分。
5.K N 近邻估计方法K N 近邻估计就是一种采用可变大小的小舱的密度估计方法，基本做法是：根据总样本确定一个参数K N ，即在总样本数为N 时要求每个小舱内拥有的样本个数。
模式识别讲义
模式识别讲义《模式识别与图像处理》教学讲义上篇模式识别§1. 模式识别序论近年来，科技发展的重要方向之一就是：人类智能的机器化和人造机器的智能化。
前者以计算机、专家系统、神经网络算法等为代表；后者以智能机器人（具有视觉、听觉、触觉、嗅觉等）为典型。
两个方向的努力都归结为一个目标——研究人工智能。
当然，目前科技水平还远没有达到设定目标。
使机器具有人类的智能水平，使机器像人那样进行目标识别尚需艰苦努力。
模式识别是智能的核心功能之一。
换句话说就是模式识别属于人工智能的范畴。
这里所说的智能或人工智能是指用机器完成以往只能由人类方能胜任的智能活动。
包括：①通过视、听、触、嗅觉接受各种自然信息、感知环境；②经推理、分析、判断、综合将感性认识加工成理论知识，进而形成概念、建立方法以及做出决策；③对外界环境的变化和干扰做出适应性反应等等。
模式识别就是要用机器实现上述第一项人类智能活动。
而第二项则已有神经网络、专家系统等仿照人类思维的智能方法。
第三项则是人类早已开始研究的各种自动化技术、自适应控制、自学习控制等。
那么，什么叫做模式识别呢？§1－1 模式识别的基本概念1、模式与模式识别定义一：模式是一些供模仿用的完美无缺的标本；模式识别就是辨别出特定客体所模仿的标本。
定义二：模式是对特定客体的定量的或结构的描述；模式识别是把待识别模式划分到各自的模式类中去。
这里所说的模式类是具有某些共同特性的模式的集合。
两个定义中，模式一词的含义是不同的。
前者指标本，后者指对客体的描述。
本课程中使用定义二，并且作如下狭义约定：模式识别是指利用计算机自动地或有少量人为干预的方法把待识别模式加以分类，即划分到模式类中去。
一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中的模式的总体称为模式类，其中个别具体的模式往往称为样本。
模式识别就是研究通过计算机自动的(或人为少量干预)将待识别的模式分配到各个模式类中的技术。
模式识别第3章部分习题解答
Problem 1
• a When θ = 1 p(x|θ) = Plot as follows:
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 2 4 6 8 10 exp(-x)
e−x , x ≥ 0 0 others
When x = 2 we get: p(x|θ) = Plot as follows:
0.2 0.18 0.16 0.14 0.12 0.1 0.08 0.06 0.04 0.02 0 0 0.5 1 1.5 2
θe−2θ , x ≥ 0 0 others
x*exp(-2*x)
2.5
3
3.5
4
4.5
5
• b
x1 , · · · , xn p(x|θ), and xi are independently. Then we define the log-likelihood as follows:
Which is Eqs.46.
P (X |θ) =
i=1
xi θi (1 − θi )( 1 − xi )
hence,
n d
P (X 1 , ..., X n |θ) =
k=1 i=1
θi i (1 − θi )(1 − xk i)
xk
And the likelihood function:
n d k xk i ln θi + (1 − xi ) ln(1 − xi ) k=1 i=1
n
n
xi = 0
i=1
1 n
n i=1
xi
n→∞
xi −(x + 1)e−x |∞ 0 = 1
Problem 2
模式识别3
Ch4 线性判别函数4.1 引言P(x/w i)和P(w i)已知条件下，利用样本估计P(x/w i)的未知参数，再利用贝叶斯定理将其转换成后验概率P(w i/x)，并根据后验概率的大小来进行分类决策。
实际问题：样本空间的类条件概率密度的形式常难确定，利用Parzen窗等非参数方法估计分布又需要大量样本，而且随着特征空间维数的增加所需的样本数急剧增加。
因此，不去考虑分类系统概率密度，而是利用样本直接统计各类器。
Æ即首先给定条件判别函数，然后利用样本集确定出判别函数中的未知参数。
假定g(x)=w T x+w0对于C类问题，定义C个判别函数g i(x)=w i T x+w i0，i=1,2,···,c，用样本来估计w i和w0，并把未知样本x内到具有最大判别函数值的类别中去。
最简单的判别函数是线性函数，最简单的分界面是超平面Æ利用线性判别函数所产生的错误率或风险比贝叶斯分类器的大。
但它简单，容易实现，计算和存储量小；是实际应用中最常用的方法之一。
4.4.1 线性判别函数的基本概念g(x)=w T x+w0（4-1）对于两类问题g(x)=g1(x)-g2(x)如果12()0()0()0g x x wg x x wg x x>∈⎧⎪<∈⎨⎪=⎩任意取值（4-2）g(x)≥0定义了一个决策面。
假定x1和x2都在决策面H上，则w T x1+w0= w T x2+w0w T(x1- x2)=0 （4-4）证明：w的超平面H上任一向量正交，即w是H的法向量。
一般来说，一个超平面H把特征空间分成两个半空间，即对w1类的决策域Ж1和w2类的决策域Ж2。
当x在Ж1中时，g(x)>0，该决策面的法向量指向Ж1。
判别函数g (x )可以看成是特征空间中原点x 到超平面的距离的一种代数度量。
x2x1xw xp图4.1若把x 表示为x = x p +r (w/||w ||)（4-5） p ：x 在H 上的投影向量；r：x在H上的垂直距离；w/||w||：w方向上的单位向量。
中科院学习课件 模式识别 第三章
3.6 感知器算法
• [例子]
• 感知器算法的收敛性
– 只要模式类别是线性可分的，就可以在有限的迭 代步数里求出权向量。（证明作为练习）
作业及编程
• 用感知器算法求下列模式分类的解向 量w:
ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}
3.6 感知器算法
• 感知器的训练算法 • 感知器算法实质上是一种赏罚过程
– 对正确分类的模式则“赏”，实际上是“不罚” ，即权向量不变。 – 对错误分类的模式则“罚”，使w(k)加上一个正 比于xk的分量。 – 当用全部模式样本训练过一轮以后，只要有一个 模式是判别错误的，则需要进行下一轮迭代，即 用全部模式样本再训练一次。 – 如此不断反复直到全部模式样本进行训练都能得 到正确的分类结果为止。
3.2 广义线性判别函数
• 广义线性判别函数的意义
– 线性的判别函数 – fi(x)选用二次多项式函数
• x是二维的情况 • x是n维的情况
– fi(x)选用r次多项式函数， x是n维的情况
• 例子 • d(x)的总项数 • 说明
– d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维 数不高，若采用次数r较高的多项式来变换，也会使变换后 的模式x*的维数很高，给分类带来很大困难。 – 实际情况可只取r=2，或只选多项式的一部分，例如r=2时 只取二次项，略去一次项，以减少x*的维数。
3.2 广义线性判别函数
• [例子：一维样本空间 -〉二维样本空间]
作业
• 两类模式，每类包括5个3维不同的模式， 且良好分布。如果它们是线性可分的， 问权向量至少需要几个系数分量？假如 要建立二次的多项式判别函数，又至少 需要几个系数分量？（设模式的良好分 布不因模式变化而改变。）
(完整word版)模式识别习题解答第三章(word文档良心出品)
题1：在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。
问该模式识别问题所需判别函数的最少数目是多少？答：将10类问题可看作4类满足多类情况1的问题，可将3类单独满足多类情况1的类找出来，剩下的7类全部划到4类中剩下的一个子类中。
再在此子类中，运用多类情况2的判别法则进行分类，此时需要7*（7-1）/2=21个判别函数。
故共需要4+21=25个判别函数。
题2：一个三类问题，其判别函数如下：d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-11.设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。
2.设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。
绘出其判别界面和多类情况2的区域。
3.设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。
答：三种情况分别如下图所示：1．2．3．题3：两类模式，每类包括5个3维不同的模式，且良好分布。
如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。
）答：（1）若是线性可分的，则权向量至少需要14N n =+=个系数分量； （2）若要建立二次的多项式判别函数，则至少需要5!102!3!N ==个系数分量。
题4：用感知器算法求下列模式分类的解向量w : ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T} ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}解：将属于2w 的训练样本乘以(1)-，并写成增广向量的形式x1=[0 0 0 1]',x2=[1 0 0 1]',x3=[1 0 1 1]',x4=[1 1 0 1]';x5=[0 0 -1 -1]',x6=[0 -1 -1 -1]',x7=[0 -1 0 -1]',x8=[-1 -1 -1 -1]';迭代选取1C =，(1)(0,0,0,0)w '=，则迭代过程中权向量w 变化如下：(2)(0 0 0 1)w '=；(3)(0 0 -1 0)w '=；(4)(0 -1 -1 -1)w '=；(5)(0 -1 -1 0)w '=；(6)(1 -1 -1 1)w '=；(7)(1 -1 -2 0)w '=；(8)(1 -1 -2 1)w '=；(9)(2 -1 -1 2)w '=； (10)(2 -1 -2 1)w '=；(11)(2 -2 -2 0)w '=；(12)(2 -2 -2 1)w '=；收敛所以最终得到解向量(2 -2 -2 1)w '=，相应的判别函数为123()2221d x x x x =--+。
模式识别_清华答案
先验概率和类条件概率相联系的形式，即 如果p(x|wi )P (wi ) = max p(x|wj )P (wj )，则x ∈ wi 。
j =1,...,c
• 2.6 对两类问题，证明最小风险贝叶斯决策规则可表示为，若 p(x|w1 ) (λ12 − λ22 )P (w2 ) > , p(x|w2 ) (λ21 − λ11 )P (w1 ) 则x ∈ w1 ，反之则属于w2 。 解 ：计算条件风险
第二章 贝叶斯决策理论
• 2.11 xj (j = 1, 2, ..., n)为n个独立随机变量，有E [xj |wi ] = ijη ，var[xj |wi ] = i2 j 2 σ 2 ，计算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下，由贝叶斯决策引 起的错误率。（中心极限定理） 解 ： 在0 − 1损失下，最小风险贝叶斯决策与最小错误率贝叶斯决策等 价。 • 2.12 写出离散形式的贝叶斯公式。 解： P (wi |x) = P (x|wi )P (x) P (x|wi )P (wi )
– II –
第一章 绪论
第一章
略
绪论
–1–
第二章 贝叶斯决策理论
第二章
示？
贝叶斯决策理论
• 2.1 如果只知道各类的先验概率，最小错误率贝叶斯决策规则应如何表 解 ： 设一个有C 类，每一类的先验概率为P (wi )，i = 1, ..., C 。此时最小错 误率贝叶斯决策规则为：如果i∗ = max P (wi )，则x ∈ wi 。
2
R(α1 |x) =
j =1
λ1j P (wj |x)
= λ11 P (w1 |x) + λ12 P (w2 |x)
模式识别3-The nearest neighbour rule
剪辑k-NN最近邻方法
剪辑最近邻法可以推广至k-NN近邻法中。步骤：
第一步 用k-NN 法进行剪辑;
第二步 用1-NN 法进行分类。
如果样本足够多，就可以重复地执行剪辑程
序，以进一步提高分类性能。称为重复剪辑最近
邻法。
剪辑最近邻方法 MULTIEDIT算法
重复剪辑最近邻方法
（1） 将样本集X(N)随机地划分为s个子集：
这里
( NTE ) xj X
剪辑最近邻方法 ω1 ω2 X(NR) X(NT)
用X(NR)中的样本采
用最近邻规则对
X(NT)中的每个样本
分类，剪辑掉X(NT)
中被错误分类的样 本。
用X(NTE) 对输 入的未知样本
余下判决正确的
样本组成剪辑样
做K-NN分类。
本集X(NTE) 。
剪辑最近邻方法
剪辑最近邻方法 MULTIEDIT算法
重复剪辑最近邻方法
原始样本集
剪辑最近邻方法 MULTIEDIT算法
重复剪辑最近邻方法
原始样本集
第一次迭代后留下的样本集
剪辑最近邻方法 MULTIEDIT算法
重复剪辑最近邻方法
原始样本集
第一次迭代后留 下的样本集
第三次迭代后留下的样本集
剪辑最近邻方法 MULTIEDIT算法
重复剪辑最近邻方法
原始样本集
第三次迭代后留 下的样本集
算法终止时留下的样本集
其它最近邻法
压缩最近邻法
原因：在最近邻法中，靠近 类中心的样本对分类没用； 缩短计算时间，降低存储要
引入拒绝决策的最近邻法
原因：k-NN分类法中，最多 样本类优势不明显，可能造 成误判 引入拒绝决策，对二类问题， 当 k' 时，分入相应类； 2 否则，归为不可判断，做出
第三节 模式识别3-3
第三节模式识别在理解题意的过程中，我们获得了大量的信息，它们在我们的头脑里，一开始是孤立的、零散的、混乱的，经过初步的辨认筛选，可确定哪些是有用的，哪些是无用的．有用的要继续接收并进行短期的储存，至于与解本题无关的信息，则予以淘汰．与此同时，我们要努力追忆过去在什么地方、什么情况下曾经出现过类似的题目，从记忆储存中提取出与本问题有关的定义、定理、公式、法则与类题，索取有关的知识，调动潜在的技能，进行信息的对比、借鉴与再生．这里有一个解题的基本策略叫做模式识别．3-3-1模式识别的认识1．基本含义．在学习数学的过程中，所积累的知识和经验经过加工会得出一些有长久保存价值或基本重要性的典型模式与重要类型．当我们遇到一个新问题时，首先辨认它属于已经掌握的哪个基本模式，然后检索出相应的解题方法来解决，这是数学解题中的基本思考（也是解高考题的重要策略），我们叫做模式识别．2．怎样积累模式．使用模式识别首先要有模式，积累模式有两个基本的途径：（1）总结课本内容，归纳基本模式．学完一章节（或跨章节）后，总结一共有几个题目类型，每个题型各有哪些解决方法？（2）分析解题过程，提炼深层结构．就是做题的时候，不满足于例行差事式的获得答案，而是通过分析解题过程，去提炼问题的深层结构，揭示“形异而质同”的深层结构（参阅例0-13）．题目很多，可以重点分析课本综合题和最近三五年的高考题3．模式识别的层次．解题的模式识别通常有三个层次．（1）直接用．拿到一道题目，经过辨认，它已属于某个基本模式，于是提取该模式的相应方法来解决．（2）转化用．遇到稍新、稍难一点的题目，可能不直接属于某个基本模式，但将条件或结论作变形后就属于基本模式．（3）综合用．遇到更新、更难的题目，变形也不属于某个基本模式，那么，一方面可以将题目加以分解，使每一个子问题成为基本模式；另方面可以将基本模式加以深化或重组，用整合过的模式来解决新问题．4．模式识别解高考题的有效性．模式识别在求解高考题时可具体化为：●化归为课本已解决过的问题．●化归为往届高考题．为什么高考解题可以化归为课本已解决过的问题呢？（1）因为课本是学生知识资源的基本来源，也是学生解题体验的主要引导．离开了课本，学生还能从哪里找到解题依据、解题方法、解题体验？还能从哪里找到解题灵感的撞针？高考解题一定要抓住“课本”这个根本．（2）课本是高考命题的基本依据．有的试题直接取自教材，或为原题、或为类题．有的试题是课本概念、例题、习题的改编．有的试题是教材中的几个题目、几种方法的串联、并联、综合与开拓．少量难题也是按照课本内容设计的，在综合性、灵活性上提出较高要求．按照高考怎样出题来处理高考怎样解题应是顺理成章的．可以说，抓住了“模式识别”就抓住了多数考题． （3）这是一种行之有效解题策略．这种做法体现了化归思想，是一种重要的解题策略，对50%～80%的高考题都是有效的．所以，拿到一道高考题，在理解题意后，应立即思考问题属于哪一学科、哪一章节？与这一章节的哪个类型比较接近？解决这个类型有哪些方法？哪个方法可以首先拿来试用？这一想，下手的地方就有了，前进的方向也大体确定了．就是说，运用模式识别可以简捷回答解题中的两个基本问题，从何处下手？向何方前进？就从辨认题型模式入手，就向着提取相应方法、使用相应方法解题的方向前进． 3-3-2 真分数不等式的案例真分数不等式有生动的现实情景，有分析法、综合法、反证法、放缩法，构造法等10多种证明方法，可以作为一个不等式证明的基本模型．1．引例——从现实情景中提炼真分数不等式例3-16 请从下面的现实情景中提炼出一个数学命题，然后给出严格的数学证明． （1）糖水加糖变甜了．（糖水未饱和）（2）某中学计划招收高一新生a 人，使学生总数达到b 人，这样高一新生所占比例为a b ，现准备高一扩招m 人，则高一新生所占的比例变大了．（3）盒中有白球和黑球共b 个，其中白球a 个，从中任取一个，取得白球的概率为a b，若再加入白球m 个，从中任取一个，取得白球的概率增大了．（４）建筑学规定，民用住宅的窗户面积必须小于地板面积，但按采光标准，窗户面积和地板面积之比应不小于10%，且这个比值越大，采光越好．现将窗户面积和地板面积等积增加，则采光条件变好．（５）某城市有一矩形广场，该广场为黄金矩形(它的宽与长的比为5：12)，现在中央设计一个矩形草坪，四周是等宽的步行道．能否设计恰当的步行道的宽度，使矩形草坪仍为黄金矩形？讲解 （以“糖水加糖变甜了”为例）这是一个尽人皆知的生活事实，这里有数学道理吗？该用什么样的数学关系式来表示呢？首先，这个情境具有不等式的必要因素与必要形式．变甜、变咸所表达的是大小关系，记为21p p <．这里用到了字母表示数的知识．其次，这个情境代表什么不等式呢，它又应该用怎样的式子表达出来呢？这要调动“浓度”的概念并继续用字母表示数，设b 克糖水里有a 克糖（0>>a b ），则,1bap =而2p ？ 这还没有把加糖反映出来，2p 有待表示．再设加入m 克糖（0>m ），得,2mb ma p ++=最后，“糖水加糖变甜了”就是a a mb b m+<+．于是得到一个真分数不等式：若0>>a b ，0>m ，则mb ma b a ++<． “糖水加糖”的情境本身有很大的拓展空间．比如（1）将3小杯浓度相同的糖水混合成一大杯后，浓度还相同．由这一情境可得等比定理：321321332211b b b a a a b a b a b a ++++===． （2）将几杯浓度不尽相同的糖水混合成一大杯后，大杯糖水的浓度一定比淡的浓而又比浓的淡．这又是托儿所小孩都知道的事实，但这里有“中间不等式”的必要因素与必要形式，对011>>a b ，022>>a b ，有222121112211b a b b a a b a b a b a <++<⇒<． （3）取浓度不等的两杯糖水，它们有一个平均浓度，合在一起后又有一个浓度，这两个浓度哪个大呢？这已经是一个有挑战性的问题了，需比较⎪⎪⎭⎫ ⎝⎛+221121b a b a 与2121b b a a ++ 的大小．2．证明——形成优化的认知结构．可以有分析法、综合法、反证法、放缩法构造图形、构造定比分点、构造复数、构造函数等10多种证明方法，非常有利于沟通知识和方法之间的联系．证明1 （分析法）a mb m ++ab> ()()b a m a b m ⇔+>+ab bm ab am ⇔+>+bm am ⇔> b a ⇔>，（恒成立）得a m ab m b+>+． 证明2 （综合法）由0>>a b ，0>m ，有bm am >，两边加上ab ，有ab bm ab am +>+， 整理 ()()b a m a b m +>+， 得 a m a b m b+>+．证明3 （作差比较法）由已知有()()0b a ma m ab m b b b m -+-=>++， 得mb m a b a ++<． 证明4 （反证法）假设存在0>>a b ，0>m ，使a m ab m b+≤+， 则由0,0b b m >+>，有()()b a m a b m +≤+， 两边减去ab ，有bm am >，两边除以0>m ，有b a ≤，与已知b a >矛盾，故得a m ab m b+>+． 证明5 （作商法）由已知有1a mab bm b m a ab am b+++=>+， 得 mb ma b a ++<．证明6 （放缩法，用了差异分析的策略）()()a ab m b b b m +=+ （乘以b m +消除两边有m 无m 的差异）a a mb b m+=+ （除以b ，消除分母上的差异） a mb m+<+ （用a b <，消除分子上的差异） 同理，还可以有更多的写法()()a a a m a m a mb b b a m b mb m a +++==<+++． ()()a m a a m a a m aa b m a b m b ba m b+++==⋅>+++． ()()b b ma mb a m a a a b m b b m b b m b+++==>+++． 证明7 （增量法）设,0b a t t =+>，有11a m a m t t ab m a t m a t m a t b++==->-=++++++．说明 增量就是t b a =-，是可以代替的，改写为()11b m b a a m b a b a ab m b m b m b b+--+--==->-=+++． 证明8 （构造函数）视m 为变量，作函数(),(0)x af x b a x b+=>>+ 有 ()1x a x b a b b af x x b x b x b+++--===-+++， 其在[0,)+∞上为增函数，有()(0)f m f >，即00a m a a b m b b++>=++．说明 这是用函数单调性代替证明7的放缩． 证明9 （定比分点）变形11a m a m b b m b m b+⋅+=++， 这表明a mb m ++分a b 与1为定比0m b λ=>，故a m b m ++在ab与1之间，得1a a mb b m+<<+． 证明10 （斜率）在直角坐标系中，)()(m b m a m b m a ----=++表示经过),(a b A 和),(m m B --两点所在直线的斜率，设其倾斜角为α，而--=b a b a 表示点),(a b A 与原点所在直线的斜率，设其倾斜角为β，如图3-9所示． 图3-9 由b a <知，,,A B O 三点不共线，且A 点在直线OB 的下方，故有 <0βα<<4π⇒OA AB k k <⇒m b ma b a ++<． 证明11 （斜率）在直角坐标系中，设),(a b A ，),(m m B ，则AB 中点为C )2,2(ma mb ++，如图3-10所示，有 O B O C oA k k k <<得1a a m b b m+<<+． 图3-10 证明12 （复数）设12,z m mi z b ai =+=+，有()()12z z z b m a m i =+=+++，由 OA OC OB k k k <<， 得1a a m b b m+<<+． 证明13 （平面几何） 如图3-11所示，在Rt ABC 中，090B ∠=，BC a =，AB b =，延长BC 和BA ，使CD =AE =m ，设DE CA ,交于F ，则有a tan CABb ∠=，a m tan DEB b m+∠=+， 而由 090CAB EAF DEB ∠=∠<∠<， 有 tan CAB tan DEB ∠<∠， 得a a mb b m+<+． 图3-11 还可以构造很多图形来求解，不赘述． 3．应用——历年高考题为例很多高考题都可以用真分数不等式来求解，这一事实既说明真分数不等式可以作为一个不等式证明的基本模型，又说明求解高考题时可以化归为课本已解决过的问题，或化归为往届高考题．这些高考题的求解，还可以体现模式识别的层次性（直接用、转化用、综合用）．例3-17 如果0,m b a <<<那么（ ）．()coscos cos b m b b mA a m a a m +-<<+- ()cos cos cos b b m b mB a a m a m -+<<-+()cos cos cos b m b b mC a m a a m -+<<-+()cos cos cos b m b m bD a m a m a +-<<+-[1989年高考数学广东题]例3-18 设{}n a 是由正数组成的等比数列，n S 是其前n 项和．（1）证明212n n n lgS lgS lgS +++<；（解法见例3-41）（2）是否存在常数0c >，使得21()()()2n n n lg S c lg S c lg S c ++-+-=-． （1995年数学高考理科第（25）题）例3-19 已知数列{}n a 为等比数列，256162a a ==，， （1）求数列{}n a 的通项公式； （2）设n S 是数列{}n a 的前n 项和，证明2211n n n S S S ++≤． （2004年数学高考文科第（18）题）例3-20 对一切大于1的自然数，求证：11121(1)(1)(1)3521n n ++++>-．（1985年数学高考上海题）例3-21 已知数列{}n b 是等差数列，112101,145b b b b =+++=，（1）求数列{}n b 的通项n b ； （2）设数列{}n a 的通项11n a n a log b ⎛⎫=+⎪⎝⎭，（其中0,a >且1a ≠），记{}n n S a 是数列前n 项和．试比较n S 与113a n logb +的大小，并证明你的结论． （1998年数学高考题理科第（25）题）例3-22 已知,,i m n 是正整数，且1i m n <≤<，（1）证明i i i im nn A m A <； （2）证明(1＋m ) n ＞(1＋n ) m ．（2001年数学高考全国卷理科第（20）题）这几道题目课本都没有出现过，但例3-17可以认为是真分数不等式的直接用（加上余弦函数的单调性）；例3-18与例3-19可以认为是真分数不等式的变形用，如果我们没有“化归为课本已经解决的问题”的思想准备，可能就想不到用真分数不等式，或在变形式221n n n S S S ++<与112n n n n S SS S +++< ① 之间犹豫，而一旦想到用真分数不等式，则①已接近完成，因为{}n a 为递增的正项数列，有1121111n n n n n n n n S a qS qS SS a qS qS S ++++++=>=+． （数形结合的解法见例3-41）对例3-20，例3-21，例3-22可以认为是真分数不等式的整合用（多次连续或多个组合）．比如例3-20，由真分数不等式，有3456212, , ,,4567221n nn n -<<<+ 得 23572321468222n n n n --⎛⎫⎪-⎝⎭34562124567221n nn n -<+342121n n =<++,得46822221,35723212n n n n n -+>--即 11121(1)(1)(1)3521n n ++++>-． 至于例3-22，请参见例3-10．3-3-3 “化归为课本已经解决的问题”的案例2006年全国高考数学陕西省理科第21题（12分），是一道以平面向量为载体的解析几何综合题，我们对这道题目的分析，重在揭示其深刻的数学背景、直接的现实背景和明显的教材背景，并希望由此获得两点启示：（1）不管问题的原始来源如何，对教学来说，选择课本背景引导高考解题是明智和可行的．（2）在解题实践中学会积累解题模式．比如，在本例中既积累定比分点公式的等式应用模式、又积累定比分点公式的不等式应用模式．例3-23 如图3-12，三定点()()()2,1,0,1,2,1A B C --；三动点,,D E M 满足,,,AD t AB BE tBC DM tDE ===]1,0[∈t ．（1）求动直线DE 斜率的变化范围； （2）求动点M 的轨迹方程．本题设计了3个定点、3个动点的3个比例关系：AD BE DMt AB BC DE===， 其中，3个动点带动3个比值的、一层又一层的关系，体现 图3-12 了解析几何中的运动变化、数形结合等学科思想，而求轨迹方程又正是解析几何的两大基本问题之一，因而，这是在学科基本思想与基本问题上命题，同时又是在知识交汇处命题．1．参数方程背景题目条件中的3个定点、3个动点、3个等式AD BE DMt AB BC DE===，]1,0[∈t ． 可以看成是3个定比分点：（1）D 分AB 为定比t t-=1λ； （2）E 分BC 为定比t t-=1λ；（3）M 分DE 为定比tt-=1λ；而在课本中已推导了线段的定比分点公式：1212,1,1x x x y y y λλλλ+⎧=⎪⎪+⎨+⎪=⎪+⎩取线段为AB 时可求得D 点的坐标，取线段为BC 时可求得E 点的坐标，取线段为DE 时可求得M 点的坐标，这实际上已经得出了M 点的参数方程，消去参数t 即得M 点的一般方程．从这一意义上说，高考题就是三次用课本的定比分点公式，在命题技术上正是“教材中的几个题目、几种方法的串联、并联、综合与开拓”．解法1 设D ),(D D y x ，),,(E E y x E (,)M x y ，当0,1t =时，M 为,A C ；当(0,1)t ∈时，由,AB t AD =得AB t DB )1(-=，从而D 分AB 所成的比为tt-=1λ，0λ>．由课本的定比分点公式，有2,111,11A B D A B Dx x x y y y λλλλλλλ+⎧==⎪⎪++⎨+-⎪==⎪++⎩0λ>, 同理，由,,BE tBC DM tDE == 有2,111.11B C E B C Ex x x y y y λλλλλλλλ+-⎧==⎪⎪++⎨+-⎪==⎪++⎩0λ> , 图3-13()()2122,2,0,111()0,1,0,11D E M D E M x x x y y y λλλλλλλλλλ+-⎧==⨯∈->⎪⎪++⎨+-⎪==∈>⎪++⎩消去参数λ，得24x y =（或y x 42=），(2,2)x ∈-．添上端点，得所求轨迹方程为24x y =，[]2,2-∈x ．说明：（1）这个解法的特点是把向量式转化为定比分点公式，然后消参、化为一般方程，其主体是解析几何的坐标运算．值得注意的是tt-=1λ要求分母不为零，要讨论、说清楚轨迹的端点（或说定义域x 的端点）．（2）容易验证DE 是抛物线[]2,2,24x y x =∈-的切线． 2．课本的向量例题背景．这与上述的参数方程背景没有本质的区别，但在形式上最接近题目的外表，因为题目中最核心的部分——三个动点及其关系，都是用向量形式来陈述的．在课本（人教版高中课本《数学》第一册下）中有这样一个例子：例3-24 OA ，OB 不共线，(),AP t AB t R =∈用OA ，OB 表示OP ．如图4，运用向量的加减运算可得：()OP OA AP OA t AB OA t OB OA=+=+=+-()1t OA tOB =-+ ． 图3-14这表示了连结AB 的直线，也表示了定比分点公式．将高考题中的条件表示成起点为原点的向量，并限制(0,1)t ∈，便有(1),OD t OA tOB =-+ (1),OE t OB tOC =-+(1)OM t OD tOE =-+，再把OD ，OE 代入OM ，也就是三次利用课本例题即可求得动点M 的向量形式． 解法2 设()()1,0,0,1i j ==，由已知有2, ,2OA i j OB j OC i j =+=-=-+，又设(,)M x y ，由人教版高中课本《数学》第一册（下）第109页例5有(1)(1)(2)(22)(12),OD t OA tOB t i j t j t i t j =-+=-+-=-+-同理 (1)OE t OB tOC =-+()()()12(2)(12)t j t i j t i t j =--+-+=---，2(1)(1)(22)(12)(2)(12)2(12)(12),OM t OD tOEt t i t j t t i t j t i t j =-+⎡⎤⎡⎤=--+-+---⎣⎦⎣⎦=-+- 得 [][][][]22(12)2,2,0,1:(12)0,1,0,1x t t M y t t ⎧=-∈-∈⎪⎨=-∈∈⎪⎩ 消去参数t ，得[]2,2,24x y x =∈-． 说明 这个解法把一道高考题化归为课本例题的连用三次，其主体是向量运算．与评分标准相比，由于引进了单位向量()()1,0,0,1i j ==，使得书写更为连贯,并且不用讨论端点（分母为0）．3．高等数学的伯恩斯坦多项式背景． 在函数逼近论中有一个很基本的问题，就是能不能用结构最简单的函数——多项式，去B逼近任意的连续函数，答案是肯定的，前苏联数学家伯恩斯坦证明了一个很漂亮的定理：若()f x 在闭区间[]0,1上连续，则对于x 一致有()()()lim ;n n B f x x f x →∞=．其中多项式()()();1nn kk k n nk k B f x x f Cx x n -=⎛⎫=- ⎪⎝⎭∑称为函数()f x 的伯恩斯坦多项式．以这一知识为背景，中国的数学竞赛已经考过两回（1986年高中联赛，1987年冬令营）．当2n =时，上述伯恩斯坦多项式为()()()()()()2221;012112B f x x f x f x x f x ⎛⎫=-+-+ ⎪⎝⎭．这构成了高考题的知识背景．下面用贝齐尔曲线作出更具体的说明．在汽车制造业中，法国雷诺汽车公司的工程师贝齐尔提出了一套利用伯恩斯坦多项式的电子计算机设计汽车车身的数学方法．设012,,,,n p p p p 为1n +个给定的控制点，称参数曲线()()[]0,0,1nn i ii p t p B t t ==∈∑为以{},0,1,2,,i p i n =为控制点的n 次贝齐尔曲线，其中多项式()n i B t =()1n ii inC t t -- 叫做伯恩斯坦基函数，{},0,1,2,,i p i n =叫做贝齐尔点，顺次以直线段连接012,,,,n p p p p 的折线，不管是否闭合，都叫做贝齐尔多边形．当2n =时，二次贝齐尔曲线是一段抛物线，其矩阵方程为()()0212 2 1 ,,1 2 2 0 0 0p p t t t p p -⎛⎫⎛⎫ ⎪⎪=- ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭11，01t ≤≤．当3n =时，三次贝齐尔曲线的矩阵方程为()()0132231 3 3 1 3 6 3 0,,,1,013 3 3 0 1 0 0 0p p p t t t t t p p --⎛⎫⎛⎫ ⎪ ⎪- ⎪⎪=≤≤ ⎪ ⎪-- ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭． 回到高考题，取2n =，取0p 为点()2,1,A 取1p 为点()0,1B -，取点2p 为()2,1C -，则矩阵方程便展开为（见解法3）OM 22(1)2(1)t OA t t OB t OC =-+-+．因此，高考题可以理解为来源于生产实际．据说工人在制造飞机机翼时，正是在M 点的地方打上铆钉，使得机翼的横截面为抛物线．解法3 设(,)M x y ，由人教版高中课本《数学》第一册（下）第109页例5有(1),OD t OA tOB =-+ (1),OE t OB tOC =-+得 (1)OM t OD tOE =-+(1)(1)(1)t t OA tOB t t OB tOC ⎡⎤⎡⎤=--++-+⎣⎦⎣⎦22(1)2(1)t OA t t OB t OC =-+-+，把()()2,1,0,1OA OB ==-，()2,1OC =-代入，得[][][][]22(12)2,2,0,1,(12)0,1,0,1.x t t y t t ⎧=-∈-∈⎪⎨=-∈∈⎪⎩ 消去参数t ，得[]2,2,24x y x =∈-． 说明 虽然这个解法有伯恩斯坦多项式的背景，也得出了2n =的贝齐尔曲线，但从头到尾都只是课本例题的应用，因此，不管问题的原始来源如何，对教学来说，选择课本背景引导高考解题是明智和可行的．4．高考题两问的定比分点背景．本题的第（1）问通常是按照斜率的定义，求出,D E 的坐标()()22,21,2,21D t t E t t -+-+--然后，由[]12, 0,1,E DDE E Dy y k t t x x -==-∈-得[]1,1DE k ∈-．然而，第（1）问有一个很明显的直观：由DE 夹在,AB BC 之间知11BC DE BA k k k -=≤≤=，据知，有20%的考生都看到了这个直观，却没有几个能严格表达出来． （1）数形结合视角下的第（1）问． 怎样将明显的直观、表达为严格的数学运算，是一个由形到数的转换，从定义出发，“DE 夹在,AB BC 之间”就是把BC DE BA k k k ≤≤表示为坐标之间的联系．下面是一个把斜率公式变形为定比分点公式的思路．当0E B x x ==时，1DE k =；当0D B x x ==时，1DE k =-；当E B D x x x <<时，有()()()()E D E B B D DE E D E B B D y y y y y y k x x x x x x --+-==--+-1E B B D B DEB E B B D BD E By y x x y y x x x x x x x x x x ---+⋅---=-+-1.1D BBC BAB E DB B EBC BAx x k k x x x x x x k k λλ-+-=-+-+=+ 其中(),D B D B E Ex x xo x x x λ-==-∈+∞-，得BC DE BA k k k <<；加上端点，得BC DE BA k k k ≤≤．这就严格地实现了直观所看到的，其书写可以简化，得第（1）问的定比分点解法．解法1 当0E B x x ==时，1DE k =；当0D B x x ==时，1DE k =-；当E B D x x x <<时，由点(),D D D x y 在:1BA y x =-上，(),E E E x y 在:1BC y x =--上，有()11,D D AB y x k =-⇔= ()11E E BC y x k =--⇔=-．得 (1)(1)E D E D DE E D E Dy y x x k x x x x -----==-- 1()1.1()DE D E D E DEx x x x x x x x -+-⋅--==-+-有(),DEx o x λ=-∈+∞，得()1,1DE k ∈-；加上端点，得 []1,1DE k ∈- 说明：为了避免分母为零（0E B x x ==时）的讨论，根据1212(0)()()01x x x x x x x λλλ+=>⇔--<+，上述运算又可改写为解法2 由点(),D D D x y 在:1BA y x =-上，(),E E E x y 在:1BC y x =--上，有()11,D D AB y x k =-⇔= ()11.E E BC y x k =--⇔=-得 (1)(1)11D E D E ED ED D E D E y y y y k k x x x x ⎛⎫⎛⎫--+-=+-⎪⎪--⎝⎭⎝⎭222110.()D E D E D ED E D E D E x x x x x x x x x x x x ⎛⎫⎛⎫++=+-=≤⎪⎪---⎝⎭⎝⎭ 故[]1,1DE k ∈-．当E B x x ==0时，1DE k =；当0D B x x ==时，1DE k =-． 说明 上述解法表明，只要D 在AB 上，E 在BC 上就有11BC DE BA k k k -=≤≤=，与条件M ,,t t t ===]1,0[∈t 无关．（２）定比分点结构的提炼．这道高考题的第（1）问有定比分点求法，说明了题目两问有相同的定比分点结构，但是，两问的应用模式又是有差异的．求解第（2）问想到定比分点比较自然，它体现的是定比分点公式在等式问题上的应用；其实定比分点公式本身就包含有大小关系．记()()()111222,,,,,P x y P x y P x y 满足1212,1.1x x x y y y λλλλ+⎧=⎪⎪+⎨+⎪=⎪+⎩（1）当12,P P 为定点时，若λ为常数，则P 为定点，0,λ>点P 在12,P P 之间；0λ<，点P 在12,P P 之外．这就提供了等式与不等式沟通的桥梁，比如1212120()()0,0()()0.1x x x x x x x x x x x λλλλ>⇔--<⎧+=⎨<⇔-->+⎩ （2）当12,P P 为定点时，若λ为变数，则P 为动点，定比分点公式表示直线12PP 的参数方程；当1,P 2,P λ中至少有一个为变量时，定比分点公式表示动点P 的参数方程：()12121,01x x x F x y y y y λλλλ+⎧=⎪⎪+⇒=⎨+⎪=⎪+⎩． 可见，本高考题的两问可以看成“定比分点模式”分别在等式与不等式上的应用，这样，我们就通过这道高考题的求解，初步积累起了“定比分点”解题模式．上面的几个例子我们都讲了模式，而又突破了模式，实质上是进行了两次提高． （1）在没有模式时要注意积累模式，并自觉使用模式．由于数学是一门演绎推理的学科，所以任何一个已被证实的结论都可以成为推断其他结论的依据，而不必事事都回到原始概念上去．因此化归为基本模式、化归为课本的基本问题，是解数学题的普遍可行的思考，解题就是归结为已经解过的题．（2）在有了模式时要努力突破模式，做到“没有模式就是最好的模式”．染色问题例3-1 (2003 高考题)如图1，一个地区分为5个行政区域，现给地图着色，要求相邻区域不得使用相同颜色，现在有4种颜色可供选择，则不同的着色方法有多少种？例3-2（1995 高中联赛）如图2，将一个棱锥的每个顶点染上一种颜色，并使同一条棱的两端点异色，如果只有5种颜色可供使用，那么不同的染色方法总数是多少？例3-3（2003，江苏高考）某城市在中心广场建造一个花圃，花圃分为6个部分，如图，现要栽种4种不同颜色的花，每部分栽种一种且相邻部分不能栽种同样颜色的花，不同的栽种方法有 种.例3-4 （2001高中联赛) 在一个正六边形区域栽种观赏植物，要求同一块中种同一种植物，相邻的两块种不同植物，要有四种不同植物可供选择，则有____种栽种方案.例3-5（传球问题）甲，乙，丙，丁四人互相传球，由甲开始发球，并作为第一次传球，经过四次传球后，球仍回到甲2 1 534的手中，问有多少种不同的传球方法？例：（08高考全国卷I理）如图，一环形花坛分成A B C D，，，四块，现有4种不同的花供选种，要求在每块里种1种花，且相邻的2则不同的种法总数为（）A．96 B．84 C．60 D．48分析：给图中四个区域摆放鲜花，有4类摆法：①四个区域鲜花颜色全不相同，依A B C D、、、的顺序依次摆放，共有432124⨯⨯⨯=种；②A C、同色，B D、不同色，共有43224⨯⨯=种；③B D、同色，A C、不同色，共有43224⨯⨯=种；④A C、同色，B D、同色，共有4312⨯=种．根据分类计数原理，共有不同的摆花方案种数为：2424241284+++=（种）故选B．。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p(x i ) P(i )
c
p(x i ) P(i )
p(x i ) P(i )
p(x)
i 1
p(x)：混合概率密度函数
贝叶斯公式贝叶斯公式的实质是通过观察x把状态的
先验概率P（wi）转化为后验概率P（wi|x）
3.2 基于最小错误率的贝叶斯准则
贝叶斯判别准则：
若： P(i x) max P(j x) 则： x i j 1, 2,...,c
错误率是分类性能好坏的一种度量，它是平均错误率，用 P(e)表示，其定义为：
P(e) P(e | x)P(x)dx
对二分类的问题，其判决规则为：若P（w1|x）>P（w2|x），则把x归 类类别w1，反之，则把x归类为类别w2。则已知特征x的贝叶斯决策判 决后的条件错误概率为：
P(e
当要求医生必须判决其属于哪类时，因为
P(w2 | x 阳) 1 0.323 0.667 P(w1 | x 阳)
故“x=阳”w2，即有阳性反应的人判属正常人。写成似然比形
式：
l(x)
P(x 阳| w1) P(x 阳| w2)
0.95 0.01
95
P(w2) P(w1)
0.955 0.005
199
x w2
3.3 基于最小风险的贝叶斯准则
在实际工作当中，有时仅考虑错误率最小是不够的。
当考虑到某一类的错误判决要比对于另一类的更为关键时， 要引入比错误率更广泛的概念---风险、损失，就需要把 最小错误概率的贝叶斯判别作一些修正。
x ——观察或测量到的 d 维模式特征向量
第3章 贝叶斯分类
3.1 基本概念 3.2 基于最小错误率的贝叶斯准则 3.3 基于最小风险的贝叶斯准则 3.4 最大最小决策规则 3.5 纽曼—皮尔逊（Neyman—Pearson）
决策规则 3.6 贝叶斯学习案例
3.1基本概念
概率密度函数
对于连续随机变量X的分布函数F(x)，存在非负函数 f(x)，使对于任意实数x有：
i
P(x | wi)P(wi)
2
P(x | wi)P(wi)
，错误概率可写为
i 1
P(e)
x0
P(
x
|
w2)
P(
Hale Waihona Puke w2)dx
x0 P(x | w1)P(w1)dx
使用联合概率密度可表示为
P(e) P(x R1, w2) P(x R2 , w1) P(x R1 | w2)P(w2) P(x R2 | w1)P(w1)
• 解：
P(w1 |
x
阳)
P(x
阳| w1)P(w1) P(x 阳)
P(x
阳|
P(x 阳| w1)P(w1) w1)P(w1) P(x 阳|
w2)P(w2)
0.95 0.005
0.323
0.95 0.005 0.01 0.995
说明有阳性反应的人的患癌率为32.3%。
1 , 2 ,L , c ——状态空间 1 , 2 ,L , a ——决策空间
(i , j ) ( i 1, 2,L , a j 1, 2,L , c) ——损失函数,表示真 实状态为 w而j 所采取的决策为 i 时所带来的某种损失
决策表
给定 x，我们采取决策 i 情况下的条件期望损失：
P(x | w2)P(w2)
P(x | w1)P(w1)
O
P(w1)P(e)
x0
X
P(w2)P(e)
最小错误率贝叶斯有以下几种等价描述：
联合概率描述
x| x| P(
w i
)
P(
wi)
max
i 1, 2
P(
w) i
P(
wi),
x
wi
似然比描述
l(x)
P(x | w1) P(x | w2)
x
F(x) f (t)dt
则称x为连续型随机变量， 函数f(x)为x的概率密度函
数。
概率密度函数性质：
F(x) ' f (x)
f (x)dx 1
x2
P(x1 x x2 ) F (x2 ) F (x1) f (x)dx
x1
先验概率P(ωi)：先验知识确定的类别总体分布。
P(w2) P(x | w2)dx P(w1) P(x | w1)dx
R1
R2
P(w2) P2 (e) P(w1) P1(e)
其几何说明下图所示。图3-1中的阴影部分为平均错误概率P(e)。由 于贝叶斯决策式为P(wi | x) max P(wi | x) ，对于所有的x取大，而条件错误 率P（e|x）对于所有的x取i小1,2 ，因此，平均错误率公式P（e）的积分 最小。
例：汉字字频 新华社统计资料 鲈鱼和鲑鱼的比例 渔业统计资料
新后修验正概的率概P(率ω。i|x)：在得到“结果”的信息后重
布类取条决件于概类率别密状度态p(x|ωi)：连续随机变量x，其分
用已知类别的训练样本来估计类条件概率密度 分析样本形成条件，假定分布函数
贝叶斯公式：
P(i x)
P(w2) P(w1)
, x w1
对数似然比描述
h(
x)
ln[l
(
x)]
ln[
P(x P(x
| |
w1) w2)
]
ln[
P(w2) P(w1)
],
x
w1
例题3.1
• 对一批人进行癌症普查，患癌症者定为属w1类， 正常者定为属w2类。统计资料表明人们患癌的概 率P（w1）=0.005，从而P（w2）=0.995。设有 一种诊断此病的化验，其结果有阳性反应和阴性 反应之分，依其作诊断。化验结果是一维离散模 式特征。资料表明：癌症者有阳性反应的概率为 0.95，即P（x=阳|w1）=0.95，从而可知P（x=阴 |w1）=0.05，正常人阳性反应概率为0.01，即P （x=阳|w2）=0.01，则可知P（x=阴|w2）=0.99， 问有阳性反应的人患癌症的概率有多大？
|
x)
P(w1 P(w2
| |
x), x),
P(w2 P(w1
| |
x) x)
P(w1 P(w2
| |
x) x)
一维时，x轴上的正确与错误错判的临界点为x0，则有错误概率
P(e)
x0
P(w2
|
x)P(
x)dx
x0
P(w1
|
x)
P(
x)dx
由贝叶斯公式 w P(
| x)