模式识别考试题

' w0 x wn1 n ‘*（ x - p ）= || n |||| x - p ||cos（ n ， （x- p） ）= || w0 ||
当 n 和（ x - p ）夹角小于 90 o 时，即 x 在 n 指向的那个半空间中，cos（ n ， （x - p ） ）>0 ； 反之， n 和（ x - p ）夹角大于 90 o 时， x 在 n 背向的那个半空间中 cos（ n ， （x - p ） ）<0 ；









=|
' w0 || w0 ||
' ' w0 wn 1 w0 x- x+ | p |=| || w0 || || w0 || || w0 ||
=
1 | d（ x ）| || w0 ||
上式表明，d（ x ）的值| d（ x ）|正比于 x 到超平面 d（ x ）=0 的距离 d x （2）两矢量 n 和（ x - p ）的数积为



p( x | wi ) P( wi ) P（ wi | x ）= p( x )
则最大后验概率 Bayes 决策为：
i=1,2
若 P（ w1 | x ）>< P（ w2 | x ）,则 x



w w2

最小错误率 Bayes 决策判决域示意图所示： 图中阴影面积表示错误率 P（e）=p（ x w2 ， w1 ）①+ p（ x w1 ， w2 ）②
即若 p（ x | w1 ）P( w1 )><p（ x | w2 ）P( w2 ), x 又 Bayes 公式，分母 p（ x ）为常数 可见 p（ x | w1 ）>< p（ x | w2 ） p（ x | w1 ）P( w1 )><p（ x | w2 ）P( w2 ),即结论 六：以两类问题的分类为例，推到最小错误率 Bayes 决策的似然比形式的判别规则 解：一维样本 x ，两类 w1 ， w2 先验概率为 P（ w1 ） ，P（ w2 ）类条件概率 p（ x | w1 ） ，p（ x | w2 ）均为已知 后验概率为 P（ w1 | x ） ，P（ w2 | x ）
推导：一维样本 x ，两类 w1 ， w2 ，决策为两类 1 , 2 决策表为： 决策 自然状态

w1
w2
1
2
l11 = l (1 , w1 ) l21 = l ( 2 , w1 )
l12 = l (1 , w2 ) l22 = l ( 2 , w2 )
i=1,2
②
w1 p( x | w1 ) P( w1 ) p( x | w2 ) P( w2 ) 由①+②得 若 >< 则x w2 p( x ) p( x )
即 p（ x | w1 ）P( w1 )><p（ x | w2 ）P( w2 )则 x



w1 w2
p( x | w1 ) P( w2 ) w1 即 则x w2 p( x | w2 ) P( w1 )
' 由于 || w0 || >0，故 n ‘ （ x - p ）和 w0 x wn1 同号；















w x wn1 0 即 x 在 n 指向的半空间中时， 0
即 x 在 n 背向的半空间中时，w 0 x w n 1 <0;

即 P（e）=P（ w1 ） 由


t
t p( x | w1 )dx + P（ w2 ） p( x | w2 )dx
dp =0 得 p（ x | w1 ）P( w1 )=p（ x | w2 ）P( w2 ) dt 即当 p（ x | w1 ）P( w1 )=p（ x | w2 ）P( w2 )时为判别门限 t，此时 P(e)最小



w w2










P(w2 | x ),若x w1 错误概率为 p（e| x ）= P(w1 | x ),若x w2
最小错误率 Bayes 决策及为最大后验概率决策 若
①
p( x | wi ) P( wi ) 由 Bayes 公式 P（ wi | x ）= p( x )
' 说明判别函数 d（ x ）= w0 x wn1 值的正负分别对应特征点位于超平面的正负侧。





四：Fisher 线性判别分析的思想和定理的推导过程 1. Fisher 线性判别的思想 训练样本集 X={ x1 … xn }，每个样本是一个 d 维向量
2 1 2 其中 w1 类的样本是 X 1 ={ x1 ….. x 1 N 1 }， w2 类的样本是 X 2 ={ x1 ….. x N 2 }
(k 1)
zj c 计算重新分类后的各类心，
中所含模式的个数。 d 如果 z j
( k 1)
=
1 n
( k 1) j
xi w (j k 1 )
x

i
（j = 1,2， ， … C） ， 式中 n j
为类 w j
( k 1)
( k 1)
= zj
(k )
，j = 1,2，….C，则结束，否则 k = k+1，转至 b。


i
~ si 2 =
(y y Y
j
i
j
2 m ~i ) ，i=1,2
sw = ~ 总类内离散度 ~ s12 + ~ s22
~ m ~ ) 2 ，i=1,2 sb = (m 类间离散度 ~ 1 2
投影后两类尽可能分开，类内尽可能聚集 即：max J F ( w) = ~ = 将①代入②③ ③
（1）判别函数 d（ x ）的绝对值正比于 x 到超平面 d（ x ）=0 的距离。
（2） 判别函数值的正负表示出特征点位于哪个半空间中， 即若为正， 在超平面的正侧， 若为负，在超平面的负侧。
' w w0 x = n 1 证明： （1）平面兀的方程可以写成 || w0 || || w0 || ' w0 设平面兀的单位法矢量 n = （等号上有小三角） || w0 ||
上式可以写成 n * x =
wn 1 || w0 ||
n
设 p 是平面兀中的任一点， x 是特征矢量 x 中的任一点 点 x 到平面兀的距离为差矢量（ x - p ）在 n 上投影的绝对值， 即： d x =| n ‘ （ x - p ）|=| n ’* x - n ‘* p |
转化为拉格朗日函数的无约束极值问题 L（ w ， l ）= w T sb w - l （ w T s w w -c ）



L ( w, l ) 极值处满足： =0 w 极值解 w* 满足 sb · w* - l s w w* =0
1 1 设 s w 非奇异，则 s w · sb w = l w ，即 w 是 s w · sb 的本征向量
(k ) 如果 d il = min [ d ij ] (i = 1,2,3…N)，则 xi l



(k )
( k 1)
j
。式中 d ij 表示 x i 和w j 的中心 z j 的 （j = 1,2，…C） 。
( k 1)
(k )

(k )
(k )
距离，上角标表示选代次数。于是产生新聚类w j
一：监督模式识别与费监督模式识别： 监督模式识别：有一个已知样本集（集合中每个样本的类别已知） ，作为训练样本集， 并通过控制先验已知信息来指导设计分类器， 这种情况下建立分类器的问题属于监督学习问 题，称作监督模式识别。 非监督模式识别： 没有已知类别的标签的训练数据可用， 通过挖掘样本中潜在的相似性 分类，这种学习过程成为非监督模式识别，在统计中通常被称作聚类，所得到的类别也称作 聚类，由于没有类别已知的训练样本，在没有其他额外信息的情况下，在用不同的方法或不 同的假定可能会获得不同的结果， 聚类结果只是数学上的划分， 对应的实际问题需结合更多 的专业知识进行解释。 二：聚类分析的基本思想，C-均值动态聚类算法的思想及步骤 1. 聚类分析是无监督分类： （1）假设：对像集客观存在着若干个自然类，每个自然类中个体的属性具有较强的相似性。 （2）原理：将给定模式分成若干组，每组内的模式是相似的，而组间各模式差别较大。 （3）方法： a 根据带分类的模式属性或特征相似程度进行分类，相似的模式归为一类，不相似的 模式划分为不同的类，将带分类的模式集分成若干个不重叠的子集。 b 定义适当的准则函数，运用有关的数学工具，或利用有关的统计概念和原理进行分 类。 2. C-均值法 （1）条件及约定：设待分类的模式特征矢量集为{ x1 … xn }，类的数目 C 是事先取定的。 （2）算法思想：该方法取定 C 个类别和选取 C 个初始聚类中心，按最小距离原则将各模式 分配到 C 类中的某一类，之后不断的计算类心和调整个模式的类别，最终使各模式到其判 属性类别中心的距离平方之和最小。 （3）原理步骤： ( 0) ( 0) ( 0) a 任选 C 个模式特征矢量作为初始聚类中心： z1 , z2 ,, zc ，令 k=0。 b 将待分类的模式特征矢量集{ x i }中的模式 按最小距离原则分化给 C 类中的某一类，即：

i
总类内离散度矩阵为 s w = s1 s 2 类间离散度矩阵定义为 sb =（ m1 - m2 ） (m1 m2 )T








~ = 投影以后的一维空间，两类的均值分别为 m i
Leabharlann Baidu类内离散度
1 Ni
②
yi Yi
y
i
=
1 Ni
wT x x
j


· x j =w mi ，i=1,2
可得：最小错误率 Bayes 决策的似然比形式：
p( x | w1 ) P( w2 ) w1 x l 若 L（ ）= 则x w2 p( x | w2 ) P( w1 )
七：以两类问题的分类为例，推到最小风险 Bayes 决策的似然比形式的判别规则
p( x | w1 ) P( w2 ) l12 l 22 w1 · 若 L（ x ）= 则x w2 p( x | w2 ) P( w1 ) l 21 l11


*

*
*


又 sb =（ m1 - m2 ） (m1 m2 )T
1 则 l w = sw （ m1 - m2 ）




*


即为最优投影方向 五：以一维两类问题的分类为例，证明最大后验概率 Bayes 决策等价于最小错误率 Bayes 决策。 证明： 以为样本 x ，两类 w1 ， w2 先验概率 P（ w1 ） ，P（ w2 ） ，类条件概率 p（ x | w1 ） ，p（ x | w2 ） 根据 Bayes 公式：






寻找投影方向 w ，投影以后样本变成 yi = w T · x1 ， x i =1,2，…N。…① 在原样本空间，类均值向量 mi = 各类的类内离散度矩阵 s i =




1 Ni

x j xi
x

j
，i=1,2

(x j x x
j
T m i )(x j m i ) ,i=1,2
三：说明线性判别函数的正负以及数值大小在分类中的意义并证明。 n 维特征空间 x 中，两类问题的线性判别界面方程为 判别函数为 d（ x ）=
n
x + wn1 =0 w‘ 0

x + wn1 w 0’


此方程表示一超平面兀 。它有以下三个性质: 意义：(1)系数矢量 ，是该平面的法矢量。
~ sb sw
~ m ~ )2 (m 1 2 2 ~ ~ s1 s22
~ sb = wT sb w
sw = wT sw w
wT sb w 因此：max J F ( w) = T w sw w
2. Fisher 判别准则下的最佳投影方向
wT sb w max J F ( w) = T w sw w 由于 w 的幅值不影响方向，设其分母为非零常数，最大化分子 可转化为：max w T sb w S.t. w T s w w =c 0