多元统计 判别分析

L: c1x1+c2x2－c=0
G2
x1 平面上两类数据训练样本的散点图
（两组数据样本在平面上存在一个合理的分界线L）
Discriminant analysis
已知：数据属性有n个，每个数据点为n维向量X：
X ( x1 , x2 ,..., xn )
已知总体数据分为两类： G1和G2 ，总体G1有p个样本点，总体G2有q 个样本点。 属 1
( 2)
1 q ( 2) xki q k 1 1 q ( 2) yi q i 1
i 1,2,..., n
1 p (1) yi p i 1
令：
A (y y )
(1)
( 2) 2
A与G1和G2两类点的几何中心的距离相关。显然，判别函数F (x1, x2, …, xn)应该使A值越大越好。
令：
B y y
p i 1 (1) i
(1) 2
y
q i 1
( 2) i
y
( 2) 2

B与G1和G2两类点的相对于各自几何中心的离差相关。显然，判别函 数F (x1, x2, …, xn)应该使B值越小越好。
构造函数I：
A I I (C1 , C2 ,..., Cn ) B
又D1，D2，┅，Dk是R(p)的一个分划，判别法则为： 当样品X落入Di时，则判
i 1,2,3,, k X Di 关键的问题是寻找D1，D2，┅，Dk分划，这个分划 应该使平均错判率最小。
【定义】（平均错判损失函数）
用P(j/i)表示将来自总体Gi的样品错判到总体Gj的条件 概率。 p ( j / i ) P ( X D j / Gi ) f i ( x)dx i j
A ln A ln B B
i 1,2,..., n
1 A 1 B (ln I ) 0 Ci A Ci B Ci 1 A B 0 I Ci Ci

n
i 1,2,..., n

2
A ( y (1) y ( 2) ) 2 Ck ( xk(1) xk( 2) )
Dj
C(j/i)表示相应错判所造成的损失。
则平均错判损失为：
ECM qi C ( j / i) P( j / i)
i 1 j i
k
使ECM最小的分划，是Bayes判别分析的解。
如何理解
ECM qi C ( j / i) P( j / i)
i 1 j i
k
1 4 2 3
y (1) C1 x1(1) C2 x2(1) ... Cn xn(1) y ( 2) C1 x1( 2) C2 x2( 2) ... Cn xn( 2)
其中，
xi(1)
1 p (1) xki p k 1 y
(1)
i 1,2,..., n xi( 2) y
第四章
• • • • • • • • §4.1 §4.2 §4.3 §4.4 §4.5 §4.6 §4.7 §4.8
判别分析
判别分析的基本理论 距离判别 Bayes判别 Fisher判别 逐步判别 判别分析方法步骤及框图 判别分析的上机实现 判别分析应用的几个例子
1
2013-11-6
训练样本 训练集
(1) 2
( 2) 2
y
y
(1)
( 2)
1.5080 x
(1) 1
( 2) 1
1.5418 x
1.5080 x
1.5418 x
C 0.5264
1.5080 x1 1.5418 x2 0.5264
Discriminant analysis
1.5080 x1 1.5418 x2 0.5264
… … … … … … … … … …
n
x1n(1) … xin(1) … xpn(1) x1n(2) … xin(2) … xqn(2)
总体G1 (i=1, …, p)
i p 1
总体G2 (i=1, …, q)
i
q
目标：求解在n维空间中总体G1和总体G2的最优分界平面。
定义线性判别函数为：
F ( x1 , x2 ,..., xn ) C1 x1 C2 x2 ... Cn xn
S11C1 S12C2 ... S1nCn x ......
(1) 1
x
( 2) 1
S 21C1 S 22C2 ... S 2 nCn x2(1) x2( 2 ) S n1C1 S n 2C2 ... S nnCn x
(1) n
x
( 2) n
确定判别值C


显然，值是两类点的判别函数值的加权平均，处于两类判别函数平 均值之间，也等价于两类点的总体几何中心的判别函数值。因此，将 判别值C取为值：
py qy C pq
(1)
( 2)
Fisher线性判别的应用举例
x2
样本序号 1 2 3 x1 5 4 7 x2 7 3 8 类别 1 2 2
4
2
1 A 2 (1) ( y y ( 2) )( xi(1) xi( 2) ) I Ci I
p q B ( ( ( ( 2 ( yk1) y (1) )( xki1) xi(1) ) 2 ( yk 2 ) y ( 2 ) )( xki2 ) xi( 2 ) ) Ci k 1 k 1 ( ( 2 C j ( xkj1) x (j1) )( xki1) xi(1) ) k 1 j 1 q ( ( 2 C j ( xkj2 ) x (j 2 ) )( xki2 ) xi( 2 ) ) k 1 j 1 n p n
C x
y (1)
( 2) 1 i1
C x
( 2) 2 i2
... C x
y ( 2)
( 2) n in
1 p (1) yi p i 1
1 q ( 2) yi q i 1
对G1、G2的(p+q)个点的判别函数值取总体的平均值：
1 p (1) q ( 2 ) yi yi p q i 1 i 1 1 (1) ( 2) py qy pq
其中Ci (i = 1, 2, …, n)为常数（待定系数）。 若判别值为 C ， 对于任何未知数据点X(x1, x2, …, xn)，代入判别函数， 依据F (x1, x2, …, xn)与C值的比较，可以判别点X属于哪一类。
1、确定待定系数Ci (i = 1, 2, …, n) 2、确定判别值C
将所有的损失进行加权平均，求得最小，即为划分的 结果
§4.4 Fisher线性判别法
Fisher判别的基本思想 将 m组n维的数据投影到某一个方向，使得投影后的组 与组之间尽可能地分开。
Fisher线性判别法
x2
G1
令：F(x1,x2)=c1x1+c2x2 F(x1,x2): 判别函数 c：判别值
2 SijC j
j 1
n
( ( ( ( Sij ( xki1) xi(1) )( xkj1) x (j1) ) ( xki2) xi( 2) )( xkj2) x (j 2) ) k 1 k 1
p
q
S11C1 S12C2 ... S1nCn ( x1(1) x1( 2 ) )
y
y
p i 1 (1) i
(1)
y
(1) 2
y
y
( 2) 2 q i 1
( 2) i
y
( 2) 2

选择合适的待定系数Ci (i = 1, 2, …, n)， 使得函数I(C1, C2, …, Cn)达到极大值。
I 0 Ci
i 1,2,..., n
ln I ln
( ( S 21C1 S 22C2 ... S 2 nCn ( x21) x2 2 ) )
......
( ( S n1C1 S n 2C2 ... S nnCn ( xn1) xn 2 ) )
1 (1) ( y y ( 2) ) I
消去非零的因子，得到求解待定系数(C1, C2, …, Cn)的线性方程组：
检测样本 检测集 检测 判别准则 判别效率 评价
学习
Fisher判别法 距离判别法 Bayes判别法 逐步判别法 ……
§4.2
距离判别
2013-11-6
目录 上页 下页 返回 结束
3
§4.3 贝叶斯判别法
一 、标准的Bayes判别
办公室新来了一个雇员小王，小王是好人还是坏人大家 都在猜测。按人们主观意识，一个人是好人或坏人的概率均为 0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏 事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2， 一天，小王做了一件好事，小王是好人的概率有多大，你现在 把小王判为何种人。
判别函数已知，不妨写成：
y C1 x1 C2 x2 ... Cn xn
将G1的p个点、 G2的q个点分别代入判别函数：
1 1 (1 yi(1) C1 xi(1 ) C2 xi(2) ... Cn xin )
i 1,..., p
i 1,..., q
y
( 2) i
5 6
8
3 2
6
6 5
2
1 1
7
8 9
6
9 5
6
6 4
1
2 2
x1
x
(1)
4.0 6.0
d1 2.6
x
( 2)
6.6 5.4
d 2 0.6
3.8857 S 2.1143
2.1143 2.4571
§4.5 变量选择和逐步判别
变量的选择是判别分析中的一个重要的问题，
变量选择是否恰当，是判别分析效果有列的关键。
如果在某个判别问题中，将起最重要的变量忽略
了，相应的判别函数的效果一定不好。而另一方 面，如果判别变量个数太多，计算量必然大，回
P好人P做好事 / 好人 P好人P(做好事 / 好人) P(坏人) P(做好事 / 坏人)
P(好人 / 做好事）
0.5 0.9 0.82 0.5 0.9 0.5 0.2
P (坏人 / 做好事） P坏人 P做好事 / 坏人 P好人 P (做好事 / 好人) P (坏人) P (做好事 / 坏人)
1 X1(1) … Xi(1) … Xp(1) X1(2) … Xi(2) … Xq(2) x11(1) … xi1(1) … xp1(1) x11(2) … xi1(2) … xq1(2)
性 2
x12(1) … xi2(1) … xp2(1) x12(2) … xi2(2) … xq2(2)
（分量） …
3.8857C1 2.1143C2 2.6 2.1143C1 2.4571C2 0.6
C1 1.5080 C2 1.5418
y 1.5080 x1 1.5418x2
x
(1)
4.0 6.0
x
( 2)
Байду номын сангаас
6.6 5.4
k 1
B y (j1) y
p j 1 p n
(1) 2
y
q j 1
( 2) j 2
y ( 2)
q

n
2
(1) (1) ( 2) ( 2) Ck ( x jk xk ) Ck ( x jk xk ) j 1 k 1 j 1 k 1
确定待定系数Ci
将类G1的p个点、类G2的q个点分别代入判别函数：
1 1 (1 yi(1) C1 xi(1 ) C2 xi(2) ... Cn xin ) 2 ( yi( 2) C1 xi(12) C2 xi(2 ) ... Cn xin2)
i 1,..., p i 1,..., q
0.5 0.2 0.18 0.5 0.9 0.5 0.2
二、 考虑错判损失的Bayes判别分析
Gi (i 1,2,, k ) ，Gi 具有概率密度函 数 f i (x) 。并且根据以往的统计分析，知道 G 出现的概 i 率为 qi 。 q1 qk 1
设有总体