第5章 判别分析 fisher判别等

Discriminant analysis
训练样本 训练集
学习
检测 判别准则
检测样本 检测集
评价
判别效率
Fisher判别法 距离判别法 Bayes判别法 逐步判别法
……
Discriminant analysis
距离判别法
距离判别的基本思想 样本与哪一类总体的距离最近，就判别它属于哪一类总体。
Discriminant analysis
Discriminant analysis
确定待定系数Ci
将类G1的p个点、类G2的q个点分别代入判别函数：
y (1) i
C1
x(1) i1
C2
x(1) i2
...
Cn
x(1) in
i 1,..., p
y(2) i
C1xi(12)
C2
x(2) i2
...
Cn
x(2) in
i 1,..., q
其中，
)(
x(1) kj
x
(1) j
)
s(2) ij
1 q 1
q k 1
(
x(2) ki
xi(
2)
)(
x(2) kj
x
(2) j
)
i, j 1,2,..., n i, j 1,2,..., n
Discriminant analysis
对于任一新样本X(x1, x2, …, xn)，分别计算它到总体G1、G2的 Mahalanobis距离：
i =1
j=1
假定属于第i类,把它判为第j类造成的损失为 L(i, j)
造成这一损失的概率为 p(j/i) = fi (x) dx
Dj
G1, G2 … Gk
f1(x), f2 (x)..... fk (x)
q1, q q 2,..... k
D1
D2
Dj
Discriminant analysis
判别准则 如果取
W (x) 2 x x 1 1 2 ( x)
2
1
1 2
其中
21 12 1 2
于是，判别准则为：
W ( x) 0时，x G1 W ( x) 0时，x G2
Discriminant analysis
d ( X ,G1)
x 1 1
p(x)
d ( X ,G2 )
x 2 2
s(l) 22
...
... .... ...
s(l) 1n
s(l) 2n
...
1
x1 x2
x1(l) x2(l) ...
sn(l1)
s(l) n2
...
s(l) nn
xn
xn(l )
其中
x (l) i
1 tl
tl
x(l) ki
k 1
i 1,2,..., n
s (l ) ij
Discriminant analysis
特例：考虑n=1的两类正态总体：
G1：N(1, 1) G2：N(2, 2)
p(x)
G1:N(1,1) 1
G2:N(2,2)
2
x
Discriminant analysis
d ( X ,G1)
x 1 1
d ( X ,G2 )
x 2 2
不妨设2 > 1 ， 2 > 1 ，且检测值满足2 >x> 1 ，则：
其中Ci (i = 1, 2, …, n)为常数（待定系数）。 若判别值为 C ， 对于任何未知数据点X(x1, x2, …, xn)，代入判别函数， 依据F (x1, x2, …, xn)与C值的比较，可以判别点X属于哪一类。
1、确定待定系数Ci (i = 1, 2, …, n) 2、确定判别值C
（两组数据样本在平面上存在一个合理的分界线L）
Discriminant analysis 已知：数据属性有n个，每个数据点为n维向量X：
X (x1, x2,..., xn )
已知总体数据分为两类： G1和G2 ，总体G1有p个样本点，总体G2有q 个样本点。
总体G1 (i=1, …, p)
总体G2 (i=1, …, q)
矩阵S称为协方差矩阵（covariance matrix），反映属性指标中第i个 分量与第j个分量的相关性。
特别地，当n=1时， Mahalanobis距离为：
d
2(X
,G)
(x
)(x 2
)
(x
)2
2
Discriminant analysis
p(x)
G1:N(,1)
p(x)
d
2(X
, G1)
Байду номын сангаас(x
)2
x(m) 21
...
x(m) 12
x(m) 22
...
... ... ...
x(m) 1n
x(m) 2n
...
x(2) t21
x(2) t2 2
...
x(2) t2n
x(m) tm1
x(m) tm 2
...
x(m) tmn
问题：对于未知样本点X(x1, x2, …, xn)，判别其类型？
... ...
x(1) 1n
x(1) 2n
... ... ... ...
x(1) t11
x(1) t1 2
...
x(1) t1n
x(2) 11
x(2) 21
...
x(2) 12
x(2) 22
...
... ... ...
x(2) 1n
x(2) 2n
...
...
x(m) 11
Fisher线性判别法
Fisher判别的基本思想 将 m组n维的数据投影到某一个方向，使得投影后的组 与组之间尽可能地分开。
Fisher线性判别法
x2
G1
L: c1x1+c2x2－c=0
令：F(x1,x2)=c1x1+c2x2 F(x1,x2): 判别函数 c：判别值
G2
x1 平面上两类数据训练样本的散点图
d 2 ( X , G1 ) ( x1 x1(1) , x2 x2(1) ,..., xn xn(1) )
s (1) 11
s (1) 12
...
s (1) 1n
1
x1
x1(1)
s (1) 21
...
s (1) 22 ...
...
s (1) 2n
x2 x2(1)
...
...
x(1) 2n
... ... ... ...
x(1) p1
x(1) p2
...
x
(1) pn
xx12((1221))
x(2) 12
x(2) 22
... ...
x(2) 1n
x(2) 2n
... ... ... ...
xq(12)
x(2) q2
...
x(2) qn
问题：对于未知样本点X(x1, x2, …, xn)，判别其类型？
2 1
x
|x-|
G2:N(,2)
d
2
(
X
,
G2
)
(x
2 2
)2
x
Discriminant analysis
两类总体的距离判别
已知：考虑具有n个属性的两类总体G1、G2， 已知G1的p个训练样本， G2的q个训练样本：
x(1) 11
x(1) 21
x(1) 12
x(1) 22
... ...
x(1) 1n
Discriminant analysis
Bayes判别法
Bayes判别的基本思想 在p维空间中找出一种分法，使得平均损失最小
G1, G2 … Gk
f1(x), f2 (x)..... fk (x)
D1
D2
Dj
Discriminant analysis
目标函数（平均损失）
k
k
g(D1, D2 ,..., Dk ) = qi L(i, j) p(j/i)
则对于任一点X(x1, x2, …, xn) ，定义它与总体G的Mahalanobis距离为：
d 2 (X ,G) (X X )S 1(X X )
Discriminant analysis
其中，矩阵S＝(sij)n×n为：
sij
t
1 1
t
( xki
k 1
xi )( xkj
xj)
i, j 1,2,..., n
...
s(2) 1n
1
x1
x1( 2 )
...
s(2) 2n
x2 x2(2)
...
...
...
...
s(2) nn
xn xn(2)
Discriminant analysis 构造判别函数W(X)：
W (X ) d 2(X ,G2) d 2(X ,G1)
判别准则为：
W ( X ) 0时，X G1 W ( X ) 0时，X G2
判别分析方法 (Discriminant analysis)
Discriminant analysis
判别分析
用于判别样本所属类型的统计分析方法 基因识别：根据某一DNA序列的核苷酸组分、信号特 征等指标，判别是否编码蛋白序列？ 医学诊断：某一病人肺部存在阴影，判别:
肺结核？良性肿瘤？肺癌？ 人类考古学：根据头盖骨的特征，判别：民族、性别、 生活年代？ 股票分析预测： 气象分析预测： 自然灾害分析预测： ……
1 tl 1
tl
(
x(l ki
)
k 1
xi(l
)
)(
x(l kj
)
x
(l j
)
)
i, j 1,2,..., n
Discriminant analysis
比较找到其中的最小距离：
d
2(X
, Gi
)
min
l1,2,..., m
d
2
(X
, Gl
)
点X(x1, x2, …, xn)到类Gi的距离d2(X, Gi )最小，最后判别点X(x1, x2, …, xn)属于第 i 类。
Discriminant analysis
类似地，分别计算点X(x1, x2, …, xn)到每一类Gl的Mahalanobis距离 d2(X, Gl )。
d 2 ( X , Gl ) x1 x1(l) x2 x2(l) ... xn xn(l)
ss12((1ll1)) ...
s(l) 12
1 X1(1) …
i Xi(1) …
p Xp(1) 1 X1(2)
… i Xi(2)
… q Xq(2)
1
x11(1) … xi1(1) … xp1(1) x11(2) … xi1(2) … xq1(2)
属性
2
x12(1) … xi2(1) … xp2(1) x12(2) … xi2(2) … xq2(2)
Discriminant analysis
G1、G2的总体均值根据样本均值估计得到：
xi(1)
1 p
p k 1
x(1) ki
xi(2)
1 q
q k 1
x(2) ki
i 1,2,..., n
分别求出总体G1、G2的协方差矩阵S(1)、S(2)：
s(1) ij
1 p
1
k
p 1
(
x(1) ki
xi(1)
...
s (1) n1
s (1) n2
...
s (1) nn
xn xn(1)
d 2 ( X , G2 ) ( x1 x1(2) , x2 x2(2) ,..., xn xn(2) )
s1(12)
s(2) 21 ...
sn(12)
s(2) 12
s(2) 22 ...
s(2) n2
Dl {y | hl ( y) hj ( y), j 1, 2,...k}
能使平均损失达到最小
判别函数
k
hl ( y)
qifi (x) L(i, l) dx
i =1
G1, G2 … Gk
f1(x), f2 (x)..... fk (x)
q1, q q 2,..... k
D1
D2
Dj
Discriminant analysis
（分量） …
… … … … … … … … … …
目标：求解在n维空间中总体G1和总体G2的最优分界平面。
n
x1n(1) … xin(1) … xpn(1) x1n(2) … xin(2) … xqn(2)
Discriminant analysis 定义线性判别函数为：
F(x1, x2,..., xn ) C1x1 C2x2 ... Cnxn
G1:N(1,1)
1 *
G2:N(2,2)
2
x
Discriminant analysis
多类总体的距离判别
已知：考虑具有n个属性的m类总体Gl ( l = 1, 2, …, m) ，每类总体已知 tl (l=1, 2, …, m)个训练样本：
x(1) 11
x(1) 21
x(1) 12
x(1) 22
y (1)
C1
x (1) 1
C2
x (1) 2
...
Cn
x (1) n
y (2)
C1
x (2) 1
C2 x2(2)
... Cn xn(2)
xi(1)
1 p
p
x(1) ki
k 1
i 1,2,..., n
xi(2)
马氏（Mahalanobis）距离
定义：Mahalanobis距离 设总体G为n维变量，即含有n个属性指标(x1, x2, …, xn)。已知总体G中 的 t个样本Xk (xk1, xk2, …, xkn)，k=1, 2, …, t。总体均值可用样本均值估 计：
1 t
xi t k1 xki
i 1,2,..., n
Discriminant analysis
判别分析问题 设有k个m维的总体G1, G2, …, Gk， (1). 它们的分布特征已知，可以表示为F1(x), F2(x), …,
Fk(x) (2). 或者知道来自各个总体的样本（训练样本）。 对于给定的一个未知样本X（检测样本），判别X属于
哪个总体。 多元的、复杂的、高度综合的统计分析问题