第5章--判别分析-fisher判别等

W ( x) 0时，x G1 W ( x) 0时，x G2
Discriminant analysis
d ( X ,G1)
x 1 1
p(x)
d ( X ,G2 )
x 2 2
W (X ) d 2 (X ,G2 ) d 2(X ,G1)
判别准则为：
W ( X ) 0时，X G1 W ( X ) 0时，X G2
Discriminant analysis
特例：考虑n=1的两类正态总体：
G1：N(1, 1) G2：N(2, 2)
p(x)
G1:N(1,1) 1
G2:N(2,2)
则对于任一点X(x1, x2, …, xn) ，定义它与总体G的Mahalanobis距离为：
d 2 ( X ,G) ( X X )S 1( X X )
Discriminant analysis
其中，矩阵S＝(sij)n×n为：
sij
t
1 1
t
( xki
k 1
xi )( xkj
xj)
i, j 1,2,..., n
问题：对于未知样本点X(x1, x2, …, xn)，判别其类型？
Discriminant analysis
G1、G2的总体均值根据样本均值估计得到：
xi(1)
1 p
p k 1
x(1) ki
xi(2)
1 q
q k 1
x(2) ki
i 1,2,..., n
分别求出总体G1、G2的协方差矩阵S(1)、S(2)：
s (1) 22 ...
...
s (1) 2n
x2 x2(1)
...
...
...
s (1) n1
s (1) n2
...
s (1) nn
xn xn(1)
d 2 ( X , G2 ) ( x1 x1(2) , x2 x2(2) ,..., xn xn(2) )
s(2) 11
Discriminant analysis
训练样本 训练集
学习
检测 判别准则
检测样本 检测集
评价
判别效率
Fisher判别法 距离判别法 Bayes判别法 逐步判别法
……
Discriminant analysis
距离判别法
距离判别的基本思想 样本与哪一类总体的距离最近，就判别它属于哪一类总体。
Discriminant analysis
s(2) 21 ...
s(2) n1
s(2) 12
s(2) 22 ...
s(2) n2
...
s(2) 1n
1
x1
x1( 2 )
...
s(2) 2n
x2 x2(2)
...
...
...
...
s(2) nn
xn xn(2)
Discriminant analysis 构造判别函数W(X)：
(x
)2
2 1
x
|x-|
G2:N(,2)
d
2
(
X
, G2 )
(x
)2
2 2
x
Discriminant analysis
两类总体的距离判别
已知：考虑具有n个属性的两类总体G1、G2， 已知G1的p个训练样本， G2的q个训练样本：
x(1) 11
x(1) 21
x(1) 12
x(1) 22
... ...
Discriminant analysis
判别分析问题 设有k个m维的总体G1, G2, …, Gk， (1). 它们的分布特征已知，可以表示为F1(x), F2(x), …,
Fk(x) (2). 或者知道来自各个总体的样本（训练样本）。 对于给定的一个未知样本X（检测样本），判别X属于
哪个总体。 多元的、复杂的、高度综合的统计分析问题
马氏（Mahalanobis）距离
定义：Mahalanobis距离 设总体G为n维变量，即含有n个属性指标(x1, x2, …, xn)。已知总体G中 的 t个样本Xk (xk1, xk2, …, xkn)，k=1, 2, …, t。总体均值可用样本均值估 计：
xi
1 t
t k 1
xki
i 1,2,..., n
2
x
Discriminant analysis
d ( X ,G1)
x 1 1
d ( X ,G2 )
x 2 2
不妨设2 > 1 ， 2 > 1 ，且检测值满足2 >x> 1 ，则：
W (x) 2 x x 1 1 2 ( x)
2
1
1 2
其中
21 12 1 2
于是，判别准则为：
x(1) 1n
x(1) 2n
... ... ... ...
ຫໍສະໝຸດ Baidu
x
(1) p1
x(1) p2
...
x
(1) pn
x(2) 11
x(2) 21
x(2) 12
x(2) 22
... ...
x(2) 1n
x(2) 2n
... ... ... ...
x(2) q1
x(2) q2
...
x(2) qn
矩阵S称为协方差矩阵（covariance matrix），反映属性指标中第i个 分量与第j个分量的相关性。
特别地，当n=1时， Mahalanobis距离为：
d
2(X
,G)
(x
)( x 2
)
(x
)2
2
Discriminant analysis
p(x)
G1:N(,1)
p(x)
d
2(X
, G1)
s(1) ij
1 p 1
p k 1
(
x (1) ki
xi(1)
)(
x (1) kj
x
(1) j
)
s(2) ij
1 q 1
q
(
x(2) ki
k 1
xi(
2)
)(
x(2) kj
x
(2) j
)
i, j 1,2,..., n i, j 1,2,..., n
Discriminant analysis
判别分析方法 (Discriminant analysis)
Discriminant analysis
判别分析
用于判别样本所属类型的统计分析方法 基因识别：根据某一DNA序列的核苷酸组分、信号特 征等指标，判别是否编码蛋白序列？ 医学诊断：某一病人肺部存在阴影，判别:
肺结核？良性肿瘤？肺癌？ 人类考古学：根据头盖骨的特征，判别：民族、性别、 生活年代？ 股票分析预测： 气象分析预测： 自然灾害分析预测： ……
对于任一新样本X(x1, x2, …, xn)，分别计算它到总体G1、G2的 Mahalanobis距离：
d 2 ( X , G1 ) ( x1 x1(1) , x2 x2(1) ,..., xn xn(1) )
s (1) 11
s (1) 12
...
s (1) 1n
1
x1
x1(1)
s (1) 21 ...