第五章距离判别..
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2
1 1 xi(1) x (1) n1 i 1
n1
n1
n2 1 ( 2) ( 2) 2 xi x n2 i 1
1 (1) (1) (1) (1) T S1 ( xi x )( xi x ) n1 1 i 1
1 ( 2) ( 2) ( 2) ( 2) T S2 ( x x )( x x ) i i n2 1 i 1
若d 2 ( x) d1 ( x) 若d 2 ( x) d1 ( x)
三、判别准则的评价
1、 误判率回代估计法
回判情况 实际归类
G1
G2
G1
G2
n11
n21
n12
n22
三、判别准则的评价
1、 误差率回代估计法
n12 n21 误判率的回代估计为： n1 n2
1
线性判别函数
x G1, x G2 ,
若W1 ( x) W2 ( x) 若W1 ( x) W2 ( x)
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
1 W ( x) a ( x ), 其中a (1 2 ), (1 2 ) 2
使得这一函数具有某种最优性质，能把属 于不同类别的样本点尽可能地区分开来， 并对测得同样p项指标（变量）数据的一个 新样本能够判定这个样本属于哪一类。
一、 马氏距离
1、 定义
设
x
与 y 是从均值向量为 、协方差为 的总体G
中抽取的两个样品，则 x, y 之间的马氏平方距离为
d 2 ( x, y ) ( x y )T 1 ( x y ).
x与总体G 之间的马氏平方距离为
d 2 ( x, G ) ( x )T 1 ( x ).
一、 马氏距离
2、 性质
(1)d ( x, y) 0,""成立当且仅 x y.
(2)d ( x, y) d ( y, x).
(3)d ( x, z) d ( x, y) d ( y, z).
二、 距离判别的方法
设 G1 与G2 为两个不同的p元已知总体，其均值向量是 为 i 、协方差为i . 设 x ( x1 , x2 ,, x p )T是一个待判样品，距离判别准则
为：
x G1 , x G2 ,
若d ( x, G1 ) d ( x, G 2 ) 若d ( x, G1 ) d ( x, G 2 )
2、 误判率的交叉确认估计法
误判率的交叉确认估计为：
*
* n12
* n21
n1 n2
四、多个总体的距离判别
1、 多个总体协方差矩阵相等的情况
若W j0 ( x) maxW j ( x)
1 j k
判定 x G j0
(n1 1)S1 (n2 1)S2 (nk 1)Sk S nk
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
x G1, x G2 ,
若W1( x) W2 ( x) 若W1( x) W2 ( x)
x G1, x G2 ,
若W ( x) 0 若W ( x) 0
二、 距离判别的方法
2、 两个总体协方差矩阵不等的情况
1 2 T d1 ( x) ( x 1 ) 1 ( x 1 ),
1 2 T d 2 ( x) ( x 2 ) 2 ( x 2 ).
x G1 , x G2 ,
若d 2 ( x) d1 ( x) 若d 2 ( x) d1 ( x)
二、 距离判别的方法
2、 两个总体协方差矩阵不等的情况
2 (1) T 1 (1) d1 ( x) ( x x ) S1 ( x x ),
2 1 ( 2) T ( 2) d 2 ( x) ( x x ) S 2 ( x x ).
x G1 , x G2 ,
n2
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
当1 2 时, 的无偏估计是
(n1 1) S1 (n2 1) S 2 S n1 n2 2
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
1 (1) T 1 (1) T 1 (1) W1 ( x) a1 x b1, 其中a1 S x , b1 ( x ) S x 2
T 1
x G1, x G2 ,
若W ( x) 0 若W ( x) 0
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
(1) (1) (1) G1的训练样本： x1 , x2 , xn ,
1
( 2 ) ( 2) ( 2) G2的训练样本： x1 , x2 , xn ,
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
T W1 ( x) a1 x b1, 其中a1
1 T 1 1, b1 u1 1 2 1 T 1 T 1 W2 ( x) a2 x b2 , 其中a2 2 , b2 u2 2 2
第五章 判别分析 5.1 距离判别
问题的提出
设有n个样本，每个样本测得p项指标（变
量）的数据，已知每个样本属于k个类别（或
总体） G 1, G2 ,, Gk 中的某一类 ，且它们的
分布函数分别为 Fi ( x) Fi ( x1, x2 ,, x p ), i 1,2,, k.
希望利用这些数据，找出一种判别函数，
1 ( 2) T 1 ( 2) T 1 ( 2) W2 ( x) a2 x b2 , 其中a2 S x , b2 ( x ) S x 2
1 (1) T 1 (1ቤተ መጻሕፍቲ ባይዱ ( 2) W ( x) a ( x x ), 其中a S ( x x ), x ( x x ( 2) ) 2
1 1 xi(1) x (1) n1 i 1
n1
n1
n2 1 ( 2) ( 2) 2 xi x n2 i 1
1 (1) (1) (1) (1) T S1 ( xi x )( xi x ) n1 1 i 1
1 ( 2) ( 2) ( 2) ( 2) T S2 ( x x )( x x ) i i n2 1 i 1
若d 2 ( x) d1 ( x) 若d 2 ( x) d1 ( x)
三、判别准则的评价
1、 误判率回代估计法
回判情况 实际归类
G1
G2
G1
G2
n11
n21
n12
n22
三、判别准则的评价
1、 误差率回代估计法
n12 n21 误判率的回代估计为： n1 n2
1
线性判别函数
x G1, x G2 ,
若W1 ( x) W2 ( x) 若W1 ( x) W2 ( x)
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
1 W ( x) a ( x ), 其中a (1 2 ), (1 2 ) 2
使得这一函数具有某种最优性质，能把属 于不同类别的样本点尽可能地区分开来， 并对测得同样p项指标（变量）数据的一个 新样本能够判定这个样本属于哪一类。
一、 马氏距离
1、 定义
设
x
与 y 是从均值向量为 、协方差为 的总体G
中抽取的两个样品，则 x, y 之间的马氏平方距离为
d 2 ( x, y ) ( x y )T 1 ( x y ).
x与总体G 之间的马氏平方距离为
d 2 ( x, G ) ( x )T 1 ( x ).
一、 马氏距离
2、 性质
(1)d ( x, y) 0,""成立当且仅 x y.
(2)d ( x, y) d ( y, x).
(3)d ( x, z) d ( x, y) d ( y, z).
二、 距离判别的方法
设 G1 与G2 为两个不同的p元已知总体，其均值向量是 为 i 、协方差为i . 设 x ( x1 , x2 ,, x p )T是一个待判样品，距离判别准则
为：
x G1 , x G2 ,
若d ( x, G1 ) d ( x, G 2 ) 若d ( x, G1 ) d ( x, G 2 )
2、 误判率的交叉确认估计法
误判率的交叉确认估计为：
*
* n12
* n21
n1 n2
四、多个总体的距离判别
1、 多个总体协方差矩阵相等的情况
若W j0 ( x) maxW j ( x)
1 j k
判定 x G j0
(n1 1)S1 (n2 1)S2 (nk 1)Sk S nk
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
x G1, x G2 ,
若W1( x) W2 ( x) 若W1( x) W2 ( x)
x G1, x G2 ,
若W ( x) 0 若W ( x) 0
二、 距离判别的方法
2、 两个总体协方差矩阵不等的情况
1 2 T d1 ( x) ( x 1 ) 1 ( x 1 ),
1 2 T d 2 ( x) ( x 2 ) 2 ( x 2 ).
x G1 , x G2 ,
若d 2 ( x) d1 ( x) 若d 2 ( x) d1 ( x)
二、 距离判别的方法
2、 两个总体协方差矩阵不等的情况
2 (1) T 1 (1) d1 ( x) ( x x ) S1 ( x x ),
2 1 ( 2) T ( 2) d 2 ( x) ( x x ) S 2 ( x x ).
x G1 , x G2 ,
n2
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
当1 2 时, 的无偏估计是
(n1 1) S1 (n2 1) S 2 S n1 n2 2
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
1 (1) T 1 (1) T 1 (1) W1 ( x) a1 x b1, 其中a1 S x , b1 ( x ) S x 2
T 1
x G1, x G2 ,
若W ( x) 0 若W ( x) 0
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
(1) (1) (1) G1的训练样本： x1 , x2 , xn ,
1
( 2 ) ( 2) ( 2) G2的训练样本： x1 , x2 , xn ,
二、 距离判别的方法
1、 两个总体协方差矩阵相等的情况
T W1 ( x) a1 x b1, 其中a1
1 T 1 1, b1 u1 1 2 1 T 1 T 1 W2 ( x) a2 x b2 , 其中a2 2 , b2 u2 2 2
第五章 判别分析 5.1 距离判别
问题的提出
设有n个样本，每个样本测得p项指标（变
量）的数据，已知每个样本属于k个类别（或
总体） G 1, G2 ,, Gk 中的某一类 ，且它们的
分布函数分别为 Fi ( x) Fi ( x1, x2 ,, x p ), i 1,2,, k.
希望利用这些数据，找出一种判别函数，
1 ( 2) T 1 ( 2) T 1 ( 2) W2 ( x) a2 x b2 , 其中a2 S x , b2 ( x ) S x 2
1 (1) T 1 (1ቤተ መጻሕፍቲ ባይዱ ( 2) W ( x) a ( x x ), 其中a S ( x x ), x ( x x ( 2) ) 2