第4章 判别分析及MATLAB实现(2013)

1 其中 ( 1 2 )，令 W ( x) ( x )T 1(1 2 ) 2
于是距离判别准则为
x G1 , W ( x ) 0 x G2 , W ( x ) 0
(4.1.6)
由于总体的均值、协方差矩阵通常是未知的，数据 资料来自两个总体的训练样本，于是用样本的均值、 样本的协方差矩阵代替总体的均值与协方差.
即当 x 到 G1的马氏距离不超过到 G2 的马氏距 离时，判 x 来自 G1 ；反之，判来自 G2.
由于马氏距离与总体的协方差矩阵有关，所以利 用马氏距离进行判别分析需要分别考虑两个总体的 协方差矩阵是否相等. 1.两个总体协方差矩阵相等的情况 设有两个总体G1,G2，均值分别为 1 , 2 ,协方 差矩阵相等为Σ。考虑样品x到两个总体的马氏距 离平方差：
, xp )T ,判断它来自哪一个
原则: 1.从统计学的角度，要求判别准则在某种准则 下是最优的，例如错判的概率最小等。 2.根据不同的判别准则，有不同的判别方法， 这里主要介绍距离判别和Bayes判别 4.1.2 距离的定义 1. 闵可夫斯基距离 T T x ( x , x , , x ) , y ( y , y , , y ) 设有n维向量 1 2 n 1 2 n ,称
, xn )T , y ( y1, y2 ,
T 1
, yn )T ,则称
d ( x, y ) ( x y ) ( x y )
为n维向量x，y之间的马氏距离.
(4.1.1)
其中 为总体协方差矩阵，通常取为实对称正定 矩阵. 显然，当为单位矩阵时马氏距离就是欧氏距离.
(2) 一个向量到一个总体的马氏距离 总体G 的均值向量为μ，协方差矩阵为Σ .则称
d 2 ( x, G2 ) d 2 ( x, G1 ) ( x 2 )T 1 ( x 2 ) ( x 1 )T 1 ( x 1 ) xT 1 x 2 xT 12 2T 12 xT 1 x 2 xT 11 1T 11 ) 2 xT 1 ( 1 2 ) 2T 12 1T 11 1T 12 2T 11 2 xT 1 ( 1 2 ) ( 1 2 )T 1 ( 1 2 ) 1 2[( x ( 1 2 )]T 1 ( 1 2 ) 2 2( x )T 1 ( 1 2 )
输出结果为：W = 2.1640 1.3568 1.9802 由判别准则(4.1.11)可知，三只蠓虫均属于Apf.
直接调用MATLAB的判别分析命令classify。
apf=[1.14,1.78;1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.96]; %总体apf af=[1.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; %总体af training=[apf;af]; %合并两个总体形成训练集 n1=size(apf,1); %总体apf中样本的行数 n2=size(af,1); %总体af中样本的行数 group=[ones(1,n1), 2*ones(1,n2)] '; %apf中样本与af中样本类属 x=[1.24,1.8;1.28,1.84; 1.4,2.04]; % 输入原始待判数据即sample class = classify(x, training,group) %判别分析
d1 ( x, y) | xi yi |
i 1
n
绝对距离
称
称
d 2 ( x, y )
2 ( x y ) i i i 1
n
欧氏距离
d r ( x, y) ( | xi yi | )
i 百度文库1
n
r 1/ r
为n维向量x，y之间的闵可夫斯基距离，其中 r ( r 0)
(3) 两个总体之间的马氏距离 设有两个总体G1,G2，两个总体的均值向量分别 为 1 , 2，协方差矩阵相等，皆为Σ,则两个总体之 间的马氏距离为
d (G1 , G 2 ) ( 1 2 )T 1 ( 1 2 )
(4.1.3)
通常，在判别分析时不采用欧氏距离的原因在 于，该距离与量纲有关.例如平面上有A,B,C,D四个 点，横坐标为代表重量（单位：kg），纵坐标代表 长度（单位：cm），如下页图。
从统计数据分析的角度，可概括为如下模型：
设有k个总体 G1 , G2 , , Gk ,它们都是 p元总体, T 其数量指标是 X ( X1, X 2 , , X p ) 1) 若总体 Gi 的分布函数是已知，对于任一新 样品数据 x ( x1, x2 , 总体 。 2) 通常各个总体 Gi 的分布是未知的，由从各 个总体取得的样本（训练样本）来估计。一般， 先估计各个总体的均值向量与协方差矩阵。
(n 1 1)S 1 (n 2 1)S 2 S n1 n 2 2
其中n1,n2分别为两个样本的容量. 3.计算未知样本x到A,B两类马氏平方距离之差 d=(x-ma)S-1(x-ma)’- (x-mb)S-1(x-mb)’ 4.若d<0,则x属于A类;若d>0,则x属于B类
上述公式可以化简为：
例4.1.1 (1989年国际数学竞赛A题)蠓的分类 蠓是一种昆虫，分为很多类型，其中有一种名为 Af,是能传播花粉的益虫；另一种名为Apf,是会传播 疾病的害虫，这两种类型的蠓在形态上十分相似， 很难区别. 现测得6只Apf和9只Af蠓虫的触角长度和 翅膀长度数据Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64), (1.38,1.82), (1.38,1.90), (1.40,1.70), (1.48,1.82),(1.54,1.82), (1.56,2.08). 若两类蠓虫协方差矩阵相等，试判别以下的三个 蠓虫属于哪一类？ (1.24,1.8)，(1.28,1.84)，（1.4，2.04）
试判别以下的三个蠓虫属于哪一类？ (1.24,1.8)，(1.28,1.84)，（1.4，2.04）
第4章 判别分析
判别分析的基本思想是根据已知类别的样本所提 供的信息，总结出分类的规律性，建立判别公式和 判别准则，判别新的样本点所属类型。本章介绍距 离判别分析、Bayes判别分析及其MATLAB软件的 实现。 4.1 距离判别分析 4.1.1 判别分析的概念 在一些自然科学和社会科学的研究中，研究对象 用某种方法已划分为若干类型，当得到的一个新样 品数据（通常是多元的），要确定该样品属于已知 类型中的哪一类，这样的问题属于判别分析.
为常数。
显然，当r=2和1时闵可夫斯基距离分别为欧氏距 离和绝对距离.
2. 马氏距离 马氏距离是由印度统计学家马哈拉诺比斯(PC Mahalanobis)提出的，由于马氏距离具有统计意义， 在距离判别分析时经常应用马氏距离：
(1) 同一总体的两个向量之间的马氏距离 设有n维向量 x ( x1, x2 ,
W(x)=(ma-mb)S-1(x-(ma+mb)/2)’ 若W(x)>0，x属于G1;若W(x)<0，x属于G2 注意： 1.此处ma,mb都是行向量；
2.当x是一个矩阵时，则用ones矩阵左乘(ma+mb)/2以 后，方可与x相减.
※ Matlab中直接进行数据的判别分析命令为classify， 其调用格式 class = classify(sample,training,group, 'type')
例 (1989年国际数学竞赛A题)蠓的分类 蠓是一种昆虫，分为很多类型，其中有一种名为 Af,是能传播花粉的益虫；另一种名为Apf,是会传播 疾病的害虫，这两种类型的蠓在形态上十分相似， 很难区别. 现测得6只Apf和9只Af蠓虫的触角长度和 翅膀长度数据
Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64), (1.38,1.82), (1.38,1.90), (1.40,1.70), (1.48,1.82),(1.54,1.82), (1.56,2.08).
注意：
若S1,S2分别为两个样本的协方差矩阵，则在两个总 体协方差矩阵相等时，总体的协方差矩阵估计量
(n1 1) S1 (n2 1)S2 ˆ S n1 n2 2
(4.1.9)
其中n1,n2分别为两个样本的容量.得到判别法则： (4.1.11)
matlab判别步骤： 1.计算A、B两类的均值向量与协方差阵; ma=mean(A),mb=mean(B),S1=cov(A),S2=cov(B) 2.计算总体的协方差矩阵
这时
AB 52 102 125 CD 102 12 101
显然 AB>CD 如果现在长度用mm为单位，重量的单位保持不变， 于是A点的坐标为(0,50)，B点的坐标为(0,100)，此时 计算线段的长度为
AB 502 102 2600 CD 100 1 10001
d ( x, G) ( x )T 1 ( x )
为n维向量x与总体G的马氏距离.
(4.1.2)
MATLAB中有一个命令：d=mahal(Y,X)，计算X 矩阵每一个点（行）至Y矩阵中每一个点（行）的 马氏距离。其中Y的列数必须等于X的列数，但它们 的行数可以不同。X的行数必须大于列数。输出d是 距离向量。
2 2
此时，AB<CD
这表明欧氏距离有一个缺陷，当向量的分量是不 同的量纲时欧氏距离的大小竟然与指标的单位有关. 而马氏距离则与量纲无关. 4.1.3 两总体的距离判别分析
G2 为两个不同 先考虑两个总体的情况。设 G1 ， Gi 的 Gi 的均值向量是 i ，i 1, 2 ， 的p元已知总体， i 1, 2 .设 x ( x1, x2 , , xm )T 协方差矩阵是 i ， 是一个待判样品，距离判别准则为 x G1 , 若d ( x, G1 ) d ( x, G2 ), (4.1.4) . x G , 若d ( x , G ) d ( x , G ) 2 1 2
第4 章 判别分析(discriminant analysis)
§4.1 距离判别 及MATLAB实现
§4.2 Bayes判别
§4.3 判别分析 总结
计算与应用数学系, 中国石油大学（华东）理学院 丁永臻 2013
统计方法（判别分析）:
判别分析—在已知研究对象分成若干类型，并已取 得各种类型的一批已知样品的观测数据，在此基础 上根据某些准则建立判别式，然后对未知类型的样 品进行判别分类。 距离判别法—首先根据已知分类的数据，分别计算 各类的重心，计算新个体到每类的距离，确定最短 的距离（欧氏距离、马氏距离） Fisher判别法—利用已知类别个体的指标构造判别 式（同类差别较小、不同类差别较大），按照判别 式的值判断新个体的类别 Bayes判别法—计算新给样品属于各总体的条件概率， 比较概率的大小，然后将新样品判归为来自概率最 大的总体
解：假定两总体的协方差相等，源程序如下：
apf=[1.14,1.78;1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.96]; af=[1.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70; 1.48,1.82;1.54,1.82;1.56,2.08]; x=[1.24,1.8;1.28,1.84; 1.4,2.04]; % 输入原始数据 m1=mean(apf); m2=mean(af); s1=cov(apf); s2=cov(af); s=(5*s1+8*s2)/13; % 计算样本均值与协方差矩阵 for i=1:3 W(i)=(x(i,:)-1/2*(m1+m2))*inv(s)*(m1-m2)'; % 计算判别函数值 end;