马氏距离

协方差矩阵, 相关系数矩阵
变量说明：
设为一组随机变量，这些随机变量构成随机向量
，每个随机变量有m个样本，则有样本矩阵
（1）
其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。

单随机变量间的协方差：
随机变量之间的协方差可以表示为
（2）
根据已知的样本值可以得到协方差的估计值如下：
（3）
可以进一步地简化为：
（4）
协方差矩阵：
（5）
其中，从而得到了协方差矩阵表达式。

如果所有样本的均值为一个零向量，则式（5）可以表达成：
（6）
补充说明：
1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，
而不是不同样本之间的协方差，如元素C
ij 就是反映的随机变量X
i
, X
j
的协方
差。

2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的
相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。

对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。

特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。

3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差
矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。

4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。

在概率论和统计学中，相关或称相关系数或关联系数，显示两个随机变量之间线性关系的强度和方向。

在统计学中，相关的意义是用来衡量两个变量相对于其相互独立的距离。

在这个广义的定义下，有许多根据数据特点而定义的用来衡量数据相关的系数。

对于不同数据特点，可以使用不同的系数。

最常用的是皮尔逊积差相关系数。

其定义是两个变量协方差除以两个变量的标准差（方差）。

皮尔逊积差系数
数学特征
其中，E是数学期望，cov表示协方差。

因为μX = E(X)，σX2 = E(X2) −E2(X)，同样地，对于Y，可以写成
当两个变量的标准差都不为零，相关系数才有定义。

从柯西—施瓦茨不等式可知，相关系数不超过1. 当两个变量的线性关系增强时，相关系数趋于1或-1。

当一个变量增加而另一变量也增加时，相关系数大于0。

当一个变量的增加而另一变量减少时，相关系数小于0。

当两个变量独立时，相关系数为0.但反之并不成立。

这是因为相关系数仅仅反映了两个变量之间是否线性相关。

比如说，X是区间［－１，１］上的一个均匀分布的随机变量。

Y = X2. 那么Y是完全由X确定。

因此Y和X是不独立的。

但是相关系数为0。

或者说他们是不相关的。

当Y 和X服从联合正态分布时，其相互独立和不相关是等价的。

当一个或两个变量带有测量误差时，他们的相关性就受到削弱，这时，“反衰减”性（disattenuation）是一个更准确的系数。

两个样本：
His1 = {3,4,5,6}
His2 = {2,2,8,4}
它们的均值为：
U = {2.5, 3, 6.5, 5}
协方差矩阵为：
S =
| 0.25 0.50 -0.75 0.50 |
| 0.50 1.00 -1.50 1.00 |
|-0.75 -1.50 2.25 -1.50 |
| 0.50 1.00 -1.50 1.00 |
其中S(i,j)={[His1(i)-u(i)]*[His1(j)-u(j)]+[His2(i)-u(i)]*[His2(j)-u(j)]}/2
下一步就是求出逆矩阵S^(-1)
马氏距离D=sqrt{[His1-His2] * S^(-1) * [(His1-His2)的转置列向量]}
马氏距离（Mahalanobis distances）
1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；
2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离来代替马氏距离，也可以理解为，如果样本数小于样本的维数，这种情况下求其中两个样本的距离，采用欧式距离计算即可。

3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵的逆矩阵仍然不存在，比如A（3，4），B（5，6）；C（7，8），这种情况是因为这三个样本在其所处的二维空间平面内共线（如果是大于二维的话，比较复杂）。

这种情况下，也采用欧式距离计算。

4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样本点出现3）中所描述的情况是很少出现的，所以在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。

我们熟悉的欧氏距离虽然很有用，但也有明显的缺点。

它将样品的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。

马氏距离有很多优点。

它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。

马氏距离还可以排除变量之间的相关性的干扰。

它的缺点是夸大了变化微小的变量的作用。

马氏距离
我们熟悉的欧氏距离虽然很有用，但也有明显的缺点。

它将样品的不同属性（即各指
标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。

例如，在教育研
究中，经常遇到对人的分析和判别，个体的不同属性对于区分个体有着不同的重要性。

因此，有时需要采用不同的距离函数。

如果用dij表示第i个样品和第j个样品之间的距离，那么对一切i，j和k，dij 应该满足如下四个条件：
①当且仅当i=j时，d ij=0
②d ij＞0
③d ij＝d ji（对称性）
④d ij≤d ik＋d kj（三角不等式）
显然，欧氏距离满足以上四个条件。

满足以上条件的函数有多种，本节将要用到的马
氏距离也是其中的一种。

第i个样品与第j个样品的马氏距离d ij用下式计算：
d ij =(x i一x j)'S-1(x i一x j)
其中，x i和x j分别为第i个和第j个样品的m个指标所组成的向量，S为样本协方差矩阵。

马氏距离有很多优点。

它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之
间的马氏距离相同。

马氏距离还可以排除变量之间的相关性的干扰。

它的缺点是夸大
了变化微小的变量的作用。

对于新给定的样品，要判断它属于哪一类，一个最直观的办法就是计算它与各已知类别之间的距离，如果它与其中的某一类距离最近，那么就可判定它属于该类。

这可以用数学语言描述。

如果我们事先已有关于m类的知识，就可把每一类看作一个总体G i=（i=1，2，…，m），设每个总体的变量都是p维向量，第i类总体的平均值向量为Ui，协方差矩阵为Si。

现在有一个
样品y，要判断它属于哪一个总体，如果采用距离判别法，就要计算y到各总体之间的距离d(y，
U i),当d(y,U i)≤d(y,U j)(j＝1，2，…，m，j≠1)时，就判定y属于Gi。

下面我们仅考虑两总体的情况。

设有两个具有相同协方差矩阵S的总体G1和G2，它们的均值向量分别为U1和U2。

对于一个新给定的样品y，要判断它是来自哪一个总体，可以分别计算y与两个总体的马氏距离的平方：
d2(y,U i)=(y—U i)’S-1(y—U i) （i=1,2）
然后，根据下列规则进行判别：
当d(y,U1)≤d(y,U2)时，y∈G1
当d(y,U1)>d(y,U2)时，y∈G2
为了简化计算，求两个马氏距离平方之差，
d2(y,U1)-d2(y,U2）
=（y-U1）'S-1（y-U2）-（y-U2）'S-1（y-U2）
= -2[y-（U1+ U2）/2]' S-1（U1-U2）
= -2W（y）
其中
于是，上述的判别规则变为：
W(y)是y的一个线性函数，一般将W(y)称为线形判别函数。

如果两总体的均值向量和协方差矩阵未知时，可以用两总体的样本测量来估计。

设Xi (1) (I=1,2,3,………,n1)和X(2)I(I=1,2,..,n2)分别是总体G1和G2的样本，令
那么，判别函数可取为：
需要指出的是，按最小距离规则判别是会产生误判的。

为了说明问题，不妨设G1和G2为正态分布，分别为N（μ1,δ2）和N（μ2，δ2）（μ1>μ2），那么由图12-28可以看出：当Y事实上属于G1，它的观察值（测量值）在μ=(μ1+μ2)/2的右边，这时如果按上面讨论的规则就应把y判断为属于G2，因为y距G2的均值比距G1的均值要近。

这就造成了错判。

图12-28
由图可以看出，当两总体G1与G2十分接近时，则无论用什么方法，误判概率都很大，这时的判别是没有意义的。

因此，在判别之前应对两总体的均值是否有显著差异进行检验。

另外，以上讨论的判别函数及规则并没有涉及到总体的具体分布类型，只要逆矩阵存在就可以。

当两总体的协方差矩阵不同时，就不能用前文的W(y)进行判别，这时可直接计算马氏距离进行判别。