数据挖掘：矩阵代数的算法及应用概述

15.062数据挖掘：矩阵代数的算法及应用概述这个文档的目的是给出对课程有用的线性代数的概念简要的回顾，并对这些概念进行逐步直观的展开。

1导言及定义一个标量是简单的值或数字，例如7、－1.2或1266。

通常用小写字母表示标量（例如，x=7,y=-1.2,z=1266），我们能在实数轴上标示出来。

一个向量是一些标量的排列，例如（－1/2，3/2），（2，2，3）或（－3，0，3，0，0，4，2，1）。

我们通常用黑体小写字母表示向量（例如，w=(2,2,3)）。

对2或3维的向量，我们能用点或从原点（0，0）出发带箭头直线方式在坐标空间中标示出来。

一个矩阵是数字构成的表。

例子如下：通常用大写字母表示矩阵。

我们用下标来指示一个矩阵的元素。

例如，M12是指位于矩阵M的第一行第二列的元素。

在矩阵A中，我们有A12=2。

矩阵的维数指矩阵行和列的数目。

一个m×n的矩阵有m行n列。

上面的矩阵A的维数为2×2，B的维数为2×4，C的维数为4×4。

注意到我们把向量看做某个维数为1的特殊的矩阵。

也就是，向量w=[2 2 3]被看做是维数为1×3的矩阵。

有相同行数和列数的矩阵被称为方阵。

一个方阵M对每个元素M ij=M ji被称为对称矩阵，方阵只有在对角线上的元素非0称为对角矩阵（注意到上面的矩阵C是一个对称矩阵而非对角矩阵）。

矩阵M的转置矩阵表示为M’，是对矩阵M的行和列进行转换得到的。

也就是，对任意的行i和列j，M ij=M ji’。

例如，矩阵A的转置矩阵：2 矩阵运算2.1 矩阵的加及减具有相同维数的矩阵的加（或减）操作是通过简单的把相同位置的元素进行加（或减）。

例如：2.2 数乘我们也能对任意维的矩阵的每个元素乘以一个标量（数）。

例如：2.3 矩阵相乘两个矩阵的相乘有点复杂。

矩阵相乘仅对一定维数的矩阵有定义。

对相乘的两个矩阵，第一个矩阵的列的数目必须等于第二个矩阵的行的数目。

乘积的结果矩阵会有与第一个矩阵相同的行数和第二个矩阵相同的列数。

例如，假设我们想把2×2矩阵A和2×4矩阵B相乘。

既然矩阵A的列数和矩阵B的行数相等，我们能执行这个乘法。

结果矩阵的维数为2×4。

一个图表：由于A的列数和B的行数不同，我们不能把2×2矩阵A与4×4矩阵B相乘。

两个矩阵如何相乘，让我们首先看一个特殊的例子，1×3矩阵和3×1矩阵的相乘。

我们表示矩阵a和b的乘积为ab，它是通过对矩阵a,b中相应元素进行相乘并求和得到的结果。

于是我们也能用行和列进行矩阵相乘。

考虑：注意到A有2列，D有2行，能够把AD相乘。

元素1，是矩阵A的第一行和矩阵D 的第一列的乘积。

元素2是矩阵A的第一行与矩阵D的第二列的乘积，依此类推。

例示如下：矩阵相乘满足结合律，意思是如果我们想计算ABC，我们要首先计算AB，然后再乘C，或我们用A去乘以BC。

用符号表示就是(AB)C=A(BC)。

矩阵相乘也满足分布律，意思是对矩阵相乘只要维数合适，就有A(B+C)=AB+AC。

矩阵乘法是不满足交换律，也就是一般情≠况下AB BA。

2.3.1 线性组合假设我们有一组k个向量x1,x2,…x k(所有的都是同维的)，并且一组k个标量a1,a2,…,a k。

那么下面的和的形式，被称为向量x1,x2,…x k的线性组合。

注意到如果我们用矩阵乘法去乘两个向量，那么我们只是把第一个向量作为标量的关于第二个向量的线性组合（或我们把它看成是第二个向量作为标量的关于第一个向量的线性组合）。

相似地，我们可以把一般的矩阵乘法看做是计算一组线性组合。

在这个意义上，矩阵乘法有时也被称为线性变换。

2.3.2 矩阵作为符号简化手段矩阵和向量让我们极大地简化了符号。

例如，考虑一个有4个方程和4个变量的线性方程组：如果我们这样定义：我们能用矩阵和向量把整个方程组简记为Ax=b。

2.3.3 用图形方式解释矩阵相乘我们能用在坐标空间中向量的转换来解释矩阵相乘。

为了图示，让我们假定有一个2×1矩阵（向量）与一个2×2矩阵相乘。

下面画出了向量x=(2,1)：观察向量被矩阵T相乘后的效果：z这个矩阵被称为单位矩阵，具有使向量在乘法前后没有变化的特殊性质。

z这个矩阵没有改变向量的方向，但使其长度加倍。

z这个矩阵使向量的长度不便，但使得向量沿横轴翻转。

z一般来说，矩阵乘法会改变向量的长度和方向：让我们现在考虑矩阵乘法如何影响向量的。

下面在坐标轴中画出了5个向量。

我也把这些点连成了五边形：假设我们对每个向量乘以矩阵。

相乘的过程如下：下图画出被“变化”了的向量。

注意到乘以矩阵T后，被一个因子2在两个坐标轴方向拉伸。

我们选择不同的T重复练习。

注意矩阵乘法对五边形图形的形状和大小上的影响。

例如，对下面选择的T，图形在一个坐标轴方向伸展，在另一个坐标轴上收缩：用这个T相乘使得图形倾斜：用如下的T相乘具有拉伸、倾斜、翻动图形的效果：注意到最后一次选择的T对图形的大小或方向没有影响。

这是唯一一个具有这个性质的2×2矩阵，是一个称为单位矩阵的特殊矩阵。

这是下一节讨论的主题。

2.4 单位矩阵和逆矩阵在对角上的元素为1，其余为0的方阵称为单位矩阵，并通常表示为I。

例如，3×3的单位矩阵如下：单位矩阵有个特殊的性质，任何矩阵与单位矩阵相乘结果都是它本身。

也就是对任意矩阵M和适合的单位矩阵I，有MI=M。

注意对1×1矩阵这种特殊情况，[1]，这个性质退化为一个简单的事实，就是任何标量乘以1都等于其自身。

没有关于矩阵除法的定义。

然而，对一些方阵有一个逆矩阵的概念。

矩阵M的逆矩阵表示为M－1，并有性质：MM－1=I。

求矩阵的逆的运算超出本章的范围（如果想知道详细的求解算法，请看本章后面的参考文献）。

只有方阵才有逆矩阵，而且不是所有的方阵都存在逆矩阵。

一个具有逆矩阵的方阵称为可逆矩阵。

在前面几节使用的矩阵有一个不寻常的性质，就是它是自逆的。

可以容易地用矩阵乘法进行验证，AA=I。

因此，A的逆A－1＝A（这不是典型的例子）。

可简单地认为和标量情形类似。

标量x的逆是1/x。

如果我们把一个标量x和它的逆1/x 相乘，会得到单位标量1。

关于单位矩阵和逆矩阵是数学中普遍的、著名的概念。

2特征值和特征向量一个高级一点的和矩阵相关的话题是矩阵的特征值和特征向量。

定义如下：假设我们有方阵M，并且能找到一个向量x和一个标量λ满足如下方程：那么这个向量x称为矩阵M的特征向量，λ称为特征值。

我们不解释如何计算特征值和特征向量（欲知细节请看参考文献），但我们会简单地讨论其性质。

作为一个例子，考虑一个简单的矩阵。

首先看向量和标量λ＝7是矩阵F的特征向量和特征值，原因如下：事实上，0向量是所有方阵的特征向量。

而且任意的标量都是与之相应的特征值。

我们能够发现一个有趣的特征值和特征向量对。

向量和标量λ＝5是F的特征向量和特征值，原因如下：我们能够通过把前面的特征值和特征向量乘以2得出另一个特征向量和特征值。

也就是，我们能轻易地得到和λ＝10也是F的特征向量/特征值。

一般来说，如果我们有一个矩阵的特征向量/特征值，那么任何值乘以x和λ也会得到特征向量/特征值对。

这里F有一个以上的特征值和特征向量不是通过乘以和λ＝5得到的。

特征向量和特征值λ＝3（和所有通过对它们相乘得到的特征向量和特征值）。

这个矩阵有多少特征向量和特征值？总的来说，一个n×n矩阵最多有n个不是通过其它向量的相加和乘以标量方式得到的特征向量（零特征向量除外）。

在特征向量和特征值背后的直观的解释是什么？如我们在2.2.3所做的，让我们把矩阵相乘看成向量的转换。

如在2.2.3节中的图，当我们把一个矩阵和一个向量相乘，向量被转换。

如果我们认为向量是一个从原点出发而指向外面的有向线段，则特征向量是一个只改变长度的，但不改变方向的特殊的向量。

特征值是矩阵相乘中改变长度的因子。

为了举例说明，再考虑矩阵，和F的特征向量和特征值。

让我们画出和，并注意x和Fx间的关系。

另一方面，向量不是F的特征向量。

注意到在下面画出的y和Fy没有展示出来这个特殊的关系。

特征向量和特征值作为一个对矩阵有益的总结，在线性代数中有关于特征向量和特征值的深奥的理论。

更多的对特征向量和特征值的解释请看参考文献。

3协方差矩阵和正定矩阵如果我们有两个均值为μx，μy随机变量X和Y，我们定义X和Y之间的协方差为：我们定义X和Y的方差－协方差矩阵（经常称为协方差矩阵）如下：协方差矩阵明显是方阵，由于cov(X,Y)=cov(Y,X)，协方差矩阵是对称的。

协方差矩阵的一个不明显的性质是所有的特征值都是正的。

一个特征值都为正的对称方阵就称为正定矩阵。

我们也定义X和Y的相关矩阵如下：相关矩阵也是对称的、正定的方阵。

我们能够把协方差和相关矩阵的概念推广到多于两个随机变量的情形。

这些矩阵将也是对称、正定的方阵。

下面是一个关于三个随机变量X，Y和Z的协方差矩阵的一个例子：4 距离的概念距离是在传统统计学和数据挖掘中衡量接近程度的关键度量。

在分类中，如果观测点x 和z 是“接近的”，就会假设这两个点属于同一类。

然而，我们如何衡量接近程度或距离呢？ 在详细介绍不同距离度量方式前，让我们回顾一些距离的基本性质，包括对称性、区别性、三角不等式。

1. 对称性：给定两个观测点x 和z ，它们之间的距离D(x,z)应等于观测点z 和x 之间的距离，也就是D(x,z)=D(z,x)≥0；2. 区别性：给定两个观测点x 和z ，如果D(x,z)=0，那么x 和z 是相同的观测点。

如果D(x,z)≠0，那么x 和z 是不同的；3. 三角不等式：给定三个观测点x,z 和w ，D(x,z)≤D(x,w)+D(w,z)。

这个性质是说任意给定的三角形的一个边小于另两条边之和。

注意：有时我们放松了这个条件。

一个简单常用的距离度量是欧几里德距离。

假设向量x 和z 是d 维向量，其中x i 和z i 分别是向量x 和z 的第i 个元素。

则欧几里德距离定义如下：通常，我们简化处理欧几里德距离（）使得概念简明（注意根据平方根是单调，那么ED(x,z)>ED(x,w)意味着ED(x,z)∑=−=d i ii z x z x ED 122)(),(2>ED(x,w)2。

由于我们仅关注成对的相对的距离，用距离或平方距离关系不大）。

然而，欧式距离是依赖于标度的。

例如，假设第一维是个体的“高度”，第二维是“重量”。

如果我们用“英尺”来衡量而不是“英寸”来表示高度，或者用“磅”而不是“千克”，那么个体x,z,w 间的相对距离也许会改变。

在一组度量单位下也许x 和z 比与w 更近，但不同的度量单位也许会改变这个关系（尽管每个个体的物理特征明显是相同的）。