矩阵理论与图像处理

y ( y1 , y 2 ,..., y N ) T
相反地， 任何数据 x 可以表示成如下的 线性组合形式：
1 , l k u lT u k l , k 0 , l k
x m yk uk
k 1
s
如果用 A 代表以特征向量为列向量构成的 矩阵，则 AT 定义了一个线性变换： 子集。相应的基向量组满足正交性且由它 定义的子空间最优地考虑了数据的相关 性。将原始数据集合变换到主分量空间使 单一数据样本的互相关性降低到最低点。 一下是其运用的原理： 设
弃底下 N-M 行
y A (x m)
T
x m Ay ( A 是正交矩阵） 变换后的协方差矩阵为 1 T Cy A Cx A 0 ： 0 N
上述去相关的主分量分析方法可以用于降 低数据的维数。通过略去对应于若干较小 特征值的特征向量来给 y 降维。例如，丢
x j : j 1,..., s
上述去相关的主分量分析方法可以用于降 低数据的维数。通过略去对应于若干较小 特征值的特征向量来给 y 降维。例如，丢
是 N 维向量的数据集
合，m 是其均值向量：
5
矩阵理论应用
y AT (x m) x m Ay ( A是正交矩阵） 变换后的协方差矩阵为 ： 0 1 Cy A Cx A N 0
矩阵理论应用
信息，没有任何证据能够避免不同的"类"
m
的矩阵能够有更加近似的特征值。所谓的 矩阵分解方法，类内最小距离方法 (Fisher)，都有一个令人不愉快地前提， 那就是本身就要保证类内的矩阵，其欧式 距离足够小----这个欧式距离的大小往往 又和人的几何拓扑直观不符)。由于矩阵本 身不具有预定义的拓扑学信息，那么同类 图像间欧式距离增加的时候，无法做到良 好的分类。 矩阵论在图像中的应用比如有 PCA 方 法，选取特征值最高的 k 个特征向量来表 示一个矩阵，从而达到降维分析+特征显示 的方法。一般而言，这一方法的目的是寻 找任意统计分布的数据集合之主要分量的
此，通过特征向量/值可以完全描述某一几 何空间这一特点，使得特征向量与特征值 在几何（特别是空间几何）及其应用中得 以发挥。 所谓的特征矩阵，就是原矩阵如何与 一个 x 维的数量矩阵相似。Lamda(i)说明 了相似投影与一个 x 维线性空间的第 i 维 坐标轴，Lamda(i)是放缩比例。Lamda(i) 之间的顺序是不重要的，因为坐标轴之间 的交换是初等线性变换，不影响代数拓扑 的性质。特征向量 xi 表明 A 如何把线性组 合投影到一个坐标轴上。所谓的特征向量，
1 引言
矩阵是高等代数学中的常见工具， 也常 见于统计分析等应用数学学科中。在物理 学中，矩阵于电路学、力学、光学和量子 物理中都有应用；计算机科学中，三维动 画制作也需要用到矩阵。 矩阵的运算是数 值分析领域的重要问题。将矩阵分解为简 单矩阵的组合可以在理论和实际应用上简 化矩阵的运算。而矩阵中的特征值和特征 向量是在矩阵理论的研究过程中有着非常 重要的意义。 21 世纪是一个充满信息的时代，图像 作为人类感知世界的视觉基础，是人类获 取信息、表达信息和传递信息的重要手段。 图像处理一般指数字图像处理。既然是数 字图像就可以考虑是不是可以用矩阵的方
T
是 m*n 的矩阵,n>m，那么特征向量就是 m 个(因为秩最大是 m)，n 个行向量在每个特 征向量 E 上面有投影，其特征值 v 就是权 重。那么每个行向量现在就可以写为 Vn=(E1*v1n,E2*v2n...Em*vmn)，矩阵变成 了方阵。如果矩阵的秩更小，矩阵的存储 还可以压缩。再: 由于这些投影的大小代 表了 A 在特征空间各个分量的投影，那么 我们可以使用最小 2 乘法，求出投影能量 最大的那些分量，而把剩下的分量去掉， 这样最大限度地保存了矩阵代表的信息， 同时可以大大降低矩阵需要存储的维度。
ˆ Bx y ˆ BT y ˆ 来近似。近似的均方差 为： 而x仍可通过 x MSE
k M 1
wk.baidu.com

N
k
上述方法是图象数据压缩的数学基础 之一，通常被称为 Principal Component Analysis (PCA)或 Karhunen-Loeve (K-L) 变换。 K-L 变换的核心过程是计算特征值和 特征向量，有很多不同的数值计算方法。
矩阵理论应用
矩阵理论与图像处理
陈清早
( 电信科学技术研究院 PT1400158 ) 摘 要：特征值，特征向量在矩阵理论中有着非常重要的地位。不管是求解特征方程，谱分解， 奇异值分解等都用到了特征值，特征向量。它们都是处理生活中很多事情的基础。而在这个信息高速发 展的时代，图像处理及应用，也对我们的生活起着非常重要作用。那么特征值，特征向量与图像处理有 着怎样的联系呢？这篇报告就是简单陈述它们之间的关系。 关键字：特征值；特征向量；图像处理
对应于特征值
的特征向量。 变换的效果是什么呢？这当然与方阵的构
特征值和特征向量的性质： 造有密切关系，比如可以取适当的二维方 (1). ， 阵，使得这个变换的效果就是将平面上的 二维向量逆时针旋转 30 度，这时我们可以 (2).若 是 也是 的特征向量，则对 ， 问一个问题，有没有向量在这个变换下不 改变方向呢？可以想一下，除了零向量， 是 的特征 没有其他向量可以在平面上旋转 30 度而不 改变方向的，所以这个变换对应的矩阵(或 者说这个变换自身)没有特征向量(注意： 特征向量不能是零向量)，所以一个特定的
3
矩阵理论应用
综上所述，特征值只不过反映了特征 向量在变换时的伸缩倍数而已，对一个变 换而言，特征向量指明的方向才是很重要 的，特征向量有如此的作用，那么特征值 又有什么作用呢。下来我们了解 Spectral theorem（谱定律）。 Spectral theorem 的核心内容如下： 一个线性变换（用矩阵乘法表示）可表示 为它的所有的特征向量的一个线性组合， 其中的线性系数就是每一个向量对应的特 征值，写成公式就是：
2
的特征向量。 的特征值， 则 是 的特征值。 是 的 个特征值，
(3).若 是 值，从而 (4).
为依次对应的特征向量，若
矩阵理论应用
变换特征向量是这样一种向量，它经过这 种特定的变换后保持方向不变，只是进行 长度上的伸缩而已(再想想特征向量的原 始定义 Ax=kx, kx 是方阵 A 对向量 x 进行 变换后的结果，但显然 cx 和 x 的方向相 同)。 这里给出一个特征向量的简单例子， 比如平面上的一个变换，把一个向量关于 横轴做镜像对称变换，即保持一个向量的 横坐标不变，但纵坐标取相反数，把这个 变换表示为矩阵就是[1 0;0 -1]（分号表 示换行），显然[1 0;0 -1]*[a b]'=[a -b]' （上标'表示取转置），这正是我们想要的 效果，那么现在可以猜一下了，这个矩阵 的特征向量是什么?想想什么向量在这个 变换下保持方向不变，显然，横轴上的向 量在这个变换下保持方向不变(记住这个 变换是镜像对称变换，那镜子表面上(横轴 上)的向量当然不会变化)，所以可以直接 猜测其特征向量是[a 0]'（a 不为 0），还 有其他的吗？有，那就是纵轴上的向量， 这时经过变换后，其方向反向，但仍在同
矩阵理论应用
一种常采用的方法是根据如下的推导： 由于通常 s<<N，这种方法将求高阶矩 阵的特征向量转化为求较低阶矩阵的特征 向量的过程在图象数据分析中是很实用 的。 K-L 变换是图象分析与模式识别中的 重要工具，用于特征抽取，降低特征数据 的维数。例如，MIT-Media Lab 基于特征脸 的人脸识别方法。 不过，PCA 有天生的缺点，就是线性矢
（称之为 根
的特征方程）由此可解出 （在复数范围内），这就是
个
不是很清楚，我也是看了别人的理论讲解， 才略微理解了一二。让我们一起去了解下。
的所有特征值。 根据某个特征值 组 就是 ，代到线性方程
根据特征向量数学公式定义，矩阵乘 以一个向量的结果仍是同维数的一个向 量，因此，矩阵乘法对应了一个变换，把 解出非零解 ，这 一个向量变成同维数的另一个向量，那么
1 s xj s j 1
差别向量d j 是： d j xj m 协方差矩阵是： Cx 1 s d j d Tj s j 1
求出其从大到小排列的特征值 k 及满足下列条件的特征向量u k
有了特征向量集合，任何数据 x 可以投影 到特征空间（以特征向量为基向量）中的 表示：
T yk uk ( x m) ,
一条轴上，所以也被认为是方向没有变化， 所以[0 b]'（b 不为 0）也是其特征向量。 特征向量有什么具体的物理意义? 例 如一个驻波通过一条绳子，绳子上面的每 个点组成一个无穷维的向量，这个向量的 特征向量就是特征函数 sin(t)，因为是时 变的，就成了特征函数。每个点特征值就 是每个点在特定时刻的 sin(x+t)取值。再 如，从太空中某个角度看地球自转，虽然 每个景物的坐标在不断的变换，但是这种 变换关于地球的自传轴有对称性，也就是 关于此轴的平移和拉伸的坐标变换不敏 感。所以地球自转轴，是地球自转这种空 间变换的一个特征向量。Google 的 PageRank，就是对 www 链接关系的修正邻 接矩阵的，主要特征向量的投影分量，给 出了页面平分。有什么特性呢? AB 和 BA 有 相同的特征向量----设 AB 的特征向量为 x， 对应的特征值为 b，则有(AB)x = bx，将上 式两边左乘矩阵 B，得 B(AB)x = (BA)(Bx) = b(Bx)，故 b 为 BA 的特征值，对应的特 征向量为 Bx。反之亦然。
1
法来处理一些问题。在这里，我们就简单 的了解下矩阵理论中很重要的两个知识 点，特征值和特征向量在图像处理中的应 用。下面就让我们一起来看看矩阵特征值 与特征向量在图像处理中是如何发挥它们 的作用的。首先我们来了解下此篇报告中 将要涉及的矩阵基本知识：特征值、特征 向量。 2
特征值，特征向量
是 阶方阵，若有数 。称数 是 对应于特征值
变换定义： 设
和非零向量 ，使得 的特征值，非零向量 是 的特征向量。 特征值和特征向量的求法：
矩阵理论应用
由
得
， 并且由于 ， 无关。
各不相同，则
线性
是非零向量，故行列式 即
3 图像中的应用
了解了这些有关特征值和特征向量的 基本知识后，其实，大家都很难想象这些 与图像处理有什么联系。其实，我自己也
把矩阵 A 所代表的空间，进行正交分解， 使得 A 的向量集合可以表示为每个向量 a 在各个特征向量上面的投影长度。例如 A
6
考虑 A T A ( s s维)的特征向量 v i A T Av i i v i 上式两边左乘 A得到 AA T Av i i Av i 可见 Av i 就是 C x AA T 的特征向量。
我们知道，一个变换可由一个矩阵乘法表 示，那么一个空间坐标系也可视作一个矩 阵，而这个坐标系就可由这个矩阵的所有 特征向量表示，用图来表示的话，可以想 象就是一个空间张开的各个坐标角度，这 一组向量可以完全表示一个矩阵表示的空 间的“特征”，而他们的特征值就表示了 各个角度上的能量（可以想象成从各个角 度上伸出的长短，越长的轴就越可以代表 这个空间，它的“特征”就越强，或者说 显性，而短轴自然就成了隐性特征），因
弃底下 N-M 行得到 M N 的矩阵 B，并为简 单起见假定均值 m=0，则有： 它只是被舍弃的特征向量所对应的特 征值的和。通常，特征值幅度差别很大， 忽略一些较小的值不会引起很大的误差。 具体的说，求特征向量的关系，就是
C x AA T ( N N维) 其中 A ( d 1 ,..., d s )
4
就是一组正交基集合。 在图像处理的问题域中，把图像看成 矩阵本身，那么图像的分类问题就是同类 矩阵被认为有相同或者代数近似的"不变 量"。显然，"同类"是一个主观假设划定的 类，而不是通过计算来"确定"的类。这导 致了一个问题，所谓的不同类型，其意义 是对于人的主观理解能力而言，是先验的， 不是通过计算得到的后验，它本身不代表 任何数理逻辑上的可判定信息。如果以矩 阵的特征向量或者特征值矩阵作为分类的