KL变换

1. 主分量分析（PCA ）、K-L 变换（Hotelling 变换） 一般而言，这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。

设s j x j ,...,1:=是N 维向量的数据集合，m 是其均值向量：

有了特征向量集合，任何数据x 可以投影到特征空间（以特征向量为基向量）中的表示：

相反地，任何数据x 可以表示成如下的线性组合形式：

如果用A 代表以特征向量为列向量构成的矩阵，则A T 定义了一个线性变换：

上述去相关的主分量分析方法可以用于降低数据的维数。通过略去对应于若干较小特征值的特征向量来给y 降维。例如，丢弃底下N-M 行得到N M ⨯的矩阵B ，

k

k s

j T

j j x j j j s

j j u d d s C m

x d d x s m 向量及满足下列条件的特征特征值求出其从大到小排列的协方差矩阵是：

是：

差别向量λ∑∑===-==1

1

11⎩⎨⎧≠===k

l k l u u k

l k T l ,0,1,δT N T k k y y y y m x u y ),...,,(,)(21=-=∑=+=s k k k u y m x 1⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡==+=-=N x T y T A C A C A Ay m x m x A y λλ00()

(1 ：

变换后的协方差矩阵为是正交矩阵）

并为简单起见假定均值m=0，则有：

它只是被舍弃的特征向量所对应的特征值的和。通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。

上述方法是图象数据压缩的数学基础之一，通常被称为Principal Component Analysis (PCA)或Karhunen-Loeve (K-L)变换。

K-L 变换的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。一种常采用的方法是根据如下的推导：

由于通常s<

K-L 变换是图象分析与模式识别中的重要工具，用于特征抽取，降低特征数据的维数。例如，MIT-Media Lab 基于特征脸的人脸识别方法。

/vismod/demos/facerec/

2. 奇异值分解（SVD ）

奇异值分解（Singular Value Decomposition ）是矩阵分析中正规矩阵酉对角化的推广。设矩阵A 是n m ⨯的秩为r ，它的奇异值是指n 阶方阵A H A （或m 阶方阵AA H ）的正特征值的平方根 (A H 是A 的共轭转置)。奇异值分解是指如下形式的分解：

∑+==

==N M k k

T MSE y B x x Bx y

1ˆˆˆλ为：

来近似。近似的均方差仍可通过而的特征向量。

就是可见得到

上式两边左乘的特征向量维考虑其中维T x i i

i i T i

i i T i

T s T x AA C Av Av Av AA A v Av A v s s A A d d A N N AA C ===⨯=⨯=μμ)()

,...,()(1

对于图象数据而言，任意一个N N ⨯的矩阵A 定义的奇异值变换为：

3. DCT 与K-L 变换的关系

马尔可夫（Markov ）过程 一个静态随机序列称为一阶Markov 序列，如果序列中每个元素的条件概率只依赖于它的前一个元素。一个1⨯N 的Markov 序列的协方差矩阵具有以下形式：

10 ,111132132

212≤≤⎥⎥⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎢⎣⎡=------ρρρρρρρρρρ

ρρρ

N N N N N N x C 其中，相邻两元素之间的相关系数：

[]1,,1,0,,-==-N j i c j i ij x ρ

这个协方差矩阵的特征值和特征向量（K-L 变换正交矩阵的元素）为：

22

)cos(211ρ

ωρρλ+--=j i )

cos(2)cos()sin()1()tan( 1-.N 0,1,j i, 2)1(2)1()1(sin 222j ωρρωωρωωπωλ+---==⎭⎬⎫⎩⎨⎧++⎥⎦⎤⎢⎣

⎡+-++=

N j N i N v j i ij 是下面超越方程的根其中 i i r H V U V U A λσσσ=⎪⎪⎪⎭

⎫ ⎝⎛=∆⎪⎪⎭⎫ ⎝⎛∆=000001 是酉矩阵，和其中.V U A A N N A A AA V U AV

U V U A T T T T =⨯Λ=ΛΛ=是对称的，则如果的奇异值。

包含的对角阵，沿其对角线为特征向量，和的列分别是和其中其反变换

在ρ趋近1时有

N

v i 10,= N

j i N N j i N v j i 2)12(cos 22)21(sin 2,+=⎥⎥⎦⎤⎢⎢⎣⎡++=πππ 与DCT 变换相同。

对于自然景物，通常有1≈ρ。这时DCT 的基向量可以很好地近似K-L 变换的基向量。由于这个原因，在图象压缩算法中常被用来代替K-L 变换，如JPEG 算法。尽管DCT 在降低谱的相关性方面不如K-L 变换有效，但是其好处是它的基函数是固定的，而K-L 变换的基函数取决于待变换图象的协方差矩阵。

其它参考文献：

1. Markus Grob, Visual Computing---The Integration of Computer

Graphics, Visual Perception and Imaging, Springer-Verlag, 1994.

2. 余鄂西，矩阵论，高等教育出版社，1995。

(1)KL 变换

KL 变换是遥感图像增强和信息提取中用得最多的线性变换，是对原波段图像进行波谱信息的线性投影变换，在尽可能不减少信息量的前提下，将原图像的高维多光谱空间的像元亮度值投影到新的低维空间，减少特征空间维数，达到数据压缩、提高信噪比、提取相关信息、降维处理和提取原图像特征信息的目的，并能有效地提取影像信息。它可使原来多波段图像经变换后提供出一组不相关的图像变量，最前面的主分量具有较大的方差，包含了原始影像的主要信息，所以要集中表达信息，突出图像的某些细部特征，可采用主分量变换来完成。

K-L 变换

K-L 变换（ Karhunen-Loeve Transform ）是建立在统计特性基础上的一种变换，有的文献也称为霍特林（Hotelling ）变换，因他在1933年最先给出将离散信号变换成一串不相关系数的方法。K-L 变换的突出优点是相关性好，是均方误差（MSE ，M ean Square Error ）意义下的最佳变换，它在数据压缩技术中占有重要地位。