现代数字信号处理及其应用论文——KL变换的应用

Karhunen-Loeve 变换的应用

摘要：本文对Karhunen-Loeve 变换的原理进行了说明，重点分析了K-L 变换的性质，结合K-L 变换的性质，对K-L 变换的具体应用进行了展示。利用K-L 变换在人脸识别、遥感图像特征提取、地震波噪声抑制、数字图像压缩、语音信号增强中的具体利用，深入总结了K-L 变换在模式识别、噪声抑制和数据压缩领域的重要性。

关键字： Karhunen-Loeve 变换 K-L 变换 K-L 展开

1、 Karhunen-Loeve 变换定义

1.1Karhunen-Loeve 变换的提出

在模式识别和图像处理等现实问题中，需要解决的一个主要的问题就是降维，通常我们选择的特征彼此相关，而在识别这些特征时，数据量大且效率低下。如果我们能减少特征的数量，即减少特征空间的维数，那么我们将以更少的存储和计算复杂度获得更好的准确性。于是我们需要一种合理的综合性方法，使得原本相关的特征转化为彼此不相关，并在特征量的个数减少的同时，尽量不损失或者稍损失原特征中所包含的信息。Karhunen-Loeve 变换也常称为主成分变换(PCA)或霍特林变换，就可以简化大维数的数据集合，而且它的协方差矩阵除对角线以外的元素都是零，消除了数据之间的相关性。所以可以用于信息压缩、图像处理、模式识别等应用中。

Karhunen-Loeve 变换，是以矢量信号X 的协方差矩阵Ф的归一化正交特征矢量q 所构成的正交矩阵Q ，来对该矢量信号X 做正交变换Y=QX ，则称此变换为K-L 变换（K-LT 或KLT ），K-LT 是Karhuner-Loeve Transform 的简称，有的文献资料也写作KLT 。可见，要实现KLT ，首先要从信号求出其协方差矩阵Ф，再由Ф求出正交矩阵Q 。Ф的求法与自相关矩阵求法类似。

1.2Karhunen-Loeve 展开及其性质

设零均值平稳随机过程u(n)构成的M 维随机向量为u(n),相应的相关矩阵为R ，则向量u(n)可以表示为R 的归一化特征向量M 21q ,q ,q 的线性组合，即i

M

i i q c n u ∑==

1

)(，此式称为u(n)的Karhunen-Loeve 展开式，

展开式的系数i c 是由内积 )(c i n u q H

i =M ,1,2,i =定义的随机变量，且有{}0E =i c ，

{}

⎩

⎨⎧≠==l i l

i c c i l

i ,0,E *

λ。 K-L 展开式具有以下四个性质：

(1)信号的最佳（压缩）表达：即均方误差最小，与每一维特征j u 对应的本证值i λ，反映了该维特征对表达原空间有效性的大小。

(2)新空间中的特征是互不相关的：[][

]

ij i j T

i i j T

j u u u xx E δλλ===T i i u c c E ，即变换后的特征向量

[]T

D 21c ,c ,c C =的二阶矩阵为：

[]

⎥⎥⎥⎥

⎦⎤⎢⎢⎢

⎢⎣

⎡=Λ==d T U U λλλψ000000000000cc E 21t 其中[]D 21u ,u ,u U =为变换阵[]T

x x

E =ψ。

（3）表示熵最小：用表示熵来考察用d 维坐标来表示D 维所完成的信息压缩的程度。考虑展开系数的方差对j λ。

进行归一化。D j D

i i

j

,,2,1,~

1

j ==

∑=λ

λλ，使∑==≤≤D j j 1

1~,1ˆ0λλ，定义熵为∑=-=D

j j j 1

R ~log ~H λλ。

（4）总体熵最小：很多情况下，类样本均值中包含了重要的分类消息。利用均值来代表各类样本设计分类器是最基本的设计方法，为考察用均值代表样本集所造成的不确定性，定义总体熵

)]([log p x p E H -=。

1.3Karhunen-Loeve 变换的定义

给定N 维随机变量：[

]T N

x x x x

=x 321 , n R x

∈ 。向量x

包含了N 个随机变量，每个随机变量的数学期望表示为：T

N i m m m E ) , ,, ()x (m 1x ==。其中N x m i

i ,1,2,i )E( ==。利用向量x

的数学期望，可以得到向量x 的协方差矩阵：))m -x )(m -x E((U T

x x

=。协方差矩阵U 的特征向量k

φ对应着其第k 个特征值k λ，则有：)1,,0(U -==N k k k k φλφ。U 是对称矩阵，所以其特征向量k φ是正交的，

即满足：⎩⎨⎧=≠≠=)

(,0)

(,0T k T k l k l k L L φφφφ。

归一化可以得到单位正交矩阵),,,(110-=ΦN φφφ ，使其满足I T

=ΦΦ，则N 个特征向量可以联合起来表示为：),,(111100--=ΦN N U φλφλφλ 。由于Φ是正交矩阵，因此在上式的两边可以分别左乘T

Φ，

得到Λ=ΦΦU T ，其中),,(10-=ΛN diag λλ 。

给定一维随机向量X ，可以定义X 的K-L 变换为：⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡Φ=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡n T

n x x x y y 2121y 。即X Y T Φ=，K-L 变换就是将

X 的所有分量投影在k φ得到频域映射k y 。T Φ是K-L 变换矩阵，显然它随着随机向量x

中每个成分的变化而改变。

变换后向量Y 的均值为x

T

T T m X E X E y E

Φ=Φ=Φ==)()()(m y ，Y 的协方差矩阵为： ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎪⎪⎪⎪⎪⎭

⎫ ⎝⎛=⎪⎪⎪⎪

⎪⎭⎫ ⎝⎛=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=ΦΦ=Φ--Φ=Φ--Φ=Φ-ΦΦ-Φ=-Φ-Φ=----------1101111001101101101101100000000),,,()

,,,(),,,()))(((()))((()))((()))((()))(((N N N T N T T N T N T T N T N T T T T

x

x T T x x T T

x

T T x T T T

y T x T T y y U U U U U m x m x E m x m x E m x m x E m x m x E m y m y E λλλφλφλφλφφφφφφφφφφφφφφφ Y 向量协方差矩阵是一个对角阵，说明Y 向量之间的相关性最小，而X 向量协方差矩阵非对角元素不为零，

说明X 向量有较强的相关性。由于1

-)(T

Φ=Φ，在K-L 变换两边分别乘以Φ可以得到X ，即X Y T

ΦΦ=Φ，

这就是K-L 反变换。

1.4Karhunen-Loeve 变换的特点 Karhunen-Loeve 变换具有如下特点：

（1）去相关特性：K-L 变换后，Y 向量的协方差矩阵是一个对角阵，因而其向量间的相关性最小。 （2）能量集中性：所谓能量集中性，是指对N 维矢量信号进行K-L 变换后，最大的方差集中在前M 个低次分量之中（M

（3）最佳特性：K-L 变换是在均方误差测度下，失真最小的一种变换，其失真为被略去的各分量之和。由于这一特性，K-L 变换被称为最佳变换。许多其他变换都将K-L 变换作为性能上比较的参考标准。

（4）K-L 变换非常复杂度很高，无快速算法，且变换矩阵随不同的信号样值集合而不同。这是K-L 变换的一个缺点，是K-L 变换实际应用中的一个很大障碍。