KL变换特征提取

极值的坐标系统：


g(u j ) uTj ψu j j[uTj u j 1]
jd 1
jd 1
d du j
g(u j )
0,
j d 1,
,
(ψ jI)u j 0, j d 1, ,
令d 0可得结论： 以矩阵Ψ的本征向量作为坐标轴来展开x时，其截断均方 误差具有极值性质，且当取d个u j , j 1, 2, , d来逼近x时，
因为 Ψ E[xxT ] 来自样本，K-L坐标系将其作 了对角化，消除了原向量x各分量之间的相关 性。从而可能消去带有较少信息的坐标轴， 降低空间的维数。例如，简化坐标：
9.3 K-L展开式的性质
基于这些性质，K-L变换适用于特征提取。 性质一：展开系数互不相关 K-L展开式的第一个重要性质是展开系数彼 此无关的，即任意两个系数乘积的期望为
E[cic j ] E[uTi xxTu j ] iuTi u j iij
其中：ij为Kronecker积 。

j jd 1
式中 j 是矩阵Ψ的相应本征值。
结论
当取d个与矩阵Ψ的d个最大本征值对应的本征向量来 展开x时，其截断的均方误差和在所有其他正交坐标 系情况下用d个坐标展开x时所引起的均方误差相比为 最小。这d个本征向量所组成的正交坐标系称作x所在 的D 维空间的d维K-L变换坐标系，x在K-L坐标系上的 展开系数向量称作x的K-L变换。
复的系数
计算相关函数
R(t,
s)

E[
x(t)
x*
(s)]

E

n
n xnn (t)
k

* k
xk*k*
(s)

n 2 n (t)n(s)
n
b
a R(t, s)k (s)ds
n
2 n (t)
b
a k (s)n(s)ds

可以证明：
N
x(t)

lim
N
nN
xn
exp(
jn0t)
E[xn xm* ]

1 T2
E

T 0
T 0
x(t ) x*
(s)
exp(
jn0t )
exp(
jm0s)dsdt

平稳随机过程： 自相关函数等于其数学期望的2阶原点矩。
R(t, s) E[x(t)x*(s)]
k
2 k (t)
n
n 2 是上述积分方程的本征值，k (t)是相应的本征函数，
它们可通过解积分方程求得。因此，可以对一个具有连
续相关函数的随机过程，在任一给定区间a t b，用式
（9.6）进行正交展开。
在离散情况下
若对x(t)在区间T1 t T2中均匀采样，可以用下列向量 的形式表示x :
正交归一向量系u j，j 1, 2, , 展开，可得：

x c ju j j 1
假使只用有限项来估计x，即
d
xˆ c ju j j 1
由此引起的均方误差是
E[(x xˆ)T (x xˆ)]
因uTi u j
1, 0,
ji ji


E
E[x(t)x*(s)]

1 T2
E

T 0
T 0
x(t
)
x*
(s)
exp(
jn0t
)
exp(
jm0
s)dsdt

由于x(t)是周期性的，所以，R( ) R（t s）也是周期
性的，因此，可以用傅里叶级数表示为

R( ) bk exp( jk0 )
k
E[xn xm* ] b0n,,
nm nm
公式说明：
周期信号x(t)，当时n m，傅里叶系数xn和xm是互不相关
的，且R( )的第n个傅里叶系数等于x(t)的第n个傅里叶系
数的方差。 反之，为了使xn和xm互不相关，随机过程必须是周期性的。 假使给定的随机过程是非周期性的，其相关函数就不能简 单地用x(t)的傅里叶系数的方差表示出来。
x x(t1), x(t2 ), , x(tD )T
相应的相关函数是一个D D阶矩阵，它只有D个线性独 立的本征向量，因此，x的展开式为：
D
x c j j j 1
也可用最小均方误差准则来讨论离散情况下的K-L变换。
假使对向量集合xi，i 1, 2, 中的每一个x用确定的完备
系数ci的方差就是矩阵 E[xxT ]的第i个本征值，因此， 系数向量c [c1, c2, , cD ]T 的二阶矩矩阵可写成为：
E[ccT ] UT ΨU Λ，
式中U [u1,u2, ,uD ], Λ是矩阵Ψ的本征值对角矩阵，即Leabharlann Baidu
1

Λ
2




D
说明：
9.2 K-L展开
非周期随机过程： 正弦函数族不能使其傅立叶系数不相关，但是 可以寻找一个新的正交函数族ϕn(t)，使得其变 换系数互不相关 。 K-L变换定义
假设一个非周期随机过程，在区间[a, b]展开式为

x(t) n xnn (t), a t b n1
函数族ϕn(t)是正交的
b a
n
(t
)m*
(t
)

1, 0,
nm nm
变换系数互不相关
E[
xn
xm*
]

1, 0,
nm nm

称式 x(t) n xnn (t), a t b （9.6）
n1
为x(t)的 K-L 展开，其逆过程为K-L变换。
其中n是为使得自相关系数单位化引入的实或
第9章 基于K-L变换特征提取
线性变换法特征提取
9.1 傅立叶级数展开式
周期随机过程的傅立叶级数（三角级数）

x(t) xn exp( jn0t) n
其中，0 2 T ，T是随机过程x(t)的周期。
系数xn也是随机过程，且
xn

1 T
T
0 x(t) exp( jn0t)dt
c
2 j

jd 1

因c j uTj x E[ uTj xxT u j ] jd 1
由于u j是确定性向量，因此有

uTj E[xxT ]u j jd 1

令ψ E[xxT ] uTj ψu j jd 1
用拉格朗日乘子法，可以求出在满足正交条件下，取