kl变换及例题

DKLT的性质
(2)最佳逼近性
rr yi ti 'x
i 1,2,L, m ; m n
n
2(m) i min
i m 1
采用同等维数进行表示，该结果与原始数据的
均方误差最小
(3)使能量向某些分量相对集中，增强随机 向量总体的确定性（即得到主要成分）
何谓主轴及主成分表示
1 2
11,
r
i是 Rxr的特征值，而 ti 是相应的特征向量。
利用上式有:
n
n
n
2 (m) ti ' Rxti ti 'iti i
i m 1
i m 1
i m 1
用“截断”方式产生x的估计时，使均方误差最 小的正交变换矩阵是其相关矩阵Rx的前m个特征 值对应的特征向量构成的。
DKLT的性质： 1. 使变换后产生的新的分量不相关 2. 以部分新分量表示原向量均方误差最小 3. 使变换向量更趋确定、能量更趋集中
设 n 维随机向量 xr ( x1, x2,L, xn )T ，其均
[ ] 值向量 xr E[xr]，相关矩阵 Rxr E xr xrT ，协方 [ ] 差矩阵Cxr E (xr - xr)(xr - xr)T ，xr 经正交变换后
多重判别分析：考虑模式类可分离性
成分分析：用较少数量的特征对样本进行描 述，减少或去除冗余信息（去相关、信息压 缩）
所谓成分分析，即有可能将认为是不重要的成分 去除或用较少数据粗略表示，从而减少数据量， 实现特征降维
7.1 K-L变换的定义与性质
离散K-L变换（DKLT），又称霍特林 (Hotelling)变换或主分量分解，它是一种基 于目标统计特性的最佳正交变换
wdD yD
xi wi1 y1 wi2 y2 wiD yD wiT y 本质上说是高维→低维的投影
形式上可看是原始向量各分量的线性组合
由上章内容，此处关键是选择合适的变换，使 变换之后的数据保持足够的类别可分性
实现特征提取的途径
两类经典的处理方法
im1
im1

n
r ti
E ( xrxr)tri

nr r ti Rxti
im1
im1
yi

r ti
'xr
在T‘T=I的约束条件下,要使均方误差
n
2 (m) E[(x - xˆ)'(x - xˆ)] ti ' Rxti min
i m 1
为此设定准则函数J
nr r ti ' Rxrti -
n rr
i (ti 'ti -1)
由 Jr 0 可得
ti
i m 1
i m 1
r
(Rxr - i I )ti 0 i m 1,...,n
rr
即
Rxrti iti
i m 1,...,n
由
rr
Rxrti iti
i m 1,...,n 表明:
解：（1）
r m

1 5
5 i 1
xri(1)

1 5
5 i 1
xri(2)

r 0
Pˆ (1) Pˆ (2 ) 5 /10 1/ 2
（2）
rr 2
R E[xx']
i 1
Pˆ (i
)
E[
r x
(i
)
r x
(i)
'
]

1 [1 25
5 i 1
xri(1) xri(1) ' ]
1 [1 25
5 i 1
xri(2) xri(2) ' ]


25.4 25
25 25.4

（3）求R的特征值、特征向量
| R - I | (25.4 - )2 - 252 0 1 50.4, 2 0.4
r Rt j
r
r
jt j , j 1,2 t1



2



n
①变换后的向量的各分量不相关的
②i=E(yi2)，或i=E{[yi -E(yi)]2} (含义：方差)
DKLT使新的分量y1和y2不相关
两个新的坐标轴方向分别由t1 和t2 确定
x2
y2 r t2
r t1
y1
x1
通过K-L变换，消除了原有向量x的各分量之间的相 关性，从而有可能去掉那些带有较少信息的坐标轴 以达到降低特征空间维数的目的。
第7章 基于K-L展开式的特征提取
7.1 K-L变换的定义与性质 7.2 K-L变换特征提取的原理及应用 7.3 利用K-L变换进行人脸识别
实现特征提取的途径
考虑利用线性变换的方式实现降维
x WT y
x1 w11




xd wd1
w1D y1
i1
r 取前m项为 x 的估计值
xr
m
r yi ti
1 m n
i 1
其均方误差为 2 (m) E (x - xˆ)T (x - xˆ)
n
n
E[ yi2 ] E[ yi yi' ]
i m 1
i m 1
n
n
2 (m) E[ yi2 ] E[ yi yi ]
主轴
特征值大 方差大
主成分表示与类可分性
O Q
例: 已知两类样本
1 :{(-5,-5)', (-5,-4)', (-4,-5)', (-5,-6)', (-6,-5)'} 2 :{(5,5)' , (5,6)' , (6,5)' , (5,4)' , (4,5)'}
试用K-L变换做一维特征提取。
产生向量 yr ( y1, y2 ,L, yn )T
设有标准正交变换矩阵T，（即 T'T=I）
r y

T
rr 'x(t1
r t2
L
r tn
r )'x

ຫໍສະໝຸດ Baidu
(
y1,
y2
L
yn
)'
rr yi ti 'x
(i 1,2L, n)
r
x

(T
'
) -1
r y

T
r y

n
r
r
yiti （称为 x 的K-L展开式）
DKLT的性质
(1)r 变换后各特征分量不相关 y的自相关矩阵和协方差矩阵为
1

[ ] Ryr E
r y
r y
T

E[(T
r 'x)(T
'xr)']

T 'RxrT



1
2



n

[ ] C
r y

E
r (y
rrr -y)(y -y)'
T 'CxrT