第8章：信号处理中常用的正交变换
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
使 y 的协方差阵 C y 为对角阵。
这样
y [ y(0), y(1),
, y( N 1)]
T
之间彻底去除了相关性。
步骤：
1. 由 求 Cx 的特征值
Cx
N
3. 将
归一化，即令
4. 由归一化的
构成正交阵
A
Ax实现对 5. 由 y Ax
x 的 K—L 变换： x
y
K—L 变换的应用－数据压缩：
1
i 为 特 征 值 ， Ai 为 特 征 向 量 。
背景问题 2： 如 何 变 换 ， 使 变 换 的 后结 果 中 较 小 分 量 丢后 掉， 信号损失的能量最小 — 降维和降噪中的应用 ( PCA)。 ˆ AT y ˆ x AT y x
特征值分解
PCA用于信号降噪
x1 x 2 xm
信号的正交变换
给定数据向量：x [ x(0), x(1), 及算子 作变换
若：
, x( N 1)]
T
AN N
y Ax
Ax, Ax x, x y, y
矩阵 A A 的 行（列）向 量即是前面 的向量
i
则上述变换即为正交变换，或保范（数） 变换。
AN N 实际上是正交矩阵，
令 是Markov-1 随机序列相邻两元素之 间的相关系数，则该序列的协方差矩阵有如 下关系：
[ Rx ]i , j
i j
, i, j 0,1,
, N 1,
1
N 2 N 3 1
N 1
1 2 Rx N 1
正交变换 A具 有 下 列 性 质 ： （ 1 ）A1 AT ; AA 1 AAT I ; (2)对N维 离 散 信 号 xN M , 存 在 正 交 变 换 A, 0 Ax ( Ax )T AxxT AT AxxT A1 N
A A
T
1
以上正交变换是从线性代数的角度来定义。
正交变换的性质：
性质1：正交变换的基向量即是其对偶基向量。
由性质1可知正交变换具有如下的优点：
1. 若正变换存在，那么反变换一定存在， 且变换是唯一的； 2. 正交变换在计算上最为简单。如果是离 散信号，且 N 是有限值，那么变换只是简 单的矩阵与向量运算：
x2 x3 xm 1
x'1, 2 x '2 , 2 x 'm , 2
x3 x4
xm 2 xi m 1
x'1,3 x'1,i x ' 2 , 3 x '2 , i x 'm , 3 x 'm , i
1 ˆj x min{m, min{j, N j 1}}
x ( n)
n 0
N 1
x (n) cos
n 0 N 1 n 0
N 1
(2n 1)k , k 1,2, , N 1; 2N
或合写为： X c (k ) x (n)C k ,n 2 (2n 1)k x ( n) g (k ) cos , k , n 1,2, , N 1; N 2N n 0
2 * n
| n | || ||
2 n
2
此性质实际上是 Parseval’s 定理，即信号 变换前后能量保持不变。 注意，只有正交变换才有此性质。
性质4：信号正交分解具有最小平方近似性质。
x n n n , n
n 1
N
ˆ n x
n 1
y Ax
3. 反变换：
xA yA y
T
1
不需要求逆，特别有利于硬件实现
性质2：展开系数是信号在基向量上的准确投影
非正交基的情况下，“基向量” 称为“标架（ Frame) ” , 这时，展 开系数不是准确投影。
性质3：正交变换保证变换前后信号的能量不变，
此性质又称为“保范(数)变换”。
|| x || x(n) x (n) x, x
y Ax
xA y
T
y(0) A0 y(1) A1
y( N 1) AN 1
截短
x 的 K—L 展开
ˆ y(0) A0 y(1) A1 x
y(m) Am
m N
欲使均方误差：
ˆ] E [ x x
2
为最小
应是 Cx 的特征向量。 这时 由于用
xX X
N n 1
，都可作如下分解：
x n n
x n n
n 1
N
信号的离散表示,或 信号的分解
1 , 2 ,
由 由
, N 是分解系数
或信号的变换
x 1 , 2 ,
, N 正变换
反变换
1 , 2 ,
, N x
Step 1:
设想另有一组向量
ˆ1 , ˆ2 ,
正交变换的实例： FS,FT, DTFT, DFS, DFT DCT,DST, DHT Walsh-Hadamard, Haar 变换 SLT(斜变换）
正弦类正 交变换 非正弦类 正交变换
正交基的选择原则： 具有所希望的物理意义或实用意义； 正交基函数应尽量简单，计算量小； 最大限度浓缩信号能量，去除相关性； 基函数应能同时具有频域和时域的定位功能。
L
n
ˆ) ( x, x
2
最小的条件： n n , n 1,
,L
ˆ) ( x, x
2
n L 1
N
2 n
性质5：正交变换的系数具有去除相关和集
中能量的性质。
A
0 ACA1 ACAT
C
N 1
1
n 1
N
对
1 , 2 ,
ˆ1 , ˆ2 ,
则称
, N ˆN ,
如果：
ˆi i i 1,2, , N
1 , 2 ,
, N 为一组正交基。
一组正交基满足：
1 i j i , j i j 0 i j
注意：满足双正交关系的两组基向量各自并不 满足正交关系，只是相互之间满足正交关系。
x'1,1 x' 2,1 x'm,1
x j j 1,, N
xi xi 1 xN m 1 xN m 2 xN
x'1, N m 1 x'2, N m 1 x'm, N m 1
i m 1
N 1
i
最小
y(0), y(1),
表示
, y(m) m N
x
注意：对正交变换 y Ax
yy
（即
不是时域序列，而是
x 的变换系数
i
） ，如 DFT 的 X ( k ) 。正交变
换后，信号的能量一般集中在少数的变换系
数上，所以可以舍去绝大部分系数，这并不
明显损失信号的能量。由剩下的少量系数，
第8章
信号处理中常用的正交变换
目录
8.1 希尔伯特空间中的正交变换 8.2 K-L变换
8.3 离散余弦变换(DCT)与离散正弦变换(DST)
8.4* 离散Hartley变换(DHT) 8.5* 离散W变换(DWT) 及正弦类变换 8.6* DCT、DST及DWT快速算法简述 8.7* 图象压缩简介
满足：
பைடு நூலகம்
ˆN ,
1 i j ˆ j i j i , 0 i j
双正交关系( biorthogonality)
Step2:做内积
x n n
n 1
N
ˆ j n n , x, ˆj
n 1
N
ˆ j j n n ,
k l 1 j
x'
k ,l
j 1,, N
有趣发现:相位不变。
阶次与截止频率？
K—L 变换
数据向量： 协方差阵：
(Karhunen--Loeve)
x [ x(0), x(1),
c0,1 c0,0 c1,0 c1,1 c c N 1,0 N 1,1
N 1
1 / 2 k 0 gk 1 k0 X c C N x;
T x CN Xc ,CN为 正 交 矩 阵
DCT 的特点
DCT 是实变换； DCT 是正交变换； 在一定条件下，DCT近似 K-L 变换； DCT有快速算法。 正因为DCT有上述特点，因此，DCT
p[ X (tn1 ) xn1 X (tn ) xn , X ( tn1 ) xn1, , X ( t0 ) x0 ]
p[ X (tn1 ) xn1 X (tn ) xn ],
X (tn )
X (n)
则称 X ( t ) 为一阶马尔可夫过程。该式的含 意是：已知过程在现在时刻的状态，那么， 下一个时刻的状态只和现在的状态有关，而 和过去的状态无关。
, x( N 1)]
c0, N 1 c1, N 1 cN 1, N 1
T
C x E ( x x )( x x )T
体现了信号 各元素之间 的相互关系
Cx (i, j) Cx ( j, i)
K—L 变换的思路： 寻找正交矩阵 A ，做变换 y Ax ，
1 ˆ ˆ 可以很好的 如 y ，通过反变换 ˆ xA y
恢复出原信号。从而达到数据压缩的目的。
K—L 变换：
变换的正交矩阵 依赖待变换的信号。信号发生变化时，要重新 求变换矩阵。特征值和特征向量的计算是相当 费时的，因此，K—L变换没有快速算法。这就 限制了K—L变换的实际应用。
去相关性最彻底，在此意义上是最佳正交变换；
方向
8.3 离散余弦变换（DCT）
给定： x(n), n 0,1,
定义：
, N 1
D C T 的 定 义
变换域
构成一矩阵，是 变换的核函数
DCT的核 函数，
g0 1 2; gk 1 for k 0
DCT矩阵
离散余弦变换(DCT)
离散余弦变换 ( DCT ) : 1 X c (0) N X c (k ) 2 N
1
i 为 特 征 值 ， Ai 为 特 征 向 量 。
(3)正 交 变 换 的 结 果 ， 可 看 以成 向 量 在 标 准 正 交底 基上 的 投 影 ， 或者新基底上的向量。 （4 ） 投 影 的 结 果 能 否 减分 少量 的 相 关 性 、 能 否现 出能 量 集 中 ， 取决于基函数。
8.8* 重叠正交变换
8.9 与本章内容有关的MATLAB文件
希尔伯特空间中的正交变换
赋范线性空间 内积空间 完备的内积空间（希尔伯特空间）
信号的分解
概念：
设空间 X 是由 N 维空间一组向量 1 , 2 , , N 所张成，即 X span{1 , 2 , , N } 对任一
在语音和图像压缩中已获得广泛应用。
例：8 点 DCT：
1 i j ci , c j 0 i j
所以DCT是正交变换
DCT 反变换
在DCT中，正变换矩阵和反变换矩阵 是一样的，都是实矩阵。特别有利于实时 实现及硬件实现。
一阶马尔可夫过程（Markov-1):语音和图 象处理中常用的数学模型。一个随机信号 ，若 其pdf满足如下关系：
K L变换：统计意义上的最 佳正交变换
背景问题 1 ： 对N维 离 散 信 号 x N M , 如 何 正 交 变 换 ,使变换结果的 相关矩阵对角化 ,或 者 变 换 后 N个 信 号 互 不 相 关 0 Ax ( Ax )T AxxT AT AxxT A1 N
正交变换的种类 : 非 正 弦 类 正 交 变 换 正 弦 类 正 交 变 换 K L变 换 非正弦类正交变换： Walsh Hadamard 变 换(WHT)，Haar 变 换( HRT )及 斜变换 ( SLT ) 正弦类正交变换 傅里叶变换 ( DFT )， 离 散 余 弦 变 换 ( DCT ), 离 散 正 弦 变 换 ( DST )， 离 散Hartley变 换( DHT)及 离 散 W变 换 （ DWT ) K L变 换 ： 统 计 意 义 上 的 佳 最正 交 变 换
这样
y [ y(0), y(1),
, y( N 1)]
T
之间彻底去除了相关性。
步骤：
1. 由 求 Cx 的特征值
Cx
N
3. 将
归一化，即令
4. 由归一化的
构成正交阵
A
Ax实现对 5. 由 y Ax
x 的 K—L 变换： x
y
K—L 变换的应用－数据压缩：
1
i 为 特 征 值 ， Ai 为 特 征 向 量 。
背景问题 2： 如 何 变 换 ， 使 变 换 的 后结 果 中 较 小 分 量 丢后 掉， 信号损失的能量最小 — 降维和降噪中的应用 ( PCA)。 ˆ AT y ˆ x AT y x
特征值分解
PCA用于信号降噪
x1 x 2 xm
信号的正交变换
给定数据向量：x [ x(0), x(1), 及算子 作变换
若：
, x( N 1)]
T
AN N
y Ax
Ax, Ax x, x y, y
矩阵 A A 的 行（列）向 量即是前面 的向量
i
则上述变换即为正交变换，或保范（数） 变换。
AN N 实际上是正交矩阵，
令 是Markov-1 随机序列相邻两元素之 间的相关系数，则该序列的协方差矩阵有如 下关系：
[ Rx ]i , j
i j
, i, j 0,1,
, N 1,
1
N 2 N 3 1
N 1
1 2 Rx N 1
正交变换 A具 有 下 列 性 质 ： （ 1 ）A1 AT ; AA 1 AAT I ; (2)对N维 离 散 信 号 xN M , 存 在 正 交 变 换 A, 0 Ax ( Ax )T AxxT AT AxxT A1 N
A A
T
1
以上正交变换是从线性代数的角度来定义。
正交变换的性质：
性质1：正交变换的基向量即是其对偶基向量。
由性质1可知正交变换具有如下的优点：
1. 若正变换存在，那么反变换一定存在， 且变换是唯一的； 2. 正交变换在计算上最为简单。如果是离 散信号，且 N 是有限值，那么变换只是简 单的矩阵与向量运算：
x2 x3 xm 1
x'1, 2 x '2 , 2 x 'm , 2
x3 x4
xm 2 xi m 1
x'1,3 x'1,i x ' 2 , 3 x '2 , i x 'm , 3 x 'm , i
1 ˆj x min{m, min{j, N j 1}}
x ( n)
n 0
N 1
x (n) cos
n 0 N 1 n 0
N 1
(2n 1)k , k 1,2, , N 1; 2N
或合写为： X c (k ) x (n)C k ,n 2 (2n 1)k x ( n) g (k ) cos , k , n 1,2, , N 1; N 2N n 0
2 * n
| n | || ||
2 n
2
此性质实际上是 Parseval’s 定理，即信号 变换前后能量保持不变。 注意，只有正交变换才有此性质。
性质4：信号正交分解具有最小平方近似性质。
x n n n , n
n 1
N
ˆ n x
n 1
y Ax
3. 反变换：
xA yA y
T
1
不需要求逆，特别有利于硬件实现
性质2：展开系数是信号在基向量上的准确投影
非正交基的情况下，“基向量” 称为“标架（ Frame) ” , 这时，展 开系数不是准确投影。
性质3：正交变换保证变换前后信号的能量不变，
此性质又称为“保范(数)变换”。
|| x || x(n) x (n) x, x
y Ax
xA y
T
y(0) A0 y(1) A1
y( N 1) AN 1
截短
x 的 K—L 展开
ˆ y(0) A0 y(1) A1 x
y(m) Am
m N
欲使均方误差：
ˆ] E [ x x
2
为最小
应是 Cx 的特征向量。 这时 由于用
xX X
N n 1
，都可作如下分解：
x n n
x n n
n 1
N
信号的离散表示,或 信号的分解
1 , 2 ,
由 由
, N 是分解系数
或信号的变换
x 1 , 2 ,
, N 正变换
反变换
1 , 2 ,
, N x
Step 1:
设想另有一组向量
ˆ1 , ˆ2 ,
正交变换的实例： FS,FT, DTFT, DFS, DFT DCT,DST, DHT Walsh-Hadamard, Haar 变换 SLT(斜变换）
正弦类正 交变换 非正弦类 正交变换
正交基的选择原则： 具有所希望的物理意义或实用意义； 正交基函数应尽量简单，计算量小； 最大限度浓缩信号能量，去除相关性； 基函数应能同时具有频域和时域的定位功能。
L
n
ˆ) ( x, x
2
最小的条件： n n , n 1,
,L
ˆ) ( x, x
2
n L 1
N
2 n
性质5：正交变换的系数具有去除相关和集
中能量的性质。
A
0 ACA1 ACAT
C
N 1
1
n 1
N
对
1 , 2 ,
ˆ1 , ˆ2 ,
则称
, N ˆN ,
如果：
ˆi i i 1,2, , N
1 , 2 ,
, N 为一组正交基。
一组正交基满足：
1 i j i , j i j 0 i j
注意：满足双正交关系的两组基向量各自并不 满足正交关系，只是相互之间满足正交关系。
x'1,1 x' 2,1 x'm,1
x j j 1,, N
xi xi 1 xN m 1 xN m 2 xN
x'1, N m 1 x'2, N m 1 x'm, N m 1
i m 1
N 1
i
最小
y(0), y(1),
表示
, y(m) m N
x
注意：对正交变换 y Ax
yy
（即
不是时域序列，而是
x 的变换系数
i
） ，如 DFT 的 X ( k ) 。正交变
换后，信号的能量一般集中在少数的变换系
数上，所以可以舍去绝大部分系数，这并不
明显损失信号的能量。由剩下的少量系数，
第8章
信号处理中常用的正交变换
目录
8.1 希尔伯特空间中的正交变换 8.2 K-L变换
8.3 离散余弦变换(DCT)与离散正弦变换(DST)
8.4* 离散Hartley变换(DHT) 8.5* 离散W变换(DWT) 及正弦类变换 8.6* DCT、DST及DWT快速算法简述 8.7* 图象压缩简介
满足：
பைடு நூலகம்
ˆN ,
1 i j ˆ j i j i , 0 i j
双正交关系( biorthogonality)
Step2:做内积
x n n
n 1
N
ˆ j n n , x, ˆj
n 1
N
ˆ j j n n ,
k l 1 j
x'
k ,l
j 1,, N
有趣发现:相位不变。
阶次与截止频率？
K—L 变换
数据向量： 协方差阵：
(Karhunen--Loeve)
x [ x(0), x(1),
c0,1 c0,0 c1,0 c1,1 c c N 1,0 N 1,1
N 1
1 / 2 k 0 gk 1 k0 X c C N x;
T x CN Xc ,CN为 正 交 矩 阵
DCT 的特点
DCT 是实变换； DCT 是正交变换； 在一定条件下，DCT近似 K-L 变换； DCT有快速算法。 正因为DCT有上述特点，因此，DCT
p[ X (tn1 ) xn1 X (tn ) xn , X ( tn1 ) xn1, , X ( t0 ) x0 ]
p[ X (tn1 ) xn1 X (tn ) xn ],
X (tn )
X (n)
则称 X ( t ) 为一阶马尔可夫过程。该式的含 意是：已知过程在现在时刻的状态，那么， 下一个时刻的状态只和现在的状态有关，而 和过去的状态无关。
, x( N 1)]
c0, N 1 c1, N 1 cN 1, N 1
T
C x E ( x x )( x x )T
体现了信号 各元素之间 的相互关系
Cx (i, j) Cx ( j, i)
K—L 变换的思路： 寻找正交矩阵 A ，做变换 y Ax ，
1 ˆ ˆ 可以很好的 如 y ，通过反变换 ˆ xA y
恢复出原信号。从而达到数据压缩的目的。
K—L 变换：
变换的正交矩阵 依赖待变换的信号。信号发生变化时，要重新 求变换矩阵。特征值和特征向量的计算是相当 费时的，因此，K—L变换没有快速算法。这就 限制了K—L变换的实际应用。
去相关性最彻底，在此意义上是最佳正交变换；
方向
8.3 离散余弦变换（DCT）
给定： x(n), n 0,1,
定义：
, N 1
D C T 的 定 义
变换域
构成一矩阵，是 变换的核函数
DCT的核 函数，
g0 1 2; gk 1 for k 0
DCT矩阵
离散余弦变换(DCT)
离散余弦变换 ( DCT ) : 1 X c (0) N X c (k ) 2 N
1
i 为 特 征 值 ， Ai 为 特 征 向 量 。
(3)正 交 变 换 的 结 果 ， 可 看 以成 向 量 在 标 准 正 交底 基上 的 投 影 ， 或者新基底上的向量。 （4 ） 投 影 的 结 果 能 否 减分 少量 的 相 关 性 、 能 否现 出能 量 集 中 ， 取决于基函数。
8.8* 重叠正交变换
8.9 与本章内容有关的MATLAB文件
希尔伯特空间中的正交变换
赋范线性空间 内积空间 完备的内积空间（希尔伯特空间）
信号的分解
概念：
设空间 X 是由 N 维空间一组向量 1 , 2 , , N 所张成，即 X span{1 , 2 , , N } 对任一
在语音和图像压缩中已获得广泛应用。
例：8 点 DCT：
1 i j ci , c j 0 i j
所以DCT是正交变换
DCT 反变换
在DCT中，正变换矩阵和反变换矩阵 是一样的，都是实矩阵。特别有利于实时 实现及硬件实现。
一阶马尔可夫过程（Markov-1):语音和图 象处理中常用的数学模型。一个随机信号 ，若 其pdf满足如下关系：
K L变换：统计意义上的最 佳正交变换
背景问题 1 ： 对N维 离 散 信 号 x N M , 如 何 正 交 变 换 ,使变换结果的 相关矩阵对角化 ,或 者 变 换 后 N个 信 号 互 不 相 关 0 Ax ( Ax )T AxxT AT AxxT A1 N
正交变换的种类 : 非 正 弦 类 正 交 变 换 正 弦 类 正 交 变 换 K L变 换 非正弦类正交变换： Walsh Hadamard 变 换(WHT)，Haar 变 换( HRT )及 斜变换 ( SLT ) 正弦类正交变换 傅里叶变换 ( DFT )， 离 散 余 弦 变 换 ( DCT ), 离 散 正 弦 变 换 ( DST )， 离 散Hartley变 换( DHT)及 离 散 W变 换 （ DWT ) K L变 换 ： 统 计 意 义 上 的 佳 最正 交 变 换