第6讲 谱估计4最大熵法

确定出的M阶FlR滤波器，称为数字预测滤波器。
预测误差为：e(n)
x(n)
x(n)
M
ak( M
)
x(n
k)
k 0
当估值均方误差达到最小时，满足正交原理。即
Ee(n)
x(n
m)
E
(x(n)
x(n))x(n
m)
0
m 0,1,2,, M
简化后，得：
M
Rx (m) ak(M ) R(m k) k 1
合并整理，得到：
Rx (0)
Rx (1)
Rx (1) Rx (0)
Rx (2) Rx (1)
Rx (M ) 1
Rx (M
1)
a1(
M
)
P(M m in 0
)
Rx (2)
Rx (1)
Rx (0)
Rx (M
2)
a2(M
)
0
Rx (M ) Rx (M 1) Rx (M 2) Rx (0) aM(M ) 0
最小预测误差功率为：
m 0,1,2,, M
P(M ) m in
σ
2 p
E
e(n) 2
E e(n)(x(n)
M k 1
ak(M ) x(n
k
))*
E e(n)x*(n)
E x(n)
M
ak( M
)
x(n
k
)
x*
(n)
k 1
Rx (0) a1(M ) Rx (1) a2(M ) Rx (2) aM(M ) Rx (M )
Rx (2)
Rx (1)
Rx
(M
2)
ห้องสมุดไป่ตู้
0
Rx (M 1) Rx (M ) Rx (1)
从而可以外推出Rx(M+1)。并依此类推得到其它自相
关函数值。于是功率谱 sx ( f ) T Rx (m)e j2πfmT m
若选择 h 0
Rx (m)
m M 1
可以得到 e fc j2fmT
可见，对同一数据列用AR模型和预测误差滤波所解
得的参数值是完全相同的。
预测误差滤波器是一个白化滤波器，滤波器的系统
函数为： A(z) 1 M ak(M ) z k
x(n)的功率谱可求得： k1
S pre ( f )
Pn A(e j2πfkT ) 2
1
P(M m in
)T
M
2
a e j2πfkT k
ak( M
) Rx
(m
k)
σ 0
2
m0 m 1,2,, M
即Yule-Walker方程。AR模型谱估计实质是模型参数
的辨识问题。
预测误差滤波法和最大熵谱估计等价
预测：由随机序列x(n)过去和现在的M个值来预测下
一个取样值x(n+1)。即
x(n
1)
M
ak(M ) x(n
1
k)
k 1
通过合理选择预测系数，使预测均方误差达到最小
2 fc g(0) 2
GM
(
z)GM*
(
1 z*
)
2 fc PM
AM
(
z)
AM*
(
1 z*
)
最大熵谱估计
S
x(
f
)
PM
M
2
2 fc 1 ame j2πmfT
m1
AR谱和最大熵谱估计等价
M
对于M阶AR模型：x(n) ak x(n k) e(n) k 1 x(n)的估值 估计误差
输入视为e(n)，输出视为x(n)，则系统函数为 ：
fc
Sx(f )
df
0
m M 1
令 1
M
cne j2fnT
S x( f ) nM
整理后得到 M cn zn
nM
GM
(
Rx (m)
z
)GM*
(
1 z*
)
fc
j
z m1
M
dz
cn z n
nM
0mM
【最小相位(其零点都在单位圆之内)
最大相位】
令 ， PM
2 fc g (0) g * (0)
自协方差矩阵间存在关系：H
1 2
log10
detcx
当时间序列为零均值时，熵和自相关函数之间存在
关系
：
H
1 2
log10
detR x
当过程为无限长时，用熵率作为信息的度量
h
lim
m
H m
1
lim
m
1 2
log10
det
Rx
1 m 1
时间序列功率谱密度和熵率的关系：
h
1 2
ln
2
fc
1 4 fc
主要内容
最大熵谱估计的基本原理 最大熵谱估计与AR模型谱估计、预测误差滤波法
等效 最大熵功率谱的计算 (AR模型参数的计算） 最大熵谱估计（AR模型）的稳定性和阶数的确定 有附加噪声的AR过程的谱估计 最大熵谱估计的特点
最大熵的基本思想：就是根据已知数据信息，在 不进行任何新的假设(不增加任何虚假信息)的情
H (z) 1 ,
A( z )
其中
M
A(z) 1 ak z k
k 1
设激励信号e(n)为零均值，方差为 σ 2 的白噪声序列，
功率谱密度为Pn，则数据序列x(n)的功率谱为：
sx ( f ) AR H (e j2fT ) 2 Pn
即AR谱估计为：sx ( f ) AR
Pn
M
而
Pn
σ2
况下，合理地预测未知延迟离散时间上的相关函
数。即在根据已知信息外推相关函数时，每一步
都保持未知事件的不确定性或熵为最大。
H E Ij
n j 1
pj
log10
1 pj
n
p j log10 p j
j 1
信息量
可见熵是消息源发出每个消息的平均信息量。
对于高斯分布的随机变量，布卡乔夫证明了其熵和
最大熵谱估计（AR模型和线性预测）
在一定条件下，ARMA或MA模型可以用阶次为无穷大 的AR模型来近似。条件是：信号是平稳的，且方差 为有限值。由于ARMA和MA模型参数确定需要求解非 线性方程，而AR模型参数用线性方程即可求出，因 此AR模型被研究和使用得最多。
Burg提出最大熵谱估计（Maximum Entropy Spectra Estimation）,Van Den Bos证明了对一维高斯平稳 信号，AR谱、线性预测和最大熵谱等价。
2f
c2T
σ 2T
2
M
2
1 ak e j2fkT
1 ak e j2fkT
k 1
k 1
可见，序列的最大熵功率谱和AR模型拟合所对应的
功率谱是等价的，并且
由于PM
2 fc ，所以
g(0) 2
Pn
Pn
PM T
1 g(0) 2
PM 2 fc
AR参数和自相关函数Rx(m)之间的关系为：
M
k 0
k 1
利用Yule-Walker方程求解系数
a
( k
fc ln
fc
sx ( f )
df
时间序列的频率范围是[-fc ，fc]
从最大熵原理出发进行谱估计
若已知自相关函数Rx(m)的前2M+1个序列值，则选择
未知自相关函数要使： H 0 m M 1
Rx (m)
H detRx (M 1) 0
Rx (M 1)
Rx (M 1)
Rx (1) Rx (0) Rx (M 1)