第6讲谱估计4最大熵法

当信噪比给定时，AR谱估计的分辨率需要用增大模型
阶次的方法来改善。 克服AR谱技术在实际应用中限制的方法包括： (1) 改用ARMA(p,p)模型 ； 2 2 R ( m ) R ( m ) (2) 噪声补偿法：估计出 w ， x 删去 y w (m) 缺点是可能使自相关矩阵失去正定性，从而增 大谱估计的方差。 (3) 用维纳滤波器对数据滤波，增强噪声中的信号； (4) 采用更高阶的AR模型，以降低模型失配引起的 偏差。取最大阶次为P=N/2 。
M * * (M ) E e(n) x (n) E x(n) ak x(n k ) x (n) k 1 (M ) (M ) Rx (0) a1( M ) Rx (1) a2 Rx (2) aM Rx ( M )

最大熵（AR模型）谱估计的稳定性和阶数确定
阶数确定：
必须正确选择模型的阶数。阶数M估计得太小，对序 列长度N的序列的最大熵谱估计会过分平滑，不能给 出足够的分辨率，结果可能仅出现被测信号中最易 预测，变化最缓慢的频率点的峰值。阶数M估计得太 大，拟合会产生急剧变化和振荡，所得的谱估计具 有虚假的细节。在低噪声或无噪声时，AR模型的阶 数过分大，将会发生谱线分裂现象。
(M ) 1 反射系数 akk
可以证明，此时Yule-Walker方程中系数矩阵（自
有附加噪声的AR过程的谱估计
在原有AR(p)过程 y(n) ak y(n k ) u (n)上附加均值
p
为0，方差为 σ ，并与 y(n) 无关的白噪声。即
x(n) y(n) (n)
时间序列功率谱密度和熵率的关系：
1 1 h ln 2 f c 2 4 fc

fc
fc
lns x ( f )df
时间序列的频率范围是[-fc ，fc]
从最大熵原理出发进行谱估计
若已知自相关函数Rx(m)的前2M+1个序列值，则选择 未知自相关函数要使： H Biblioteka Baidu 0 m M 1
令 PM
2 fc 2 fc g (0) g * (0) g (0) 2

2f 1 * ， GM ( z )GM ( *) c z PM
PM 2 f c 1 am e j 2πmfT
m1 M 2
* AM ( z ) AM (
1 ) * z
最大熵谱估计 S x ( f )
AR谱和最大熵谱估计等价
Rx (m)
detRx ( M 1) H 0 Rx ( M 1) Rx ( M 1)
Rx (1) Rx (2)
Rx (0) Rx ( M 1) Rx (1) Rx ( M 2) 0 Rx (1)
Rx ( M 1) Rx ( M )
自协方差矩阵间存在关系：H
1 log10 det c x 2
当时间序列为零均值时，熵和自相关函数之间存在 关系 ： H 1 log10 det R x
2
当过程为无限长时，用熵率作为信息的度量
1 H 1 h lim lim log10 det R x m 1 m m 1 m 2
对于M阶AR模型： x(n) ak x(n k ) e(n)
k 1 M
x(n)的估值
估计误差
输入视为e(n)，输出视为x(n)，则系统函数为 ：
M 1 H ( z) , 其中 A( z ) 1 a k z k A( z ) k 1
设激励信号e(n)为零均值，方差为 σ 2 的白噪声序列，
阶数最优(用Mopt表示)的选取准则：
1．最终预测误差(FPE)准则
零均值情况下，Akaike给出使FPE最小的估值公式
N M 1 (M ) FPE( M ) P N M 1
M为AR模型的阶数，N为信号采样点数，P(M)为预测 误差功率。
非零均值情况下，
N M (M ) FPE ( M ) P N M

2 w
A(e )
2 u 2 w
j
A(e )
j
2
2 令 2 B( z)B(z 1) u2 w A( z) A( z 1) ，则
1 B ( z ) B ( z ) 2 S x ( z) σ η A( z ) A( z 1 )
因此可以将x(n)看成一ARMA过程，其等效的白噪声 2 2 2 σ σ 驱动源的平均功率为 η ，既不等于 σ u ，也不等于 w 等效的MA分支为B(z)，与A(z)同阶数但不同参数， 因此x(n)是一个ARMA(p,p)过程。 若仍对x(n) 数据按AR(p)模型进行谱估计，结果将 偏离真实谱 S y (ω) ，得到一个趋于平坦化的谱。这种 2 2 2 σ 平滑现象与 σu / σ w 的大小有关， w 越小，越接近原来 2 2 σ / σ 的AR功率谱； u w 越小，功率谱越平滑。可见，AR 谱估计的分辨率随着信噪比的减小而减小。


nM
j 2fnT c e n
M
fc z m1 整理后得到 Rx (m) j M n dz 0 m M cn z M 1 n M n * c z G ( z ) G ( ) n M M * z 【最小相位(其零点都在单位圆之内) 最大相位】 n M

从而可以外推出Rx(M+1)。并依此类推得到其它自相
关函数值。于是功率谱 s x ( f ) T Rx (m)e j 2πfmT
m
若选择
h 0 Rx (m)
fc
c
m M 1
可以得到 f
e
j 2fmT
Sx( f )

df 0
m M 1
令
1 Sx( f )

合并整理，得到：
Rx (0) R (1) x Rx (2) Rx ( M ) Rx (1) Rx (0) Rx (1) Rx ( M 1)
(M ) Rx ( M ) 1 Pmin a ( M ) Rx (1) Rx ( M 1) 0 1 (M ) Rx (0) Rx ( M 2) a2 0 (M ) Rx ( M 2) Rx (0) aM 0
k 1
M
2
可见，序列的最大熵功率谱和AR模型拟合所对应的
功率谱是等价的，并且 Pn PM T 由于 PM
2 fc g (0)
2
，所以
Pn
1 g (0)
2
PM 2 fc
AR参数和自相关函数Rx(m)之间的关系为：
2 σ (M ) a Rx ( m k ) k k 0 0 M
m0 m 1,2, , M
即Yule-Walker方程。AR模型谱估计实质是模型参数
的辨识问题。
预测误差滤波法和最大熵谱估计等价
预测：由随机序列x(n)过去和现在的M个值来预测下
一个取样值x(n+1)。即 x(n 1) ak( M ) x(n 1 k )
k 1

2. 信息论(AIC)准则 Akaike提出最佳阶次的选择应使下式为最小值：
AIC ( M ) ln P

(M )

2M N
AIC准则和FPE（最终预测误差）准则的关系是：
N
lim FPE ( M ) AIC ( M )
3．自回归(CAT)传递函数准则 parzen提出最佳阶数的选择应使得精确预测滤波
M
通过合理选择预测系数，使预测均方误差达到最小
确定出的M阶FlR滤波器，称为数字预测滤波器。
(M ) e ( n ) x ( n ) x ( n ) a 预测误差为： k x( n k ) k 0

M
当估值均方误差达到最小时，满足正交原理。即
E e(n) x(n m) E ( x(n) x(n)) x(n m) 0 m 0,1,2, , M
1 ak e j 2 πfkT
k 1
M
2
(M ) a 利用Yule-Walker方程求解系数 k 很困难，因为要
进行矩阵求逆运算。 改进方法包括： Levinson-Durbin递推算法；（需要从时间序列x(n) 的有限个数据得到其自相关函数的估计值 R x (m) ，可 能在计算AR参数时引入很大误差，导致谱线分裂与 谱峰偏移等现象。） Burg算法；（提出利用前、后向预测误差功率之和 最小的方法来求得反射系数，进而求得预测误差滤 波器系数。对应于格形滤波器。）
(M ) Rx (m) ak R( m k ) M
简化后，得：
m 0,1,2, , M
最小预测误差功率为：
P
(M ) min
k 1
σ E e( n )
2 p

2

M (M ) * E e(n)(x(n) ak x(n k )) k 1
AR模型谱估计的稳定性
AR模型稳定的充要条件是其转移函数
M k 1
1 H ( z) A( z )
的
极点都在单位圆内，即 A( z) 1 ak z k 的根在单位 圆内。 相关矩阵）是正定的。
( M 1) (M ) AR模型对应的预测滤波器中 0 Pmin Pmin
Rx (2)

可见，对同一数据列用AR模型和预测误差滤波所解
得的参数值是完全相同的。
预测误差滤波器是一个白化滤波器，滤波器的系统
函数为： A( z ) 1 ak( M ) z k x(n)的功率谱可求得：S pre ( f )
k 1
M
Pn A(e
j 2 πfkT
)
2

(M ) Pmin T
况下，合理地预测未知延迟离散时间上的相关函
数。即在根据已知信息外推相关函数时，每一步
都保持未知事件的不确定性或熵为最大。

n 1 H E I j p j log10 p j log10 p j pj j 1 j 1

n
信息量
可见熵是消息源发出每个消息的平均信息量。
对于高斯分布的随机变量，布卡乔夫证明了其熵和
器和近似预测滤波器输出的预测误差之差的估值
为最小。即使
1 CAT ( M ) N N m N M ( m) NP ( M ) m 1 NP
M
最小。
结论：
信噪比较高时，上述三种方法确定的阶数M基本一 致。当信噪比较低时，三种方法结果不同，给出的 M值偏低，其中以FPE方法较为正确。 最优阶数的计算： 上述各准则所确定的阶数，都可以在计算预测滤波 (M ) (M ) a Pmin 器参数（ k 、 ）的每一次递推中求出。由于最 大熵谱估计与预测滤波器等价，而对于预测滤波器 (M ) ( M 1) (M ) Pmin 中的 Pmin ，存在 0 Pmin ，因此在算出新值后 与以前的值作比较，若新值比以前的值大，则终止 迭代，得到最优阶数Mopt。
2 w
k 1
这时x(n)不再是严格意义上的AR过程，其自相关函
数为
2 Rx (m) E[ y* (n) w* (n)][y(n m) w(n m)] Ry (m) w (m)
2
功率谱为 S x ( ) S y ( )
2 w


2 u j 2
A(e )
主要内容
最大熵谱估计的基本原理 最大熵谱估计与AR模型谱估计、预测误差滤波法
等效
最大熵功率谱的计算 (AR模型参数的计算） 最大熵谱估计（AR模型）的稳定性和阶数的确定
有附加噪声的AR过程的谱估计
最大熵谱估计的特点
最大熵的基本思想：就是根据已知数据信息，在
不进行任何新的假设(不增加任何虚假信息)的情
功率谱密度为Pn，则数据序列x(n)的功率谱为：
s x ( f ) AR H (e
j 2fT
) Pn
Pn
M
2
即AR谱估计为： s x ( f ) AR
1 a k e j 2fkT
k 1
2 σ 而 Pn σ 2T 2 fc 2T 2
1 a k e j 2fkT