第12章_1_参数模型功率谱估计

（b) p=10; (c) p=20; (d) p=30
最大熵谱估计: Burg 于 1975年博士论文。 Maximum Entropy Spectral Estimation，MESE）
关于熵：
设信源由 X x1, x2, , xM 这 M 个 事件组成：
x 产生 i 的概率是 P(xi )
k ak k 1, 2, , p
min
2
一个 p 阶AR模型的系数可用来构成一个 p 阶的线性预测器，反之亦然。并且：
p
由于 e(n) x (n) xˆ(n) x(n) k x(n k)
p
k 1
u(n) x(n) ak x(n k)
k 1
所以
u(n) e(n) 等效的概念
上面等效的含意是： min 应等于AR模型激励白噪声的功率 2 。
零阶预 测器的 误差等 于信号 的功率
0 rx (0) rx (0) Ex(n)x(n 0)
1
rx (0) 2
Px
(e
j
)d
递
km
m1 k 1
am1(k
)rx
(m
k)
rx
(m)
m1
推
公
am (k) am1(k) kmam1(m k)
式
k 1, 2, , m 1
m m1[1 km2 ]
M
P(xi ) 1 i 1
xi 的信息量：I (xi ) ln P(xi )
对数以e为底 对数以2为底
I (xi )
单位
奈特（nat) 比特（bit）
M
M
H (X ) P(xi ) ln P(xi ) P(xi )I (xi )
熵
i1
i1 离散型随
H (X ) p(x) ln p(x)dx
求解方法：由下面的差分方程入手：
两边同乘 x(n m) ，求均值
p
ak Ex(n m k)x(n) k 1
Eu(n m)x(n)
x(n) 和
u(n) 的
互相关
卷积 关系
因果 系统
结果1： 结果2：
结合 起来
正则方程 （Normal Eq.）
rx (0) rx (1) rx (2)
不求导，使用正交原理：
E{x(n m)[x(n) xˆ(n)]} 0, m 1, 2, , p
e(n)
p
rx (m) k rx(m k), m 1, 2, , p k 1
Wiener-Hopf Eq.
min E{x(n)[x(n) xˆ(n)]}
p
rx (0) krx (k) k 1
递推过程中，要始终保持：
P 阶AR模型（LP）有三组参数： 都是 p+1 个
可互相导出，请给出它们互相导出的公式。 AR模型
基于AR模型谱估计的实现：
步骤1
由
估计
步骤2
解Yule-walker方程，得估计的模型参数
步骤3
尚需离 散化
实际计算：
aˆp1 aˆN1 0
离散谱，用FFT计算
12.3 AR模型谱估计的性质
利用Yule-Walker 方程，可求解出AR模型参数：
a1, a2, , ap , 2
于是模型可以构造，可以实现功率谱估计。
为了深入了解AR模型的特点，现探 讨另外一个问题，即线性预测问题：
提法：设 x(n) 在 n 时刻之前的 p 个数据
x(n p), x(n p 1), , x(n 1) 已知
则：
极—零模型 ARMA模型
AR模型: 全极模型， 线性，用的最多， 被研究的也最多，性能很好；
MA模型：全零模型，看起来简单； 但是非线性；
ARMA模型：极－零模型，二者的综合。
具体选用那一个模型，一是取决于 信号的特点，二是取决于信号处理任务 的需要，需区别对待。
推荐如下参考文献：
1 Kay S M, Marple S L. Spectrum Analysis : a modern Perspective. Proc. IEEE, 69(Nov):1380-1419,1981
第12章 参数模型功率谱估计
12.1 平稳随机信号的参数模型 12.2 AR模型的正则方程与参数计算 12.3 AR模型谱估计的性质与阶次选择 12.4 AR模型的稳定性与信号建模 12.5 关于线性预测 12.6 AR模型系数的求解算法 12.7 MA模型 12.8 ARMA模型 12.9 Pisarenko谐波分解与MUSIC 算法
AR（Auto—Regressive，自回归）模型
若：
并假定：b0 1
则：
全 极 点 模 型
MA（Moving—Average,移动平均）模型
若：
则：
全 零 点 模 型
ARMA（Auto-Regressive MovingAverage,自回归－移动平均） 模型
如果：
ai : i 1 ~ p 不全 bi : i 1 ~ q 为零
min ：最小
预测误差功率
p
rx (m) k rx(m k), m 1, 2, , p k 1
线性预测的Wiener-Hopf Eq.
注意到：对同一信号 x(n) ，都使用其 rx (m)
得到了两组方程：
来自AR模型： Yule-Walk 方程
来自LP： Wiener-Hopf
方程
结论：对同一信号，二者是相同的，即
AR谱 可以证明：
AR谱对应的自相 关函数
AR模型自 相关函数 匹配性质
证明： 由
Note : H (z) 1/ A(z)
两边做DTFT反变换：
左边 ph(k) ph(0) p (k)
p
右边 a(m) ra (m) a(k)ra (m k) k 0 p
有： ra (m) a(k)ra (m k) p (k) m 0 k 1
4 Marple S L. Digital Spectrum Analysis with Application. 1987
12.2 AR模型的正则方程与参数计算
目标：找到已知参数和未知参数的关系， 以便求解未知参数：
未知参数： a1, a2, , ap , 2 : p 1个
已知参数： rx (m), m 0,1, p
线性预测器的误差序列等效于激励AR模型 的白噪声序列；
由LP的含意，因此AR模型也可以看作是在 最小平方意义上对数的拟合；
由于LP包含了对数据的外推，因此，对应的 谱估计所用数据的范围比实际的应有扩展， 因此可以提高分辨率。
u(n)
x(n)
AR模型
1 A(z)
白化滤 xห้องสมุดไป่ตู้n)
波器
A(z)
e(n)
rx
(1)
rx (0)
rx (1)
rx
(2)
rx (1)
rx (0)
rx ( p) rx ( p 1) rx ( p 2)
rx ( p) 1 2
rx ( p 1)
a1
0
rx ( p
2)
a2
0
rx (0)
a
p
0
Toeplitz 自相关阵
2
R
a
Op
又称 YuleWalker 方程
现在希望用它们预测 x(n)
x(n p) x(n p 1)
x(n 1) x(n)
p
xˆ(n) k x(n k) k 1
线性预测
e(n) x(n) xˆ(n)
误差序列
E e2(n)
E
x(n)
p
k x(n
k
2 )
k 1
均方误差
令：
0, k 1, 2, , p
k
可以得到使 最小的 1, , p 及 min 。
12.1 平稳随机信号的参数模型
经典谱估计： 分辨率低（受窗函数长度的限制）; 方差性能不好； 方差和分辨率之间的矛盾。
对平稳信号建模: 用于功率谱估计:提高分辨率，减小方差； 也可用于信号的特征提取，预测，编码及 数据压缩 等。
从功率谱估计的角度，对平稳信号建模的步骤：
步骤1
假定所研究的平稳过程 x(n) 是由一白噪声 序列 u(n) 激励一线性系统所产生的输出；
1. AR谱的平滑特性
AR模型是一 有理分式， 估计出的谱 平滑，不需 要像周期图 那样再做平 滑或平均， 因此，不需 要为此去牺 牲分辨率。
2. AR谱的分辨率 经典谱估计：
假定：
分辨率反比于 N ，即
对间接法：
分辨率还 要降低
AR模型包含了对 的“预测”或“外 推”。实际上，这包含着自相关函数的“外 推”。令：
2)
a2
0
rx (0)
a
p
0
p 1:
rx (0) rx (1)
rx (1) rx (0)
1
a1(1)
1
0
a1(1) rx (1) / rx (0) k1
1 rx (0) rx2 (1) / rx (0) rx (0)[1 a12(1)]
1 0[1 k12 ]
上式等效于Yule-Walker 方程，对同样的模型
系数 a1, , ap ，因此必有
当
时，可以用下式外推：
外推后的
对应AR谱，因此AR谱有较
高的分辨率。而经典谱估计中无外推，即：
分辨 率低
注意到AR模型自相关函数的匹配：
设想：如果阶次
, 则AR谱对应的自相关函
数完全等于信号的自相关函数，AR谱等于真谱。
说明了自相互函 数的外推特点
3. AR模型谱的匹配性质
P阶 线性 预测
p 阶AR 模型
从LSI系统输 入、输出关系
从AR模型和 LP等效关系
若用AR谱去匹配信号的谱，则误差系列的谱应
由常数谱来匹配，体现
的白化性质。
令 相对
中的参数
最小
可得到最佳 Yule-Walker Eq的又一解释：
给定平稳信号 的功率谱，希望用一模型的谱来 匹配它，匹配的原则是使二者比值的积分最小。
LSI系统的输入、输出关系：
差分方程 卷积关系 以上两式是LSI系统的时域表示，无论对确 定性信号还是随机信号都成立。现假定输入、 输出是平稳随机信号（输入是白噪声）。
转移函数的两 种表示形式， 独立于信号。
谱分解 的Z域 表示
待辨识 的参数。
Px (z)
u2H (z)H (z1)
u2
B( z ) B( z 1 ) A(z) A(z1)
总效果：
紧随 的峰值
紧跟 谱的峰值
4. AR谱的统计性质 AR谱估计的方差反比于 的长度N和SNR
x(n)
线性预 测器
1 A(z)
xˆ(n)
e(n)
Yule-Walker 方程的快速计算
－Levinson-Durbin快速算法： 要求解的参数：
ap (1), ap (2), , ap ( p), 2(min p )
思路：
利用Toeplitz 矩阵特点，由低阶 高阶
am (k) : m 1, 2, , p
机变量
连续型随机变量
Burg最大熵谱估计的思路是： 已知某随机信号自相关函数 rx (m) 的 p 1 个值
rx (0), rx (1), , rx ( p) ，现希望以这 p 1 个值对
m p 的自相关函数予以外推。外推的方法很多， Burg的准则是：外推后的自相关函数对应的时 间序列具有最大的熵，即是最随机的。
步骤2
由 x(n) 的先验知识，如 rx (m) ,估计 H (z)
的参数：
H (z) B(z) A(z)
b0 , b1, , bq a1, a2 , , ap
参 数
一旦上述系数被求出，则：H (z)
即是对 x(n) 建立的数学模型。
步骤3
功率谱估计：
随机信 号通过 LSI系 统的输 入输出 关系
当
的真 实功率谱
AR谱
有：
AR模型自 相关函数 匹配性质
增加 ，等效地扩大了
相等的部分
所以，理论上：我们可用一个全极点模型来近
似已知谱
，达到任意精度。
由：
（1）全局跟随性质（global)
在
内紧随
（2）局部跟随性质（local)
因为均值为1，所以 在 上下波动
情况多 情况少
从对整个 积分的贡 献来考虑
保证：r(0) rx (0)
r( p) rx ( p)
的递推方法很多。
所以
x(n)
很多
最大熵功率谱
r(m) 1
P
()e jmd
2 MEMS
原则：x(n)是所有各种可能外推所对应的时间序
列中最随机的，即含有最大信息量（熵）。再假
定 x(n) 是高斯的。在这三个条件制约下，有：
PMEMS() PAR ()
2 Makhoul J. Linear Prediction: a tutorial review. Proc. IEEE, 62(April):561-580,1975
3 Kay S M. Modern Spectrum Estimation: Theory and Application. 1988
反射
k 1, 2, , m am (m) km 系数
rx (0) rx (1) rx (2)
rx
(1)
rx (0)
rx (1)
rx
(2)
rx (1)
rx (0)
rx ( p) rx ( p 1) rx ( p 2)
rx ( p) 1 2
rx ( p 1)
a1
0
rx ( p