自适应信号处理4

采用归纳法
(1 2 )3 w0 2 w*[1 (1 2 ) (1 2 ) 2 ] wk (1 2 ) w2 2 w
k *
(1 2 ) n
n 0
k 1
等比级数
等比级数求和
令 有 因此 r 1 2 a0 aN r 1 (1 2 ) 1 r 2
第4章
性能表面的搜索
源自文库
Chap.4 Searching the Performance Surface
1.本章内容
为什么要进行梯度搜索？ 梯度搜索法的基本思想 一个简单的梯度搜索法
稳定性 算法的性能分析 收敛速度
学习曲线
牛顿法 两种梯度搜索法 最速下降法
为什么要进行梯度搜索？
当输入的期望响应均为统计平稳过程时，ALC的均方 误差性能表面是权向量的二次函数，但在多数实际运用 的场合中， 的参数是未知的，即得不到和P R 的解析表
牛顿法（Newton’s method）： 数学意义重要 最速下降法（Method of steepest Descent）：
实际应用广泛
牛顿法
定义：在梯度搜索法中，当r = 0时，即 2 时的方法
1
称作牛顿法 。
特点：学习过程处于临界阻尼状态
w1 w* r ( w0 w* ) w* (r 0)
对于二次型性能表面而言，该方法一步迭代就能收敛。
基本思想（单权情况为例）
与数学中求解方程根的牛顿有对应关系。 求函数 f ( w) 的零点
f ( w0 ) f ( w0 ) w0 w1 f ( w0 ) w1 w0 f ( w0 ) f ( wk ) wk 1 wk f ( wk )
左边乘 R 1 ，得到
1 1 1 1 1 1 R R 2R w R 2P 2 2 2 w w*
所以： 当 为二次型时：
1 1 w w R 2
*
1 1 w1 w 0 R (2Rw 0 2P) R 1 P 2
可以看出：即使对于多维情况，牛顿法仍可一步搜索出 w *
w1 w 0 ( R 1 )
牛顿法的搜索方向
梯度搜索法：
wk 1 wk (k )
1 1 w w R 2
*
牛顿法：
由于 R 的存在权值搜索不是在
1
的方向进行的，而是指向 椭圆的中心，即 min
算法推广
有时并不希望一步调整到 w *上，此时用 代替1/2
第 n 个分量：
vn, k 1 (1 2n ) vn, k
权值调整时，个分量之间没有耦合存在。
性能分析起来更方便，更简单。
稳定性分析
v 1 (I 2 Λ) v k k
由归纳推理：
v 1 (I 2 Λ)k v k 0
收敛条件： 即：
lim(I 2 Λ ) k 0
达式。
因为：不能用Wiener方程来直接得到最佳解
所以：只能用搜索的方法来寻找 w opt
梯度搜索法的基本思想（1）
用梯度来指明 的最小值所在的方向

梯度搜索法
梯度搜索法的基本思想（2）
R [ri. j ] i, j 0,1,....L
以单权为例， 当i 0时, R E[ x0k x ] r00
梯度的搜索
如果知道 wk 点的函数值和梯度值，就可以得出 wk 1 （梯度） 当用来搜索性能表面时，希望 (w) 0 令
!!
f (w) (w)
'
则有
f ' ( wk ) wk 1 wk '' f ( wk )
二次型函数的特殊之处
对于二次型函数，若 w0 已知， 则
k min ( wk w* ) 2 k 2 ( wk w* ) k 2
用 rmse 表示学习曲线的公比
rmse r 2 (1 2 ) 2 0
说明什么问题？
！！学习曲线不会出现振荡现象（欠阻尼） 从物理上讲，任何时刻的 k 均不会小于其最小值 min
不同迭代次 数及之间的连线 没有物理意义， 仅指明了叠代过 程中均方误差的 减小过程。
两种梯度搜索法
直接用多维形式
k 2R ( w k w * ) 2Rw k 2P
与牛顿法不同， 有量纲，为功率的倒数 。
权值搜索过程的比较 — 牛顿法
牛顿法：
w k 1 w k 2 R 1 k (1 2 )w k 2 w*
第 n 个分量：
wn ,k 1 (1 2 )wn ,k 2 w
w2 ..... wk
一直到梯度为零处，过程停止。
使用的是负梯度-------“下山” (downhill)法
一个简单的梯度搜索法
将上述思想用数学方式表达出来
wk 1 wk (k ) wk 2 ( wk w )
*
wk :
当前值
wk 1 : 新值（updated）
收敛速度
| r | 1, 不稳定
1 0 0 r 1, 2 1 | r | 1, 稳定 r 0, 2 1 1 1 r 0, 2
! ! 希望0<r<1 越小越好，r =0 最好 ?? 能否做到，是否真的最好
过阻尼 临界阻尼 欠阻尼
k
lim(1 2 n ) k 0,
k
n 0,1, , L
0
1
n
,
n 0,1, , L
每一个分量都有一个需要满足的步长要求。
选择其中为苛刻的条件 ：
0
1
max
即可使所有分量都收敛。
最速下降法搜索过程
主轴方向上有不 同但各自恒定的 公比
两次迭代之间， 各主轴上经过的 距离之比相等
* n
各个分量各自调整，相互之间没有影响 权值调整是去耦的
权值搜索过程的比较 — 最速下降法
最速下降法：
w k 1 (1 2 R )w k 2 Rw*
* w0,k 1 (1 2 r00 ) .. 2 r0 L w0,k 2 r00 .. 2 r0 L w0 ... .. .. .. .. .. .. ... .. wL,k 1 2 rL0 .. (1 2 rLL ) wL,k .. .. 2 rLL w* L
目的：调整收敛速度。
w k 1 w k R k (1 2 )w k 2 w
1
* 0
归纳可知：
w k w* (1 2 ) k (w 0 w* )
非二次型性能表面举例
最速下降法
定义：在负梯度方向上调整权向的自适应方法。
w k 1 w k ( K ) w k 2 R (w k w* ) (1 2 R )w k 2 Rw*
学习曲线的比较
学习曲线： 牛顿法： 最速下降法：
min v H R v
H k min (1 2 )2 k v 0 R v 0
H k min v k Λ v k
min [(I 2 Λ ) k v ]H Λ[(I 2 Λ) k v ] 0 0 min vH [(I 2 Λ ) k ]H Λ(I 2 Λ) k v 0 0 min vH (I 2 ) 2 k Λ v 0 0
一步搜索到最佳值
2 ( wk w* ) w1 w0 w* 2
前提条件： 1） 精确已知
2） 是二次型
实际中必须估计 和
多维空间的牛顿法
定义：在多维二次型性能表面上，一步搜索到达最佳解的 方法称作多维牛顿法。 一维
→
1 2
多维
w * R 1 P 2R w 2P
第 n 个分量：
* wn ,k 1 wn.k 2 rnl wn ,k 2 rnl wn l 0 l 0
L
L
耦合的权值调整方式
最速下降法 — 去耦分析
变换坐标系，简化问题
w k 1 w * (1 2 R )w k 2 Rw * w * (1 2 R )( w k w * )
1 1 2 1,
2 2 0
稳定性
1
可得： 0

- - - - - 算法的稳定性条件
i） 是正值，否则会使搜索方向发生变化- 不收敛
ii） 有上限取值，输入信号能量越大，
算法的性能分析 — 收敛速度
在算法收敛的前提下，r 取值的大小决定了收敛速度
学习曲线 （learning curve）
定义： 随 k 的变化曲线 自适应过程是一个学习过程，用学习曲线描述学习“效果”
wk w* (1 2 ) k ( w0 w* )
min ( wk w)2
min (1 2 ) 2 k ( w0 w* )
wk w*或vk 0 可否得到保证？
算法的性能分析 — 稳定性
wk w* (1 2 ) k ( w0 w* ) 收敛于 w* 为使
必须有 此时 (1 2 ) k 0 lim k k w w* k
令公比: 则有：
r (1 2 ) | 2 | 1 1
k
(1 2 ) n
n 0
k 1
1 (1 2 ) k wk (1 2 ) k w0 2 w* 2 w* (1 2 ) k ( w w* )
wk w* (1 2 ) k ( w0 w* ) vk (1 2 ) k v0
* 0k
min (w w* ) H R (w w* )
单权时，
min ( w w )
其中：
* 2
r00
2 ( w w* ) w 2 2 2 w
Gradient Search
过程：从 w0 开始，测该点的梯度（斜率） ，选一个 w 的新值，使她等于w0 加上一个正 比于斜率的增量，得到w1，测 w1 处的斜率
： 常数，控制收敛速度和稳定性
wk 1 (1 2 ) wk 2 w* 最简单的梯度算法
在搜索的每一步上，wk 的取值？
wk 1 (1 2 ) wk 2 w* 最简单的梯度算法
w0 w0 (初始值)
*
w1 (1 2 ) w0 2 w* w2 (1 2 ) w1 2 w (1 2 ) 2 w0 2 w*[1 (1 2 )] w3 (1 2 ) w2 2 w*
平移坐标系： 主轴坐标系：
v k 1 (1 2 R) v k
v 1 Q 1 (1 2 R ) Q v k k (1 2 R ) v k
主轴坐标系中
' v0,k 1 1 20 ... 0 v ' 0 L ,k 1 ' ' v0,k (1 20 )v0,k 0 0 .. .. .. 0 ' ' 0 1 2L vL.k (1 20 )vL ,k