系统辨识第三章(随机逼近法)讲义(NJUST)

Robbins-Monro算法 常用的迭代算法
Keifer-Wolfowitz算法
6
1
3.1 随机逼近原理
1）Robbins-Monro算法
x(k +1) = x(k) + ρ(k) ⎡⎣α − y ( x(k))⎤⎦ 式中，y( x(k)) 是对应于 x(k)的 y 值，ρ(k) 为收敛因子。
如果收敛因子 ρ(k) 满足条件
下降速度，但是 ρ(k) 不能下降太快，否则被处理的
数据总量太少。 Isermann 推荐了一种选择 ρ(k) 的方法：
ρ(k)
ρ(k) =
1
20 + 0.5(k −100)
14
k
3.2 随机逼近参数估计方法
4）差分方程的参数辨识
A(q−1) y(k) = B(q−1)u(k) + ε (k)
其中， A(q−1) = 1 + a1q−1 + " + anaq−na ，
，
则参数估计的迭代方程可写为
θˆ(k) = θˆ(k −1) + ρ(k)ψ(k) ⎡⎣ y(k) − ψT (k)θˆ(k −1)⎤⎦
——随机逼近法参数估计的基本公式。 13
3.2 随机逼近参数估计方法
3）收敛因子的选取
θˆ(k) = θˆ(k −1) + ρ(k)ψ(k) ⎡⎣ y(k) − ψT (k)θˆ(k −1)⎤⎦ 一般情况下， ρ(k)随着k 的增加，需要有足够的
2
3.2 随机逼近参数估计方法
2）随机逼近法参数估计 根据随机逼近原理，有
( ) θˆ(k) = θˆ(k −1) + ρ(k)q θˆ(k −1), Ωk
式中收敛因子ρ(k) ，必须满足收敛条件。
如果准则函数 J (θ)取为
{ } J
(θ)
=
1 2
E
⎡⎣e2
(k ) ⎤⎦
=
1 2
E
⎡⎣ y(k) − ψT (k)θ ⎤⎦2
B(q−1) = b1q−1 + " + bnbq−nb ，
ε
(k
)
是均值为零，方差为σ
2 ε
的不相关噪声；
输入和输出数据对应的测量值为
⎧x(k) = u(k) + s(k)
⎨ ⎩
z(k)
=
y(k)
+
v(k)
式中 s(k )
和v(k)
分别是均值为
0、方差为σ
2 s
和σ
2 v
的不
相关随机噪声，且ε (k) 、s(k) 、v(k) 和u(k) 在统计上
如果收敛因子 ρ(k) 满足条件(*)，则θˆ 在均方意
义下收敛于真值θ0 ，即
{ } lim E
k →∞
⎡⎣θˆ(k)-θ0 ⎤⎦T ⎡⎣θˆ(k)-θ0 ⎤⎦
=0
Keifer-Wolfowitz 算法是随机逼近法的基础。 11
3.2 随机逼近参数估计方法
1）参数辨识问题
考虑 y(k) = ψT (k)θ + e(k) 的参数辨识问题。 设准则函数 J (θ) = E ⎡⎣h(θ, Ωk )⎤⎦
17
3.2 随机逼近参数估计方法
4）差分方程的参数辨识 为了避免误差累计，算法中采用的数据必须是
互不相关的，或数据中所含的噪声e(k) 统计独立。 由e(k) 所具有的噪声特性知，如果每隔(n +1) 时
刻递推计算一次，则可满足e(k) 统计独立的要求。
收敛因子 ρ(l)必须满足收敛性条件，自变量l 可 取l = k −1或l = (k −1) / (n +1) 。
1）问题的提出 为了加快收敛速度，可采用牛顿算法：
θˆ(k )
=
θˆ(k
− 1)
−
⎡∂2J (θ)
⎢ ⎣
∂θ 2
⎤ −1 ⎥ ⎦
∂J (θ) ∂θ
θˆ (k −1)
随机牛顿逼近法实质上是 沿着准则函数的二阶负梯 度方向搜索极小值点
式中 ∂2J (θ) ——Hessian 矩阵，它是对称阵，在递推
∂θ 2
15
两两不相关。
3.2 随机逼近参数估计方法
4）差分方程的参数辨识
z(k) = ψT (k)θ + e(k)
式中
⎧ ψT (k)
⎪ ⎨
θ
=
[a1
⎪⎩e(k) =
= [−z(k −1)" − z(k − na )
" ana b1 " bnb ]T A(q−1)v(k) − B(q−1)s(k) +
ε
x(k (k )
−
1)"
x(k
−
nb
)]
分析→噪声e(k) 具有如下特性：
⎧ E{e(k)} = 0
⎪ ⎪⎨E ⎪
{e(i)e(
j
)}
=
⎧有限值，
⎨ ⎩
0,
i− i−
j j
≤n >n
， n = max(na , nb )
⎪⎩E{ψ(k)e(k)} ≠ 0
16
3.2 随机逼近参数估计方法
4）差分方程的参数辨识
取准则函数为
计算过程中必须保持为正定。
If 准则函数为确定性函数，牛顿算法将有较快
的收敛速度和较好的辨识精度。 ☺
But 准则函数通常取为回归函数，牛顿算法难 22
以适用，Hessian 矩阵表达式难以给出。
4.3 随机牛顿法
2）随机牛顿法（RNA）
瑞典学者 L.Ljung 提出了改进的随机牛顿算法
(RNA)
θˆ(k) = θˆ(k −1) − ρ (k)R−1(k) q(θ, Ωk ) θˆ (k −1)
Keifer-Wolfowitz 算法可直接推广到多维的
情况。
10
3.1 随机逼近原理
2）Keifer-Wolfowitz算法 考虑标量函数 J (θ)的极值问题。
如果θ 在θˆ 上使 J (θˆ) 为极值，则求θˆ 的迭代算法 为：
θˆ(k + 1) = θˆ(k) − ρ(k) ∂J (θ) ∂θ θˆ (k )
7
3.1 随机逼近原理
1） Robbins-Monro算法
Wolfowitz 还进一步证明，若ϕ(x)满足下列条件：
（1）
∞
∫−∞
[
y
−
ϕ
(
x)
]2
dp(
y
|
x)
<
∞
；
（2） ϕ(x) < c + d x , − ∞ < x < ∞ ；
（3）当 x < x0 时，ϕ(x) < a, 当 x > x0 时，ϕ(x) > a ； （4）对满足关系式0 < δ1 < δ2 < ∞的任意δ1和δ2 ，存 在 inf ϕ(x) − a > 0
Wolfowitz 给出了求回归函数ϕ(x)极值的迭代算法。
x(k +1) = x(k) − ρ(k) dy dx x(k )
如果式中收敛因子 ρ(k) 满足 Robbins-Monro 算法的条件(*)，则 Keifer-Wolfowitz 算法是收敛 的，即 x(k)的收敛值将使ϕ(x(k))达到极值。
20
3.3 随机牛顿法
1）问题的提出 随机逼近法实质上是沿着准则函数的一阶负
梯度方向搜索极小值点，其递推公式可以写为
θˆ(k) = θˆ(k −1) − ρ ∂J (θ) ∂θ θˆ(k −1)
但是当搜索点接近极小值点时，算法的收敛速 度变得很慢。
要获得较高的辨识精度→辨识时间很长。
21
3.3 随机牛顿法
δ1≤ x− x0 ≤δ2
则 Robbins-Monro 算法以概率 1 收敛于真值解 x0，
{ } 即prob
lim
k→∞
x(k)
=
x0
= 1。
8
3.1 随机逼近原理
2）Keifer-Wolfowitz算法
Robbins-Monro 算 法 的 出 发 点 是 求 ϕ(x) = E{y | x} = α 的根。
⎡ ⎢⎣
N k =1
ψ (k
)
y(k
)⎤⎥⎦
=
0
——LS 解
所作近似是将问题退化为最小二乘问题。
4
3.1 随机逼近原理
研究使准则函数的一阶梯度为 0 的一般方法
设 x 是标量，y(x)是对应的随机变量，p( y | x)为 x 条件下 y 的概率密度函数
则随机变量 y 关于 x 的条件数学期望为
E{y | x} = ∫ ydp( y | x)
{ } J (θ) = 1 E 2
⎡⎣z(k + n) − ψT (k + n)θ ⎤⎦2
利用随机逼近原理，可得参数估计的随机逼近
算法为
θˆ(k + n) = θˆ(k −1) + ρ(l)ψ(k + n)[z(k + n) − ψT (k + n)θˆ(k −1)]
k = 1, n + 2,2n + 3,"
系统辨识
第三章 随机逼近法
主讲教师：郭毓 联系方式：025－84315872－306(o)
南京理工大学自动化学院
随机逼近法 ——一种应用广泛的参数估计方法
3.1 随机逼近原理 考虑模型参数辨识问题
y(k) = ψT (k)θ + e(k) 其中，e(k) 是均值为0的噪声。
{ } 选取准则函数
J (θ)
=
1 2
E
⎡⎣e2 (k)⎤⎦
=
1 2
E
⎡⎣ y(k) − ψT (k )θ ⎤⎦2
求 θˆ ，使 J (θ) = min 。
2
3.1 随机逼近原理
在{e(k )} 为零均值的独立随机序列的情况下，只 需求 J (θ)的一阶负梯度并令其为 0
{ } 即：⎡⎢⎣−
∂J (θ) ∂θ
⎤T ⎥⎦
=
E
ψ(k ) ⎡⎣ y(k ) − ψT (k)θ⎤⎦
而 Keifer 和 Wolfowitz 用ϕ(x) = E{y | x} = α 来确 定回归函数ϕ ( x) 的极值。
如果回归函数ϕ(x) 存在极值，则ϕ(x) 取极值处 的 x 使的 dϕ(x) = 0 。
dx
9
3.1 随机逼近原理
2）Keifer-Wolfowitz算法 根 据 Robbins-Monro 算 法 ， Keifer 和
记为ϕ(x) E{y | x}，它是 x 的函数——回归函数。
假设:对于给定的α ,方程ϕ(x) = E{y | x} = α 有唯一解。
当ϕ ( x) 的函数形式和条件概率密度均未知时，
方程求解困难 ，可用随机逼近法求解。☺
5
3.1 随机逼近原理
随机逼近法就是利用变量 x1, x2,"，及对应的随 机变量 y(x1), y(x2),"，通过迭代计算，逐步逼近方程 式的解。
{ } J
(θ)
=
1 2
E
⎡⎣e2
(k
)⎤⎦
=
1 2
E
⎡⎣ y(k) − ψT (k)θ ⎤⎦2
则有q(θ, Ωk ) = ψ(k) ⎡⎣ y(k) − ψT (k)θ ⎤⎦
⎡σ ⎢
2 v
I
na
⎢⎣ 0
σ
0 I2
s nb
⎤ ⎥ θˆ(k ⎥⎦
−1)⎫⎪⎬, ⎪⎭
k = 1,n + 2,2n + 3,"
并证明了该算法在均方意义下是一致收敛的，即
{ } lim E
k →∞
⎡⎣θ0 − θˆ(k + n)⎤⎦T ⎡⎣θ0 − θˆ(k + n)⎤⎦
=0
ห้องสมุดไป่ตู้
19
3.2 随机逼近参数估计方法 4）差分方程的参数辨识
一般地， ρ(l) 随着 k 的增加要有足够的下降速 度，但 ρ(l) 又不能下降得太快，否则被处理的数据
18
总量太少。
3
4.2 随机逼近参数估计方法
4）差分方程的参数辨识 注意：利用随机逼近方法获得的参数估计是有偏的
（证明略） 相良节夫将偏差引入算法，给出了一种修正的随
机逼近算法
{ θˆ(k + n) = θˆ(k −1) + ρ (l) ψ(k + n)[z(k + n) − ψT (k + n)θˆ(k −1)] +
例 已知系统差分方程为
y(k) = −0.18 y(k −1) + 0.784 y(k − 2) − 0.656 y(k − 3) + ε (k) z(k) = y(k) + v(k)
式中，ε (k)和v(k) 分别是均值为 0、方差为 1 和 0.25 的不相关随机噪声。采用随机逼近法和修正的随机 逼近法估计参数。（见教材 P144）
⎧ ρ(k) > 0, lim ρ(k) = 0
⎪
k →∞
∑ ∑ ⎨ ∞
∞
⎪ ρ(k) = ∞, ρ 2 (k) < ∞
(*)
⎩ k =1
k =1
则 x(k) 在均方意义下收敛于方程的解。
满足(*)条件的最简单的收敛因子
☺ ρ (k )
=
1 kν
,
ν ∈[0.5,1]或 ρ(k) = b 。
k +a
式中，h(⋅)为某一标量函数；Ωk 表示k 时刻之前的输
入输出数据集合。
那么，准则函数的一阶负梯度为
{ } ⎡⎢⎣−
∂J (θ) ⎤T ∂θ ⎥⎦
=
⎡ ⎢⎣ E
⎧⎨− ⎩
∂ ∂θ
h(θ,
Ωk
)
⎫⎤T ⎭⎬⎥⎦

E
q(θ, Ωk )
模型参数辨识问题归结为求方程 E{q(θ, Ωk )} = 0
12
的解。
=0
可求出使 J (θ) = min 的θˆ 。
但是，在 e(k) 统计特性未知情况下，上式无法 求解。
3
3.1 随机逼近原理
如果用平均值来近似数学期望
{ } ∑ 则有 1 N N k=1
ψ(k) ⎣⎡ y(k) − ψT (k )θˆ⎦⎤
=0
∑ ∑ 可得θˆ
=
⎡ ⎢⎣
N k =1
ψ
(k
)ψ
T
(k
⎤ −1 )⎥⎦
∂J (θ) ∂θ θˆ(k −1)
其中， R(k) 是 Hessian 矩阵在θˆ(k −1)点上的近似形
式，在特定的准则函数下，它可以再用随机逼近法
来确定。
23
3.3 随机牛顿法
2）随机牛顿法（RNA）
利用随机牛顿法进行方程 y(k) = ψT (k)θ + e(k) 参 数的辨识。
假设取准则函数为