模型参数辨识方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《系统辨识理论与实践》
《Theory and Practice of System Identification》
主讲教师：杨 帆
第4讲目录
第6讲目录
Part II 辨识方法
第4章 模型参数辨识方法 4.1 模型参数辨识方法分类 4.2 模型参数辨识在线方案 4.3 方程误差辨识方法
1、投影辨识算法
ˆ : z (k 2) hT (k 2)θ ˆ H3 θ
ˆ(k 1) θ
超曲面
ˆ : z (k 3) hT (k 3)θ ˆ H4 θ
N
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
（4）
ˆ (k ) θ ˆ (k 1) θ
第4章 模型参数辨识方法
4.3 方程误差辨识方法
● 方程误差原理：设一个随机序列 { z(k ), k (1,2, , L)} 的均值是参数 的 线性函数 E{z(k )} hT (k ) h(k ) 是可测的数据向量。利用随机序列的一个实现，使准则函数 其中，
J (θ ) [ z(k ) hT (k ) θ ]2
由于 c 0,0 a 2，故上式 0，即
(k ) (k 1) (k ) (k 1)
因此， (k ) (k 1) 0 ，得证。
2
2
(k ) (k 1) 0
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 ②
（4）
z 2 (k ) lim T L k 1 c h (k )h(k )
L
证明提示：由①的证明，有
ahT (k )h(k ) az 2 (k ) θ (k ) θ (k 1) 2 T c hT (k )h(k ) c h ( k ) h ( k )
ˆ : z (k ) hT (k )θ ˆ 超曲面 H1 θ
ˆ (k ) θ ˆ (k 1) θ ˆ (k 1) θ
θ0
ˆ : z (k 1) hT (k 1)θ ˆ 超曲面 H 2 θ
0
ˆ1
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
2、正交投影辨识算法
3、最小二乘辨识算法 4、投影算法、正交投影算法和最小二乘算法的特点
Part II 辨识方法 4.1 辨识方法分类
4.1 辨识方法分类
第4章 模型参数辨识方法
① 方程误差参数辨识方法，其基本思想是通过极小化如下准则函数来 估计模型参数：
ˆ ) 2 ( k ) min J (θ ˆ θ
p( z | ) 最 大 限 度 地 逼 近 条 件 0 下 的 概 率 密 度 p ( z | 0 ) ， 即 度 ________ p( z | ˆ) max p( z | 0 )。典型的有极大似然法、预报误差法等。 _____________________
Part II 辨识方法 4.2 辨识在线方案
J ( ) [ z(k ) hT (k ) ]2
k 1 L
ˆ。 即可求得模型参数的方程误差估计值 ● 方程误差估计值在观测值与估计值之累次误差的平方和达到最小值处， 所得到的模型输出能最好地逼近实际系统的输出。
Part II 辨识方法 4.3 方程误差辨识方
第4章法 模型参数辨识方法
（1）
● 给定不同的 z () 和 h() ，存在不同的超曲面 H θ : z() hT ()θ。 ˆ(k 1)值作为 ˆ(k ) ，即 从一个超曲面到另一个超曲面，选择最靠近的
H1 θ : z (k 1) hT (k 1)θ
H θ : z(k ) hT (k )θ
k 1
证明：算法表达式两边减去 θ0
(k ) (k 1)
ah(k ) T ˆ(k 1) z ( k ) h ( k ) T c h (k )h(k ) ah(k ) (k 1) z (k ) T c h (k )h(k )
2 2 2
L k 1
法
ˆ称作 θ的方程误差估计，或称最小二乘估计。 达到极小的参数估计值 θ ˆ，使序列估 ● 方程误差原理表明，未知参数估计问题就是求参数估计值 计值尽量接近实际值，两者的接近程度用实际值与估计值差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式
z(k ) hT (k ) n(k ) 为了求模型的参数估计值，可以利用上述方程误差原理。根据观测到的已 知数据序列 { z( k )} 和 { h( k )} ，极小化下列准则函数
益处：
ah(k ) T ˆ(k 1) , z ( k ) h ( k ) θ c hT (k )h(k )
c 0, 0 a 2
• 避免了分母为零，数值稳定性好 • 步长可调节
收敛速度↑ a↑ 鲁棒性↓
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
2 Τ
（4）
az (k )hT (k )h(k ) az (k ) T Τ h (k ) (k 1) (k 1)h(k ) T T c h (k )h(k ) c h (k )h(k )
az 2 (k ) ahT (k )h(k ) 2 <0 T c hT (k )h(k ) c h ( k ) h ( k )
ah(k ) z (k ) θ (k ) θ (k 1) θ (k 1) θ (k 1) T c h (k )h(k )
2
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
ah(k ) z (k ) ah(k ) z (k ) ah(k ) z (k ) Τ ( k 1) ( k 1) T c hT (k )h(k ) c h ( k ) h ( k ) c hT (k )h(k )
4.2 辨识在线方案
① 辨识在线方案
第4章 模型参数辨识方法
ˆ(k 1), D(k ), k ] ˆ(k ) f [θ θ
其中， f ,,是一种代数函数； ˆ(k 1) 是上一时刻的模型参数估计值； 输出数据 Z (k ) {z(k ), z(k 1), z(k 2),}组成。 ② 广泛采用的形式
T
h '(k ) T ˆ '(k 1) z ( k ) h ' ( k ) θ T h ' (k )h '(k )
T
ˆ '(k ) θ ˆ 'T (k ), 0 θ
T
改变了最小二乘格式的定义方法：
z (k ) h (k ) h (k ),1 0
和输出数据 Z (k d ) {z(k d ), z(k d 1),} 组成；
d 表示参数估计的预报能力，即利用 (k d ) 时刻以前的数据来估计
当前时刻的模型参数；
~ ˆ(k 1) 引起的模型预报误差。 z (k ) 建模误差，如由
Part II 辨识方法 4.3 方程误差辨识方
k 1
L
其中， (k ) 代表模型输出与系统输出的偏差。典型的方法有最小二乘法、 增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐 步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出 z 的条件概率密
H 2 θ : z (k ) hT (k )θ
ˆ (k 1) θ
ˆ (k ) θ
J
2 1 ˆ ˆ (k ) min θ (k 1) θ 2
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 （2）准则 （3）算法
4.3 方程误差辨识方法
投影算法
改进
正交投影算法
改进
最小二乘算法
变型
主要参考书C第三章
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 （1）模型 考虑如下模型（确定性模型） z(k ) hT (k ) z (k )为模型输出变量； 为模型参数向量； 其中， h(k )为数据向量。 ● 给定 z(k ) 和 h(k )，所有满足模型的 均落在如下的超曲面上
ˆ
J 0及
0
ˆ (k )
h(k ) ˆ(k 1) z(k ) hT (k ) T h (k )h(k )
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 （4）几何解析 ˆ2
h(k )
（3）
h(k 1)
h(k ) T ˆ(k 1) z ( k ) h ( k ) θ hT (k )h(k )
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
（4）
ˆ '(k ) θ ˆ '(k 1) θ h '(k ) h ' (k ),1
4.3 方程误差辨识方法 1、投影辨识算法 （5）基本性质 ˆ (k ) θ 引入记号 θ (k ) ˆθ 0
（4）
ˆ (k 1) hT (k )θ (k 1) z (k ) ˆ z (k ) hT (k )θ
①
ˆ (k ) θ θ ˆ(k 1) θ θ ˆ(0) θ , θ 0 0 0
2 1 ˆ ˆ (k )。 ˆ 准则函数取 J θ (k 1) θ (k ) ，其约束条件为 z(k ) hT (k ) 2
（2）
J 准则函数要达到极小的必要条件是
● 投影算法：
ˆ(k ) ˆ(k 1)
● 对约束条件引入Lagrangian算子，准则函数写成 2 1 ˆ T ˆ (k ) ˆ z ( k ) h (k )θ J θ (k 1) θ (k ) 2
4.3 方程误差辨识方法 1、投影辨识算法 （4）几何解析（有噪声时）
（4）
超曲面
ˆ : z (k ) hT (k )θ ˆ H1 θ
1
超曲面
θ0
ˆ(k ) θ
ˆ : z (k 1) hT (k 1)θ ˆ H2 θ
超曲面
ˆ(k 1) θ ˆ (k 2) θ ˆ (k 3) θ
T T
益处：
• 避免了分母为零，数值稳定性好
1 1 • 适用于 A( z ) z (k ) B( z )u(k ) c 的模型结构（c为偏移）
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
（4）
ˆ (k ) θ ˆ (k 1) θ
D(k ) 是数据集，由输入数据 U (k ) {u(k ), u(k 1), u(k 2),} 和
ˆ( k ) ˆ(k 1) K (k )h(k d )~ z (k )
K (k ) 为增益矩阵； 其中，
ˆ(k 1) 是上一时刻的模型参数估计值；
h(k d ) 是数据向量，由输入数据 U (k ) {u(k d ), u(k d 1),}2 2Fra bibliotek因此，
ahT (k )h(k ) az 2 (k ) θ ( L) θ (0) 2 c hT (k )h(k ) T c h ( k ) h ( k ) k 1
《Theory and Practice of System Identification》
主讲教师：杨 帆
第4讲目录
第6讲目录
Part II 辨识方法
第4章 模型参数辨识方法 4.1 模型参数辨识方法分类 4.2 模型参数辨识在线方案 4.3 方程误差辨识方法
1、投影辨识算法
ˆ : z (k 2) hT (k 2)θ ˆ H3 θ
ˆ(k 1) θ
超曲面
ˆ : z (k 3) hT (k 3)θ ˆ H4 θ
N
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
（4）
ˆ (k ) θ ˆ (k 1) θ
第4章 模型参数辨识方法
4.3 方程误差辨识方法
● 方程误差原理：设一个随机序列 { z(k ), k (1,2, , L)} 的均值是参数 的 线性函数 E{z(k )} hT (k ) h(k ) 是可测的数据向量。利用随机序列的一个实现，使准则函数 其中，
J (θ ) [ z(k ) hT (k ) θ ]2
由于 c 0,0 a 2，故上式 0，即
(k ) (k 1) (k ) (k 1)
因此， (k ) (k 1) 0 ，得证。
2
2
(k ) (k 1) 0
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 ②
（4）
z 2 (k ) lim T L k 1 c h (k )h(k )
L
证明提示：由①的证明，有
ahT (k )h(k ) az 2 (k ) θ (k ) θ (k 1) 2 T c hT (k )h(k ) c h ( k ) h ( k )
ˆ : z (k ) hT (k )θ ˆ 超曲面 H1 θ
ˆ (k ) θ ˆ (k 1) θ ˆ (k 1) θ
θ0
ˆ : z (k 1) hT (k 1)θ ˆ 超曲面 H 2 θ
0
ˆ1
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
2、正交投影辨识算法
3、最小二乘辨识算法 4、投影算法、正交投影算法和最小二乘算法的特点
Part II 辨识方法 4.1 辨识方法分类
4.1 辨识方法分类
第4章 模型参数辨识方法
① 方程误差参数辨识方法，其基本思想是通过极小化如下准则函数来 估计模型参数：
ˆ ) 2 ( k ) min J (θ ˆ θ
p( z | ) 最 大 限 度 地 逼 近 条 件 0 下 的 概 率 密 度 p ( z | 0 ) ， 即 度 ________ p( z | ˆ) max p( z | 0 )。典型的有极大似然法、预报误差法等。 _____________________
Part II 辨识方法 4.2 辨识在线方案
J ( ) [ z(k ) hT (k ) ]2
k 1 L
ˆ。 即可求得模型参数的方程误差估计值 ● 方程误差估计值在观测值与估计值之累次误差的平方和达到最小值处， 所得到的模型输出能最好地逼近实际系统的输出。
Part II 辨识方法 4.3 方程误差辨识方
第4章法 模型参数辨识方法
（1）
● 给定不同的 z () 和 h() ，存在不同的超曲面 H θ : z() hT ()θ。 ˆ(k 1)值作为 ˆ(k ) ，即 从一个超曲面到另一个超曲面，选择最靠近的
H1 θ : z (k 1) hT (k 1)θ
H θ : z(k ) hT (k )θ
k 1
证明：算法表达式两边减去 θ0
(k ) (k 1)
ah(k ) T ˆ(k 1) z ( k ) h ( k ) T c h (k )h(k ) ah(k ) (k 1) z (k ) T c h (k )h(k )
2 2 2
L k 1
法
ˆ称作 θ的方程误差估计，或称最小二乘估计。 达到极小的参数估计值 θ ˆ，使序列估 ● 方程误差原理表明，未知参数估计问题就是求参数估计值 计值尽量接近实际值，两者的接近程度用实际值与估计值差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式
z(k ) hT (k ) n(k ) 为了求模型的参数估计值，可以利用上述方程误差原理。根据观测到的已 知数据序列 { z( k )} 和 { h( k )} ，极小化下列准则函数
益处：
ah(k ) T ˆ(k 1) , z ( k ) h ( k ) θ c hT (k )h(k )
c 0, 0 a 2
• 避免了分母为零，数值稳定性好 • 步长可调节
收敛速度↑ a↑ 鲁棒性↓
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
2 Τ
（4）
az (k )hT (k )h(k ) az (k ) T Τ h (k ) (k 1) (k 1)h(k ) T T c h (k )h(k ) c h (k )h(k )
az 2 (k ) ahT (k )h(k ) 2 <0 T c hT (k )h(k ) c h ( k ) h ( k )
ah(k ) z (k ) θ (k ) θ (k 1) θ (k 1) θ (k 1) T c h (k )h(k )
2
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
ah(k ) z (k ) ah(k ) z (k ) ah(k ) z (k ) Τ ( k 1) ( k 1) T c hT (k )h(k ) c h ( k ) h ( k ) c hT (k )h(k )
4.2 辨识在线方案
① 辨识在线方案
第4章 模型参数辨识方法
ˆ(k 1), D(k ), k ] ˆ(k ) f [θ θ
其中， f ,,是一种代数函数； ˆ(k 1) 是上一时刻的模型参数估计值； 输出数据 Z (k ) {z(k ), z(k 1), z(k 2),}组成。 ② 广泛采用的形式
T
h '(k ) T ˆ '(k 1) z ( k ) h ' ( k ) θ T h ' (k )h '(k )
T
ˆ '(k ) θ ˆ 'T (k ), 0 θ
T
改变了最小二乘格式的定义方法：
z (k ) h (k ) h (k ),1 0
和输出数据 Z (k d ) {z(k d ), z(k d 1),} 组成；
d 表示参数估计的预报能力，即利用 (k d ) 时刻以前的数据来估计
当前时刻的模型参数；
~ ˆ(k 1) 引起的模型预报误差。 z (k ) 建模误差，如由
Part II 辨识方法 4.3 方程误差辨识方
k 1
L
其中， (k ) 代表模型输出与系统输出的偏差。典型的方法有最小二乘法、 增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐 步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出 z 的条件概率密
H 2 θ : z (k ) hT (k )θ
ˆ (k 1) θ
ˆ (k ) θ
J
2 1 ˆ ˆ (k ) min θ (k 1) θ 2
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 （2）准则 （3）算法
4.3 方程误差辨识方法
投影算法
改进
正交投影算法
改进
最小二乘算法
变型
主要参考书C第三章
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 （1）模型 考虑如下模型（确定性模型） z(k ) hT (k ) z (k )为模型输出变量； 为模型参数向量； 其中， h(k )为数据向量。 ● 给定 z(k ) 和 h(k )，所有满足模型的 均落在如下的超曲面上
ˆ
J 0及
0
ˆ (k )
h(k ) ˆ(k 1) z(k ) hT (k ) T h (k )h(k )
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法 （4）几何解析 ˆ2
h(k )
（3）
h(k 1)
h(k ) T ˆ(k 1) z ( k ) h ( k ) θ hT (k )h(k )
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
（4）
ˆ '(k ) θ ˆ '(k 1) θ h '(k ) h ' (k ),1
4.3 方程误差辨识方法 1、投影辨识算法 （5）基本性质 ˆ (k ) θ 引入记号 θ (k ) ˆθ 0
（4）
ˆ (k 1) hT (k )θ (k 1) z (k ) ˆ z (k ) hT (k )θ
①
ˆ (k ) θ θ ˆ(k 1) θ θ ˆ(0) θ , θ 0 0 0
2 1 ˆ ˆ (k )。 ˆ 准则函数取 J θ (k 1) θ (k ) ，其约束条件为 z(k ) hT (k ) 2
（2）
J 准则函数要达到极小的必要条件是
● 投影算法：
ˆ(k ) ˆ(k 1)
● 对约束条件引入Lagrangian算子，准则函数写成 2 1 ˆ T ˆ (k ) ˆ z ( k ) h (k )θ J θ (k 1) θ (k ) 2
4.3 方程误差辨识方法 1、投影辨识算法 （4）几何解析（有噪声时）
（4）
超曲面
ˆ : z (k ) hT (k )θ ˆ H1 θ
1
超曲面
θ0
ˆ(k ) θ
ˆ : z (k 1) hT (k 1)θ ˆ H2 θ
超曲面
ˆ(k 1) θ ˆ (k 2) θ ˆ (k 3) θ
T T
益处：
• 避免了分母为零，数值稳定性好
1 1 • 适用于 A( z ) z (k ) B( z )u(k ) c 的模型结构（c为偏移）
Part II 辨识方法 1、投影辨识算法
第4章 模型参数辨识方法
4.3 方程误差辨识方法 1、投影辨识算法
（4）
ˆ (k ) θ ˆ (k 1) θ
D(k ) 是数据集，由输入数据 U (k ) {u(k ), u(k 1), u(k 2),} 和
ˆ( k ) ˆ(k 1) K (k )h(k d )~ z (k )
K (k ) 为增益矩阵； 其中，
ˆ(k 1) 是上一时刻的模型参数估计值；
h(k d ) 是数据向量，由输入数据 U (k ) {u(k d ), u(k d 1),}2 2Fra bibliotek因此，
ahT (k )h(k ) az 2 (k ) θ ( L) θ (0) 2 c hT (k )h(k ) T c h ( k ) h ( k ) k 1