系统辨识讲义
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
k =1
N
∂V (θ ) N = ∑ 2ay 2 (k − 1) + 2 y (k ) y (k − 1) − 2by (k − 1)u (k − 1) ∂a k =1 ∂V (θ ) N = ∑ 2bu 2 (k − 1) − 2 y (k )u (k − 1) − 2ay (k − 1)u (k − 1) ∂b k =1
Soderstrom & Stoica: instrumental variable methods
如果扰动不是白噪声，则最小二乘法不再适用。
但我们可以假设扰动与输入不相关，这在开环 运行的情况下是完全合理的。在这种假设下， 可以用instrumental variable（辅助变量）法估 计模型参数。该类方法计算量较小，但是不像 prediction error方法那样能够同时得到噪声模型。 瑞典的Soderstrom & Stoica的专著“system identification”和“instrumental variable methods for system identification”是该领域的经典著作。
有可测控输入的系统辨识（普通意义上的系统辨识）。
本课程主要涉及这部分内容。 无可测控输入的系统辨识，也就是说，系统只有扰动 信号一种输入变量。这种情况下，系统的输出数据就 是时间序列，所以这种辨识也称为“时间序列模型辨 识”(time series model identification)。近年来这类方法 得到越来越多的应用。
Ljung等: Prediction error methods
如果扰动不是白噪声，则最小二乘法不再适用。
瑞典的Ljung等人从1970年代开始发展出 prediction error 方法，它能够在有色噪声情形 的情况下，给出参数的一致估计。目前，该类 方法是系统辨识的主流方法。 Ljung的专著“system identification: theory for the user”是本领域的经典著作。 Ljung主持编写的Matlab system identification toolbox是本领域最好的工具箱。
θ
k =1
N
一个极简单的参数方法例子（续）
V (θ ) = ∑ [ y (k ) + ay (k − 1) − bu (k − 1)]2
k =1 N
系统辨识的基本步骤
开始 设计实验 进行实验并收集数据 选择模型结构 选择算法，估计模型参数 模型有效性验证
No 模型是否令人满意? Yes
= ∑ y 2 (k ) + a 2 y 2 (k − 1) + 2ay (k ) y (k − 1) + b 2u 2 (k − 1) − 2by (k )u ( k − 1) − 2aby ( k − 1)u ( k − 1)
–理解非参数辨识方法，包括阶跃响应法、脉冲响应法、 频率响应法。掌握采用相关分析法和谱分析法进行系 统辨识的方法。（4学时）
第2章 确定信号的描述与分析 第3章 随机信号的描述与分析
– 了解随机过程的基本概念及其数学描述，理解相关函数 和谱密度的估计的概念和方法，掌握白噪声及其产生方 法、伪随机码的产生方法及其性质。（4学时）
先验知识
最佳估计值应使得上面两式为0，因此
N 2 −∑ y (k − 1) k =1 N −∑ y (k − 1)u (k − 1) k =1
N y (k − 1)u (k − 1) y (k ) y (k − 1) ∑ ˆ ∑ a k =1 = k =1 N ˆ N b u 2 (k − 1) ∑ y (k )u (k − 1) ∑ k =1 k =1
何求取参数估计值。least-squares, prediction error, instrumental variable 参数估计算法的统计性质：无偏性、一致性。 如何验证所得模型的有效性？如何选择模型阶数？
Gauss 和 Markov: 最小二乘法
Gauss在1795年首次用最小二乘法(least-squares
第一章 系统辨识的基本概念 系统辨识基础
北京交通大学 2008.7 程轶平
1. 2. 3. 4. 5.
系统和模型 系统辨识的定义 系统辨识的基本原理 系统辨识学科发展史 课程教学内容、考核方式
1.1 系统
系统：由相互制约、相互联系的各个实体按照一定规律 构成且具有独立功能的整体。 （工程意义上的）系统从外界接受一个（或多个）输入 量的作用，然后向外界输出物理量。输入量和输出量都 是随时间变化的。控制理论中的系统都是动态系统，即： 系统在当前的输出不仅取决系统当前的输入，还取决于 过去的输入。这就是系统的“记忆”，或“惯性”、“惰性”。
关于辨识的目标模型的几点考虑
任何系统一定有个真实模型。但是，1）这个真实模型
在绝大多数情况下是无法获得的；2）即使它能够获得， 它一般是极其复杂因而无法使用。所以，我们在辨识 中所希望得到的模型是复杂度在可接受范围内，能够 近似反映真实系统的模型。 虽然真实系统严格说来是非线性且时变的，但很多系 统可以用有限维线性时不变(FDLTI)模型来近似。所以， 我们在辨识中一般将目标模型定为FDLTI模型，或称 为线性模型。 辨识的目标模型一般是离散模型。因为系统辨识是通 过算法来实现的，而计算机只能处理有限的数据，所 以所谓输入输出数据是在采样点上测量到的有限长度 的数据。
N
结束
新数据
如果最左边矩阵可逆，则可求得模型参数估计值。
系统辨识要解决的问题(partial list)
如何设计实验？输入信号，采样时间，数据长度，
开环/闭环，离线/在线。
4. 系统辨识学科发展史
本节中，我们将以系统辨识学科相关的
重要学者、重大发现为线索，讲述系统 辨识学科的发展历史。
如果选择参数方法： 选择什么模型结构？ARX,ARMAX,Box-Jenkins 最优模型参数是基于什么样的准则(criterion)？如
5.1 课程教学内容
第1章 辨识的一些基本概念
– 了解系统和模型概念，理解辨识定义、辨识算法的基本 原理、辨识误差准则，掌握辨识的内容和步骤。（2学 时）
第5章 时间序列的辨识
– 非参数方法（相关分析，谱分析 ），参数方法：YuleWalker算法（4学时）
第6章 线性系统非参数辨识方法
Bart De Moor, Verhaegen等：子空间辨识
1990年代，为了克服PEM针对多变量系统辨识
时需要进行非线性优化，以及IV不能同时辨识 出噪声模型的缺点。Bart De Moor, Verhaegen 等提出了针对多变量系统的subspace identification methods。该类方法不是基于优化 某个criterion，主要用到矩阵的奇异值分解， 无需非线性优化，因而计算量较小。
method) 计算行星轨道。Markov继续完善了 Gauss的工作，证明了最小二乘估计是最优线 性无偏估Байду номын сангаас（BLUE）。
Kolmogorov: 建立概率论的公理化体系
朴素概率论早在19世纪就建立起来了，
但是朴素概率论不是建立在严格的数学 基础之上的。苏联科学家Kolmogorov在 1930年代在测度论的基础上建立了公理 化的概率论体系。这使得概率论、随机 过程、数理统计等学科的飞速发展成为 可能。
一个极简单的参数方法例子
我们测得0—N采样时刻的输入输出数据，即
u (0), u (1)," , u ( N − 1), u ( N ) y (0), y (1)," , y ( N − 1), y ( N )
假定系统的模型属于如下的模型类：
y ( k ) + ay ( k − 1) = bu (k − 1) + v(k )
Goodwin, Chen等：鲁棒辨识
1990年代末，随着鲁棒控制，特别是H-无穷控
制的发展。控制界需要适用于鲁棒控制的系统 模型。鲁棒辨识完全舍弃了扰动为随机噪声的 假设，而假设扰动在某个区间范围内。因此， 辨识得到的模型是（确定论的）模型族，而不 是单个模型。Chen等的“Control-oriented system identification: an H-infinity approach”是本领域 的第一个专著。
1.2 模型
数学模型是用来描述系统行为的数学语
言。 非线性系统的数学模型是非线性状态方 程和输出方程。线性系统的数学模型可 以有多种相互等价的形式：状态空间方 程、传递函数、阶跃响应、差分方程等。
扰 动 输入
系统
输出
1.3 建模的两大类方法
机理分析法(first principles modeling）或称为白
箱建模法(white-box modeling)：根据物理、化 学、生物等学科的相关原理写出数学模型。 辨识法(identification), 或称为黑箱建模法 (black-box modeling)：根据测量得到的输入输 出数据得到模型。 v(t) u(t) y(t)
2.1 系统辨识的定义
概率论系统辨识(Probabilistic system identification)。这
类方法基于如下假设：系统的真实模型是一个随机模型， 就是说，系统的输入不仅仅是可测量、可操纵的u，而且 还有一个不可测量、不可操纵的扰动输入v。一般情况下 v 被假设为随机噪声。求得模型参数就成为一个数理统计 中的参数估计问题。此类方法是系统辨识的主流，本课程 只介绍这类方法。 鲁棒系统辨识(Robust system identification)：这类方法是 近几年发展起来的方法。它们基于如下假设：系统同样被 假设成具有一个不可测量不可操纵的扰动输入v, 但v 被假 设成属于某个区间范围。算法所求得的模型不是单个模型， 而是一个模型族。
显然，该模型类的参数向量为 θ=(a b)T。为估计 参数向量θ ，我们规定参数最佳估计值应是使得 所有时刻扰动的平方和最小的一组参数值。即
ˆ = arg min V (θ ) = arg min v 2 ( k ) θ ∑
θ θ
k =1 N
= arg min ∑ [ y ( k ) + ay (k − 1) − bu (k − 1)]2
v(t) y(t)
系统
本课程只涉及SISO系统
单输入单输出(SISO)系统的辨识是系统辨
识中最常见的情况。这里所指的单输入 是指可测控输入u和不可测控输入v都最 多有单个分量。 多输入多输出(MIMO)系统的辨识比SISO 情形复杂很多。由于课时数的限制，本 课程只涉及SISO系统的辨识。
根据数学基础对辨识方法进行分类
控制(适应、非适应） 预测 故障诊断 通信（信道均衡） 信号处理（语音压缩、地震监测）
3. 系统辨识的基本原理
在本节中我们对系统辨识方法进行分类。
介绍系统辨识的基本步骤。并用一个简 单例子说明一种参数式(parametric)辨识 方法。
根据被辨识系统有否可测控输入对辨 识分类
（Wiki百科定义）系统辨识(system
identification)是一门根据测量得的动态系 统输入输出数据建立系统模型的学科。 根据这个定义，系统辨识是建模(model building)的子概念。 系统辨识三要素：(输入输出)数据、模型 类、准则。
系统
2.2 什么地方用到系统辨识？
非参数方法和参数方法
非参数方法（nonparametric methods）是较早出现的
辨识方法。它仅仅假设系统是线性时不变的，而不进 一步假设系统有特定的模型结构。辨识的目标模型是 系统的冲激响应，阶跃响应，或频率响应等。对时间 序列，辨识的目标模型是自相关函数或功率谱密度等。 参数方法（parametric methods）假定系统的模型属于 一个具有特定结构的模型类。在同一模型类中，不同 的模型由不同的一组参数来表征。辨识的核心工作就 是根据输入输出数据估计这组参数。 两类方法各有其适用范围。
N
∂V (θ ) N = ∑ 2ay 2 (k − 1) + 2 y (k ) y (k − 1) − 2by (k − 1)u (k − 1) ∂a k =1 ∂V (θ ) N = ∑ 2bu 2 (k − 1) − 2 y (k )u (k − 1) − 2ay (k − 1)u (k − 1) ∂b k =1
Soderstrom & Stoica: instrumental variable methods
如果扰动不是白噪声，则最小二乘法不再适用。
但我们可以假设扰动与输入不相关，这在开环 运行的情况下是完全合理的。在这种假设下， 可以用instrumental variable（辅助变量）法估 计模型参数。该类方法计算量较小，但是不像 prediction error方法那样能够同时得到噪声模型。 瑞典的Soderstrom & Stoica的专著“system identification”和“instrumental variable methods for system identification”是该领域的经典著作。
有可测控输入的系统辨识（普通意义上的系统辨识）。
本课程主要涉及这部分内容。 无可测控输入的系统辨识，也就是说，系统只有扰动 信号一种输入变量。这种情况下，系统的输出数据就 是时间序列，所以这种辨识也称为“时间序列模型辨 识”(time series model identification)。近年来这类方法 得到越来越多的应用。
Ljung等: Prediction error methods
如果扰动不是白噪声，则最小二乘法不再适用。
瑞典的Ljung等人从1970年代开始发展出 prediction error 方法，它能够在有色噪声情形 的情况下，给出参数的一致估计。目前，该类 方法是系统辨识的主流方法。 Ljung的专著“system identification: theory for the user”是本领域的经典著作。 Ljung主持编写的Matlab system identification toolbox是本领域最好的工具箱。
θ
k =1
N
一个极简单的参数方法例子（续）
V (θ ) = ∑ [ y (k ) + ay (k − 1) − bu (k − 1)]2
k =1 N
系统辨识的基本步骤
开始 设计实验 进行实验并收集数据 选择模型结构 选择算法，估计模型参数 模型有效性验证
No 模型是否令人满意? Yes
= ∑ y 2 (k ) + a 2 y 2 (k − 1) + 2ay (k ) y (k − 1) + b 2u 2 (k − 1) − 2by (k )u ( k − 1) − 2aby ( k − 1)u ( k − 1)
–理解非参数辨识方法，包括阶跃响应法、脉冲响应法、 频率响应法。掌握采用相关分析法和谱分析法进行系 统辨识的方法。（4学时）
第2章 确定信号的描述与分析 第3章 随机信号的描述与分析
– 了解随机过程的基本概念及其数学描述，理解相关函数 和谱密度的估计的概念和方法，掌握白噪声及其产生方 法、伪随机码的产生方法及其性质。（4学时）
先验知识
最佳估计值应使得上面两式为0，因此
N 2 −∑ y (k − 1) k =1 N −∑ y (k − 1)u (k − 1) k =1
N y (k − 1)u (k − 1) y (k ) y (k − 1) ∑ ˆ ∑ a k =1 = k =1 N ˆ N b u 2 (k − 1) ∑ y (k )u (k − 1) ∑ k =1 k =1
何求取参数估计值。least-squares, prediction error, instrumental variable 参数估计算法的统计性质：无偏性、一致性。 如何验证所得模型的有效性？如何选择模型阶数？
Gauss 和 Markov: 最小二乘法
Gauss在1795年首次用最小二乘法(least-squares
第一章 系统辨识的基本概念 系统辨识基础
北京交通大学 2008.7 程轶平
1. 2. 3. 4. 5.
系统和模型 系统辨识的定义 系统辨识的基本原理 系统辨识学科发展史 课程教学内容、考核方式
1.1 系统
系统：由相互制约、相互联系的各个实体按照一定规律 构成且具有独立功能的整体。 （工程意义上的）系统从外界接受一个（或多个）输入 量的作用，然后向外界输出物理量。输入量和输出量都 是随时间变化的。控制理论中的系统都是动态系统，即： 系统在当前的输出不仅取决系统当前的输入，还取决于 过去的输入。这就是系统的“记忆”，或“惯性”、“惰性”。
关于辨识的目标模型的几点考虑
任何系统一定有个真实模型。但是，1）这个真实模型
在绝大多数情况下是无法获得的；2）即使它能够获得， 它一般是极其复杂因而无法使用。所以，我们在辨识 中所希望得到的模型是复杂度在可接受范围内，能够 近似反映真实系统的模型。 虽然真实系统严格说来是非线性且时变的，但很多系 统可以用有限维线性时不变(FDLTI)模型来近似。所以， 我们在辨识中一般将目标模型定为FDLTI模型，或称 为线性模型。 辨识的目标模型一般是离散模型。因为系统辨识是通 过算法来实现的，而计算机只能处理有限的数据，所 以所谓输入输出数据是在采样点上测量到的有限长度 的数据。
N
结束
新数据
如果最左边矩阵可逆，则可求得模型参数估计值。
系统辨识要解决的问题(partial list)
如何设计实验？输入信号，采样时间，数据长度，
开环/闭环，离线/在线。
4. 系统辨识学科发展史
本节中，我们将以系统辨识学科相关的
重要学者、重大发现为线索，讲述系统 辨识学科的发展历史。
如果选择参数方法： 选择什么模型结构？ARX,ARMAX,Box-Jenkins 最优模型参数是基于什么样的准则(criterion)？如
5.1 课程教学内容
第1章 辨识的一些基本概念
– 了解系统和模型概念，理解辨识定义、辨识算法的基本 原理、辨识误差准则，掌握辨识的内容和步骤。（2学 时）
第5章 时间序列的辨识
– 非参数方法（相关分析，谱分析 ），参数方法：YuleWalker算法（4学时）
第6章 线性系统非参数辨识方法
Bart De Moor, Verhaegen等：子空间辨识
1990年代，为了克服PEM针对多变量系统辨识
时需要进行非线性优化，以及IV不能同时辨识 出噪声模型的缺点。Bart De Moor, Verhaegen 等提出了针对多变量系统的subspace identification methods。该类方法不是基于优化 某个criterion，主要用到矩阵的奇异值分解， 无需非线性优化，因而计算量较小。
method) 计算行星轨道。Markov继续完善了 Gauss的工作，证明了最小二乘估计是最优线 性无偏估Байду номын сангаас（BLUE）。
Kolmogorov: 建立概率论的公理化体系
朴素概率论早在19世纪就建立起来了，
但是朴素概率论不是建立在严格的数学 基础之上的。苏联科学家Kolmogorov在 1930年代在测度论的基础上建立了公理 化的概率论体系。这使得概率论、随机 过程、数理统计等学科的飞速发展成为 可能。
一个极简单的参数方法例子
我们测得0—N采样时刻的输入输出数据，即
u (0), u (1)," , u ( N − 1), u ( N ) y (0), y (1)," , y ( N − 1), y ( N )
假定系统的模型属于如下的模型类：
y ( k ) + ay ( k − 1) = bu (k − 1) + v(k )
Goodwin, Chen等：鲁棒辨识
1990年代末，随着鲁棒控制，特别是H-无穷控
制的发展。控制界需要适用于鲁棒控制的系统 模型。鲁棒辨识完全舍弃了扰动为随机噪声的 假设，而假设扰动在某个区间范围内。因此， 辨识得到的模型是（确定论的）模型族，而不 是单个模型。Chen等的“Control-oriented system identification: an H-infinity approach”是本领域 的第一个专著。
1.2 模型
数学模型是用来描述系统行为的数学语
言。 非线性系统的数学模型是非线性状态方 程和输出方程。线性系统的数学模型可 以有多种相互等价的形式：状态空间方 程、传递函数、阶跃响应、差分方程等。
扰 动 输入
系统
输出
1.3 建模的两大类方法
机理分析法(first principles modeling）或称为白
箱建模法(white-box modeling)：根据物理、化 学、生物等学科的相关原理写出数学模型。 辨识法(identification), 或称为黑箱建模法 (black-box modeling)：根据测量得到的输入输 出数据得到模型。 v(t) u(t) y(t)
2.1 系统辨识的定义
概率论系统辨识(Probabilistic system identification)。这
类方法基于如下假设：系统的真实模型是一个随机模型， 就是说，系统的输入不仅仅是可测量、可操纵的u，而且 还有一个不可测量、不可操纵的扰动输入v。一般情况下 v 被假设为随机噪声。求得模型参数就成为一个数理统计 中的参数估计问题。此类方法是系统辨识的主流，本课程 只介绍这类方法。 鲁棒系统辨识(Robust system identification)：这类方法是 近几年发展起来的方法。它们基于如下假设：系统同样被 假设成具有一个不可测量不可操纵的扰动输入v, 但v 被假 设成属于某个区间范围。算法所求得的模型不是单个模型， 而是一个模型族。
显然，该模型类的参数向量为 θ=(a b)T。为估计 参数向量θ ，我们规定参数最佳估计值应是使得 所有时刻扰动的平方和最小的一组参数值。即
ˆ = arg min V (θ ) = arg min v 2 ( k ) θ ∑
θ θ
k =1 N
= arg min ∑ [ y ( k ) + ay (k − 1) − bu (k − 1)]2
v(t) y(t)
系统
本课程只涉及SISO系统
单输入单输出(SISO)系统的辨识是系统辨
识中最常见的情况。这里所指的单输入 是指可测控输入u和不可测控输入v都最 多有单个分量。 多输入多输出(MIMO)系统的辨识比SISO 情形复杂很多。由于课时数的限制，本 课程只涉及SISO系统的辨识。
根据数学基础对辨识方法进行分类
控制(适应、非适应） 预测 故障诊断 通信（信道均衡） 信号处理（语音压缩、地震监测）
3. 系统辨识的基本原理
在本节中我们对系统辨识方法进行分类。
介绍系统辨识的基本步骤。并用一个简 单例子说明一种参数式(parametric)辨识 方法。
根据被辨识系统有否可测控输入对辨 识分类
（Wiki百科定义）系统辨识(system
identification)是一门根据测量得的动态系 统输入输出数据建立系统模型的学科。 根据这个定义，系统辨识是建模(model building)的子概念。 系统辨识三要素：(输入输出)数据、模型 类、准则。
系统
2.2 什么地方用到系统辨识？
非参数方法和参数方法
非参数方法（nonparametric methods）是较早出现的
辨识方法。它仅仅假设系统是线性时不变的，而不进 一步假设系统有特定的模型结构。辨识的目标模型是 系统的冲激响应，阶跃响应，或频率响应等。对时间 序列，辨识的目标模型是自相关函数或功率谱密度等。 参数方法（parametric methods）假定系统的模型属于 一个具有特定结构的模型类。在同一模型类中，不同 的模型由不同的一组参数来表征。辨识的核心工作就 是根据输入输出数据估计这组参数。 两类方法各有其适用范围。