神经网络与系统辨识
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第三章 神经网络与系统辨识
现代教育学家认为：在教学过程中，占中心地位的应 该是“学”而不是教，主张在教师指导下，由学生自己去 “发现”规律．自己去“研究”问题。教师的主要任务在 于启发而不在于讲解，教方法、教思路比一般地教知识、 教内容更重要。学生的主要任务在于思考，而不是单纯的 记忆，强调理解比单纯记忆更重要。 可以预言，未来的“文盲”将不再是目不识丁的人， 而是一些没有学会学习方法，不会自己钻研问题，没有 预见能力、分析能力的人。
T 1 K k 1 Pk 1 H k 1 Rk1
递推最小二乘法⑵
可用上面的公式进行递推计算，但必须知道xk和Pk的初值x0和 P0。如何设定初值请参阅有关文献。 最小二乘估计递推方法：新的估计值是由旧估值加上修正项构 成，而修正项正比于新观测值与期望的观测值之间的误差。这相当 于带有反馈校正的性质，当新观测值与期望观测值不符时，就要修 正，这是最小二乘估计递推公式的特点。
因为系统辨识技术涉及最优估计和优化计算，所以了 解和掌握它们的基本内容和最新发展是重要的。 后面作一些简介，再回到神经网络辨识方面的内容。
五、系统辨识原理框图⑴
传统辨识算法的基本原理是:通过建立系统依赖于 参数的模型,把辨识问题转化成对模型参数的估计问题
系统辨识原理框图⑵
系统辨识原理框图⑶
对系统的要求用一个 模型来体现，模型的输出 就是理想的响应。系统在 运行中，总是力求使被控 过程的动态与参考模型的 动态一致。通过调整被控 过程的某些参数，使得偏 差在某种意义下尽可能的 小。 被控过程不变，模型可调， 用广义误差来调正模型， 这样的模型就是辨识的结果。
输入/输出数据
能够量测到的 系统的 输入/输出数据 输入信号的选择： 必须能充分激励 系统的所有模态。
系统模型类型
所考虑的 系统的结构
等价准则
给出辨识的 优化目标 最常用的误差 准则是 误差平方和函数
模型的选择： 兼顾精确性 和复杂性
系统辨识的基本过程
二、系统辨识的基本过程
⑴ 选定和预测被辨识系统的数学模型类型 ⑵试验设计：选择试验信号，记录输入/输出数据 ⑶参数估计：选择估计方法，根据测量数据估计 数学模型中的未知参数。 ⑷模型验证：验证所确定的模型是否 恰当地表示了系统 为了得到辨识系统的数学模型，通常需要将理论分析方 法和系统辨识方法有机地结合起来。
一般地，试验次数 m>n，而且希望 m 比 n 大得多，即方程数大于 未知参数数目。这种情况只能采用数理统计求估值的方法。
最小二乘估计⑵
2．如何合理选择参数x1，x2，…，xn
确定了函数 f(t) 的类型之后，问题就归结为如何合理地选择 f(t) 中的参数x1，x2，…，xn，使得 f(t) 函数在一定意义下比较准确地反 映出 z 与 t 的函数关系。通常用最小二乘法来选择这些参数。
在系统模型结构和阶次确定的情况下，将全部输入 输出数据记录下来，然后用一定的辨识方法，对数据进 行集中处理，得到模型参数的估计。 在系统模型结构和阶次确定的情况下，当获得一批 输入、输出记录数据后，用一定的辨识方法进行处理， 得到模型参数的估计值。然后，随着新的输入、输出数 据的到来，用递推算法不断修正参数的估值。如果这种 递推估计过程进行得很快，那么就有可能获得一定精度 的时变系统的参数估值，这种能力称为在线实时辨识。
在线 辨识
四、系统辨识与最优估计
估计
对受到随机干扰和随机量测误差作用的物理系统，按 照某种性能指标为最优的原则，从具有随机误差的测量数 据中提取信息，估计出系统的某些参数和某些状态变量。
参数估计：解决不随时间变化的被估值问题
估计准则 估计方法 最小方差、线性最小方差、极大似然、极大验后、 最小二乘法
3.3 基于导数的优化
1, 2 ,, n T 上，寻找实现目标函数 目的：在n维输入空间
E 取得极值的θ的极小点θ* （可能是局部的极小点）。 一般地，一个给定的目标函数E(θ)，可能具有对可调 参数θ的非线性形式。由于E(θ)的复杂性，通常采用数值算 法以有效地搜索输入空间。 按照泰勒(Tayler)定理，一般函数在局部极小值的邻 域都可以用泰勒二次展开式近似。 一般地，目标函数为二次型函数形式： E( ) 1 T A bT c 梯度为 g ( ) A b 2
即
称为残差；
ˆ ˆ ˆ zi f ( x1 , x2 ,, xn , ti ) ei (t )
ˆ ˆ ˆ zi x1h1 (ti ) x2 h2 (ti ) xn hn (ti ) ei ; i 1,2,, m
ˆ 写成矩阵形式，Z Hx e
ˆ e Z Hx
3．最小二乘法 所谓最小二乘法，就是要求所选择的f(t)的参数，使得观测值zi 与对应的函数值f(ti)的偏差的平方和为最小。设J为观测值zi与对应 函数值f(ti)的偏差的平方和，即
J [ z i f ( x1 , x2 ,, xn , t i )]2
i 1 m
为最小。
按照J为最小的条件来确定 f(t) 中的参数x1，x2，…，xn。将上 式分别对x1，x2，…，xn求偏导数，并令它们等于零，可得 n 个方程 ，解之可得x1，x2，…，xn的最优估值：
对 调
3.2 常用辨识方法
经典 辨识方法 最小 二乘法
线性系统的经典辨识方法有频率响应法、阶跃 响应法和脉冲响应法。最常用的是脉冲响应法。 所谓最小二乘法，就是要求所选择的f(t)的参数，使得 观测值zi与对应的函数f(ti)的偏差的平方和为最小。
J [ zi f (ti )]2 min
ˆ x ( H T WH ) 1 H T WZ
递推最小二乘法⑴
先用加权最小二乘法处理 k 个观测值，有 x 的估值 T T T T Pk (H k Wk H k ) 1 ˆ xk (H k Wk H k ) 1 H k Wk Z k Pk H k Wk Z k 假设又得到了第 k+1 次观测值 zk+1，有x的估值
逆阵必须存在。
2J J为极小的充分条件为 2H T H 0 ˆ x 2
HTH必须是正定矩阵。
最小二乘估计⑷
4．最小二乘估计的特点
⑴最小二乘估计是以被估量的均值作为估计值的。某一被估量的最 小二乘估计其实就是 n 次量测值的算术平均值，或者说，习惯上将 n 次量测值取算术平均值作为估计值的方法，就是最小二乘估计方法。 ⑵最小二乘估计为无偏估计，不需要占有随机量的任何统计特性；
R
1 k 1
Rk1 0
0 rk11
T 1 Pk 1 ( Pk H k 1 Rk1 H k 1 ) 1 可以证明有：
2.估计量的递推公式 T 1 ˆ ˆ ˆ xk 1 Pk 1 H k 1 Rk1Z k 1 xk K k 1 ( z k 1 H k 1 xk ) 式中，修正系数
T T T ˆ xk 1 ( H k 1Wk 1 H k 1 ) 1 H k 1Wk 1Z k 1 Pk 1 H k 1Wk 1Z k 1
ห้องสมุดไป่ตู้
可见附加新的观测值后，要完全重复以前的计算，这就有必要 寻找一种新的方法。 ˆ 递推 即在第 k 次观测求得 xk 的基础上，将第 k+1 次观测值加 形式 ˆ 上去，对原估计值进行修正，确定新的估值 xk 1 。 1.估计误差方差阵的递推公式：设加权阵为 W R 1
这里 ti 表示时间或其他物理量。现在的任务是：根据这些观测 值，用最优的形式来表示 z 与 t 之间的函数关系。 1.确定未知函数的类型
通常，z 的未知函数可用f(t)表示，f(t)的类型应根据这m对数据 (m个点)的分布情况或所研究问题的物理性质来确定。为便于计算 ，可采用多项式来表示：
f (t ) x1 x2t x3t 2 xn t n1
在不同的测量范围内，测量精度是不同的，因而测量误差也 不相同。合理的办法是对不同的误差项 ei2 加不同的权。 设W为加权矩阵
ˆ ˆ J (Z Hx)T W (Z Hx)
最优估值为
ˆ x ( H T R 1 H ) 1 H T R 1 z
可以证明，W=R-1为最优加权阵，得马尔柯夫估计：
状态估计：被估量随时间而变的估计问题
预测(外推)、滤波、平滑(内插) 卡尔曼滤波
最优估计：针对确定性系统模型
系统辨识与优化问题
传统辨识方法 通过观测输入、输出数据对， 确定系统的数学模型。 估计是针对函数的，系统的输入 输出是函数关系。 估计准则最后体现为目标函数 的形式。
给定模型的参数估计 系统辨识问题实际 上是一个优化问题
3.1 系统辨识的基本概念
设有一离散时不变因果系统，它的输入和输出分 别为u(t)和yp(t)，并设u(t)是一致有界函数，那么辨识 问题可以描述为寻求一数学模型, 使得模型的输出和 被辨识系统的输出尽量接近。
一、何谓辨识
辨识就是在输入和输出数据的基础上，从一组给 定的模型中，确定一个与所测系统等价的模型。 辨识三要素和辨识要点
也可以用更一般的形式表示
f (t ) x1h1 (t ) x2 h2 (t ) xn hn (t ) f (t , x1 , x2 , xn )
式中，xi 为 n 个待定的末知数；hi(t) 为已知的确定性函数，如 t 的幂 函数、正余弦函数和指数函数等。
最小二乘估计⑴
把 m 对观测值代入上两式都可得 m 个方程式。如果m<n，即方程 数 m 少于未知参数个数 n，则方程的解不确定，不能唯一地确定x1， x2，…，xn； 当 m=n 时，方程数正好与未知参数的数目相等，能唯一地解出 x1，x2，…，xn。 在这种情况下，f(t) 曲线一定通过每一个观测点 (zi，ti)(i=1,2,…,m)。因为在观测结果中，不可避免地含有随机测量误 差，如果曲线通过每一个测量点，则曲线将包含这些测量误差，反而 不能真实地表达出 z 与 t 之间的正确函数关系，所以不应要求f(t)曲线 一定通过每一个观测点。
ˆ ˆ ˆ x1 , x2 ,, xn
最小二乘估计⑶
ˆ ˆ ˆ 在解得估值 x1 , x2 ,, xn 之后， ˆ ˆ ˆ 可得观测值zi与 f ( x1 , x2 ,, xn , ti ) 之差：
ˆ ˆ ˆ ei zi f ( x1 , x2 ,, xn , ti );i 1,2,, m
⑶最小二乘估计的均方误差表示估计误差分布在零附近的密集程度 ，均方误差越小，估计量越接近被估量的实际值，可信程度越高。
ˆ ˆ E[~~T ] E[(x x)(x x)T ] ( H T H ) 1 H T E(eeT ) H ( H T H ) 1 xx
R E(eeT )
加权最小二乘法
i 1
m
以观测值出现的概率为最大作为估计准则。
极大 似然法
L( z1 , z 2 ,, z k ; 1 , 2 ,, n ) p( z i ; 1 , 2 ,, n )
i 1
k
极大似然法的实质就是求出使L达到极大时的 θ1，θ2，…，θn的估值。
最小二乘估计
设m次独立试验，得到m对观测值： ( z1 , t1 ), ( z 2 , t 2 ),, ( z m , t m )
非参数模型
由脉冲响应函数、阶跃响应函数、频率特性表示的数学模型。 在这些数学模型中，没有明显的参数。非参数模型可通过实验获 得，而参数模型又可从非参数模型得到。任何复杂结构的系统都 可用非参数模型表示。
离线辨识和在线辨识
对于参数模型的参数估计问题，由于估计方法不同， 可分为离线辨识和在线辨识两种模式。 离线 辨识
三、系统模型分类
参数模型
对 象
由微分方程、传递函数或差分方程表示的数学模型。采用理 论推导方法得到的模型一定是参数模型。建立系统模型的工作， 就是在一定的模型结构条件下，确定其参数。系统辨识的任务就 是选定一个与实际系统接近的数学模型，选定阶次，然后根据输 入输出数据，用最好的估计方法确定模型中的参数。
m i 1
2 T ˆT ˆ 残差e的平方和可用下式表示 J ei e e [Z Hx] [Z Hx}
令偏导数为零，有：
J ˆ 2[ H T Z H T Hx] 0 ˆ x
ˆ H T Hx H T Z
T 1 T ˆ 因而x的估值为 x ( H H ) H Z
现代教育学家认为：在教学过程中，占中心地位的应 该是“学”而不是教，主张在教师指导下，由学生自己去 “发现”规律．自己去“研究”问题。教师的主要任务在 于启发而不在于讲解，教方法、教思路比一般地教知识、 教内容更重要。学生的主要任务在于思考，而不是单纯的 记忆，强调理解比单纯记忆更重要。 可以预言，未来的“文盲”将不再是目不识丁的人， 而是一些没有学会学习方法，不会自己钻研问题，没有 预见能力、分析能力的人。
T 1 K k 1 Pk 1 H k 1 Rk1
递推最小二乘法⑵
可用上面的公式进行递推计算，但必须知道xk和Pk的初值x0和 P0。如何设定初值请参阅有关文献。 最小二乘估计递推方法：新的估计值是由旧估值加上修正项构 成，而修正项正比于新观测值与期望的观测值之间的误差。这相当 于带有反馈校正的性质，当新观测值与期望观测值不符时，就要修 正，这是最小二乘估计递推公式的特点。
因为系统辨识技术涉及最优估计和优化计算，所以了 解和掌握它们的基本内容和最新发展是重要的。 后面作一些简介，再回到神经网络辨识方面的内容。
五、系统辨识原理框图⑴
传统辨识算法的基本原理是:通过建立系统依赖于 参数的模型,把辨识问题转化成对模型参数的估计问题
系统辨识原理框图⑵
系统辨识原理框图⑶
对系统的要求用一个 模型来体现，模型的输出 就是理想的响应。系统在 运行中，总是力求使被控 过程的动态与参考模型的 动态一致。通过调整被控 过程的某些参数，使得偏 差在某种意义下尽可能的 小。 被控过程不变，模型可调， 用广义误差来调正模型， 这样的模型就是辨识的结果。
输入/输出数据
能够量测到的 系统的 输入/输出数据 输入信号的选择： 必须能充分激励 系统的所有模态。
系统模型类型
所考虑的 系统的结构
等价准则
给出辨识的 优化目标 最常用的误差 准则是 误差平方和函数
模型的选择： 兼顾精确性 和复杂性
系统辨识的基本过程
二、系统辨识的基本过程
⑴ 选定和预测被辨识系统的数学模型类型 ⑵试验设计：选择试验信号，记录输入/输出数据 ⑶参数估计：选择估计方法，根据测量数据估计 数学模型中的未知参数。 ⑷模型验证：验证所确定的模型是否 恰当地表示了系统 为了得到辨识系统的数学模型，通常需要将理论分析方 法和系统辨识方法有机地结合起来。
一般地，试验次数 m>n，而且希望 m 比 n 大得多，即方程数大于 未知参数数目。这种情况只能采用数理统计求估值的方法。
最小二乘估计⑵
2．如何合理选择参数x1，x2，…，xn
确定了函数 f(t) 的类型之后，问题就归结为如何合理地选择 f(t) 中的参数x1，x2，…，xn，使得 f(t) 函数在一定意义下比较准确地反 映出 z 与 t 的函数关系。通常用最小二乘法来选择这些参数。
在系统模型结构和阶次确定的情况下，将全部输入 输出数据记录下来，然后用一定的辨识方法，对数据进 行集中处理，得到模型参数的估计。 在系统模型结构和阶次确定的情况下，当获得一批 输入、输出记录数据后，用一定的辨识方法进行处理， 得到模型参数的估计值。然后，随着新的输入、输出数 据的到来，用递推算法不断修正参数的估值。如果这种 递推估计过程进行得很快，那么就有可能获得一定精度 的时变系统的参数估值，这种能力称为在线实时辨识。
在线 辨识
四、系统辨识与最优估计
估计
对受到随机干扰和随机量测误差作用的物理系统，按 照某种性能指标为最优的原则，从具有随机误差的测量数 据中提取信息，估计出系统的某些参数和某些状态变量。
参数估计：解决不随时间变化的被估值问题
估计准则 估计方法 最小方差、线性最小方差、极大似然、极大验后、 最小二乘法
3.3 基于导数的优化
1, 2 ,, n T 上，寻找实现目标函数 目的：在n维输入空间
E 取得极值的θ的极小点θ* （可能是局部的极小点）。 一般地，一个给定的目标函数E(θ)，可能具有对可调 参数θ的非线性形式。由于E(θ)的复杂性，通常采用数值算 法以有效地搜索输入空间。 按照泰勒(Tayler)定理，一般函数在局部极小值的邻 域都可以用泰勒二次展开式近似。 一般地，目标函数为二次型函数形式： E( ) 1 T A bT c 梯度为 g ( ) A b 2
即
称为残差；
ˆ ˆ ˆ zi f ( x1 , x2 ,, xn , ti ) ei (t )
ˆ ˆ ˆ zi x1h1 (ti ) x2 h2 (ti ) xn hn (ti ) ei ; i 1,2,, m
ˆ 写成矩阵形式，Z Hx e
ˆ e Z Hx
3．最小二乘法 所谓最小二乘法，就是要求所选择的f(t)的参数，使得观测值zi 与对应的函数值f(ti)的偏差的平方和为最小。设J为观测值zi与对应 函数值f(ti)的偏差的平方和，即
J [ z i f ( x1 , x2 ,, xn , t i )]2
i 1 m
为最小。
按照J为最小的条件来确定 f(t) 中的参数x1，x2，…，xn。将上 式分别对x1，x2，…，xn求偏导数，并令它们等于零，可得 n 个方程 ，解之可得x1，x2，…，xn的最优估值：
对 调
3.2 常用辨识方法
经典 辨识方法 最小 二乘法
线性系统的经典辨识方法有频率响应法、阶跃 响应法和脉冲响应法。最常用的是脉冲响应法。 所谓最小二乘法，就是要求所选择的f(t)的参数，使得 观测值zi与对应的函数f(ti)的偏差的平方和为最小。
J [ zi f (ti )]2 min
ˆ x ( H T WH ) 1 H T WZ
递推最小二乘法⑴
先用加权最小二乘法处理 k 个观测值，有 x 的估值 T T T T Pk (H k Wk H k ) 1 ˆ xk (H k Wk H k ) 1 H k Wk Z k Pk H k Wk Z k 假设又得到了第 k+1 次观测值 zk+1，有x的估值
逆阵必须存在。
2J J为极小的充分条件为 2H T H 0 ˆ x 2
HTH必须是正定矩阵。
最小二乘估计⑷
4．最小二乘估计的特点
⑴最小二乘估计是以被估量的均值作为估计值的。某一被估量的最 小二乘估计其实就是 n 次量测值的算术平均值，或者说，习惯上将 n 次量测值取算术平均值作为估计值的方法，就是最小二乘估计方法。 ⑵最小二乘估计为无偏估计，不需要占有随机量的任何统计特性；
R
1 k 1
Rk1 0
0 rk11
T 1 Pk 1 ( Pk H k 1 Rk1 H k 1 ) 1 可以证明有：
2.估计量的递推公式 T 1 ˆ ˆ ˆ xk 1 Pk 1 H k 1 Rk1Z k 1 xk K k 1 ( z k 1 H k 1 xk ) 式中，修正系数
T T T ˆ xk 1 ( H k 1Wk 1 H k 1 ) 1 H k 1Wk 1Z k 1 Pk 1 H k 1Wk 1Z k 1
ห้องสมุดไป่ตู้
可见附加新的观测值后，要完全重复以前的计算，这就有必要 寻找一种新的方法。 ˆ 递推 即在第 k 次观测求得 xk 的基础上，将第 k+1 次观测值加 形式 ˆ 上去，对原估计值进行修正，确定新的估值 xk 1 。 1.估计误差方差阵的递推公式：设加权阵为 W R 1
这里 ti 表示时间或其他物理量。现在的任务是：根据这些观测 值，用最优的形式来表示 z 与 t 之间的函数关系。 1.确定未知函数的类型
通常，z 的未知函数可用f(t)表示，f(t)的类型应根据这m对数据 (m个点)的分布情况或所研究问题的物理性质来确定。为便于计算 ，可采用多项式来表示：
f (t ) x1 x2t x3t 2 xn t n1
在不同的测量范围内，测量精度是不同的，因而测量误差也 不相同。合理的办法是对不同的误差项 ei2 加不同的权。 设W为加权矩阵
ˆ ˆ J (Z Hx)T W (Z Hx)
最优估值为
ˆ x ( H T R 1 H ) 1 H T R 1 z
可以证明，W=R-1为最优加权阵，得马尔柯夫估计：
状态估计：被估量随时间而变的估计问题
预测(外推)、滤波、平滑(内插) 卡尔曼滤波
最优估计：针对确定性系统模型
系统辨识与优化问题
传统辨识方法 通过观测输入、输出数据对， 确定系统的数学模型。 估计是针对函数的，系统的输入 输出是函数关系。 估计准则最后体现为目标函数 的形式。
给定模型的参数估计 系统辨识问题实际 上是一个优化问题
3.1 系统辨识的基本概念
设有一离散时不变因果系统，它的输入和输出分 别为u(t)和yp(t)，并设u(t)是一致有界函数，那么辨识 问题可以描述为寻求一数学模型, 使得模型的输出和 被辨识系统的输出尽量接近。
一、何谓辨识
辨识就是在输入和输出数据的基础上，从一组给 定的模型中，确定一个与所测系统等价的模型。 辨识三要素和辨识要点
也可以用更一般的形式表示
f (t ) x1h1 (t ) x2 h2 (t ) xn hn (t ) f (t , x1 , x2 , xn )
式中，xi 为 n 个待定的末知数；hi(t) 为已知的确定性函数，如 t 的幂 函数、正余弦函数和指数函数等。
最小二乘估计⑴
把 m 对观测值代入上两式都可得 m 个方程式。如果m<n，即方程 数 m 少于未知参数个数 n，则方程的解不确定，不能唯一地确定x1， x2，…，xn； 当 m=n 时，方程数正好与未知参数的数目相等，能唯一地解出 x1，x2，…，xn。 在这种情况下，f(t) 曲线一定通过每一个观测点 (zi，ti)(i=1,2,…,m)。因为在观测结果中，不可避免地含有随机测量误 差，如果曲线通过每一个测量点，则曲线将包含这些测量误差，反而 不能真实地表达出 z 与 t 之间的正确函数关系，所以不应要求f(t)曲线 一定通过每一个观测点。
ˆ ˆ ˆ x1 , x2 ,, xn
最小二乘估计⑶
ˆ ˆ ˆ 在解得估值 x1 , x2 ,, xn 之后， ˆ ˆ ˆ 可得观测值zi与 f ( x1 , x2 ,, xn , ti ) 之差：
ˆ ˆ ˆ ei zi f ( x1 , x2 ,, xn , ti );i 1,2,, m
⑶最小二乘估计的均方误差表示估计误差分布在零附近的密集程度 ，均方误差越小，估计量越接近被估量的实际值，可信程度越高。
ˆ ˆ E[~~T ] E[(x x)(x x)T ] ( H T H ) 1 H T E(eeT ) H ( H T H ) 1 xx
R E(eeT )
加权最小二乘法
i 1
m
以观测值出现的概率为最大作为估计准则。
极大 似然法
L( z1 , z 2 ,, z k ; 1 , 2 ,, n ) p( z i ; 1 , 2 ,, n )
i 1
k
极大似然法的实质就是求出使L达到极大时的 θ1，θ2，…，θn的估值。
最小二乘估计
设m次独立试验，得到m对观测值： ( z1 , t1 ), ( z 2 , t 2 ),, ( z m , t m )
非参数模型
由脉冲响应函数、阶跃响应函数、频率特性表示的数学模型。 在这些数学模型中，没有明显的参数。非参数模型可通过实验获 得，而参数模型又可从非参数模型得到。任何复杂结构的系统都 可用非参数模型表示。
离线辨识和在线辨识
对于参数模型的参数估计问题，由于估计方法不同， 可分为离线辨识和在线辨识两种模式。 离线 辨识
三、系统模型分类
参数模型
对 象
由微分方程、传递函数或差分方程表示的数学模型。采用理 论推导方法得到的模型一定是参数模型。建立系统模型的工作， 就是在一定的模型结构条件下，确定其参数。系统辨识的任务就 是选定一个与实际系统接近的数学模型，选定阶次，然后根据输 入输出数据，用最好的估计方法确定模型中的参数。
m i 1
2 T ˆT ˆ 残差e的平方和可用下式表示 J ei e e [Z Hx] [Z Hx}
令偏导数为零，有：
J ˆ 2[ H T Z H T Hx] 0 ˆ x
ˆ H T Hx H T Z
T 1 T ˆ 因而x的估值为 x ( H H ) H Z