系统辨识方法之最小二乘法

目录

一、系统辨识的定义.................................................................................................................. - 2 -

二、最小二乘法的引出.............................................................................................................. - 2 -

三、最小二乘法的原理.............................................................................................................. - 3 -

3.1 最小二乘法一次完成推导[1]........................................................................................ - 3 -

3.2最小二乘法的缺陷[ 5].................................................................................................... - 5 -

四、其他系统辨识方法.............................................................................................................. - 5 -

4.1 基于BP神经网络的系统辨识方法特点[3]................................................................. - 5 -

4.2 基于遗传算法的系统辨识算法................................................................................... - 6 -

五、结论...................................................................................................................................... - 7 -

六、参考文献.............................................................................................................................. - 7 -

系统辨识方法简介

摘要：在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文简要介绍了系统辨识的三种方法，并对最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并没有很好的辨识效果。对于非线性系统的辨识问题，本文介绍了基于BP神经网络算法的系统辨识方法，这种方法由于具有自学习能力，能很好的适应非线性的复杂性，得到良好的辨识效果。此外，由于普通的辨识方法往往在辨识过程中陷入局部最优的困扰，特提出基于遗传算法的系统辨识方法，保证了全局最优的实现和求解。

关键词：系统辨识、最小二乘法、BP神经网络、遗传算法

一、系统辨识的定义

系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。1962年，L．A．zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指定的一类系统中，确定一个与被识别的系统等价的系统。[1]最先提出了系统辨识的定义。

随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。[7]系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型(模型结构和参数)。系统辨识的三要素：数据、模型类和准则。系统辨识的基本原理：在输入输出的基础上，从一类系统中确定一个与所测系统等价的系统。[2]

二、最小二乘法的引出

最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。

我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。于其内部结构、机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为“灰

箱”；如果我们对于研究对象的内部结构、 内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立该系统的模型，对模型参数进行辨识来确定该系统的运行规律。对于动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。[4]

应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值。[8]

三、最小二乘法的原理

3.1 最小二乘法一次完成推导[1]

本文中以一个SISO 系统为例说明最小二乘法的原理。

假设一个SISO 系统如下图所示：

图1 SISO 系统结构图

其离散传递函数为：

3.1

输入输出的关系为：

)()()()(1k y k e z G k u =+•- 3.2

进一步，我们可以得到：

)()()()()(11k e z B k u z A k y +⋅=⋅-- 3.3

其中，扰动量)(k e 为均值为0，不相关的白噪声。

n

n n n z a z a z a z b z b z b z A z B z G ---------+⋯++++⋯++==221122

111111)()()(