第四讲 实验建模-系统辨识

极大似然估计只是一种粗略的数学期望，要知道它的 误差大小还要做区间估计。
神经网络辨识
y a bx u yˆ 84.33 0.516 x
• 如此以来，高的伸进了天，低的缩入了地。他百思 不得其解，同时又发现某人种的平均身高是相当稳 定的。最后得到结论：儿子们的身高回复于全体男 子的平均身高，即“回归”——见1889年F.Gallton 的论文《普用回归定律》。
• 后人将此种方法普遍用于寻找变量之间的规律
第四讲 试验建模—系统辨识
系统建模方法
• 机理建模 ：利用各个专业学科领域提出来的物 质和能量的守恒性和连续性原理、组成系统的结 构形式，建立描述系统的数学关系“白箱问题”
• 系统辨识（实验建模）：是在没有任何可利用的 验前信息（相关学科专业知识和相关数据）的情 况下，应用所采集系统的输入和输出数据提取信 息进行建模的方法。“黑箱问题”
辨识θ的原则就是使得L达到极大值，即：
L 0
(1)
θ
通常对L取对数求解，即
ln L ln f (V1 θ) ln f (Vn θ)
lnL取得极大则L取得极大，则有：
lnL 0
(2)
θ
由(1)或(2)解出的θ即为极大似然估计 θˆ ML
求极大似然函数估计值的一般步骤：
对象：开环状态，闭环状态 方式：离线辨识，在线辨识
系统辨识步骤
结构辨识
即选择模型类中的数学模型M的具体表达 形式。除线性系统的结构可通过输入输出 数据进行辨识外 ，一般的模型结构主要通 过先验知识获得。
参数估计
知道模型的结构后，用输入输出数据确定 模型中的未知参数。实际测量都是有误差 的，所以参数估计以统计方法为主。
了回归分析法。
17
父亲的身高与儿子的身高之间关系的研究
• 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭 的身高、臂长和腿长的记录
• 企图寻找出儿子们身高与父亲们身高之间关系的具体表现 形式
• 下图是根据1078个家庭的调查所作的散点图（略图）
18
• 从图上虽可看出，个子高的父亲确有生出个子高的 儿子的倾向，同样地，个子低的父亲确有生出个子 低的儿子的倾向。得到的具体规律如下：
vi2
• 所谓最小二乘法就是这样一个法则，按照这个法则，最好 地拟合于各数据点的最佳曲线应使各数据点与曲线偏差的 平方和为最小。
24
由最小二乘法确定a和b
• 首先，求偏差平方和，将②式两边平方后相加，得：
③
n
n
2
• 显然， 是 a, bvi的2 函数。y按i 最a小二bx乘i 法，当a, b选择适当，
模型的描述方式及转换关系
微分方程
拉氏变换
传递函数
离散的差分方程
Z变换
传递函数
时域信号
傅里叶级数展开
频域信号
试验方法： 频率响应法 脉冲响应法 随机信号实验法
传递函数反映的是系统输入与输出的拉普拉斯变换在复数 域上的响应关系； 频率响应反映的是他们的傅里叶变换在频率域上的响应关 系； 脉冲响应和阶跃响应则是在时域上的响应关系，从不同方 面反映系统的动态特性。
4n
x2 i


x2 i

4
x2 i

xi 2 n
4nxi x 2 0
• 所以⑥⑦式求出的a, b可使为极小值。因而由a, b 所确定的曲线y=a+bx就是用最小二乘法拟合的最 佳曲线。
• 由于已知函数形式为非线性时，可用变量代换法 “曲线改直”使函数变为线性关系，因而最小二 乘法就有更普遍的意义。
系统辨识原理
系统模型分类
可分为参数模型和非参数模型两大类： • 参数模型是指差分方程、微分方程、状态方程、
传递函数等形式的数学模型;（将实验数据转 化为函数表达式） • 而非参数模型是指频率响应、脉冲响应、等不 显含参数的数学模型.（以响应曲线或离散值 形式表示） 注：非参数模型适用于描述任意复杂系统
• 辨识有三个要素——数据、模型类和准则．系 统辨识就是按照一个准则在一组模型类中选择 一个与数据拟合得最好的模型．系统辨识的目 的是按照某种准则对实际系统进行“近似”， 其结果只是一个近似模型．(1978年Ljung)
• 系统辨识是一种利用数学的方法从输入输出数 据序列中提取对象数学模型的方法。
系统分类
n
n
yi na b xi 0

i1 n
i1 nn
5
yixi
i1

a xi i1

b
x2 i
i1

0
• 解方程，得：
•
⑥
•
b sxy sx⑦x
a y bx
27
• 公式⑥⑦式中：
sxy xiyi
xi yi n
线性系统： 线性系统是状态变量和输出变量对于所有可能的 输入变量和初始状态都满足叠加原理的系统。一 个由线性元部件所组成的系统必是线性系统。
非线性系统： “非线性”是指两个量之间的关系不是“直线” 关系，最简单的非线性函数是一元二次方程即抛 物线方程。简单地说，一切不是一次的函数关系， 如一切高于一次方的多项式函数关系，都是非线 性的。由非线性函数关系描述的系统称为非线性 系统。
sxx
x2 i

xi 2 n
• 从④不难求x出对a,xbi 的n二阶偏导数为：
2
vi2 a 2
2n
2
vi2 b 2
2
xi 2
2
vi2
ab
2
xi
28
2
v2 i
a 2
2
v2 i
b2
2 (
v2 i
)2
ab

14
• 一 是物理量y与x间的函数关系已经确定， 只有其中的常数未定（及具体形式未定） 时，根据数据点拟合出各常数的最佳值。
• 二 是在物理量y与x间函数关系未知时，从 函数点拟合出y与x函数关系的经验公式以 及求出各个常数的最佳值。
15
解决问题的办法
• 寻找变量之间直线关系的方法很多。于是，再接下 来则是从众多方法中，寻找一种优良的方法，运用 方法去求出线性模型—y=a+bx+u中的截距a= ?； 直线的斜率b= ? 正是是本章介绍的最小二乘法。
（1）
• 式中a, b为要用实验数据确定的常数。此类方程叫线性回 归方程，方程中的待定常数a, b叫线性Hale Waihona Puke 归系数。• 由实验测得的数据是
•
x= x1, x2,………. xn 时，
•
对应的y值是y= y1,y2,…….yn
22
• 由于实验数据总是存在着误差，所以，把各组数据 代入(1)式中，两边并不相等。相应的作图时，数据 点也并不能准确地落在公式对应的直线上，如图所 示。由图一还可以看出第i个数据点与直线的偏差为： (1)
• 机理分析与系统辨识相结合的建模方法：适用于 系统的运动机理不是完全未知的情况。这是 可 以利用系统的运动机理和运行经验确定出模型的 结构，再根据采集到的系统的输入时输出的数据， 由系统辨识方法来估计和修正模型中的参数使其
系统辨识概念
• 系统辨识就是在输入输出数据的基础上，从一 组给定模型类中，确定一个与所测系统等价的 模型．(1962年Zadeh)
29
极大似然辨识基本原理
设某离散随机过程{V(k)}与待辨识参数θ有关。 其概率分布密度 f (Vk θ) 已知。 若测得n个独立的观测值 V1 ,V2 , ,Vn 其分布密度为：
f (V1 θ), , f (Vn θ)
定义似然函数L为：
L(V1Vn θ) f(V1 θ ) f (V2 θ) f (Vn θ)
vi yi2 xi2
• 如果测量时，使x较之y的偏差很小，以致可以忽略 （即Δxi很小 ）时，我们可以认为x的测量是准确的， 而数据的偏差，主要是y的偏差，因而有：
②
vi yi yi a bxi
23
• 我们的目的是根据数据点确定回归常数a和b，并且希望确 定的a和b能使数据点尽量靠近直线能使v尽量的小。由于 偏差v大小不一，有正有负，所以实际上只能希望总的偏 差（ ）最小。
• 所得直线可靠吗？怎样衡量所得直线的可靠性？
• 最后才是如何运用所得规律——变量的线性关系？
16
最小二乘法产生的历史
• 最小二乘法最早称为回归分析法。由著名的英国生物学家、 统计学家道尔顿（F.Gallton）——达尔文的表弟所创。
• 早年，道尔顿致力于化学和遗传学领域的研究。 • 他研究父亲们的身高与儿子们的身高之间的关系时，建立
（1） 写出似然函数； （2） 对似然函数取对数，并整理； （3） 求导数 ； （4） 解似然方程 。
极大似然估计，只是一种概率论在统计学的应用，它 是参数估计的方法之一。已知某个随机样本满足某种概率 分布，但是其中具体的参数不清楚，参数估计就是通过若 干次试验，观察其结果，利用结果推出参数的大概值。极 大似然估计是建立在这样的思想上：已知某个参数能使这 个样本出现的概率最大，当然不会再去选择其他小概率的 样本，所以干脆就把这个参数作为估计的真实值。
频率响应法——电动机频率特性辨识实验系统
将实验数据转化为函数表达式的方法：
最小二乘法 极大似然法 科尔曼滤波法 模糊辨识 神经网络辨识 遗传算法等
最小二乘法线性拟合
13
• 在处理数据时，常要把实验获得的一系 列数据点描成曲线表反映物理量间的关系。 为了使曲线能代替数据点的分布规律，则 要求所描曲线是平滑的，既要尽可能使各 数据点对称且均匀分布在曲线两侧。由于 目测有误差，所以，同一组数据点不同的 实验者可能描成几条不同的曲线(或直线)， 而且似乎都满足上述平滑的条件。那么， 究竟哪一条是最曲线呢？这一问题就是 “曲线拟合”问题。一般来说，“曲线拟 合”的任务有两个：