过程建模1-最小二乘
最小二乘法的原理及其应用
最小二乘法的原理及其应用-CAL-FENGHAI.-(YICAI)-Company One1最小二乘法的原理及其应用一、研究背景在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。
其中，最小二乘法是一种最基本、最重要的计算技巧与方法。
它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。
随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。
本文着重讨论最小二乘法在化学生产以及系统识别中的应用。
二、最小二乘法的原理人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。
如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。
为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型,q个相关变量或p个附加的相关变量去拟和。
通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。
参数x是为了使所选择的函数模型同观测值y相匹配。
（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。
其目标是合适地选择参数，使函数模型最好的拟合观测值。
一般情况下，观测值远多于所选择的参数。
其次的问题是怎样判断不同拟合的质量。
高斯和勒让德的方法是，假设测量误差的平均值为0。
令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。
人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。
除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。
确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。
偏最小二乘建模的全过程MATLAB程序与结果
一.利用160组数据建PLS 回归模型。
>> clear >> load ysj>> X=ysj(:,1:8); >> Y=ysj(:,9:11); >> E0=stand(X); >> F0=stand(Y); >> A=rank(E0);>> [W,C,T,U,P,R]=bykpcr(E0,F0); W ：自变量轴权重； C ：因变量轴权重；T ：自变量系统主成分得分； U ：因变量系统主成分得分； P ：模型效应载荷量； R ：因变量载荷量。
（一）.确定主成分个数三种方法： （1）复测定系数：2221()hkk k h tr R F =⨯=∑复测定系数表示所提取的主成分的可解释变异信息占总变异的百分比。
当 h m =，复测定系数的值足够大时，可再第m 步终止主成分的提取计算。
通常20.85m R ≥即可。
>> RA=plsra(T,R,F0,A)RA =0.3390 0.4831 0.5731 0.6358 0.6488 0.6522 0.6531 0.6537结论：利用这个方法，无法确定。
（2）类似典型相关分析中的精度分析方法：>> [Rdx,RdX,RdXt,Rdy,RdY ,RdYt]=plsrd(E0,F0,T,A) Rdx =0.3034 0.4348 0.0539 0.1326 0.0082 0.0132 0.0331 0.0208 0.2661 0.1918 0.0549 0.1932 0.1852 0.0001 0.0416 0.0671 0.0400 0.1010 0.3281 0.0191 0.4557 0.0529 0.0002 0.0030 0.0206 0.0813 0.4868 0.0492 0.0469 0.3026 0.0021 0.0104 0.0016 0.0472 0.5869 0.0921 0.0126 0.1955 0.0101 0.0540 0.2667 0.2229 0.2517 0.0002 0.0447 0.0638 0.0634 0.08660.2746 0.1859 0.0112 0.0041 0.0006 0.0434 0.4569 0.02330.5467 0.4430 0.0018 0.0001 0.0072 0.0003 0.0008 0.0001RdX =0.2150 0.2135 0.2219 0.0613 0.0951 0.0840 0.0761 0.0332 RdXt =1.0000Rdy =0.0092 0.0002 0.1325 0.0438 0.0195 0.0019 0.0002 0.00030.0761 0.0613 0.0112 0.0568 0.0001 0.0025 0.0001 0.00060.4591 0.1697 0.0009 0.0000 0.0013 0.0010 0.0011 0.0001 RdY =0.1814 0.0771 0.0482 0.0336 0.0070 0.0018 0.0005 0.0003 RdYt =0.3498>> [V]=LJRdX(RdX)V =0.2150 0.4284 0.6504 0.7117 0.8068 0.8908 0.9668 1.0000（3）累计贡献率：>> [U]=LJGXL(X,T,A)U =0.1756 0.3846 0.5791 0.6308 0.7198 0.7981 0.8711 0.9043(4) 交叉有效性由于不会编交叉有效性的MATLAB 程序，因此，没再验证。
最小二乘曲面拟合插值法
最小二乘曲面拟合插值法1. 引言1.1 背景介绍最小二乘曲面拟合插值法是一种重要的数学建模方法，它在实际工程和科学问题中具有广泛的应用。
背景介绍将从最小二乘法和曲面拟合的基本概念入手，引出最小二乘曲面拟合插值法的重要性和必要性。
在数学建模中，最小二乘法是一种用于拟合数学模型与实际数据之间关系的经典方法。
通过最小化误差的平方和，最小二乘法能够找到最佳的拟合曲线或曲面，从而准确描述数据的分布规律。
曲面拟合则是在二维或三维空间中，用曲面来逼近一组离散数据点的方法，它在地理信息系统、图像处理、计算机辅助设计等领域有着广泛的应用。
最小二乘曲面拟合插值法结合了最小二乘法和曲面拟合的优势，能够更加灵活地适应不规则数据的拟合需求。
通过在曲面上插值数据点，可以得到更加平滑和连续的曲面模型，提高了数据的分析和预测精度。
在接下来的将详细介绍最小二乘曲面拟合插值法的原理、算法流程、应用领域以及优缺点，以便更好地理解和运用这一重要的数学建模方法。
1.2 研究目的研究目的是通过最小二乘曲面拟合插值法，实现对给定数据集的曲面拟合，从而可以更准确地预测未知数据点的值。
目前，曲面拟合在许多领域都有着广泛的应用，比如地理信息系统中的地形建模、工程领域中的曲面设计等。
我们的研究目的是探讨最小二乘曲面拟合插值法的原理和方法，分析其在实际应用中的优缺点，为实际工程和科学研究提供一种更精确的曲面拟合方法。
我们希望通过本研究，能够为相关领域的研究者和实践者提供一个有效的工具，帮助他们更好地解决曲面拟合问题，提高数据预测的准确性和可靠性。
最终的目的是推动科学技术的发展，促进社会的进步和发展。
2. 正文2.1 最小二乘曲面拟合方法最小二乘曲面拟合方法是一种在数学建模和数据分析中常用的技术，它可以通过拟合数据点来找到最佳的曲面模型。
最小二乘曲面拟合方法的核心思想是通过最小化误差的平方和来求解最优的曲面参数，从而使得拟合曲面与实际数据点尽可能接近。
数学建模 非线性最小二乘问题
1、非线性最小二乘问题用最小二乘法计算：sets:quantity/1..15/: x,y;endsetsmin=@sum(quantity: (a+b* @EXP(c*x)-y)^2);@free(a); @free(b);@free(c);data:x=2,5,7,10,14,19,26,31,34,38,45,52,53,60,65;y=54,50,45,37,35,25,20,16,18,13,8,11,8,4,6;enddata运算结果为：Local optimal solution found.Objective value: 44.78049 Extended solve steps: 5Total solve iterartions: 68Variable Value Reduced CostA 2.430177 0.000000B 57.33209 0.000000C -0.4460383E-01 0.000000由此得到a的值为2.430177，b的值为57.33209，c的值为-0.04460383。
线性回归方程为y=2.430177+57.33209* @EXP(-0.04460383*x)用最小一乘法计算：程序如下：sets:quantity/1..15/: x,y;endsetsmin=@sum(quantity: @ABS(a+b*@EXP(c*x)-y));@free(a); @free(b);@free(c);data:x=2,5,7,10,14,19,26,31,34,38,45,52,53,60,65;y=54,50,45,37,35,25,20,16,18,13,8,11,8,4,6;enddata运算结果为：Linearization components added:Constraints: 60Variables: 60Integers: 15Local optimal solution found.Objective value: 20.80640Extended solver steps: 2Total solver iterations: 643Variable Value Reduced CostA 3.398267 0.000000B 57.11461 0.000000C -0.4752126e-01 0.000000由上可得a的值为3.398267，b的值为57.11461，c的值为-0.04752126。
第一节过程建模自衡单容过程的建模
f1(t)
fn(t)
x(t)
e(t) 调节器
u(t)
过程
y(t)
+
_
z(t)
测量变送
内部扰动（基本扰动）----通常是一个可控性良好的输入 量选作为控制作用，即调节器输出量u(t)作为控制作用。 基本扰动作用于闭合回路内，对系统的性能起决定作用。
外部扰动-----其他的输入量则称为扰动作用（f1（t）～ fn（t））。外部扰动对过程控制也有很大影响。
1 Ta s
e s时
Ta , ?
Ta
dy dt
t
自衡阶跃响应曲线确定模型参数
切线法（作图法）：如图所示。
y(t)
y()
A
D
O C T0
B
t
W 0(s) k0e0s T0s 1
由图可得：
k0
y() x ____0
0 OC
____
T0 BC
自衡阶跃响应曲线确定模型参数
两点计算法：
0
设 y*(t) y(t) y()
物料传输、管道输送等
容量时延：过程（对象 ）对于输入的响应在 时间上存在延迟。
由对象的容量大小、阻力大小决定
非自衡单容过程的建模
dh q1 C dt
q2 0
dh q1 q2 C dt
W 0(s) 1 1 Cs Ta s
Ta －积分时间常数
无自衡多容过程 的建模
k0
y() x0
自衡阶跃响应曲线确定模型参数
y(t) y() 0.8y()
0.4 y()
o
t1
t2
自衡阶跃响应曲线确定模型参数
建模方法-最小二乘法
解得 从而得到
A= −4.48072, b = −1.0567
a = e = 11.3253×10
A
−3 −1.0567t
−3
y = 11.3253×10 e
= F (t)
(2)
请回答: 请回答: 怎样比较这两个数学模型的好坏呢？ 怎样比较这两个数学模型的好坏呢？ 只要分别计算这两个数学模型的误差， 答 ： 只要分别计算这两个数学模型的误差 ， 从中挑选误差较小的模型即可。 从中挑选误差较小的模型即可。
δ = ∑δi2 = ∑[S∗( xi ) − yi ]2
2 2 i=0 i=0
m
m
[ = min ∑ S( xi ) − yi ]2
S( x)∈ ϕ i=0
m
3. 广义定义 通常把最小二乘法 δ 都考虑为加权平方和
2 2
即
δ = ∑ω(xi )[S∗( xi ) − yi ]2
2 2 i=0
m
ω( x) ≥ 0
i i
(2)使残差的绝对值之和为最小 使残差的绝对值之和为最小
∑e
i
i
= min
(3)使残差的平方和为最小 使残差的平方和为最小
∑e
i
2 i
= min
最小二乘法
2. 一般定义 已知： 一组数据（ 已知： 一组数据（xi，yi）(i=0,1,…,m)， ， 求： 在函数类 ϕ = span{ϕ0 ,ϕ1,...,ϕn }中找一 ∗ 使误差平方和最小， 个函数 y = S (x) ，使误差平方和最小， 即
y = 1.2408
(i = 1,...,16) 。 xi , yi ) 可由原始 (
计算出来。 数据 (ti , yi ) 计算出来。
第二章 过程建模
2.1 先验知识
4.两个基本方法：
1）机理法建模：
根据生产过程中实际发生的物化机理，写出各种有关的 平衡方程，分析过程内在联系，消去中间变量，写出输入与 输出间的关系。
应用条件：充分掌握机理，能比较确切进行数学描述。
2）试验法建模：
根据过程输入、输出的实测数据，经过数学处理（过 程辨识与参数估计）得到完全从外特性上和过程相吻合的 数学模型。
4）滞后（迟延）过程
Q0
e-τs
Q1
纯迟延
u
Ku
Q0
1 Cs
Q1
_ Q2
h
(1)传递函数：
1 R
H (s) K e 0 s U (s) Ts 1 K （多容） e 0 s （Ts 1 n ）
4）滞后过程
(2)响应曲线：
0
2、无自平衡过程
1）单容过程
u
ku
Q1
流出量Q2由水泵强制打出。Q2 的大小决定于水泵的容量和转速 ，而与水槽水位的高低无关
一阶微分方程式
(4)原理框图：
u
Ku
Q1
1 C2 s
h1
1 R2
自平衡单容对象
1）单容过程
(5)响应曲线： u
阀门开度
u0
u0
流
量
Q
t0
dQ
Q1
Q2
t
Q10 Q20
t0
dh
t
液
位
h
h( )
t
h0
t0
多 容
1）单容过程
(6)特征参数： （选学）
放大系数K ∵ h(∞)＝KΔ u0
与输入稳态值之比，
消去中间变量，得：
最小二乘法
最小二乘法一、最小二乘法概述最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron 把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。
我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。
于其内部结构、 机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为 “灰箱”；如果我们对于研究对象的内部结构、 内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。
研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立该系统的模型，对模型参数进行辨识来确定该系统的运行规律。
对于动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。
应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值。
假设一个SISO 系统如下图所示：图1 SISO 系统结构图其离散传递函数为：（1）输入输出的关系为：)()()()(1k y k e z G k u =+•- （2）进一步，我们可以得到：)()()()()(11k e z B k u z A k y +⋅=⋅-- （3）其中，扰动量)(k e 为均值为0，不相关的白噪声。
将式（3）写成差分方程的形式：)()()2()1()()2()1()(2121k e n k u b k u b k u b n k y a k y a k y a k y n n +-⋯+-+-+--⋯-----=（4）令T n k u k u k u n k y k y k y k ])()2()1()()2()1([)(-⋯----⋯----=ϕnn n n z a z a z a z b z b z b z A z B z G ---------+⋯++++⋯++==221122111111)()()(][2121n nb b b a a a ⋯⋯=θ则式（4）可以写为：)()()(k e k k y T+=θϕ （5）将上述式子扩展到N 个输入、输出观测值{)(),(k y k u }，k=1,2,…，N+n 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
② 计算已知过程模型在选定的输入和噪声数据下的输 出数据；
③ ④ ⑤ 这样获得了过程的一组输入输出数据，假定模型类 ，其中参数未知，用这组数据进行递推辨识； 将辨识获得的参数估计值与真值进行比较，求出相 对误差； 记录递推过程中的误差序列，检验其白色性。
1 最小二乘法
白噪声序列
1.2.2 递推算法
上篇
线性系统建模
1 最小二乘法 1.1 最小二乘问题的提出
1801年，德国科学家Gauss
1 最小二乘法 1.1 最小二乘问题的提出
回顾：
最小二乘法属于系统辨识中模型参数辨识的一种现代辨 识方法，它基于模型结构已知情况下，获取模型参数的 一种建模方法。
1 最小二乘法 1.1 最小二乘问题的提出
针对带噪声的输入输出数据和一个确定的模型结构：
z k hT k θ e k
问题是如何得到模型参数的估计值。最小二乘法就是求出 使实际观测值与模型计算值之差的平方和达到极小的参数 值作为估计值。
J f k 2 k
k 1 k 1
ˆ
1 最小二乘法
仿真举例：
考虑如下图所示的仿真对象，
1.2.2 递推算法
图中vk 是服从N(0,1)分布的不相关随机噪声；输入信 号uk 采用四阶M序列，幅度为1，循环周期Np＝15bit
1 最小二乘法
辨识仿真研究的步骤 ①
1.2.2 递推算法
选取和产生一组输入数据、噪声数据（长度为L）；
定理2 如果最小二乘模型的噪声向量 n L 是均值为零的白 噪声，则一次完成算法给出的参数估计值 ˆLS 是一致收敛的 ，即 ˆ lim LS 0
L
0 为模型参数真值。 其中，
1 最小二乘法
！总结
1.2.1 一次完成算法
当获得一批数据后，利用 一次完成算法 可一次求得相应的 参数估计值。 此种方法在理论研究中有许多方便之处，但在计算方面要 碰到矩阵求逆的困难。矩阵维数的增加会带来求逆运算的 计算量急剧增加，这会给计算机的计算速度和存储量带来 负担。
1 P A A A 2) （为A的任何一种范数与其逆的乘积）
1 最小二乘法
1.2.1 一次完成算法
极小化准则函数 J ，求得参数 的估计值。 假设 ˆWLS 使得 J | WLS min ，则有
J | WLS T Z H L L L Z L H L | WLS 0T
u k 和 z k 是过程的输入输出量； v k 是均值为零的白噪声。
一般先假定模型的阶次 na 和 nb 已经确定，然后辨识模型的 参数，写成最小二乘格式
z k hT k v k
式中
T k [ z k 1 , , z k n , u k 1 , , u k n ] a b [ a , a , , a , b , b , , b ] 1 2 na 1 2 nb
ˆ k z
J z k h
k 1
L
T
k
2
使 J min 的 估计值记作 ˆ ，称作参数 的最小二 乘估计值。
1 最小二乘法 1.1 最小二乘问题的提出
例如，对于线性时不变SISO(单输入单输出)动态模型：
A z 1 z k B z 1 u k v k
k 1
其中 k 0称为加权因子；
将准则函数写成二次型的形式
J ( Z L H L )T Λ L ( Z L H L )
式中 L 称为加权阵，一般是正定的对角矩阵，对角线上元素为加权 因子。
0 1 0 2 ΛL 0 0 0 0 L
1 最小二乘法
参数估计结果
参数 a1 a2
1.2.2 递推算法
b1
b2
真值
估计值 相对误 差
-1.5
-1.4851 0.99％
0.7
0.6859 2.01％
1.0
0.9566 4.34％
0.5
0.5102 2.04％
1 最小二乘法
递推算法实现的参数估计值变化过程
1.2.2 递推算法
1 最小二乘法
0 1 0 2 L 0 0
1.2.1 一次完成算法
运用一次完成算法的关键是根据离线采集的一批辨识数据确定计 算公式中的各元素。例如，对于1.2.1所述线性SISO系统：
0 0 L
T
ቤተ መጻሕፍቲ ባይዱ
如何由过程 输入输出数 据确定HL
1 最小二乘法
经证明，有如下定理：
1.2.2 递推算法
定理3 如果噪声 v k 是零均值的白噪声，则递推算法 ˆk 给出的参数估计值 是一致收敛的，即
ˆk lim 0
k
1 最小二乘法
1.2.2 递推算法
ˆ0 和 P0 ，可有两种方法来确 递推计算需要事先选择初始状态 定：
1 最小二乘法
过程输入输出数据序列
1.2.2 递推算法
1 最小二乘法
选择如下的模型类
1.2.2 递推算法
zk a1 zk 1 a2 zk 2 b1uk 1 b2uk 2 vk
其中加权因子取 L I ，输入数据长度L＝480；初 始条件取 P(0)＝106I， (0)=0.001。
1、根据一批数据，利用一次完成算法，预先求得
P 0 L0 L0
T L0
0
0
1
ˆ 0 P 0 T L L ZL
0
其中 L0 为数据长度，为了减少计算量，不宜取得太大。
2、直接取
P0 a 2 I a为充分大的实数
ˆ0
为充分小的实数
1 最小二乘法
1.2 最小二乘估计算法
1.2.1 一次完成算法
1.2.2 递推算法
1.2.3 病态方程的求解
1 最小二乘法
1.2.1 一次完成算法
对于上式，当k=1,2,…,L时，数据向量分别为
注意：本课件里 hT 1 [ z 0 ,, z 1 n , u 0 ,, u (1 n )] a b 数据长度设为L
更为实用的方法是 递推算法 ，计算复杂度大为降低， 这样便于在线辨识，而且大大数据贮存，节省了计算 机的内存。
1 最小二乘法
递推算法的基本思想可概括成——
1.2.2 递推算法
ˆk 老的估计值 ˆk 1 修正项
加权最小二乘参数估计递推算法（简称RWLS）如下：
实数
当加权阵 Λ L I 时，就称最小二乘递推算法（简称RLS）。
ˆ k ˆ k 1 K k z k T k ˆ k 1 计算 P k I K k T k P k 1
1
k k 1
ˆi k ˆi k 1 判断max ？ ˆ i k 1 i
ZL z 1 z 2 z L
T 1 z 0 T 2 z 1 HL T L z L 1
z 1 na u 0 z 2 na u 1 z L na u L 1
L
L
k 是定义在区间（0，L）上的误差函数。 其中，
——最小二乘估计
1 最小二乘法 1.1 最小二乘问题的提出
设线性过程可以描述成以下的最小二乘格式
z k hT k v k
已经知道， zk 是过程的输出量； k 是可观测的数据向量； v k 是均值为零的白噪声。极小化下列准则函数
展开求解此方程，可得
ˆWLS
1 T T H L L L L L Z L
1 最小二乘法
加权最小二乘估计值
1.2.1 一次完成算法
其中加权阵 L ，一般是正定的对角矩阵，对角线上元素为加权因 子 k 0。 如果加权阵 L I ，最小二乘估计值
1 最小二乘法
nL [v 1 , v 2 ,, v L ]T
则可将原最小二乘式写为
Z R
L1
, H L R Ln , R n1
1 最小二乘法
辨识准则函数为
L
1.2.1 一次完成算法
引入加权因 子的意义？
J k [ z k hT k ]2
0.1
0.5
1
1 最小二乘法
1.2.3 病态方程的求解
最小二乘的一次完成算法求解模型参数估计值公式为：
！！！理论上只要矩阵 H L L 满秩，最小二乘估计有解。
但实际情况是，由于各种原因，使得矩阵 L 的列向量之间存在近似 线性关系，表现为矩阵 H L L 虽然满秩，但其行列式的值很小（接 近于零）。这时上式的解变得对数据特别敏感，这种现象称为 病
态。 输入变量之间线性相关
过程受外加激励不够
采样间隔太密
1 最小二乘法
1.2.3 病态方程的求解
病态(ill-conditioned)问题的后果：
估计误差方差很大
解对原始数据非常敏感
所得的解失去实用价值
1 最小二乘法
对于给定的线性方程组 Ax b ，
1.2.3 病态方程的求解
衡量病态程度的量——条件数：
另外，可用下式作为递推算法的停机标准