最小二乘法&最小三乘法

最小二乘法

在我们研究两个变量(x,y)之间的相互关系时，通常可以得到一系列成对的数据1122, , ..(). , m m x y x y x y 、；将这些数据描绘在 x y -直角座标系中，若发现这些点在一条直线附近，可以令这条直线方程如：

01 11()

Y a a X =+-计 式，其中：01a a 、是任意实数。

为建立这直线方程就要确定01a a 和，应用最小二乘法原理，将实测值i Y 与利用式1-1计算值(01Y a a X =+ 计 )的离差()i Y Y -　计　的平方和2 ()i Y Y ∑-计最小为“优化判据”。

令：

2 ()(12)i Y Y ϕ=∑--计 式

把式1-1代入式1-2中得：

()2

01 (3) 1i i Y a a X ϕ=∑--- 式

当()i Y Y ∑-计平方最小时，可用函数ϕ对01a a 、求偏导数，令这两个偏导数等于零。

(式1-4)

(式1-5)

亦即：

()01 16()i i m a X a Y +∑=∑- 式

()()()201 () , 17i i i i X a X a X Y ∑+∑=∑-

式 得到的两个关于01a a 、为未知数的两个方程组，解这两个方程组得出：

()()01 / () / 18i i a Y m a X m =∑-∑-式 ()())

122 / 19 (/)i i i i i i X Y X Y m a X X m ⎡⎤⎣⎦∑-∑∑=

⎡⎣

-∑-∑式 ]

这时把01a a 、代入式1-1中，此时式1-1就是我们回归的元线性方程，即数学模型。

在回归过程中，回归的关联式是不可能全部通过每个回归数据点

1122, , ...),(m m x y x y x y 、，为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于0越好。

()()()(){

}

2

2

2

2

/ / 110() / / i i i i i i i i X Y m X m Y m R SQR X m X m Y m Y m ∑-∑∑=

-∑-∑⎡⎤⎣⎦

⎡⎤⎡⎤⎣⎦-∑⎣⎦

∑　式　

在(式1-1)中，m 为样本容量，即实验次数；i i X Y 、分别任意一组实验X 、Y 的数值。

最小三乘法

当研究实际中两个变量(), x y 之间的相互关系时，也可得到一系列成对的数据1122,, ... (),m m x y x y x y 、；将这些数据描绘在 x y -直角座标系中，发现这些点在一条曲线附近，假设这条曲线的一元非线性方程如式2-1。

01 2()1k Y a a X =+-计 式，其中：01a a k 、、是任意实数。

为建立曲线方程，就要确定a 0、a 1和k 值，应用最小二乘法同样的方法，将实测值i Y 与计算值01 k i Y Y a a X =+计计　（）的离差( )i Y Y -计的平方和2 ()i Y Y ∑-计为依据：

令：

2 ()~~~~~~()22i Y Y ϕ=∑--计式

把式2-1代入式2-2中得：

()

2

01 23()k i i

Y a a X ϕ=∑--- 式

用函数φ分别对a 0、a 1和k 求偏导数，令这三个偏导数等于零即：

(式2-4)

(式2-5)

(式2-6)

得到三个关于01a a k 、和，为未知数的三元方程组，解方程组即可得到数学模型。

判断数学模型的好坏，同样可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1越好；“F”的绝对值越大越好；“S”越趋近于0越好。这样的验证很好时，有的模型计算误差还是很大，为了更进一步的验证数学模型，必需计算模型的最大误差、平均误差和平均相对误差来验证模型。

最小三乘法和最小二乘法比较

若对任意曲线用(式3-1)拟和01 3()1K Y a a X =+-计 式 “最小二乘法”和“最小三乘法”比较表：

通过比较，“最小二乘法”和“最小三乘法”的“优化判据”2

( )i Y Y ∑-计相同，“最小三乘法”计算了因变量的幂值k ，“最小二乘法”不计算因变量的幂值k ，把它默认为1。

1．“最小三乘法”利用计算幂值，使回归模型函数曲线以不同曲率弯曲，来更好的拟和不同曲率的曲线。它省去了“最小二乘法”中繁琐的建机理模型和线性化处理，使回归模型与数据拟和更好。

2．对多维非线性数据回归，不用“偏最小二乘法”的每因素逐一与目标函数回归建模，再把所有模型捆绑成最终模型的方法，而是所有因素与目标函数，同时一次回归成数学模型，在回归时，它不但考虑因素对目标函数的贡献，还把因素之间的影响考虑进去，这样的模型要比用“偏最小二乘法”回归的模型准确。

3．“最小二乘法”数据回归一因素数据只有一元“X”，“最小三乘法”数

据回归一因素数据可有若干个元12“”“” k k kn X X X ⋯、

、如(式3-2)，利用这一特性，可使回归模型拟和数据更准确。

12012 ... ) 32(k k kn n Y a a X a X a X =++++-计式

模型选择

一、机理研究法

机理研究法是研究某过程的内在联系，对过程假设后，而建立的两个或两个以上因素之间关系的数学方程式；对数学方程式做数学变形处理，找出与预设模型(数学方程式)相对应的元和目标函数，在利用数据回归计算机理模型的系数。

二、数据研究法

数据研究法是对两维数据，以两维数据分别为目标函数和因素，因素X 的变化引起目标函数Y 变化，这种变化可分为六种情况如(图3-1)—(图3-6)。