计算方法 第五章 最小二乘逼近

试确定因变量 y与自变量 x之间的近似表达式。
已知一组数据 (xi, yi), yi = f (xi)，i = 1,2,„, m。 方法一：插值
构造插值函数φ(x) 来逼近 f (x), 则有
φ(xi) = f (xi) = yi, i = 1,2,„, m。 或记 Q =(φ(x1) , φ(x2) ,„,φ(xm) ), Y = (y1, y2,„,ym), 则有 方法二：曲线拟合 如果数据不能同时满足某个特定函数，而要求所求的逼近 函数“最优地”靠近数据点，即向量Q与Y 的误差或距离 最小。按 Q 与Y 的误差最小原则作为最优标准所构造出 的函数，我们称为拟合函数。 拟合和插值都可
第五章
最 佳 逼 近
§1. 离散最小二乘逼近
科学试验、统计分析获得大量数据。 例5.1.1 考察某种纤维的强度与其拉伸倍数的关系,下表是 实际测定的24个纤维样品的强度与相应的拉伸倍数的记录: xi ¿ ± à Å º À ­ É ì ± ¶ Ê ý xi ¿ Ç È ¶ yi ± à Å º À ­ É ì ± ¶ ý Ê Ç È ¶ yi
即
m S2 (a, b) 2 [(a bxk ) yk ] 0, a k 1 m S ( a , b ) 2 2 [(a bxk ) yk ]xk 0. b k 1
化简得
m m ma xk b yk , k 1 k 1 m m m 2 x a x k k b xk y k . k 1 k 1 k 1
(1, 2 ,..., m )T .
在回归分析中称为残差
通常使用某种范数 作为衡量 F ( x)与数据点( xi , yi )偏离 程度大小的度量标准，即要求向量 按某种范数取最小。
不可导，求解困难 （） 1 使残差的最大绝对值 max | k || yk F ( xk ) | 达到最小；
的系数是下述极小值问题的解：
min S (a0 , a1 ,..., a n ) : ( p( x k ) y k ) 2
k 1 m
m
( a0 a1 xk ... a n xkn y k ) 2.
k 1
则称 p( x) a0 a1 x ... a n x n为给定数据的n 次最小二乘拟 合多项式或最佳平方逼近多项式，也称 p( x）为变量 x 和 y 之间的经验公式或数学模型。给定的数据也称为拟合数据。
m 2 k 1 m k k 2 k 1 k k k
称为正规方程组或法方程组
解之得
a b
m 2 m m m xk yk xk xk yk k 1 k 1 k 1 k 1 , 2 m 2 m m xk xk k 1 k 1 m m m xk yk xk k 1 k 1 m 2 m m xk k 1 k 1 m y k k 1 . 2 xk
三、一般最小二乘拟合问题
定义5.1.1 设函数组0 ( x), 1 ( x),..., n ( x)定义在实数集X上。
如果存在不全为零的实数c0 , c1 ,..., cn，使得
c0 0 ( x) c11 ( x) cnn ( x) 0, x X
成立，则称函数组0 ( x), 1 ( x),..., n ( x)在X上线性相关； 否则，称函数组0 ( x), 1 ( x),..., n ( x)在X上线性无关。
S2 (a, b) [ yk ( a bxk )]2 .
k 1
m
m
S2 (a, b) [ yk (a bxk )]2 min,
k 1
参数 a 和 b 必须满足
一阶必要条件：
S 2 (a, b) 0, a S 2 (a, b) 0, b
n m m
m
n
j 0,1,..., n.
m m m n 故 i j j m x ... x y m k k ( xk )ai yk xk 0, j 0,1,..., n, k 2 k 1 k 1 k 1 i 0 k 1 1 , a ,..., a ) : S (ka ( p ( x ) y ) a 0 1 n 0 m k m k m m yx 2 n 1 k 1 x x ... x a k k k 1 k k 或 m ( p( x ) y ) x j 0, j 0,1,..., n. n k 1 1 k 1 k k k km k 1 i 2 ... ... ... ... k 1 ( ai xk y k ) an m m m m k 1 n i 0 n 1 2n n ... xk 称为正规方程组。可表示为 xk xk y k xk k 1 k 1 k 1 k 1
或
m a m yi ( a, b) x i S m i 2 [( a b x ) y i] 0, 1 1 a ， m m m , b) S (a 2 2 [( a b x ) y ] x 0. xi xi xi y i b i 1 i 1 b i 1


例5.1.4
用二次多项式函数拟合如下数据:
xi yi -3 4 -2 2 -1 3
7 i 1
0 0
1 -1
2 -2
3 -5
解
m =7. 约定 , 直接计算有：
xi 0, yi 1,
xi yi 39,
2 x i 28,
2 x i yi 7.
p( x) 8.2084 0.1795x.
a 8.2084 b 0.1795
二、一般最小二乘拟合多项式
对于离散数据: (xk, yk), k=1,2,„,m, 用 n (n<m) 次多项式来拟 合曲线。设多项式
p( x) a0 a1x ... an x n
构造逼近函数
Q = Y.
当数据量特别大时一般不用插值法。这是因为数 据量很大时所求插值曲线中的未知参数就很多，而且 数据量很大时，多项式插值会出现高次插值（效果不 理想）或分段低次插值（精度不高）；另外，测量数 据本身往往就有误差，所以，使插值曲线刻意经过这 些点也没有必要。 而曲线拟合首先根据物理规律或描点画草图确定 一条用来拟合的函数曲线形式，也可选择低次多项式 形式（所含参数比较少），然后按最小二乘法求出该 曲线，它未必经过所有已知点，但它能反映出数据的 基本趋势，且误差最小，效果比较好。
1k m
常见做法有：
太复杂
（2） 使残差绝对值的和 | yk F ( xk ) |达到最小；
k 1
m
（3） 使残差的平方和 [ yk F ( xk )]2 达到最小。
k 1
m
称为最小 二乘逼近
确定拟合曲线的方法： （1）选择曲线类型； （2）若曲线类型难以确定，画散点图； （3）用多种曲线类型拟合，选择最小二乘法意义下误差最 小的拟合曲线。 例5.1.2 在多个景点之间修一条主干道。 已知景点(xi, yi), i=1,2,„, m. 设 φ(x) = a +b x, 求 a，b 使残差的平方和达到最小。记δi = φ(xi)–yi，
1 2 3 4 5 6 7 8 9 10 11 12 1.9 2 2.1 2.5 2.7 2.7 3.5 3.5 4 4 4.5 4.6 1.4 1.3 1.8 2.5 2.8 2.5 3 2.7 4 3.5 4.2 3.5 13 14 15 16 17 18 19 20 21 22 23 24 5 5.2 6 6.3 6.5 7.1 8 8 8.9 9 9.5 10 5.5 5 5.5 6.4 6 5.3 6.5 7 8.5 8 8.1 8.1
纤维强度随拉伸倍 数增加而增加 并且24个点大致分 布在一条直线附近 从一组试验数据中 寻找自变量 x 与因 变量 y之间的函数 关系 y=F(x).
因此可以认为强度 y与拉伸倍数x的主 要关系应是线性关 系
9 8 7 6 5 4 3 2 1
1
2
3
4
5
6
7
8
9
10
F ( x) 0 1 x
一阶必要条件：
直接计算易得
S 0, a j
j 0,1,..., n.
m p ( xk ) S 2 ( p ( xk ) yk ) a j a j k 1 i 2 ( ai xk yk ) xkj k 1 i 0 m n m i j j 2 ( xk ) ai yk xk , k 1 i 0 k 1
3 x i 0,
4 x i 196,
设 p(x) = a0 + a1x + a2 x2, 形成正规方程组：
m xi x2 i
x x x x x x
i 2 i 3 i
2 i 3 i 4 i
a yi 0 a1 xi yi . a2 x 2 y i i
Q(a, b) ( xi ) yi a bxi yi ,
i 1 2 i 2 2 i 1 i 1
m
m
m
即找 a, b, 使Q(a, b)达到最小。
一、最小二乘拟合直线
若取 F(x)=a +b x，此时最小二乘逼近称为最小二乘拟合直线
Байду номын сангаас记 要使
记
1 m x xk , m k 1
m
1 m y yk , m k 1
则可得
m m a ( x x ) ( y y ) xi k y i k m k 1 i 1 i 1 b , a y b x. ， m m m m 2 2 x x x y ( x x ) i i ki i b i 1 i 1 i 1 k 1
例5.1.3 给出21组数据，用线性函数拟合鱼的种类和 鱼的数量的关系，m = 21。 解 设 p(x) = a + b x, 经计算：
x
i 1
21
i
956,
y
i 1
21
i
344,
x y
i 1 i
21
i
18913,
x
i 1
21
2 i
61640.
法方程组：
956 a 344 21 956 61640 b 18913 ,
其中0 , 1为待定参数
我们不要求 y F ( x)经过所有点 ( xi , yi )， 而只要求 F ( x) 0 1 x 与所有的数据点 (样本点) ( xi , yi ) 越接近越好。
必须找到一种度量标准来衡量什么曲线最接近所有数据点！
令
记
i F ( xi ) yi ,