数值分析第6章(3)

定义 广义 L-S 拟合：
①
n
§2.最小二乘拟合
离散型 /*discrete type */ 在点集{ x1 … xm } 上测得{ y1 … ym }，在一组权系数{ w1 … wm }下求广义多项式 P(x) 使得误差函数 wi [P( xi ) yi ]2
( f, g )=0 表示 f 与 g ② 连续型 /*continuous 带权正交。 type */ 已知 y(x) C[a, b] 以及权函数 (x)，求广义多项式 P(x) 使 b 得误差函数 = ( x)[ P( x) y( x)]2 dx 最小。
n ) (或正规方程组 ( a 0 , a1 , ... , a n ) 法方程组 yi a0 a x ... a x 回归系数 /* normal 1 i n i equations */ i 1
[
]
2

2

j 0
n
m
aj
x
i 1
jk i

m

i 1
m
yi xik
x1 , ... , xm 是 n 阶多项式 P( x) u0 u1 x ... un x n 的根
定理 Ba = c 的解确是 的极小点。即：设 a 为解，则任
意 b = (b0 b1 … bn )T 对应的多项式 F( x) bj x j 必有
(a ) [ P ( xi ) yi ]2 [ F ( xi ) yi ]2 (b)
Y a
have to linearize equations for a and b it is … y bX nonlinear ! 就是个线性问题
x
将 ( x i , y i ) 化为 ( X i , Y i ) 后易解 a 和b。
§2.最小二乘拟合
方案二：设 y P ( x ) a e
2 i 1 i i
i 1 m
(f, f)
意义 下，使得 || P y ||2 最小。
§2.最小二乘拟合
对于f(x)插值问题,要想提高精度,就要增加节点, 但是次数太高,计算量过大,而节点少,多项式的 次数低,但误差精度不能保证,为了消除误差干 扰,取多一些节点利用最小二乘法确定低次多项 式近似表示f(x)，这就是曲线拟合问题。
1 i j 1
Hilbert阵！
若能取函数族={ 0(x), 1(x), … , n(x), … }， 使得任意一对i(x)和j(x)两两（带权）正交， 改进： 则 B 就化为对角阵！ ( k , y ) 这时直接可算出ak = ( k , k ) 正交多项式的构造： 将正交函数族中的k 取为k 阶多项式，为简单起见，可取 k 的首项系数为 1 。
m
不可导，求解困难
太复杂
| P ( x i ) y i | 最小 /* minimax problem */ 使 max 1 i m
使 | P ( xi ) yi | 最小 使 | P ( x ) y | 最小 /* Least-Squares method */ 定义 最佳平方逼近：即连续型L-S逼近，在 || f ||2
例：用 y c0 c1 x c2 x 来拟合
2
x y
1 4
2 10
3 18
4 26 ，w
ቤተ መጻሕፍቲ ባይዱ
1
解：通过正交多项式 0(x), 1(x), 2(x) 求解 设 y a 0 0 ( x ) a 1 1 ( x ) a 2 2 ( x ) ( 0 , y ) 29 0( x) 1 a0 ( 0 , 0 ) 2 ( x 0 , 0 ) 5 5 1 1 ( x ) ( x 1 ) 0 ( x ) x ( 0 , 0 ) 2 2 2 ( x 1 , 1 ) 5 1 ( 1, 1 ) 5 ( 1 , 1 ) 2 ( 0 , 0 ) 4
§2.最小二乘拟合
设 P ( x ) a 0 0 ( x ) a 1 1 ( x ) n ... a n n ( x ) ( k , j )a j ( k , y ) , k 0, ... , n j 0 0 则完全类似地有：
ak
即： b ( , ) ij i j
i 1 i 1 m m
j 0 n
(b) (a ) [ F ( xi ) yi ] [ P ( xi ) yi ]2 证明：
2
m
m
i 1
m
i 1
[F ( xi ) P( xi ) P( xi ) yi ] [ P( xi ) yi ]2
m wi f ( xi ) g( xi ) i 1 则易证( f, g ) 是内积， ( f , g ) b ( x ) f ( x ) g( x )dx 而 || f || ( f , f ) 是范数。 a
a
最小。
i 1
内积与范数
离散型 连续型
广义 L-S 问题可叙述为：求广义多项式P(x)使得 ( P y, P y) || P y ||2 最小。
1 2 49 3 y P( x) x x 2 10 2
cond ( B ) 7623
|| B || 484,
|| B
1
||
63 4
j 例：连续型拟合中，取 j ( x) x , ( x) 1, y( x) C[0, 1]
i j 则 ( i , j ) 0 x x dx 1
第三讲
§1.最佳平方逼近 §2.最小二乘拟合
§1.最佳平方逼近
仍然是已知 x1 … xm ; y1 … ym, 求一个简单易 算的近似函数 P(x) f(x)。
但是
①
m 很大； ② y 本身是测量值，不准确，即 y f (x ) i i i
这时没必要取 P(xi) = yi , 而要使 P(xi) yi 总体上尽可能小。 常见做法：
0 ( x) 1, 1 ( x) ( x 1 )0 ( x) 有递推 k 1 ( x) ( x k 1 ) k ( x) k k 1 ( x) ( x k , k ) ( k , k ) 关系式： , k 其中 k 1 ( , ) ( k 1 , k 1 ) k k
即：B = 0
……
例：用 y a0 a1 x a2 x 来拟合
2
x y
1 4
2 10
3 18
4 26 ，w
1
解： 0(x) = 1， 1(x) = x， 2(x) = x2
( 0 , 0 ) 1 1 4
i 1 4 i 1 4 4
( 1 , 2 ) x i x i2 100
P(x) 不一定是多项式，通常根据经验确定。
例：
y
§2.最小二乘拟合
(xi , yi) , i = 1, 2, …, m
x
x ax b m xi 2 求 a 和 b 使得 (a, b) (ax b yi ) 最小。 i i 1
方案一：设 y P ( x )
it easy! We But Take hey, the system ofjust 线性化 /* linearization */：令 Y 1 , X 1 ，则
i 1 i 1 4 i 1
( 2 , y ) 622
3 49 1 a0 , a1 , a 2 2 10 2
4 10 30 a0 58 10 30 100 a1 182 30 100 354 a 622 2
记 bk x , ck yi xik
i 1 k i i 1
m
b0 0 . . . b n 0
... b0 n a0 c0 . . . . . . . . . . . . a c ... bn n n n
2
m
[F ( xi ) P( xi )] 2 [F ( xi ) P( xi )][P( xi ) yi ]
2
i 1 m
i 1
m
i 1
i 1
0
注： L-S method 首先要求设定 P(x) 的形式。若设 n=m1，则可取 P(x) 为过 m 个点的m1阶插值多 项式，这时 = 0。
对任意 u 0 R n1 ，必有 Φ u 0 。 则 uT B u uT ΦT Φ u || Φ u ||2 2 0 若不然，则 B为正定阵，则非奇异，所以法方程组存在唯一解。 存在一个 u 0 R n1 使得 Φ u 0 … 即
j x k u j 0 , k 1, ... , m j 0 n
a0
an
( 0 , y )
法方程组
=c
( n , y )
/*normal equations */
定理 Ba = c 存在唯一解 0(x), 1(x), … , n(x) 线性无关。
证明：若存在一组系数 {i } 使得 0 0 1 1 ... n n 0 则等式两边分别与0, 1, … , n作内积，得到：
定理 L-S 拟合多项式存在唯一 (n < m)。
证明：记法方程组为 Ba = c .
§2.最小二乘拟合
1 x1 T BΦ Φ . . 则有 其中 Φ . . T . . c Φ y 1 x m
x12 ... x1n . . . . . . . . . 2 n xm ... x m