数值计算与最优化lecture 12最佳平方逼近

这是一个系数为(k , j )，常数项为(k , f )的线性方程组。
将其表示成矩阵形式
(((a0n01im,,,1im1 i000)))i0y(i((x(ik)(n10xk,,i,()x，i )111)))ka1.i..0mM...1,..1.,.i.(((.,1n(.xn01i,,,)k (nnnx)))i )...
一般地， 设函数0(x),1(x),...,n (x)在X上线性无关， 称
p(x) a00 (x) a11(x) ... ann (x)
为定义在X上的广义多项式，记为
p(x) span{0 (x),1(x),...,n (x)}.
由此可见，
a1 sin x a2 sin 2x ... an1 sin(n 1)x
f ( y 1 , y2 ,..., ym )
并定义内积：
n
j0
m i0
i
j
(x(i )k ,k(xji))
aijm1imi0 k (ixyii)k (j x(ix)i,)
k 0,1,..., n.
m
(k , f ) ik (xi )yi
i 1
正规方程组便可化为：
a0 (k ,0 ) a1(k ,1) ... an (k ,n ) (k , f )， k 0,1,..., n.
2
k
0,1,..., n.
i1
j0
i 1
j0
mn
m
ia j j (xi )k (xi ) i yik (xi )， k 0,1,..., n.
i1 j0
i 1
n
m
i
j (xi )k
(Leabharlann Baidu
xi
)
a
j
m
i yik (xi ),
k 0,1,..., n.
j0 i1
i1
即
m
m
m
是线性无关的，因而Gn也是非奇异的，即
det(Gn ) det[((i , j ))(n1)(n1) ] 0
根据Cramer法则，法方程组有唯一解：
因此
a0 a0 *, a1 a1 *, , an an *
n
S * (x) a*j j (x)为最小二乘解。 j0
作为一种简单的情况：
常使用多项式S(x) Pn (x)作为(xi , yi )(i 1, 2,..., m)的拟合函数 拟合函数S (x) Pn (x)的基函数为:
三、一般最小二乘拟合问题
定义5.1.1 设函数组0 (x),1(x),...,n (x)定义在实数集X上。
如果存在不全为零的实数c0, c1,..., cn，使得
c0 0 (x) c11(x) cnn (x) 0, x X
成立，则称函数组0(x),1(x),...,n (x)在X上线性相关； 否则，称函数组0(x),1(x),...,n (x)在X上线性无关。
0 (x) 1, 1(x) x, ...,k (x) xk ,..., n (x) xn
为定义在X={xk
=
k n
,k=1,2,...,n-1}上的广义多项式。
定义残差的平方和：
m
m
2 2
2 i
( p(xi ) yi )2 ,
i 1
i 1
最小二乘问题为：求解极小值问题
m
min 2 2
2 i
.
i 1
❖ 加权最小二乘拟合问题
对于一组给定的数据点(xi , yi )(i 1, 2,..., m) 各点的重要性可能是不一样的
在拟合的数据点(xi , yi )(i 1, 2,..., m)中
假设i表示数据点(xi , yi )的重度
i 1, 2,..., m
重度: 即权重或者密度，统称为权系数
定义加权残差的平方和为
m
m
2 2
i
2 i
i ( y(xi ) yi )2
i 1
i 1
m
m
即，在最小二乘中，
2 i
用更一般的加权平均
i
2 i
代替。
i 1
i 1
最小二乘问题可推广如下：
设有关于变量 x 和 y的一组数据
(xk , yk )，k 1, 2,..., m,
且函数0 (x),1(x),...,n (x)在X={x1, x2, ..., xm}上线性无关，
参数a0, a1,..., an (n m)使得多项式
a0 i0 (xi )k (xi ) a1 i1(xi )k (xi ) ... an in (xi )k (xi )
i 1
i 1
i 1
m
i yik (xi )， k 0,1,..., n. i 1
正规方程组
显然上式是一个关于a0, a1,..., an的n 1元线性方程组。
引入记号 r (r (x1),r (x2 ),...,r (xm ))， r 0,1,..., n,
例如：(1) 设X为区间[a,b]或者为至少含有n 1个不同实数的点
集，则多项式组1,x,...,xn在 X 上线性无关。 (2) 正弦函数组 sin x,sin 2x,...,sin(n 1)x
在点集X={xk
=
k n
,k
=
1,...,
n
-
1}上线性无关。
由定义可知：多项式a0 a1x ... anxn可视为由线性无关的函数组 1,x,..., x（n 称为基函数）张成的线性空间span{1,x,..., xn}中的元素。
满足
p(x) a00 (x) a11(x) ... ann (x)
m
S(a0 , a1,..., an ) : k ( p(xk ) yk )2 min, k 1
其中1,2 ,...,m 0，则称 p(x) a00 (x) a11(x) ... ann (x)
为给定数据的带权系数1,2,...,m 的最小二乘拟合多项式
或最佳平方逼近多项式。
由多元函数取极值的必要条件
S 0, k 0,1,..., n, ak
得
m
i
n
a
j
j
( xi
)
yi
k
( xi
)
0，
k
0,1,...,
n.
i1
j0
即
m
S (ia0
n
, a1a,.j..,ja(
nx)i )k
m
( xi)
i
n
yika(jxi
j)(xi )
0，yi
a0
m
a a1n
an i1
(0 , f in(x(i)1k ,(xif)
M
(n , f
) )
)
称上式为函数序列0 (x),1(x),...,n (x)在点x1, x2,..., xm 上
的法方程组。
简单记为 Gna b
显然，系数矩阵Gn是对称的。由于0 (x),1(x),L ,n (x)