计算方法最佳平方逼近-最小二乘法

表f(x)在区间[a, b]上的一系列点的函数值 yi= f(xi) ，通常由函数表来表达。
x x0 x1 x2 … xn y y0 y1 y2 … yn
要求出一个比较简单的函数 y ( x)
不要求函数 ( x) 完全通过所有的数据点，只要
求所得的近似曲线 y ( x) 能反映数据的基
本趋势。
(2) 对于[a, b]上的非负连续函数g(x), 若
b g(x)ρ(x)dx 0, 则必有 a g(x) 0，x [a, b]；
权函数的 非0性质
就称ρ(x)为[a, b]上的权函数。
权函数的意义：强化或弱化某部分积分函数值的影响。
例如：在[0, 5]上，取 ρ(x) x3 则积分
5x3g(x)dx 0
a
s(x)Φ a
则称s * (x)为f(x)在Φ 上的最佳平方逼近函数。
【注】 若取0 1, 1 x, 2 x2 , … , n xn 则Φ span{0 , … , n} span{1, x, x2 , … , xn}
即为全体n次多项式的 集合。
n
问题归结为求s * (x) a*jj , 即求系数a*j , 使得
3) 由实验或观测提供的数据个数往往很多，如果用插 值法,势必得到次数较高的插值多项式，计算很烦琐。
最小二乘法的思想
求一条曲线,使数据点均在离此曲线的上方或下方不 远处,所求的曲线称为拟合曲线,它 • 既能反映数据的总体分布,又不至于出现局部较大
的波动； • 更能反映被逼近函数的特性,使求得的逼近函数与
n
(k , j )aj (f, k ), k 0,1,...,n
证明完j毕0。
例6 求f(x) 1 x2 在[0,1]上的一次最佳平方 逼近多项式。取ρ(x) 1。
解：已知0 1, 1 x, 设所求S1* (x) a0 a1x,
得法方程
(0 , 0 ) (1 , 0 )
(0 (1
解：
||
f(x) -
s(x)
||
max
0 x1
|
1-
x
|
1
||
f(x) - s(x)
||22
1
(1
0
x)2dx
1 3
|| f(x) - s(x) ||2
3 3
0.578
权函数的定义
权函数ρ(x)和基 函数乘法的积分
定义4 设ρ(x)是区间[a, b]上的非负函数, 若
(1) b xkρ(x)dx存在, k 0,1, 2,… ; a
解：已知0 1, 1 x, 设所求p1*(x) a0 a1x,
得法方程
(0 , 0 ) (1 , 0 )
(0 , 1 )a0
(1
,
1
)
a1
(f, 0 ) (f, 1 )
3 4
15
32
15 32
21 64
a0 a1
7 12
31
80
aa10
10 27
88 135
p1* (x)
中的函数对已知的连续函数f(x)进行逼近。
连续函数的在线性空间最佳平方逼近
设f(x) C[a, b], Φ span{0 , … , n} C[a, b]，
ρ(x)为权函数，若 存 在s * (x) Φ，满足
b ρ(x)[f(x) s * (x)]2dx min b ρ(x)[f(x) s(x)]2dx
s(x)
|
度量。
这种度量太强
• 最佳平方逼近：使用多项式s(x)对连续函数f(x)进
行平方逼近。逼近误差使用范数
|| f(x) - s(x) ||22
b ρ(x)[f(x) - s(x)]2dx
a
度量。
权函数
练习：
设f(x) 1，s(x) x, 在[0,1]上，分别 求
|| f(x) - s(x) || 与 || f(x) - s(x) ||2 (设权函数为1)
已知函数从总体上来说其偏差按某种方法度量达 到最小。
为此，希望从给定的数据(xi,yi)出发,构造一个近似函
数 ( x),不要求函数 (x)完全通过所有的数据点，只
要求所得的近似曲线能反映数据的基本趋势，如图3.1
所示。
在某种意义上,曲线
y
拟合更有实用价值。
图3.1 曲线拟合示意图
y=φ(x) x
I(a0 ,… , an)
j0
b ρ(x)[f(x)
a
n j0
ajj ]2dx
取得极小值。上式两端
对ak
求导，得： 为了求极值，设
I
ak
(a0 , … , an)
2 b ρ(x)[f(x) a
n
ajj ]kdx
j0
0
n
aj
j0
b a
ρ(x) j (x)k (x)dx
b a
ρ(x)f(x)k
s*(x) a*00(x) a1*1(x) ... an*n(x)
应该是f(x)的最佳平方逼近函数。
结论:
1) s * ( x) 是f(x)在集合 Φ 上的最佳平方逼近函数。
证明（略）
2) 逼近误差公式（证明推导，见下页）：
|| δ(x) ||22 || f(x) - s(x) || (f(x), f(x)) - (S(x)，f(x))
只需证明 (s(x), s(x)) (s(x), f(x)) 即：
n
n
n
( akk (x), ajj(x)) ( akk (x), f(x))
k0
j0
k0
整理上式，得
n
n
n
ak[ aj(k(x), j(x))]
ak (k (x), f(x))
k0
j0
k0
根据之前S*(x)存在性证明过程中得到的(3.3)式，即：
计算方法 (Numerical Analysis)
第5次 最佳平方逼近与曲线拟合的最小二乘法
主要内容
• 最佳平方逼近 • 曲线拟合的最小二乘法
最佳平方逼近
函数逼近的类型
• 最佳一致逼近：使用多项式对连续函数进行一致 逼近。逼近误差使用范数
||
f(x)
-
s(x)
||
max
a x b
|
f(x)
-
n
|| f(x) ||22 ak* (f, k ) (4.5) k0
逼近误差公式证明
|| δ(x) ||22 || f(x) - s(x) || (f(x) - s(x), f(x) - s(x)) (f(x), f(x)) (f(x), s(x)) - (s(x), f(x)) (s(x), s(x))
m
(a0 a1xi yi )2
这是关于 a0 ，a1 的连
i1
续可导函数
为最小，其中每组数据与拟合曲线的偏差为
, ,
1 1
) )
a0 a1
(f, 0 ) (f, 1 )
1 1
1
2 1
a0 a1
(f, 0 ) (f, 1 )
2 3
推导在最后一页PPT
(f, 0 )
1 1 x2dx 1 ln(1
0
2
2)
2 2
1.147
(f, 1 )
1x
0
1
x 2 dx
1 3
(1
3
x2 )2
|10
讨论：
• 最佳平方多项式逼近：采用{1, x, x2 ,…,xn }作为 基函数，由此生成的多项式对f(x)进行平方逼近.
• 一般情况下：采用线性无关的连续函数
{0(x),1(x),… , n(x)}
作为基函数。 由此生成的线性空间
Φ span{0 , … , n} {a00 a11 ann}
上的权函数, 则可定义内积：
b
(f, g) ρ(x)f(x)g(x)dx a
当ρ 1, (f, g) b f(x)g(x)dx a
由内积可以定义范数(度量)：
1
|| f(x) ||2 (f, f)2
b
ρ(x)f
2(x)dx
1/2
a
若ρ
1，则 ||
f(x)
||2
b f2(x)dx 1/2
(x)dx
n
(k , j )aj (f, k ), k 0,1,...,n (3.3)
j0
展开成方程组形式：
(0 , 0 )a0 (0 , 1 )a1 (0 , n )an (f, 0 ) (1 , 0 )a0 (1 , 1 )a1 (1 , n )an (f, 1 )
(n , 0 )a0 (n , 1 )a1 (n , n )an (f, n )
(1, 0 )
…
(1, 1)
…
… …
(1, n
…
)
a1 …
(
f
,1)
…
(n, 0 )
(n, 1)
…
(n, n ) an
(f,n )
此方程组称为法方程. 计算积分
因0 , … , n线性无关, 故法方程系数行列式Gn 0,
法方程有唯一解ak ak* (k 0,1,...,n) 从而
Байду номын сангаас
10 27
88 x 135
平方误差 :|| δ(x) ||22
1xdx
1
( 10 27
7 12
31 80
) 88
135
4
1.02
p1* (x)
10 27
88 x. 135
1
f(x) x
平方误差 : || δ(x) ||22 0.0001082.
0.37
1/4
1
观察：在[1 , 1]上，f(x) 4
i0
i0
为最小。
这种要求误差（偏差）平方和最小的拟合称为 曲线拟合的最小二乘法。
（1）直线拟合
设已知数据点 (xi , yi ), i 1, 2, … , m 分布大致为 一条直线。作拟合直线 y(x) a0 a1x, 该直线
不是通过所有的数据点 (xi , yi ) ,而是使偏差平方和
F(a0 , a1 )
y=φ(x)
y=f(x)
很多情况下， y=f(x)的表达 式是未知的
希望在某种范数下，误差 | | e | || | f | |
比较小。
当使用2范数的时候
e 2
1
n i0
εi2
2
n i0
1
(xi )
f(xi)
2 2
要求：
n
n
|| e ||22 εi2 [(xi ) f(x i)]2
1(1 x2 )dx 1(0.934 0.426x) 1 x2dx
0
0
0.0026
最大值误差 :
同学们自己求一下
|| δ(x) || max | 1 x2 (0.934 0.426x) | 0.066
例题 求f(x) x在[1/4,1]上的在Φ span{1, x} 中的关于ρ(x) 1的最佳平方逼近多项式。
x和一个线性函数差不多。
Home
曲线拟合的最小二乘法
3.4. 曲线拟合的最小二乘法
若已知f(x)在点xi(i=1,2,…,n)处的值yi,便可根据插值 原理来建立插值多项式作为f(x)的近似。
但在科学实验和生产实践中，往往会遇到下述情况： 1) 节点上的函数值是由实验或观测得到的数据，带有
测量误差，若要求近似函数曲线通过所有的点 (xi,yi)，就会使曲线保留着一切测试误差； 2) 当个别数据的误差较大时，插值效果可能不理想；
a
§4 最佳平方逼近
连续函数的最佳平方多项式逼近
设f(x) C[a, b], ρ(x)为权函数，若 n次多项式
s * (x) a0 a1x an xn
满足
b ρ(x)[f(x) s * (x)]2dx min b ρ(x)[f(x) s(x)]2dx
a
s(x)Hn a
则称s * (x)为f(x)在[a, b]上的n次最佳平方 逼近多项式.
在对给出的实验(或观测)数据作曲线拟合时,怎样才 算拟合得最好呢？一般希望各实验(或观测)数据
(xi,yi)，i 0,1,… , n
与拟合曲线的偏差的平方和最小,这就是最小二乘原 理。
两种逼近概念: 插值: 在节点处函数值相同. 拟合: 在数据点处误差平方和最小
问题的提出： • 函数解析式未知,通过实验观测得到的一组数据, 代
2
2 1 3
0.609
1 1
1
2 1
a0 a1
1.147 0.609
2 3
a0 0.934，a1 0.426
得最佳平方逼近多项式为：
S1 (x) 0.934 0.426x
y 1 x2
2
1
S1 (x) 0.934 0.426x 红色
1
平方误差 :
|| δ(x) ||22 (f(x), f(x)) - (S1 (x)，f(x))
起到了弱化g(x)在区间[0, 1]的函数值，强化g(x)在 区间[1, 5]的函数值的作用。
离散权函数：在学生成绩系统中 总分=a*平时分+b*实验分+c*作业分+d*期末分
例如，老师录入系数：a=0.1，b=0.2, c=0.1, d=0.6 ，则{a, b, c, d}即为离散的权函数。
内积的定义： 设f(x), g(x) C[a, b], ρ(x)为[a, b]
或写成矩阵形式：
(0 , 0 ) (1 , 0 )
(n , 0 )
(0 , 1 ) … (1 , 1 ) …
…
(n , 1 ) …
(0 , n ) a0 (f, 0 )
(1
, n
)
a1
…
(f, 1
…
)
(n
,
n
)
an
(f, n )
(0, 0 ) (0, 1) … (0, n ) a0 ( f,0 )