数值分析 最小二乘a

(u1 , u1 ) (u2 , u1 ) (u1 , u2 ) (u2 , u2 ) G (u , u ) (u , u ) 2 n 1 n (un , u1 ) (un , u2 ) (un , un )
称为格拉姆矩阵,则G非奇异的充分必要条件是 u1,u2,…,un线性无关 。
3)几种常用范数
在Rn上的向量 x＝(x1,x2,…,xn)T∈Rn, 三种常用 范数为称为：
称为 －范数或最大范数
n ||x|| | x |, 1 i i 1
称为 1－范数
1 2
||x||2＝ xi2 i 1
n
称为 2－范数
类似的对连续函数空间C[a, b], 若f∈C[a,b] 可定义以下三种常用函数的范数
(2) c2=|c|2;
(3) +g22+g2 (4) (,g)2 g2
权函数
考虑到(x)在区间[a,b]上各点的函数值比重不同,
常引进加权形式的定义
( f , g ) ( x) f ( x) g ( x)dx
定理 L-S 拟合多项式存在唯一 (n < m)。
证明：记法方程组为 Ba = c .
1 x1 T BΦ Φ . . 则有 其中 Φ . . T . . c Φ y 1 x m
x12 ... x1n . . . . . . . . . 2 n xm ... x m
曲线拟合与函数逼近
/* Approximation Theory */
仍然是已知 x1 … xm ; y1 … ym, 求一个简单易 算的近似函数 P(x) f(x)。
但是
①
m 很大； ② y 本身是测量值，不准确，即 y f (x ) i i i
这时没必要取 P(xi) = yi , 而要使 P(xi) yi 总体上尽可能小。 常见做法：
i 0 1 i 2 0 i i 0 1 i 2 1 i 0 1 i 2 2
整理并代入表中的数据得：
2 y a ( x ) a ( xi ) a 0 i 1 i 1 i 1 i 1 6 6 6 6 2 3 x y x a ( xi ) a ( xi ) a 0 i 1 i 1 i 1 i 1 6 6 6 6 4 xi2 y xi2 a ( x3 i ) a ( xi ) a 0 i 1 i 1 i 1 i 1
Y a
have to linearize equations for a and b it is … y bX nonlinear ! 就是个线性问题
x
将 ( x i , y i ) 化为 ( X i , Y i ) 后易解 a 和b。
方案二：设 y P ( x ) a e
b / x
例如、 三角函数系：1，cosx sinx cos2x， sin2x，…是 区间［ -π，π］上的正交函数系，因为


si nkx si n jxdx 0,
( j k)
cos kx cos jxdx 0,

( a > 0, b > 0 )
线性化：由 ln y ln a b 可做变换 x
1 , A ln a , B b Y ln y , X x Y A BX 就是个线性问题
将 ( x i , y i ) 化为 ( X i , Y i ) 后易解 A 和B
a e A , b B , P( x ) a e b / x
6 6 6 6
i 0 i 1 2 i i i 0 1 2 i 0 1 2
代入数据
解之可得：
a0 4.7143, a1 2.7857, a2 0.5000
故所求多项式为：
P( x) 4.7143 2.7857x 0.5000x
2
例：
y
(xi , yi) , i = 1, 2, …, m
|| f || max | f ( x) |,
a x b
称为 范数
|| f ||1 | f ( x) | dx,
a
b
称为 1 范数
||f ||2 ( f 2 ( x) dx) ,
a
b
1 2
称为2 范数
柯西－施瓦次不等式
设X为一个内积空间,对
2
u,v∈X有
• 函数的内积
记区间[a,b]上所有连续函数的全体为C[a,b],
可以证明C[a,b]是一个线性空间,把所有次数不超
过n的多项式全体记为Pn,则 Pn是C[a,b]的子空间. 若(x),g(x)C[a,b],
则称
满足

b
a
f ( x) g ( x)dx 为(x)与g(x)的内积,记为(,g),
j 0
0 1 n
j Wait a1 second! x u 0 , k , ... , m k j
n
的根
注： L-S method 首先要求设定 P(x) 的形式。若设 n=m1，则可取 P(x) 为过 m 个点的m1阶插值多 项式，这时 = 0。
P(x) 不一定是多项式，通常根据经验确定。
m
不可导，求解困难
太复杂
| P ( x i ) y i | 最小 /* minimax problem */ 使 max 1 i m
使 | P ( xi ) yi | 最小
使 | P ( x ) y | 最小
2 i 1 i i
i 1 m
/* Least-Squares method */
例: 已知一组观测数据如表所示，试用最小二乘法求
一个多项式拟合这组数据。
x
y
0
5
1
3
2
1
3
1
4
2
5
3
解：作散点图如 下： 从右图可以看出这些点接
P( x) a a x a x
0 1 2
近一条抛物线，因此设所 求公式为
2
由最小二乘法得如下式子：
(a , a , a ) ( y (a a x a x ))
a k m n m P ( xi ) 2 [ a j x ij y i ] x ik 0 2 [ P ( xi ) yi ] ak ak i 1 i 1 j 0
/* regression coefficients */ 在 的极值点应有 0 , k 0, ... , n
x
x ax b m xi 2 求 a 和 b 使得 (a, b) (ax b yi ) 最小。 i i 1
方案一：设 y P ( x )
it easy! We But Take hey, the system ofjust 线性化 /* linearization */：令 Y 1 , X 1 ，则
对任意 u 0 R n1 ，必有 Φ u 0 。 则 uT B u uT ΦT Φ u || Φ u ||2 2 0 若不然，则 B为正定阵，则非奇异，所以法方程组存在唯一解。 存在一个 u 0 R n1 使得 Φ u 0 … 即
You only gave me a critical point, x1 , ... , xm 是 butn it’s not necessarily a 阶多项式 minimum P( x) u u x ... u x n point !
(1)(,g)=(g,);
(2)(c,g)=c(,g); (3)(1+2,g)=(1,g)+(2,g);
若(,g)=0,称(x)与g(x)正交 ,记为g .
利用内积可以定义函数的平方模
f
2
(f, f)

b
a
f 2 ( x)dx
函数的平方模满 足 (1) 20,而且2=0(x)=0;
a
(1)
则称f(x)与g(x)在[a,b]上带权正交. 若函数族
0 ( x), 1 ( x), , n ( x),
b
满足关系
j k; 0, ( j , k ) ( x) j ( x)k ( x)dx a Ak 0, j k ;
(2)
则称 k ( x) 是[a, b]上带权 ρ(x)正交函数族 ；
| (u, v) | (u, u )(v, v).
称为柯西－施瓦次不等式 .
• 魏尔斯特拉斯定理 设f(x)∈C[a, b],则对任何ε＞0,总存在一个代数多项 式p(x),使 || f ( x) p( x) || ＜

在[a, b]上一致成立 。
•定理：设X为一个内积空间,u1,u2,…,un∈X,矩阵
基本概念
1)线性无关
设集合S是数域P上的线性空间,元素
x1,x2,…,xn∈S,如果存在不全为零的数
a1,a2,…,an∈P,使得
a1 x1 a2 x2 ... an xn 0,
则称x1,x2,…,xn线性无关.
2)范数的定义 设S为线性空间,x∈S,若存在唯一实数 || || 满足条件： (1)‖x‖≥0;当且仅当x＝0时,‖x‖＝0; (正定性) (2)‖αx‖＝|α|‖x‖,α∈R; (齐次性) (3)‖x＋y‖≤‖x‖＋‖y‖,x,y∈S. (三角不等式) 则称 || || 为线性空间S上的范数, S与 || || 一起称为赋范线性空间,记为X.
i 1
[
]
2

2

j 0
n
m
aj
x
i 1
jk i

m

i 1
m
yi xik
记 bk x , ck yi xik
i 1 k i i 1
m
b0 0 . . . b n 0
... b0 n a0 c0 . . . . . . . . . . . . a c ... bn n n n
a
b
f
2


b
a
( x) f 2 ( x)dx
这里函数(x)是非负连续函数,称为[a,b]上的权函数.
它的物理意义可以解释为密度函数.
什么是正交多项式
1) 正交的定义 若f(x),g(x)∈C[a,b],ρ(x)为[a,b]上的权函数且满 足 b
( f ( x), g ( x)) ( x) f ( x) g ( x)dx 0,
0 1 2
6
i 1
i
0
1
i
2
Hale Waihona Puke Baidu2 i
2
6 2 y a a x a xi ) 2 ( a i 1 6 2 2 x ( y a a x a x i ) i 1 a 6 2 2 2 x i ( y a a x a x i ) i 1 a
§1 最小二乘拟合多项式
据(xi, yi)
(i = 1, 2, …, m)
/* L-S approximating polynomials */
确定多项式 P( x) a0 a1 x ... an x n ，对于一组数
m
使得 [ P ( xi ) yi ]2 达到极小，
若 Ak 1, 则称之为标准正交函数族。
设 n ( x) 是[a, b]上首相系数an≠0为零的n次多 项式, ρ(x)为[a,b]上的权函数,如果多项式序列 { n ( x)}0 满足关系式(2),则称多项式序 { n ( x)} 0 为在[a,b]上带权ρ(x)正交,称 n ( x) 为[a, b]上带 权的 n 次正交多项式.
i 1
这里 n << m。
m
实际上是 a0, a1, …, an 的多元函数，即
n ) (或正规方程组 ( a 0 , a1 , ... , a n ) 法方程组 yi a0 a x ... a x 回归系数 /* normal 1 i n i equations */