数值分析--32正交多项式与最小二乘拟合

§6 Orthogonal Polynomials & L-S Approximation
定义 广义 L-S 拟合：
①
离散型 /*discrete type */ 在点集{ x1 … xm } 上测得{ y1 … ym }，在一组权系数{ w1 …
wm }下求广义多项式 P(x) 使得误差函数 wi [P( xi ) yi ]2
i 1 4 i 1 4 4
( 1 , 2 ) x i x i2 100
i 1 4 i 1 4
4
( 0 , 1 ) 1 x i 10 ( 1 , 1 ) xi2 30 ( 0 , 2 ) 1 x i2 30 ( 2 , 2 ) x i4 354 ( 0 , y ) 1 yi 58 ( 1 , y ) 182
n
定理 Ba = c 存在唯一解 0(x), 1(x), … , n(x) 线性无关。
证明：若存在一组系数 {i } 使得 0 0 + 1 1 + ... + n n 0 则等式两边分别与0, 1, … , n作内积，得到：
0 ( 0 , 0 ) + 1 ( 1 , 0 ) + ... + n ( n , 0 ) 0 ( , ) + ( , ) + ... + ( , ) 0 1 1 1 n n 1 0 0 1 . . . ( , ) + ( , ) + ... + ( , ) 0 1 1 n n n n 0 0 n
1 2 49 3 y P( x) x + x 2 10 2
cond ( B ) 7623
|| B || 484,
|| B
1
||
63 4
§6 Orthogonal Polynomials & L-S Approximation
j 例：连续型拟合中，取 j ( x) x , ( x) 1, y( x) C[0, 1]
§6 正交多项式与最小二乘拟合
/* Orthogonal Polynomials & Least-Squares Approximation */
已知 x1 … xm ; y1 … ym, 求一个简单易算的近 m 似函数 P(x) f(x) 使得 | P ( xi ) yi |2 最小。
②
i 1 n
连续型 /*continuous type */ 在[a, b]上用广义多项式 P(x) 拟合连续函数 f(x) 时，定义权 b 函数 (x) C[a, b]，即误差函数 = ( x )[ P ( x ) y( x )]2 dx 。 a 权函数必须(x)满足：非负、可积，且在[a, b]的任何子区 间上(x) 0。
0 ( x) 1, 1 ( x) ( x 1 )0 ( x) 有递推 k +1 ( x) ( x k +1 ) k ( x) k k 1 ( x) ( x k , k ) ( k , k ) 关系式： k +1 , k 其中 ( k , k ) ( k 1 , k 1 )
即：B = 0
……
§6 Orthogonal Polynomials & L-S Approximation
例：用 y a0 + a1 x + a2 x 来拟合
2
x y
1 4
2 10
3 18
4 26 ，w
1
解： 0(x) = 1， 1(x) = x， 2(x) = x2
( 0 , 0 ) 1 1 4
a00(x)+a11(x)+… +ann(x)=0 对任意 x[a, b]成立 当且仅当 a0= a1=… =an=0。
定义 考 虑 一 般 的 线 性 无 关 函 数 族 ={ 0(x), 1(x), … ,
n(x), … }，其有限项的线性组合 P ( x ) j j ( x ) 称为广义
多项式 /* generalized polynomial */. 常见多项式：
j 0 n
{ j(x) = x j } 对应代数多项式 /* algebraic polynomial */
{ j(x) = cos jx }、{ j(x) = sin jx } { j(x), j(x) }对应三 角多项式 /* trigonometric polynomial */ { j(x) = e kj x , ki kj } 对应指数多项式 /* exponential
Algorithm: Orthogonal Polynomials Approximation
To approximate a given function by a polynomial with error bounded by a given tolerance. Input: number of data m; x[m]; y[m]; weight w[m]; tolerance TOL; maximum degree of polynomial Max_n. Output: coefficients of the approximating polynomial. Step 1 Set 0(x) 1; a0 = (0, y)/(0, 0); P(x) = a0 0(x); err = (y, y) a0 (0, y); Step 2 Set 1= (x0, 0)/(0, 0); 1(x) = (x 1) 0(x); a1 = (1, y)/(1, 1); P(x) += a1 1(x); err = a1 (1, y); Step 3 Set k = 1; Step 4 While (( k < Max_n)&&(|err|TOL)) do steps 5-7 Step 5 k ++; Step 6 k= (x1, 1)/(1, 1); k1 = (1, 1)/(0, 0); 2(x) = (x k) 1(x) k1 0(x); ak = (2, y)/(2, 2); P(x) += ak 2(x); err = ak (2, y); Step 7 Set 0(x) = 1(x); 1(x) = 2(x); Step 8 Output ( ); STOP.
( f, g )=0 表示 f 与 g ② 连续型 /*continuous type */ 带权正交。 已知 y(x) C[a, b] 以及权函数 (x)，求广义多项式 P(x) 使 b 得误差函数 = ( x)[ P( x) y( x)]2 dx 最小。
m wi f ( xi ) g( xi ) i 1 则易证( f, g ) 是内积， ( f , g ) b ( x ) f ( x ) g( x )dx 而 || f || ( f , f ) 是范数。 a
0 则完全类似地有： 0 ( k , j )a j ( k , y) , k 0, ... , n j ak a0 ( 0 , y ) 即： b ( , ) 法方程组 =c ij i j /*normal equations */ an ( n , y )
29 37 5 1 1 + ( x ) + ( x 2 5 x + 5) 注：手算时也可 2 5 2 2 1 49 3 用待定系数法确 x2 + x 与前例结果一致。 定函数族。 2 10 2
§3 Orthogonal Polynomials & L-S Approximation
i 1 i 1 4 i 1
( 2 , y ) 622
3 49 1 a0 , a1 , a 2 2 10 2
4 10 30 a0 58 10 30 100 a1 182 30 100 354 a 622 2
i j 则 ( i , j ) 0 x x dx 1
1 i + j +1
Hilbert阵！
若能取函数族={ 0(x), 1(x), … , n(x), … }， 使得任意一对i(x)和j(x)两两（带权）正交， 改进： 则 B 就化为对角阵！ ( k , y ) 这时直接可算出ak = ( k , k ) 正交多项式的构造： 将正交函数族中的k 取为k free lunch Well, no 阶多项式，为简单起见，可取 k 的首项系数为 1 。 anyway…
注：err || P y || ( P y, P y ) ( ak k y,
2
n
a ( k , k ) 2 ak ( k , y ) + ( y, y )
k 0 2 k k 0
a
n
最小。
i 1
内积与范数
离散型 连续型
ቤተ መጻሕፍቲ ባይዱ
广义 L-S 问题可叙述为：求广义多项式P(x)使得 ( P y, P y) || P y ||2 最小。
§6 Orthogonal Polynomials & L-S Approximation
设 P ( x ) a 0 0 ( x ) + a 1 1 ( x ) + ... + a n n ( x )
polynomial */
定义 权函数：
①
离散型 /*discrete type */
根据一系列离散点 ( xi , yi ) (i 1, ... , n) 拟合时，在每一误
差前乘一正数wi ，即 误差函数 wi [P( xi ) yi ]2 ，这个wi 就称作权/* weight*/，反映该点的重要程度。
i 1
已知 [a, b]上定义的 f(x)，求一个简单易算的 b [ P( x ) f ( x )]2 dx 最小。 近似函数 P(x) 使得 a 定义 线 性 无 关 /*
linearly independent */ 函 数 族 {
0(x),
1(x), … , n(x), … } 满足条件：其中任意函数的线性组合
5 5 2 ( x ) ( x ) 1 ( x ) 0 ( x ) x 2 5 x + 5 2 4
y
( k , y ) ak ( k , k )
( 1 , y ) 37 a1 (1 , 1 ) 5
( 2 , y ) 1 a2 ( 2 , 2 ) 2
证明略 p.111
§3 Orthogonal Polynomials & L-S Approximation
例：用 y c0 + c1 x + c2 x 来拟合
2
x y
1 4
2 10
3 18
4 26 ，w
1
解：通过正交多项式 0(x), 1(x), 2(x) 求解 设 y a 0 0 ( x ) + a 1 1 ( x ) + a 2 2 ( x ) ( 0 , y ) 29 0( x) 1 a0 ( 0 , 0 ) 2 ( x 0 , 0 ) 5 5 1 1 ( x ) ( x 1 ) 0 ( x ) x ( 0 , 0 ) 2 2 2 ( x 1 , 1 ) 5 1 ( 1, 1 ) 5 ( 1 , 1 ) 2 ( 0 , 0 ) 4