多项式回归分析

1 2 49 3 y P( x) x + x 2 10 2
j 例：连续型拟合中，取 j ( x) x , ( x) 1, y( x) C[0, 1]
i j 则 ( i , j ) 0 x x dx 1
1 i + j +1
Hilbert阵！
若能取函数族={ 0(x), 1(x), … , n(x), … }， 使得任意一对i(x)和j(x)两两（带权）正交， 改进： 则 B 就化为对角阵！ ( k , y ) 这时直接可算出ak = ( k , k ) 正交多项式的构造： 将正交函数族中的k 取为k 阶多项式，为简单起见，可取 k 的首项系数为 1 。
29 37 5 1 1 + ( x ) + ( x 2 5 x + 5) 注：手算时也可 2 5 2 2 1 49 3 用待定系数法确 x2 + x 与前例结果一致。 定函数族。 2 10 2
linearly independent */ 函 数 族 {
0(x),
1(x), … , n(x), … } 满足条件：其中任意函数的线性组合
a00(x)+a11(x)+… +ann(x)=0 对任意 x[a, b]成立 当且仅当 a0= a1=… =an=0。
定义 考 虑 一 般 的 线 性 无 关 函 数 族 ={ 0(x), 1(x), … ,
n(x), … }，其有限项的线性组合 P ( x ) j j ( x ) 称为广义
多项式 /* generalized polynomial */. 常见多项式：
j 0 n
{ j(x) = x j } 对应代数多项式 /* algebraic polynomial */
{ j(x) = cos jx }、{ j(x) = sin jx } { j(x), j(x) }对应三 角多项式 /* trigonometric polynomial */ { j(x) = e kj x , ki kj } 对应指数多项式 /* exponential
例：用 y c0 + c1 x + c2 x 来拟合
2
x y
1 4
2 10
3 18
4 26 ，w
1
解：通过正交多项式 0(x), 1(x), 2(x) 求解 设 y a 0 0 ( x ) + a 1 1 ( x ) + a 2 2 ( x ) ( 0 , y ) 29 0( x) 1 a0 ( 0 , 0 ) 2 ( x 0 , 0 ) 5 5 1 1 ( x ) ( x 1 ) 0 ( x ) x ( 0 , 0 ) 2 2 2 ( x 1 , 1 ) 5 1 ( 1, 1 ) 5 ( 1 , 1 ) 2 ( 0 , 0 ) 4
i 1 4 i 1 4
4
( 0 , 1 ) 1 x i 10 ( 1 , 1 ) xi2 30 ( 0 , 2 ) 1 x i2 30 ( 2 , 2 ) x i4 354 ( 0 , y ) 1 yi 58 ( 1 , y ) 182
即：B Hale Waihona Puke Baidu = 0
……
例：用 y a0 + a1 x + a2 x 来拟合
2
x y
1 4
2 10
3 18
4 26 ，w
1
解： 0(x) = 1， 1(x) = x， 2(x) = x2
( 0 , 0 ) 1 1 4
i 1 4 i 1 4 4
( 1 , 2 ) x i x i2 100
n
定理 Ba = c 存在唯一解 0(x), 1(x), … , n(x) 线性无关。
证明：若存在一组系数 {i } 使得 0 0 + 1 1 + ... + n n 0 则等式两边分别与0, 1, … , n作内积，得到：
0 ( 0 , 0 ) + 1 ( 1 , 0 ) + ... + n ( n , 0 ) 0 ( , ) + ( , ) + ... + ( , ) 0 1 1 1 n n 1 0 0 1 . . . ( , ) + ( , ) + ... + ( , ) 0 1 1 n n n n 0 0 n
5 5 2 ( x ) ( x ) 1 ( x ) 0 ( x ) x 2 5 x + 5 2 4
y
( k , y ) ak ( k , k )
( 1 , y ) 37 a1 (1 , 1 ) 5
( 2 , y ) 1 a2 ( 2 , 2 ) 2
正交多项式与最小二乘拟合 已知 x1 … xm ; y1 … ym, 求一个简单易算的近 m 似函数 P(x) f(x) 使得 | P ( xi ) yi |2 最小。
i 1
已知 [a, b]上定义的 f(x)，求一个简单易算的 b 2 [ P ( x ) f ( x )] dx 最小。 近似函数 P(x) 使得 a 定义 线 性 无 关 /*
m wi f ( xi ) g( xi ) i 1 则易证( f, g ) 是内积， ( f , g ) b ( x ) f ( x ) g( x )dx 而 || f || ( f , f ) 是范数。 a
a
n
最小。
i 1
内积与范数
离散型 连续型
广义 L-S 问题可叙述为：求广义多项式P(x)使得 ( P y, P y) || P y ||2 最小。
polynomial */
定义 权函数：
①
离散型 /*discrete type */
根据一系列离散点 ( xi , yi ) (i 1, ... , n) 拟合时，在每一误
差前乘一正数wi ，即 误差函数 wi [P( xi ) yi ]2 ，这个wi 就称作权/* weight*/，反映该点的重要程度。
定义 广义 L-S 拟合：
①
离散型 /*discrete type */ 在点集{ x1 … xm } 上测得{ y1 … ym }，在一组权系数{ w1 …
wm }下求广义多项式 P(x) 使得误差函数 wi [P( xi ) yi ]2
( f, g )=0 表示 f 与 g ② 连续型 /*continuous 带权正交。 type */ 已知 y(x) C[a, b] 以及权函数 (x)，求广义多项式 P(x) 使 b 得误差函数 = ( x)[ P( x) y( x)]2 dx 最小。
②
i 1 n
连续型 /*continuous type */ 在[a, b]上用广义多项式 P(x) 拟合连续函数 y(x) 时, 定义权 b 函数 (x) C[a, b]，即误差函数 = ( x )[ P ( x ) y( x )]2 dx 。 a 权函数必须(x)满足：非负、可积，且在[a, b]的任何子区 间上(x) 0。
设 P ( x ) a 0 0 ( x ) + a 1 1 ( x ) + ... + a n n ( x )
( k , j )a j ( k , y ) , k 0, ... , n 0 则完全类似地有： j 0 ak a0 ( 0 , y ) 即： b ( , ) 法方程组 = c ij i j /*normal equations */ an ( n , y )
0 ( x) 1, 1 ( x) ( x 1 )0 ( x) 有递推 k +1 ( x) ( x k +1 ) k ( x) k k 1 ( x) ( x k , k ) ( k , k ) 关系式： , k 其中 k +1 ( , ) ( k 1 , k 1 ) k k
i 1 i 1 4 i 1
( 2 , y ) 622
3 49 1 a0 , a1 , a 2 2 10 2
4 10 30 a0 58 10 30 100 a1 182 30 100 354 a 622 2