最小二乘问题

i=0
n
S Y AC Y
显然这是不能成立的。只能求出C 使 AC Y
2 2
min
C是矛盾方程组 AC Y 的最小二乘解。
线性最小二乘问题：求矛盾方程组 AC Y 的最小二乘解。
3
数值分析
数值分析
第一节 求解线性最小二乘问题的一般原理
线性最小二乘问题 : 求矛盾方程组Ax b, 使 r 其中A R mn ,( m n).
6
2
数值分析
数值分析
注: T T (1)法方程A Ax A b的解一般不唯一 . ( 2)当A为列满秩时 , 法方程AT Ax AT b存在唯一解 . 对应的矛盾方程组 Ax b存在唯一的最小二 乘解 称为满秩的最小二乘问 题. ( 3)当r ( A) n时, 称为亏秩的最小二乘问 题, 解不 唯一.
a12 ba12
-1 2 1 ,试用A的满秩分解求广义逆A +。 例:设A= -1 2 1 0 3 2
1 解 : r ( A) 2, A 1 0
18
0 1 0 0 1
2 3
1 BC 2
数值分析
数值分析
第四章 最小二乘问题
问题的提出
给定m 1个数据点xi x0 , x1 , , xm , yi y0 , y1 , , ym , 及基函数 j ( x ) j 0
n m
( m n)
构造出拟合函数s( x ) H span 0 ( x ), , n ( x ) , 使
7
数值分析
数值分析
第二节 矩阵的广义逆
若A R nn可逆, 则存在逆阵 A 1 , 且有 AA1 A A, A1 AA1 A 1 , ( AA1 )T AA1 , ( A 1 A)T A 1 A Ax b的解x A 1b.
若A R nn不可逆，或 A R mn， 是否有类似的性质
即存在x R n , 使( r ( x ), A x Ay) 0, y R n 存在x R n , 使AT A x AT b 证毕
AT Ax AT b称 为 最 小 二 乘 问 题 的 法 方 程. 求x使 b Ax min 求x使A Ax A b
T T
Ir A P 0 BC
1
0 1 1 I r Q P I r 0 0
1
0Q 1
其中
16
BP
Ir 0 ,
C I r
0Q 1
数值分析
数值分析
注（1）满秩分解不唯一
1 0 如矩阵A , 秩r ( A) 1, 1 0 1 0 1 显然 1， 0 是A的一个满秩分解， 1 0 1 1 0 2 1 ， 0 也是A的一个满秩分解。 1 0 2 2
n ( x0 ) ( x ) n 1 n ( xm )
Y ( y0 , y1 , , ym )
T
( 0 , 0 ) ( 0 , 1 ) ( , ) ( , ) 1 0 1 1 G ( n , 0 ) ( n , 1 ) F ( 0 , Y ) (1 , Y )
广义逆，并记为A（也称为加号逆，或为伪逆）。
A +的简单性质
1 当A Rnn是可逆阵时,A + A -1; 2 ( A A)2 A A, ( AA )2 AA ,
9
( A ) A;
数值分析
数值分析
3 A R

m n T
是列满秩矩阵（m n, r ( A) n） ,
8
数值分析
数值分析
定义 设 A R mn，若存 n m矩阵 X R nm
满足以下四个条件（也称为Penrose条件）:
1 AXA A; T 3 （ AX ） AX ;
2 XAX X ; T 4 ( XA ) XA
则称X 是矩阵A的广义逆，又称为Penrose-Moore
m n
有奇异值分解
T 0 AU r V 0 0 则A存在唯一的广义逆是
1 A V r 0
0 T U 0
推论: A+=(ATA) + AT=AT(AAT) +
一般说来 ( AB) B A , A A AA I
12



1 T
则A ＝（A A） A ,且A A I n (但一般不成立AA I m ) A为列满秩时，称A为A的“左逆”；
1 1 , 求A的广义逆A。 例 已知A 1 1 1 1 解：A是列满秩的矩阵，可以求它的左逆 14 A ( A A) A 8 -4
2 ( y s ( x )) min i i i0
(1)
等价于 A AC A Y
T T
1
或
GC F
数值分析
数值分析
0 ( x0 ) 1 ( x0 ) (x ) (x ) 1 1 其中 A (0 , 1 ,..., n ) 0 1 0 ( xm ) 1 ( xm )
证明 : 设有x , y R n , 且x y , 则 2 2 r ( y ) b Ay (b Ax ) ( Ax Ay )
r ( x ) ( Ax Ay ) 2 r ( x ) 2( r ( x ), Ax Ay ) ( Ax Ay )
T 1 T
10
2 2
2 2
数值分析
验算有A A I 2 , 但AA I 3。
4 A R
T
数值分析
m n
是行满秩矩阵（m n, r ( A) m） ,则

A ＝A（AA ） ,且AA I m (但一般不成立A A I n ); A为行满秩时，称A为A的“右逆”。 2 3 6 1 例 已知A , 求 A 的 广义逆 A 。 1 2 1 2 解：A是行满秩的矩阵，可求它的右逆
1 B 1 0
1 0 1 1 0 2 0 T B B 1 0 0 0 1 0 1 0 1 1 / 2 0 1 1 0 1 / 2 1 / 2 T 1 T B ( B B) B 1 0 0 1 0 0 0
2 2
2
如果存在x R n , 对任意y R n , 使 ( r ( x ), A x Ay) 0 则有 r ( x ) r ( y ) , y R n 即 x是矛盾方程组 Ax b的最小二乘解 .
5
2
2
数值分析
数值分析
对x R n , ( r ( x ), Ax Ay) 0, y R n T T n ( x y ) A r ( x ) 0, y R AT r ( x ) 0 r ( x ) N ( AT ) T T T A (b Ax ) 0 A Ax A b
2
b Ax
2
min 的解.
1 1 0 x1 例 : 1 1 1 为矛盾方程组. x2 1 2 0
4
数值分析
数值分析
定理1 : x R n是矛盾方程组Ax b的最小二乘解的 充分必要条件是 : x是方程组AT Ax AT b的解.
1 C 0 2 3 1 1 T , CC 2 0 2 3 1 1 2 2 1
数值分析
0 0 , 1
19
1 0 1 13 T T 1 C C (CC ) 2 3 14 8 1 2 13 13 16 1 A C B 2 2 4 28 3 8 3
2
( 0 , n ) (1 , n ) ( n , n ) ( n , Y )
T
数值分析
数值分析
若求s(x)= cii ( x )，使s( xi ) yi , i 0,1, ..., m
s( x0 ) c0 0 ( x0 ) c11 ( x0 ) ... cn n ( x0 ) y0 s( x ) c ( x ) c ( x ) ... c ( x ) y 1 0 0 1 1 1 1 n n 1 1 s( xm ) c0 0 ( xm ) c1 1 ( xm ) ... cn n ( xm ) ym
T 1 T
14
数值分析
数值分析
例 若A Rmn是列满秩矩阵，则已知A有正交分解 A QR, 其中Q Rmn是列正交矩阵,R Rnn 是可逆的上三角阵。试用Q和R表示A。
解：A是列满秩矩阵时，其广义逆为左逆，
A ( A A) A
T 1 T

1Biblioteka Baidu
T
( RT QT QR )1 RT QT ( RT R )1 RT Q T (R R ) R Q R Q
但是,当A列满秩, B行满秩时 , 有( AB) B A
13



数值分析
数值分析
例 如: 1 A , B 1 1, 0 1 1 1 1 0 AB , ( AB) 2 1 0 0 0 1 1 T T 1 B B ( BB ) , 2 1 1 1 0 A ( A A) A 1 0, B A 2 1 0 ( AB) B A
(2) A BC T T 1 T 1 T A C B C (CC ) ( B B ) B
17
数值分析
数值分析
a11 (3)r ( A) 1, A a21 1 a11 a12 b
a12 a11 a22 ba11
T 1
11
1 9 2 18 1 T T 1 A A ( AA ) 76 11 23 4 8 1 0 验算有AA I , 但 A A I 4。 2 0 1
数值分析
数值分析
定理 2 设矩阵A R


数值分析
数值分析
例如 : 1 0 1 A , B 0 0 0 1 1 AB , ( AB) 0 0 1 0 B A 0 0 ( AB) B A
1 , 1 1 1 0 2 1 0
T T 1 T T
对于列正交的矩阵Q R
15
m n
，有Q Q 。
数值分析

数值分析
定理 3 设A R mn , 秩r ( A) 0, 则必有列 m r r n 满秩矩阵B R 和行满秩矩阵C R , 使A BC 称为矩阵A的满秩分解（简称秩分解）。 I r 0 I r 0 I r 证 : PAQ , I r 0 0 0 0 0 0