超定方程组的最小二乘解

第六章 第二节
2 4
11
2 4
3 5
1 2
2 1
3 1
5 2
x1 x2
2 4
3 5
1 2
2 1
3 6
即
2 1 解得
7
18 3
3 46
x1 x2
51 48
误差平方和为：
x1 3.0403
x2
1.2418
I (11 11.0478)2 (3 2.9119)2 (6 5.5239)2
AT Ax ATb
它是关于 x1, x2 ,..., xn 的线性方程组,称为正规方程组 或法方程组。
上页 下页 返回
3. 解的存在唯一性
第六章 第二节
ATA是n阶方阵，且是对称阵。 当R(A)=n 时，对任意 y 0 ,有Ay 0 ,所以
yT ( AT A) y ( Ay, Ay) Ay 2 0 2
数
第六章 第二节
学
MATH
上页 下页 返回
思维的体操 第六章 第二节 ——加里宁
上页 下页 返回
第六章 第二节
第二节 超定方程组的最小二乘解
设方程组Ax=b中, A=(aij)mn, b是m 维已知向量, x 是n 维解向量,当 m>n 即方程组中方程的个数 多于自变量的个数, 称此方程组为超定方程组.
aik xk )2
i 1
k 1
由多元函数求极值的必要条件，可得
I
x j
m
2 (bi
i 1
n
aik xk )aij
k 1
0
( j 1,2,..., n)
上页 下页 返回
第六章 第二节
即
nm
m
( aijaik )xk aij yi
k1 i1
i 1
( j 1,2,..., n)
写成矩阵形式为
(7 7.3224)2 0.34065942
上页 下页 返回
定义 记 r=b-Ax, 称使
r
2 2
最小的解
x*为方程组
Ax=b 的最小二乘解。
定理3 x*是 Ax=b的最小二乘解的充要条件 为: x*是 ATAx=ATb 的解.
上页 下页 返回
第六章 第二节
定理3 x*是 Ax=b 的最小二乘解的充要条件为: x* 是 ATAx=ATb 的解.
证：充分性：若存在n 维向量x*使 AT Ax AT b,
ATA是正定矩阵，必有det(ATA)>0。故
AT Ax ATb
的解存在且唯一。可用平方根法或SOR法求解。
上页 下页 返回
例1 求超定方程组
第六章 第二节
2 x1 4 x2 11
3 x1 5 x2 x1 2 x2
3 6
2 x1 x2 7
的最小二乘解，并求误差平方和。
解 方程组写 成矩阵形式为：
任取一n维向量 x x 令 y x x则 y 0 ,且
b Ax
2 2
b Ax*
Ay 2
2
(b Ax* Ay, b Ax* Ay)
(b Ax*, b Ax* ) 2( Ay, b Ax* ) ( Ay, Ay)
b Ax*
2 2 yT AT (b Ax* )
2
2 4
11
3 1
5 2
x1 x2
Βιβλιοθήκη Baidu
3 6
2 1
7
上页 下页 返回
第六章 第二节
2 4
11
3 1
5 2
x1 x2
3 6
2 1
7
正规方程组为
2 4
11
2 4
3 5
1 2
1213
5 2
x1 x2
2 4
3 5
1 2
2 1
3 6
2 1
7
上页 下页 返回
Ay
2 2
b Ax*
2
Ay 2
b Ax*
2
2
2
2
所以x *是Ax=b 的最小二乘解。
上页 下页 返回
第六章 第二节
必要性： r=b-Ax 的第 i 个分量为
n
ri bi aik xk (i 1,2,..., m),
k 1
m
n
记
I
I( x1, x2,..., xn )
r
2 2
(bi