62第二节 超定方程组的解

x2



3 6 7


b
数学学院 信息与计算科学系
2 4
11
3 1
5 2

x1 x2



3 6

2 1
7
正规方程组为 ATAx=ATb，即
2 4
11
2 4
3 5
组），这时需要寻找方程组的一个“最近似”的解.
定义
记误差向量 r=b-Ax, 称使
r
2
最小的解x*
2
为方程组Ax=b 的最小二乘解.
定理 x*是 Ax=b的最小二乘解的充要条件为x* 是 ATAx=ATb 的解.
数学学院 信息与计算科学系
定理 x*是 Ax=b的最小二乘解的充要条件为x*
是 ATAx=ATb 的解. 证 充分性 若存在 n维向量 x* 使ATAx*=ATb,
数学学院 信息与计算科学系
2 x1 4 x2 11
例1 求超定方程组

3 x1 5 x2 x1 2 x2
3 6
2 x1 x2 7
的最小二乘解，并求误差平方和.
解 方程组写成矩阵形式为
2 4
11
Ax

3 5
1 2
2
1

x1
2 2 yT AT (b Ax* )
2
Ay
2 2

b Ax*
2

Ay 2
b Ax*
2
2
2
2
所以x*是Ax=b 的最小二乘解.
数学学院 信息与计算科学系
必要性 误差向量r=b-Ax 的第 i 个分量为
n
ri bi aik xk (i 1,2,..., m),
k 1
1 2
2 1
3 1
5 2

x1 x2


2 4
3 5
1 2
12
3 6

2 1
7
数学学院 信息与计算科学系
即有


此时有
18
3

3
46

x1

x2


51 48
数学学院 信息与计算科学系
nm
m
即有 ( aij aik )xk aij bi ( j 1,2,..., n)
k 1 i1
i 1
此线性方程组写成矩阵形式就是
AT Ax AT b
故x*是 ATAx=ATb 的解.
定理得证.
这里 ATAx=ATb 是关于x1,x2, …,xn的线性 方程组，称为正规方程组或法方程组.
任取一n维向量 x x, 令 y x x , 则y≠0, 且
b Ax 2 b Ax* Ay 2
2
2
(b Ax* Ay, b Ax* Ay)
(b Ax*, b Ax* ) 2( Ay, b Ax* ) ( Ay, Ay)

b Ax*
(bi
aik xk )2
(bi bi )2
i 1
k 1
i 1
I (11 11.0478)2 (3 2.9119)2 (6 5.5239)2 (7 7.3224)2
0.34065942
数学学院 信息与计算科学系
第二节 超定方程组的最小二乘解
设方程组Ax=b中, A=(aij)mn, b是m 维已知向量, x是n 维解向量,当 m>n 即方程组中方程的个数多于 自变量的个数, 称此方程组为超定方程组.
例如
就是一个超定方程组
数学学院 信息与计算科学系
一般说来，超定方程组无解（此时为矛盾方程
2x1 4x2 11.0478 3x1 5x2 2.9119
x1 2x2 5.5239
b1 b2 b3
解得最小二乘解为

x1 x2

3.0403 1.2418
2x1 x2 7.3224 b4
m
n
m
故误差平方和为 I r 2 2
m
n
记
I
I( x1, x2 ,..., xn )
r
2 2

(bi
aik xk )2
i 1
k 1
误差最小，由多元函数求极值的必要条件，可得
I
来自百度文库x j
m
n
2 (bi aik xk )aij
i 1
k 1
0
( j 1,2,..., n)
设解为 x ( x1 , x2 , ..., xn )T
数学学院 信息与计算科学系
解的存在唯一性
由于ATA是n 阶方阵，且是对称阵，当R(A)=n 时， 对任意 y≠0，有Ay≠0 ，所以
yT ( AT A) y ( Ay, Ay) Ay 2 0 2
可见ATA是正定矩阵，必有det(ATA)>0。故法方程
AT Ax AT b
的解存在且唯一.