第五章--最小二乘问题的解法

第五章 最小二乘问题的解法

1.最小二乘问题 1)回归方程问题

[]

T

i i l i y t t

)()()(1,,...,,m i ,...,2,1=是m 个实验点。现要根据这些点确定y 与l 个物理量

l t t t ,...,,21之间的关系式。

设这种关系式为),...,,,...,(11n l x x t t F y =，其中n x x ,...,1是方程中需要待定的n 个参数(系数)。

因此问题是如何通过)(n m m >个实验点，确定方程中的系数。

由于实验点的个数大于待定系数的个数，因此方程中系数的确定是一个超静定问题，无法按一般的方法进行求解。

此时将实验点到曲面距离最短的那个曲面作为所求曲面，从而求取该曲面方程。

即求解[]∑=-m

i i i y x t F 12

)()(),(min ，这就是最小二乘问题。

2)非线性方程组问题

求解非线性方程组⎪⎪⎩⎪⎪⎨⎧===0

),...,(............................0),...,(0

),...,(11211n n n

n x x f x x f x x f 可转化为求解如下形式的最小二乘问题。

∑=m

i n i x x f 1

12),...,(min

显而易见，最小二乘法的一般形式可写为)()(min x f x f T

最小二乘法问题实际上是具有n 个变量的无约束极小化问题，前面解无约束优化问题的方法均可应用。

但是最小二乘问题具有一定的特殊性，即目标函数的表达式是由多个表达式的平方和组成，理应有更、更有效的方法。这正是最小二乘解法要解决的问题。

2.线性最小二乘问题的解法

最小二乘法的一般形式可写为)()(min x f x f T

特别地，当b Ax x f -=)(，即)(x f 为线性函数时，则最小二乘问题可表示为：

2

min b Ax -

1) 线性最小二乘问题解的条件

定理1:*x 是线性最小二乘问题极小点的充要条件是*x 满足b A Ax A T T =。 证明：(1)必要性

令2

)(b Ax x s -=，于是有：

b b Ax b b A x Ax A x b Ax b A x b Ax b Ax x s T T T T T T T T T T +--=--=--=))(()()()(

由于b A x T T 是一个数，而一个数的转置是它的本身，因此有：

Ax b A x b b A x b A x T T T T T T T T T T ===)()(

故上式可化为：b b Ax b Ax A x x s T T T T +-=2)(

b A Ax A x s T T 22)(-=∇

若*x 是)(x s 的极小点，则必有0)(=∇x s ，则必有：b A Ax A T T = (2)充分性

若*x 满足b A Ax A T T =*，即0)(*=-b Ax A T 考虑任一点n R z x v ∈+=*，计算

)

(2)()()()()()())(())(()(*2

2

*******2

*2

b Ax A z Az b Ax Az Az b Ax A z Az b Ax b Ax b Ax Az b Ax Az b Ax b z x A b Av T T T T T T T T -++-=+-+-+--=+-+-=-+=- 由于上式第二项大于等于零，第三项为零，故*x 是极小点。 我们称b A Ax A T T =为最小二乘问题的法方程组。

由上述定理可知，求解最小二乘问题等价于求解它的法方程组。 2)法方程组的解法

由于02

≥=Av Av A v T T ，所以A A T 至少是半正定的，因此法方程组有解的条件是A A T 正定。

定理2:设A 是n m ⨯矩阵)(n m >，则A A T 正定的充要条件是A 的秩为n 。 推论1:当A 的秩为n 时，则b A A A x T T 1)(-=是最小二乘的唯一解。 推论2:设A 是n m ⨯矩阵)(n m ≤，则T AA 正定的充要条件是A 的秩为m 。 推论3: 设A 是n m ⨯矩阵)(n m >，则T AA 正定的充要条件是A A T 为非奇异。 上述解法方程组的解法需要A A T 正定，实际问题并不能保证A A T 正定，因此上述方法仅具有理论意义。

3)用QR 分解求线性最小二乘解 若Q 是m m ⨯正交矩阵T Q Q =-1，则

2

2

)()()()()

(b Ax b Ax b Ax b Ax Q Q b Ax b ax Q T T T -=--=--=-

上式说明以2

)(b Ax Q -为目标函数的最小二乘解与目标函数为2

b Ax -的最小二乘解具有相同的解。

因此求解2

min b Ax -可转化为求解2

min c Rx -，其中QA R =，Qb c =。 由线性代数可知，适当地选择正交矩阵Q ，总可使QA R =呈现为如下形式的

矩阵：

⎥⎦

⎤

⎢⎣⎡=O U R ，其中U 是n r ⨯的秩为r 的上梯形矩阵；O 是n r m ⨯-)(的零矩阵。 定理: 线性最小二乘问题2

min b Ax -与线性方程组p Ux =具有相同解。 其中p 是由Qb c =的前r 个分量组成的r 维向量。

证明：由于2

min b Ax -的解与2

min c Rx -的解相同。现只需证明2

min c Rx -与

p Ux =具有相同的解。

2

min c Rx -的法方程组为c R Rx R T T =，即c R Rx R T T =的解就是2

min c Rx -的解。

将⎥⎦

⎤

⎢⎣⎡=O U R 代入上式有：⎥⎦

⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡⎥

⎦⎤⎢⎣⎡q p O U x O U O U T

T

，上式展开后得：p U Ux U T

T = 而在p Ux =的两侧同时左乘T U 即得p U Ux U T T =。

若n U r =)(。最小二乘问题的解为p U x 1-=。否则最小二乘问题的解不是唯一的，在这种情况下，通常取具有最小范数的解作为最小二乘问题的解。这个解称为最小二乘问题的极小最小二乘解。这个解为p UU U x T T 1)(-=，且解是唯一的。

p UU U x T T 1)(-=显然是p Ux =的一个解。

设y 是p Ux =的另一个解。 则0)(=-y x U

)(2)(2

222

y x x y x x y x x y

T ---+=--=

0)(])[()(1=-=--y x U UU p y x x T T T T

因为0>-y x ，所以2

2x y >。 因此极小最小二乘解是唯一的。 3.Gauss-Newton 法

Gauss-Newton 法适用于非线性最小二乘问题)()()(x f x f x s T =。Gauss-Newton