第七章最小二乘问题解析
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
为（6）的唯一最小二乘解. 推论2 AAT正定 rankA m
推论3 AT A正定 det AT A 0
但实际中A的秩不可能事先知道,而求rankA与求解 线性方程组几乎等价,因而AT A 的正定性也不能事先确 定,因此(8)仅具有理论意义,而且即使 AT A 正定,也不用 (8)去求(6)的解.
由（4）可知，当 2 fi (x) 接近0或 fi(x)接近线性从而 接 近于0，此时才可以忽略 Sk，因此这类算法又称为最小余 量算法。
而称逼近Sk的一类算法为大余量算法。
Fra Baidu bibliotek
7.2 线性最小二乘法问题的解法
当f(x)取线性形式 即f(x)=Ax-b.A是m×n矩阵，b Rm 则（3）为：min||Ax-b||2 (m<n) (6)
称形如（7）的方程组为最小二乘问题（6）的法方程组. 可见求解线性最小二乘问题等价于求解它的法方程组. 又因为
V Rn , 有V A AV AV 2 0
故 A A 至少是半正定的.
定理2 A是m×n矩阵（m≤n)则 A A正定 rankA n
推论1 当 rankA n,则X * ( AT A)1 AT b （8）
由此得AT AX * ATb
充分性：设x *满足（7）即：AT ( AX * - b) 0 对任意向量V X * Z Rn.计算 AV - b 2 A( X * Z ) - b 2 AX * - b 2 AZ 2 2Z T AT ( AX * - b) 0 AX* -b 2 AZ 2 因为 AZ 2 ≥0.则 AV - b 2 ≥ AX * - b 2 可见X *是（6）的极小点。
在 AT A 已知正定时,一般可用Cholesky分解求线 性方程组(7).
在 AT A 正定性不能确定时,可用QR分解法求解.
7.3 Gauss-Newton法
下面讨论 min S(x) min f T (x) f (x) min f (x) 2
m
若令S(x) fi (x)2 fi (x) i 1
则有G(x) 2AT (x) A(x) 2S(x)
先考虑无约束最优化的Newton法：2 f (xk )(x xk ) f (xk ) 则在此处有 2AT (xk ) A(xk ) 2S(xk ) Pk 2f (xk )T f (xk )
第七章 最小二乘问题
7.1 引言
在数字处理中经常遇到寻求回归方程的问题，即根据一
组实验数据建立两个或多个物理量（俗称因素）之间的在
统计意义上的依赖关系式。 这类问题的数学模型如下：
设物理量 y 与物理量 t1,t2,…tl 之间的依赖关系式，设 其方程为：
y=F(t1,…tl,x1…xn)
(1)
其中 x1…xn为待定参数。我们的问题是如何通过m(>n)
~y (i) F (t1(i) , t2(i) ,tl(i) , x1 xn )
这个函数值 ~y (i) 与测量值y(i)之差的绝对值
F t1(i) ,t2(i) ,tl(i) , x1, x2,xn y(i)
就是第i个实验点到该曲面的一种“距离”。 为计算方便，通常把
m
s( x1, x2 xn ) [F (t1(i) ,tl(i) , x1 xn ) y (i) ]2 (2) i 1
作为m个实验点到该曲面“总距离”的度量。
如何选择参数 x1…xn 使（2）达到极小这就是最 小二乘法问题。上述问题用向量形式记为：
min F(x) -Y 2
其中 F (x) = [F (t (1) , x), F (t (2) , x), F (t (m) , x)]T
x Rn y Rm t(i) t1(i) ,t2(i) tl(i) T Rl i=1~m
即[ AT (xk ) A(xk ) S (xk )]Pk
AT (xk ) f
(
xk
)
X k1 X k Pk
主要计算量是 Sk 的计算，尽管Sk对称，也包含 (1/2)mn(n+1)个二阶偏导数，但Hesse矩阵中第一项只含
一阶导数的信息。因此为简化计算，我们或者忽略Sk， 或者用一阶导数的信息逼近Sk。
f1 f1
x1
x2
f2 f2
x1
x2
A f (x)
fm
fm
x1 x2
f1
xn
f2
xn
fm
xn
则F (x) f (x)T f (x)的梯度向量g(x) 2f (x)T f (x)
m
而F (x)的Hessian矩阵为：G(x) 2f (x)T f (x) 2 fi (x)2 fi (x) i 1
f1x1, x2 , xn 0
f2 x1,
x2 , xn
0
fm x1, x2 , xn 0
m
min
fi 2 x1, x2 , xn
i 1
（3）是有n个变量的无约束极小化问题，一般可 以用前面介绍的最优化方法求解。考虑到（3）的特 殊形式，可以考虑更有效、更简单的方法求解。
f 的Jacobi矩阵：
个实验点 [t1(i) ,t2(i) ,…tl(i), y(i)]T i=1,2…m 确定（1）中n个
参数x1,x2…xn.从而建立回归方程。
对于实际一组参数x1,x2…xn的值，（1）给出l+1 维空间中的一个超曲面。第i个实验点 （ t1(i) ,t2(i) ,…tl(i) )在（1）中就确定超曲面上一个点即 相应的函数值：
若 fi (x) F (t(i), x) y(i), i=1~m. 则 f (x) ( f1(x), fm (x))T Rm
则上面问题可记为:min f(x)Tf(x)
(3)
(3) 即为最小二乘法问题一般形式。
当f(x)为线性向量值函数时，称（3）为线性最小
二乘法问题。
否则，原问题称为非线性最小二乘法问题。
定理1 x*是（6）的极小点的充要条件是x*满足向量组：
ATAx*=ATb
(7)
证：
必要性.对F(x) || Ax b ||2 (Ax b, Ax b) X T AT AX 2bT AX bTb
求导为：F(x) 2AT AX 2ATb
若x *是F(x)的极小点。则必有F(x*) 0
推论3 AT A正定 det AT A 0
但实际中A的秩不可能事先知道,而求rankA与求解 线性方程组几乎等价,因而AT A 的正定性也不能事先确 定,因此(8)仅具有理论意义,而且即使 AT A 正定,也不用 (8)去求(6)的解.
由（4）可知，当 2 fi (x) 接近0或 fi(x)接近线性从而 接 近于0，此时才可以忽略 Sk，因此这类算法又称为最小余 量算法。
而称逼近Sk的一类算法为大余量算法。
Fra Baidu bibliotek
7.2 线性最小二乘法问题的解法
当f(x)取线性形式 即f(x)=Ax-b.A是m×n矩阵，b Rm 则（3）为：min||Ax-b||2 (m<n) (6)
称形如（7）的方程组为最小二乘问题（6）的法方程组. 可见求解线性最小二乘问题等价于求解它的法方程组. 又因为
V Rn , 有V A AV AV 2 0
故 A A 至少是半正定的.
定理2 A是m×n矩阵（m≤n)则 A A正定 rankA n
推论1 当 rankA n,则X * ( AT A)1 AT b （8）
由此得AT AX * ATb
充分性：设x *满足（7）即：AT ( AX * - b) 0 对任意向量V X * Z Rn.计算 AV - b 2 A( X * Z ) - b 2 AX * - b 2 AZ 2 2Z T AT ( AX * - b) 0 AX* -b 2 AZ 2 因为 AZ 2 ≥0.则 AV - b 2 ≥ AX * - b 2 可见X *是（6）的极小点。
在 AT A 已知正定时,一般可用Cholesky分解求线 性方程组(7).
在 AT A 正定性不能确定时,可用QR分解法求解.
7.3 Gauss-Newton法
下面讨论 min S(x) min f T (x) f (x) min f (x) 2
m
若令S(x) fi (x)2 fi (x) i 1
则有G(x) 2AT (x) A(x) 2S(x)
先考虑无约束最优化的Newton法：2 f (xk )(x xk ) f (xk ) 则在此处有 2AT (xk ) A(xk ) 2S(xk ) Pk 2f (xk )T f (xk )
第七章 最小二乘问题
7.1 引言
在数字处理中经常遇到寻求回归方程的问题，即根据一
组实验数据建立两个或多个物理量（俗称因素）之间的在
统计意义上的依赖关系式。 这类问题的数学模型如下：
设物理量 y 与物理量 t1,t2,…tl 之间的依赖关系式，设 其方程为：
y=F(t1,…tl,x1…xn)
(1)
其中 x1…xn为待定参数。我们的问题是如何通过m(>n)
~y (i) F (t1(i) , t2(i) ,tl(i) , x1 xn )
这个函数值 ~y (i) 与测量值y(i)之差的绝对值
F t1(i) ,t2(i) ,tl(i) , x1, x2,xn y(i)
就是第i个实验点到该曲面的一种“距离”。 为计算方便，通常把
m
s( x1, x2 xn ) [F (t1(i) ,tl(i) , x1 xn ) y (i) ]2 (2) i 1
作为m个实验点到该曲面“总距离”的度量。
如何选择参数 x1…xn 使（2）达到极小这就是最 小二乘法问题。上述问题用向量形式记为：
min F(x) -Y 2
其中 F (x) = [F (t (1) , x), F (t (2) , x), F (t (m) , x)]T
x Rn y Rm t(i) t1(i) ,t2(i) tl(i) T Rl i=1~m
即[ AT (xk ) A(xk ) S (xk )]Pk
AT (xk ) f
(
xk
)
X k1 X k Pk
主要计算量是 Sk 的计算，尽管Sk对称，也包含 (1/2)mn(n+1)个二阶偏导数，但Hesse矩阵中第一项只含
一阶导数的信息。因此为简化计算，我们或者忽略Sk， 或者用一阶导数的信息逼近Sk。
f1 f1
x1
x2
f2 f2
x1
x2
A f (x)
fm
fm
x1 x2
f1
xn
f2
xn
fm
xn
则F (x) f (x)T f (x)的梯度向量g(x) 2f (x)T f (x)
m
而F (x)的Hessian矩阵为：G(x) 2f (x)T f (x) 2 fi (x)2 fi (x) i 1
f1x1, x2 , xn 0
f2 x1,
x2 , xn
0
fm x1, x2 , xn 0
m
min
fi 2 x1, x2 , xn
i 1
（3）是有n个变量的无约束极小化问题，一般可 以用前面介绍的最优化方法求解。考虑到（3）的特 殊形式，可以考虑更有效、更简单的方法求解。
f 的Jacobi矩阵：
个实验点 [t1(i) ,t2(i) ,…tl(i), y(i)]T i=1,2…m 确定（1）中n个
参数x1,x2…xn.从而建立回归方程。
对于实际一组参数x1,x2…xn的值，（1）给出l+1 维空间中的一个超曲面。第i个实验点 （ t1(i) ,t2(i) ,…tl(i) )在（1）中就确定超曲面上一个点即 相应的函数值：
若 fi (x) F (t(i), x) y(i), i=1~m. 则 f (x) ( f1(x), fm (x))T Rm
则上面问题可记为:min f(x)Tf(x)
(3)
(3) 即为最小二乘法问题一般形式。
当f(x)为线性向量值函数时，称（3）为线性最小
二乘法问题。
否则，原问题称为非线性最小二乘法问题。
定理1 x*是（6）的极小点的充要条件是x*满足向量组：
ATAx*=ATb
(7)
证：
必要性.对F(x) || Ax b ||2 (Ax b, Ax b) X T AT AX 2bT AX bTb
求导为：F(x) 2AT AX 2ATb
若x *是F(x)的极小点。则必有F(x*) 0