第五章 最小二乘问题分解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
若 则
n
yR
m
t , t t
(i ) 1 (i ) 2
(i ) T l
R l i=1~m
fi ( x) F (t (i ) , x) y(i) ,
i=1~m.
f ( x) ( f1 ( x), f m ( x))T Rm
则上面问题可记为:min f(x)Tf(x) (3) (3) 即为最小二乘法问题一般形式。 当f(x)为线性向量值函数时，称（3）为线性最小 二乘法问题。 否则，原问题称为非线性最小二乘法问题。
对于实际一组参数x1,x2…xn的值，（1）给出l+1 维空间中的一个超曲面。第i个实验点 （ t1(i) ,t2(i) ,…tl(i) )在（1）中就确定超曲面上一个点即 相应的函数值：
(i ) (i ) ~ y (i ) F (t1 , t2 ,tl(i ) , x1 xn )
(i ) ~ y 这个函数值 与测量值y(i)之差的绝对值
f1 x 1 f 2 x1 A f ( x ) f m x1 f1 f1 x2 xn f 2 f 2 x2 xn f m f m x2 xn
(i ) F t1( i ) , t 2 , tl( i ) , x1 , x2 , xn y ( i )
就是第i个实验点到该曲面的一种“距离”。 为计算方便，通常把 m
i 1
(i ) s( x1 , x2 xn ) [ F (t1 , tl( i ) , x1 xn ) y (i ) ]2
即[ AT ( xk ) A( xk ) S ( xk )]Pk AT ( xk ) f ( xk ) X k 1 X k Pk
主要计算量是 Sk 的计算，尽管Sk对称，也包含 (1/2)mn(n+1)个二阶偏导数，但Hesse矩阵中第一项只含 一阶导数的信息。因此为简化计算，我们或者忽略Sk， 或者用一阶导数的信息逼近Sk。 由（4）可知，当 2 fi ( x) 接近0或 fi(x)接近线性从而 接 近于0，此时才可以忽略 Sk，因此这类算法又称为最小余 量算法。 而称逼近Sk的一类算法为大余量算法。
因为 AZ
2
≥0.则 AV - b
2
≥ AX - b
*
可见X *是（6）的极小点。
称形如（7）的方程组为最小二乘问题（6）的法方程组.
可见求解线性最小二乘问题等价于求解它的法方程组.
又因为
充分性：设 x * 满足（ 7）即：AT ( AX * - b) 0 对任意向量V X * Z R n .计算 AV - b
* 2
A( X Z ) - b
* 2
2
AX - b AX - b
*Leabharlann Baidu
AZ AZ
2
2 Z T AT ( AX * - b) 0
2
2 2
(2)
作为m个实验点到该曲面“总距离”的度量。
如何选择参数 x1…xn 使（2）达到极小这就是最 小二乘法问题。上述问题用向量形式记为：
min F ( x) - Y
其中 F ( x) = [ F (t
(1)
2
, x), F (t ( 2) , x), F (t ( m) , x)]T
t
(i )
xR
第五章 最小二乘问题
5.1 引言
在数字处理中经常遇到寻求回归方程的问题，即根据一 组实验数据建立两个或多个物理量（俗称因素）之间的在 统计意义上的依赖关系式。 这类问题的数学模型如下： 设物理量 y 与物理量 t1,t2,…tl 之间的依赖关系式，设 其方程为： y=F(t1,…tl,x1…xn) (1) 其中 x1…xn为待定参数。我们的问题是如何通过m(>n) 个实验点 [t1(i) ,t2(i) ,…tl(i), y(i)]T i=1,2…m 确定（1）中n个 参数x1,x2…xn.从而建立回归方程。
5.2 线性最小二乘法问题的解法
当f(x)取线性形式 即f(x)=Ax-b.A是m×n矩阵， b Rm 则（3）为：min||Ax-b||2
(m<n) (6)
定理1 x*是（6）的极小点的充要条件是x*满足向量组： ATAx*=ATb (7) 证：
必要性.对F ( x) || Ax b ||2 ( Ax b, Ax b) X T AT AX 2bT AX bT b 求导为：F ( x) 2 AT AX 2 AT b 若x * 是F ( x)的极小点。则必有F ( x*) 0 由此得AT AX * AT b
i 1
m
则有G ( x) 2 AT ( x) A( x) 2 S ( x) 先考虑无约束最优化的Newton法： 2 f ( xk )( x xk ) f ( xk )
T T 则在此处有 2 A ( x ) A ( x ) 2 S ( x ) P 2 f ( x ) f ( xk ) k k k k k
则F ( x) f ( x)T f ( x)的梯度向量g ( x) 2f ( x)T f ( x) 而F ( x)的Hessian矩阵为：G ( x) 2f ( x)T f ( x) 2 f i ( x) 2 f i ( x)
i 1 m
若令S ( x) f i ( x) 2 f i ( x)
f1 x1 , x2 , xn 0 f x , x , x 0 2 1 2 n f m x1 , x2 , xn 0
min f i 2 x1 , x2 , xn
i 1
m
（3）是有n个变量的无约束极小化问题，一般可 以用前面介绍的最优化方法求解。考虑到（3）的特 殊形式，可以考虑更有效、更简单的方法求解。 f 的Jacobi矩阵：
n
yR
m
t , t t
(i ) 1 (i ) 2
(i ) T l
R l i=1~m
fi ( x) F (t (i ) , x) y(i) ,
i=1~m.
f ( x) ( f1 ( x), f m ( x))T Rm
则上面问题可记为:min f(x)Tf(x) (3) (3) 即为最小二乘法问题一般形式。 当f(x)为线性向量值函数时，称（3）为线性最小 二乘法问题。 否则，原问题称为非线性最小二乘法问题。
对于实际一组参数x1,x2…xn的值，（1）给出l+1 维空间中的一个超曲面。第i个实验点 （ t1(i) ,t2(i) ,…tl(i) )在（1）中就确定超曲面上一个点即 相应的函数值：
(i ) (i ) ~ y (i ) F (t1 , t2 ,tl(i ) , x1 xn )
(i ) ~ y 这个函数值 与测量值y(i)之差的绝对值
f1 x 1 f 2 x1 A f ( x ) f m x1 f1 f1 x2 xn f 2 f 2 x2 xn f m f m x2 xn
(i ) F t1( i ) , t 2 , tl( i ) , x1 , x2 , xn y ( i )
就是第i个实验点到该曲面的一种“距离”。 为计算方便，通常把 m
i 1
(i ) s( x1 , x2 xn ) [ F (t1 , tl( i ) , x1 xn ) y (i ) ]2
即[ AT ( xk ) A( xk ) S ( xk )]Pk AT ( xk ) f ( xk ) X k 1 X k Pk
主要计算量是 Sk 的计算，尽管Sk对称，也包含 (1/2)mn(n+1)个二阶偏导数，但Hesse矩阵中第一项只含 一阶导数的信息。因此为简化计算，我们或者忽略Sk， 或者用一阶导数的信息逼近Sk。 由（4）可知，当 2 fi ( x) 接近0或 fi(x)接近线性从而 接 近于0，此时才可以忽略 Sk，因此这类算法又称为最小余 量算法。 而称逼近Sk的一类算法为大余量算法。
因为 AZ
2
≥0.则 AV - b
2
≥ AX - b
*
可见X *是（6）的极小点。
称形如（7）的方程组为最小二乘问题（6）的法方程组.
可见求解线性最小二乘问题等价于求解它的法方程组.
又因为
充分性：设 x * 满足（ 7）即：AT ( AX * - b) 0 对任意向量V X * Z R n .计算 AV - b
* 2
A( X Z ) - b
* 2
2
AX - b AX - b
*Leabharlann Baidu
AZ AZ
2
2 Z T AT ( AX * - b) 0
2
2 2
(2)
作为m个实验点到该曲面“总距离”的度量。
如何选择参数 x1…xn 使（2）达到极小这就是最 小二乘法问题。上述问题用向量形式记为：
min F ( x) - Y
其中 F ( x) = [ F (t
(1)
2
, x), F (t ( 2) , x), F (t ( m) , x)]T
t
(i )
xR
第五章 最小二乘问题
5.1 引言
在数字处理中经常遇到寻求回归方程的问题，即根据一 组实验数据建立两个或多个物理量（俗称因素）之间的在 统计意义上的依赖关系式。 这类问题的数学模型如下： 设物理量 y 与物理量 t1,t2,…tl 之间的依赖关系式，设 其方程为： y=F(t1,…tl,x1…xn) (1) 其中 x1…xn为待定参数。我们的问题是如何通过m(>n) 个实验点 [t1(i) ,t2(i) ,…tl(i), y(i)]T i=1,2…m 确定（1）中n个 参数x1,x2…xn.从而建立回归方程。
5.2 线性最小二乘法问题的解法
当f(x)取线性形式 即f(x)=Ax-b.A是m×n矩阵， b Rm 则（3）为：min||Ax-b||2
(m<n) (6)
定理1 x*是（6）的极小点的充要条件是x*满足向量组： ATAx*=ATb (7) 证：
必要性.对F ( x) || Ax b ||2 ( Ax b, Ax b) X T AT AX 2bT AX bT b 求导为：F ( x) 2 AT AX 2 AT b 若x * 是F ( x)的极小点。则必有F ( x*) 0 由此得AT AX * AT b
i 1
m
则有G ( x) 2 AT ( x) A( x) 2 S ( x) 先考虑无约束最优化的Newton法： 2 f ( xk )( x xk ) f ( xk )
T T 则在此处有 2 A ( x ) A ( x ) 2 S ( x ) P 2 f ( x ) f ( xk ) k k k k k
则F ( x) f ( x)T f ( x)的梯度向量g ( x) 2f ( x)T f ( x) 而F ( x)的Hessian矩阵为：G ( x) 2f ( x)T f ( x) 2 f i ( x) 2 f i ( x)
i 1 m
若令S ( x) f i ( x) 2 f i ( x)
f1 x1 , x2 , xn 0 f x , x , x 0 2 1 2 n f m x1 , x2 , xn 0
min f i 2 x1 , x2 , xn
i 1
m
（3）是有n个变量的无约束极小化问题，一般可 以用前面介绍的最优化方法求解。考虑到（3）的特 殊形式，可以考虑更有效、更简单的方法求解。 f 的Jacobi矩阵：