18 全面最小二乘法

第十八讲 全面最小二乘法一、 法向回归一组测量数据()i i t ,s ,欲拟和直线12s c t c =+最小二乘法采取目标函数：()2n12i 1i 2i 1E c ,c s c t c min ==--=∑它隐含了在测量中，i t 是精确测量的，只有i s 才测得不准确，而在实际测量中，i t ，i s 都是无法准确测量的，因此，采用法向回归更有可能。

2ct12c t c+(),i i t s点()i i t ,s 到直线12s c t c =+的距离为i 1i 2s c t c --故法向回归的目标函数为()22n12i1i 2i 1E c ,c sc t c min =⎛⎫=--=∑()()nni 1i 22i 1i 2i 1i 121E 112s c t c 0c s c t c 1c n ==∂=---=→=-∂+∑∑()()()()()()()()()()nn21i1i 2i i 1i 2222i 1i 1111n121i i i 1i 22i 11nn n1i 1i 21i i 1i 2i i 1i 22i 1i 1i 11n n1i i 1i 2i i 12i 1i 112c E2sc t c t s c t c c 1c 1c 2c c c s t s c t c 1c 2c c s c t c c s s c t c t s c t c 1c 2c s s c t c t s c 1c ========∂=--+---∂++=----+⎧⎫=--------⎨⎬+⎩⎭-=--+-+∑∑∑∑∑∑∑∑－()i 2t c 0⎧⎫-=⎨⎬⎩⎭将2c 代入之，可得1st21c c s c t ⎧⎪=⎪⎨⎪=-⎪⎩其中()()()()nii 1n ii 12n n n 22ss ii i i 1i 1i 1n n n n st i i i i i i i 1i 1i 1i 12n n n 22tt i i i i 1i 1i 11s s n 1t t n 1l s s s s ,n 1l s s t t s t s t n 1l t t t t n ============⎧=⎪⎪⎪=⎪⎪⎪⎛⎫⎪=-=- ⎪⎨⎝⎭⎪⎪⎛⎫⎛⎫=--=-⎪ ⎪⎪⎝⎭⎝⎭⎪⎪⎛⎫⎪=-=- ⎪⎪⎝⎭⎩∑∑∑∑∑∑∑∑∑∑∑∑ 另一种推导方法：()()n212i1i 22i 111E c ,c sc t c 1c ==--+∑()()()()n2i1i ni 12i 1i 1122i 121s s c t t E 10c s c t s c t E c ,c c n 1c ==⎡⎤---⎣⎦∂=→=-=-⇒=∂+∑∑()2ss 1st tt 11221l 2c l l c E c ,c 1c -+=+11stE0c c ∂=→=∂“±”中，“－”对应的E 的最大值作为比较，最小二乘法n2i 1i 2i 1s c t c min =--=∑给出st1tt 21l c l c s c t ⎧=⎪⎨⎪=-⎩ 例1. 7点测量()()()()()()()()i i t ,s 0,3.1,0.5,3.9,1,5.2,1.5,6.0,2,6.9, 2.5,8.0, 3.0,9.1=拟合直线12c t c s +=解：计算结果tt ss st t 1.5,s 6.02857,l 7,l 27.8743,l 13.95=≈=== 最小二乘法给出12c 1.99286,c 3.03929==全面最小二乘法（法向回归）给出12c 1.99709,c 3.03293==测量数据误差小，分布合理时，两种方法效果非常接近。

二 、全面最小二乘法（Totally Least Square Method ）当方程Ax b =成为矛盾方程时，采用最小二乘法求解的观点实际上认为b 存在误差，而A 不存在误差，故应有ε，使得Ax b =+εε应尽量小以使得不至于严重得破坏方程2min →ε=全面最小二乘法采取如下观点解决矛盾方程的问题，不仅b 存在误差，A 也存在误差，故，存在E 和ε，使()A E x b +=+εE ε、也应该尽量小，以使得不至于严重偏离原方程[]FE |min →ε= ()[][]()x A E x b A |b E|01⎡⎤+=+ε⇔+ε=⎢⎥-⎣⎦记[][]x c A |b ,E|,v 1⎡⎤=∆=ε=⎢⎥-⎣⎦，则全面最小二乘解即求如下方程()c v 0+∆=的非零解v ，且v 的最后分量不能为零，而其中∆应满足Fmin ∆=引理：设m n r z C ⨯∈，且存在奇异值分解，1H r m nZ UV 0⨯σ⎡⎤⎢⎥⎢⎥=σ⎢⎥⎢⎥⎣⎦ ，其中12r 0σ≥σ≥≥σ> 。

又设1n s m nY UV (s r)0⨯σ⎡⎤⎢⎥⎢⎥=<σ⎢⎥⎢⎥⎣⎦ 则m nF F z C rankz sZ Y min Z z ⨯∈=-=- 首先来考虑F-范数。

设H m n P UQV ,U V ⨯=、分别为m 阶、n 阶酉矩阵。

Q 为m n ⨯阶矩阵（上式不一定是奇异值分解）。

则()()()()()()()mn m22HH H ijij ij Fiii,ji 1j 1i 1H H H H H H H 2H H Fpp p p PP tr PP tr P Ptr UQV VQ U tr UQQ U tr Q U UQ tr(Q Q)tr QQ Q===⎛⎫===== ⎪⎝⎭======∑∑∑∑（按照教材上的说法，正交相抵或酉相抵的矩阵与F 范数相同）r22iFi s 1X Y=+-=σ∑，又令H H z UTV T U zV =←=，则rrnm n2222ii i ii ij Fi 1i 1j 1i r 1j 1X zt t t ====+=-=-σ++∑∑∑∑∑对任意z 矩阵而言，各ij t 之间完全独立，则F x z -是可能等于零的。

但是rank(z)s r =<。

故F x z -不可能为零。

详细论证可知ij ii ii i t 0(i j),t 0(i s),t (i 1,2,,s)=≠=>=σ= 时，F x z -最小下面仅考虑在实际应用中非常常见的一种情况：m nnA C ⨯∈，m nn 1A b C ⨯+⎡⎤∈⎣⎦，即A 是列满秩的，A b ⎡⎤⎣⎦也是列满秩的。

这样，系数矩阵与增广矩阵的秩不相等，方程Ax b =不相容。

定理1： 设m n m (n 1)n n 1A C ,A b C ⨯⨯++⎡⎤∈∈⎣⎦具有如下的奇异值分解 1H 12n 1n 1C U V ,()0++σ⎡⎤⎢⎥⎢⎥=σ≥σ≥≥σσ⎢⎥⎢⎥⎣⎦则使方程()C v 0+∆=具有非零解，且F 范数最小的∆存在，并且n 1F+∆=σ证明：方程()C v 0+∆=要有非零解，必须rank(C )n 1+∆<+，故由引理知()()()()FFrank C n 1n 1rank C nmin minC C minC C +∆<+++∆=∆=-+∆=-+∆=σ显然满足Hn 10U V 0O +⎡⎤⎢⎥⎢⎥∆=⎢⎥⎢⎥σ⎢⎥⎢⎥⎣⎦定理2： 设n 1+σ为C 的n-k+1重奇异值，且k 1k 2n 1v ,v ,v +++ 相应的为H C C的属于()n k 1-+重特征值2n 1+σ的正交归一特征向量，则使方程()C v 0+∆=具有非零的解且F 范数最小的∆为H Hs s s s Cv v v v ∆=-而方程的解则为s v v =，其中{}s c k 1k 2n 1v S span v ,v ,v ∆+++∈=证：（1） 显然H 2s n 1sCC v v +=σ ()()()()()()()2222H H H HH H s s sss ss sssFF222H H H H n 1n 1n 1s ss ss s s s 2H H Hs s s sss2n 1Cv vv v tr v v C Cv vv v tr v v v vtr v v tr v v v v v v v v ++++∆==σσσ====σ （2） ()Hs s ss s Hs sCv v v C v Cv 0v v +∆=-= （3） n 1v C ,+∀∈有n k 1n k 1H H k i k i n 1k i k i s T i 1i 1v v v v I v v v v v -+-+∆+++++==⎛⎫⎛⎫=+-=+ ⎪ ⎪⎝⎭⎝⎭∑∑虽然，H Hn 1H HFvv vv C C v 0,C v v v v +⎛⎫-=>σ ⎪⎝⎭但 -()H H 2H 22s T n 1s T n 1s n 1T C Cv C C v v v C Cv v v +++=+=σ+>σ+σ()22n 1s T n 1v v v ++=σ+=σ∴ ()()()()22H H H HH H 2n 1n 122HHHFvv1C tr vv C Cvv tr vv vv v vv v v v ++σ=>=σ定理3 ：在定理2的条件下，全面最小二乘解存在的充要条件为：向量Tn 1n e 001=⎡⎤=⎢⎥⎢⎥⎣⎦ 个不正交于c S 。

此时，c y v q q S ,0⎧⎫⎡⎤∀∈=∈α≠⎨⎬⎢⎥α⎣⎦⎩⎭，则最小二乘解为1x y =α说明：（1）最小二乘解一定存在，但全面最小二乘解不一定（2）存在全面最小二乘解时，若n 1+σ为C 的单重奇异值，全面最小二乘解唯一，否则，解不唯一例2. 采用全面最小二乘法重新研究（上例）法向回归的问题112122nn t 1s t 1c s Ax bA x b c t 1s ⎡⎤⎡⎤⎢⎥⎢⎥⎡⎤⎢⎥⎢⎥====⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦⎣⎦i1122n n 11212n i ii i 22T ii212n i iinn t 1s t 1s C t 1s t 1s t t t t t s t t 1s C C 111t n s s s s s t s s t 1s ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦∑∑∑∑∑∑∑∑T 22.7510.577.25C C 10.5742.277.2542.2282.28⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦,309.7754,2.249389,0.0051987257λ=[]T312v 1.990944 3.0444161c c =-↓↓(对应3λ) 与法向回归结果并不相同，但亦十分接近。

值得注意的是12s c t c ≠+（全面最小二乘解）。