有偏估计之——病态方程的常用解法

b、条件数法 K cond N N N 1
max min
一般认为K 100时没有复共线性； K 1000 时存在严重的复共线性 ，系统 呈病态。这个指标是在 对数据中心化标准化的 前提下得到的。但在测 量 数据处理实际应用中， 如GP S快速定位中，条件数大 致在1013 左右。所以 对上述准则应根据实际 情况修正取舍。 条件数法的缺点是不能 判定设计矩阵B中有几个复共线性关系 。 c、CTVDP法 条件指标 方差分解比方法。
岭参数有多种选取法，常用的 有L曲线法、岭迹法及 GCV 法等。在
ˆ V T PV x ˆT x ˆ min中，V T PV和x ˆT x ˆ均为岭参数的函数，选 式 x
ˆ x ˆT x ˆ 为纵坐标作图，得一条 择不同的值，以 V T PV 为横坐标， x L曲线法的关键是定 L曲线法上曲率
常用均方误差MSE来评价病态情形下参数的估值质量。
由均方误差公式：
2 T 2 ~ ~ ~ ˆ ˆ ˆ ˆ MSE x E x x x x 0 tr Qx ˆx ˆ E x x
1 2 tr B B
2 0 T

T T





所以正则化法单位权方 差无偏估计的计算公式 为 2 ~ V T PV 2 ~ x T Q Q x ˆ0 n t 2tr Q2



ˆ代替。 计算时，由于无法得到 参数真值~ x ，可以用参数估值 x
岭参数（正则化参数）的选取—L曲线法（1）



根据二次型的期望公式 ，有
E V T PV tr PE V T V tr PDVV tr PEV E V 而
T 2 ~ tr PEV E V 2 ~ x T Q Q x




T





2 tr PDVV n t 2tr Q 02

1

ቤተ መጻሕፍቲ ባይዱ2 0

i 1
t
1
i
ˆ是真值~ 上式的条件为 x x 的无偏估值，即 2 0。而若法矩阵 N的最小特征 ˆ 很大，此时LS估值x ˆ不再是~ 值较小，会导致 MSE x x 的一个良好估值了。
i
ˆ ~ 用解病态方程法得到的 参数估值将不再是无偏 估值，即E x x。 有偏估计实质：适当增 大偏差2部分，换取方差部分 1的减小。


max cond2 A min
（3）、奇异值分解的扰动 。 若A与A E A均属于R nt n t ，则对p 1,2, t，有
p A E A p A E A
2
此特性说明当矩阵 A有扰动E A时，奇异值的变化不会 超过 E A 2，可见奇异值 分解法是求线性方程组 、特别是线性病态方程 组的数值稳定的方法。 线性方程组Ax L的通解为：x A L 而 A UV
t 1 i 1 t 1 1n n1
截断原则：选择一个阈 值，舍去小于的奇异值 i 及其相关的特征向
量，这相当于舍去了相 关性很强的约束，降低 了条件数，提高了稳定 性。
平差中，设计矩阵B为病态，其秩为R(B)=t。通过截断，适当去除 （t-T）个大误差项，恢复了一些解的主要特性，但也丧失了一些 解的精确性。
例：有方程组 Ax b，即 1 x1 2 1 1 1.0001 x 2 2 当常数项b有微小变化时，有 1 y1 2 1 1 1.0001 y 2.0001 2
T
2 其精确解为 x 0
2
max min
其中，max和min分别是正定对称矩阵 A中最大和最小的特征值 。
不稳定模型：输入数据很小的误差会引起待估参数很大的误差。所以病态方程也是 不稳定模型。
解释：复共线性
复共线性，指的是平差参数之间具有近似相关关系，反映在 误差方程的设计矩阵上，就是列向量间的某些数据列可以由其余 的数据列近似（非精确）地线性表示。
2 DVV P 1 2 BQ B T BQ NQ B T 0



有 E V PV tr PEV E V tr PDVV 2 ~ 2 即 E V T PV 2 ~ x T Q Q x n t 2tr Q 02
拟合曲线，用这条曲线 选定岭参数的方法称为L曲线法。
最大的那个点的 值，该值即为所求的岭
如图， 2.0943 参数。
其中考虑了：Q N Q N I t I t I t Q
3、正则化解的单位权方差无偏估计
正则化解的残差及自由度与最小二乘解不同，因此其单位 权方差估计式也不同。 由 Q N I t Q
及残差的期望： E V BQ B T P I n E l BQ N B ~ x 上两式合并，有: E V BQ ~ x
二、病态方程的解法
1、病态方程的截断奇异值解法
奇异值分解技术(Singular Value Decomposintion Technique，简记为SVD法)
设有观测方程（式中观 测值向量L的权阵P已经单位化）： A x L e
n t t 1 n1 n1
A是设计矩阵，e是误差向量。得 x的最小二乘最小范数解 为 ˆ LS A L x A 是A的广义逆。 下面对A进行奇异值分解： （ 1）当rank( A) p p minn, t 时，对A阵可分解为
nt
A U VT
nn nt t t
式中为半正定的对角阵； U、V均为正交矩阵。
D 阵的分块形式为 nt 0 其中： D diag 1 , 2 , p
0 0
, p R A min(n, t )
且 1 2 p 0. i是A阵全部的非零奇异值。 奇异值 i与矩阵 A或AT A 的特征值i的关系为： i i。 将U和V阵按列划分，为: U u1 u2 un ,V v1 v2 vt （2）奇异值与条件数的关 系： A为长方阵时，得其条件 数与奇异值的关系为：


T 1

V U T
D 1 0 1 1 1 1 ， D diag , , , 1 2 p t n 0 0 有 1 2 p 0



，R A p minn, t
由A UV T
2、病态方程的正则化解法
ˆ l 有误差方程： V Bx
（ 1）
13
若上式病态，则法矩阵 N的特征值单调地趋向于 0，此时可取
ˆ V T PV x ˆ T Rx ˆ min x
Tikhonov 的正则化准则作用于（ 1 ）式：
ˆ Tikhononv x 光滑函数。 正则化参数满足 0 R 正则化矩阵。当 R I时，正则化估计也称为 岭估计。（以下 内容R均为单位阵）


1
看出，SVD法可解算满秩、秩亏和 近似秩亏的线性方程组 。
A的奇异值分解式可写为 A V U i1vi uiT
T i 1 p
得解为：
ˆ LS A L i1 vi uiT L x
t 1 i 1 T
p
t 1 1n n1
在第T步对其截断，得病态方 程的截断奇异值法解： ˆT i1 vi uiT L x


ˆ 为 考虑E l B~ x , 有参数的期望值与其真 值~ x 的偏差Bias x ˆ E x ˆ ~ Bias x x Q ~ x 评定精度的均方误差矩 阵为
2 ˆ 0 MSEM x Q NQ 2Q ~ x~ x T Q
得正则化参数解为： ˆ B T PB ＋I t x
2


1
B T Pl
可见 ，正则化方法的核心是通过附加“全部或部分参数（或 其改正数）加权平方和极小”的条件，增加约束，补充（先验） 信息，来克服不适定性，使解唯一且稳定。
设 Q
1 N I t
14
参数估值及残差可表示 为 ˆ Q B T Pl x ˆ l BQ B T P I n l V Bx
5、什么样的方程可能是病态的？
1）行列式的值很大或很小（如某些行、列近代相关）； 2）元素间相差大数量级，且无规则； 3）主元消去过程中出现小主元； 4）特征值相差大数量级。
问题的适定性： 人们根据已获取的观测数据和物理规律，列出的数学模型，当这些模型具有下述性质： 1、解存在； ２、解唯一； ３、解稳定。 则这个问题称为适定性问题。 不适定性： 不满足上面三个条件中的任意一个或多个。 不适定问题通常是病态的，但病态问题不一定就是不适定问题。不适定问题通常是求方 程的稳定近似解。
方程组的解变为： y x x 1 1
0 , 其中b 0 . 0001
若系数阵A或常数项b的微小变化，会引起方程组的解x有巨大变化，则这种方程组称为 “病态方程组”。A称为病态矩阵。
在方程组Ax b中，讨论： 1）A非奇异，设正常， b有误差b，导致解x有多大误差？ 即 A x x b b Ax b x A1b A 1 b A x （范数特性） x b
x 1 b 所以： A A x b 2）设A、b均有误差时，解 x有多大误差？ 即
A Ax x b b
x 得解的相对误差为： x
A A1 1 A A1
b A A b A A
定义
对非奇异阵A，称乘积 A A1 为矩阵A的 矩阵的条件数： 条件数。它刻画了方程 组的解对原始数据的敏 感程度。 当A为正定实对称矩阵时， （如法方程的 N阵），A阵的谱条件 数为 cond A2 A 2 A1