最小二乘配置

实际情况：
很难选择和实际情况完全符 合的模型， 或者模型过于复杂 不便解算甚至不能解算。
直线方程： vi a0 a1 xi Li
应用背景
30 25 20 15
f(x)
10 5 0 -5 0 5 10 15 20
x
应用背景
30 25 20 15
f(x)
10 5 0 -5 0 5 10 15 20
SS ' S
隐信号的方差（协方差）对参数估值
ˆ 没有影响。 ˆ 、信号的估值 S X
公式推导 公式汇集：
PL1 ( P1 S )
ˆ ( AT P A) 1 AT P L X L L
分析：
B I
1 Y
0
ˆ P ( AX ˆ L) S S L ˆ ' P ( AX ˆ L) S S 'S L ˆ L) V P1 PL ( AX
0
ˆ ( AT P A) 1 AT P L X L L
ˆ P ( AX ˆ L) S S L ˆ ' P ( AX ˆ L) S S 'S L ˆ L) V P1 PL ( AX
S P Y S ' S
BPY1 BT S PL1 ( P1 S )
ˆ L) K PL ( AX
（8）代入（3）、（4），得
（8） （9）
ˆ L) V P1 PL ( AX
ˆ P 1 BT P ( AX ˆ L) （10） Y Y L
公式推导 公式汇集：
PL1 ( P1 BPY1 BT )
分析：
B I
1 Y
第一类：非随机或者先验性质未知的，或已知而不考虑 其随机性质的，称为参数（倾向参数） 第二类：已知其先验统计性质，且求其估值时需要顾及 的，称之为信号。信号又分为已测点信号和未
测点信号。
数学模型
1、最小二乘配置的函数模型
L AX BY
（1）
式中，L 为 n 维观测向量， 为观测误差；X 为 t 维非随机参数； A 为 n t 阶设计矩阵， rk ( A) t ； Y 为随机参数，包括 n 维已 测点信号 S 和 g 维未测点信号 S' 。
公式推导
L AX BY
（1）式对应的误差方程
（1）
求导，令其为零：
式中
ˆ BY ˆ L V AX ˆ S ˆ Y ˆ ' S
（2）
因Y是随机量，估值准则：
d 2V T P 2 K T 0 dV d ˆ T P 2K T B 0 2Y Y ˆ dY d 2K T A 0 ˆ dX
V P1 K
ˆT P Y ˆ min V T PV Y Y
极值函数：
ˆ P 1 BT K Y Y
ˆT P Y ˆ 2 K T ( AX ˆ BY ˆ L V ) V T PV Y Y
公式推导
L AX BY
（1）式对应的误差方程
背景
x 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 f(x) 2.083 3.548 4.489 5.318 7.290 10.162 8.799 12.284 15.125 16.186 16.782 18.884 19.838 21.936 21.050 25.036 26.218 28.023 30.555 32.083
SS ' S
ˆ P 1 K L =0 （6） AX L T 上式左乘 A PL ，顾及（5）式，得 ˆ AT P L 0 AT P AX
L L
B I
0
ˆ ( AT P A) 1 AT P L （7） X L L
由（6）式，
得信号的估值
ˆ P ( AX ˆ L) S S L ˆ ' P ( AX ˆ L) S S 'S L
问题： f (11.3) ? ， f (18.5) ?
背景
x 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 f(x) 2.083 3.548 4.489 5.318 7.290 10.162 8.799 12.284 15.125 16.186 16.782 18.884 19.838 21.936 21.050 25.036 26.218 28.023 30.555 32.083
（1）
ˆ BY ˆ L V AX
V P1 K
（2）
（3） （4） （5）
ˆ P 1 BT K Y Y
AT K 0
（3）、（4）代入（2）
ˆ BP 1 BT K L P1 K AX Y ˆ ( P 1 BP 1 BT ) K L =0 AX Y
L AX BY
（1）
在模型（1）中，当B 0 时，
L AX
最小二乘配置模型转化为最小二乘参数平差模型。
在模型（1）中，当 A 0 时，
L BY
这种仅有随机参数的模型称为最小二乘参数滤波与推估模型。
滤波：根据上式求已测点信号S
推估：根据上式求未测点信号S ′
误差方程
f ( x) a0 a1 x
改进的平差模型：
f ( x) a0 a1 x s
s ：模型误差、模型补偿
将 s 也作为未知数，放在观测方程中求解。
ˆ s ˆL V AX
未知数的个数： t n
应用背景
说明： 一般情况：
（1）类似问题在测量中普遍存在： L AX s 重力异常推估， GPS 水准， 坐标转换， 等等。 L 是 n 1 观测值向量； ˆ 称为趋势项部分， A 是 n t 系数矩阵； （2） 一般情况，AX
最小二乘配置进行了系统深入的研究，提出了带系统参
数的最小二乘配置，并概述了这种方法在大地测量其它 方面的应用。最小二乘配置还在航空摄影测量、坐标系
统变换、GPS水准拟合、形变测量等方面得到应用。
概述
最小二乘配置，在两方面扩展了最小二乘平差的数 学模型：
第一，参数分为非随机参数和随机参数两种。非随
机参数不具有验前统计特性，随机参数具有验前统计特 性。习惯上，将随机参数称为信号。 第二，信号分为观测点信号和未测点信号。所谓未 测点信号，是指在观测方程中不出现的信号。
ˆ 反映 L 与趋 是 L 的主要影响部分， s
势不符的小的变化。
（3）趋势项部分可以是线性函数，也 可以是非线性函数。非线性函数要线 性化。
t 是 t 1 未知参向量； s 是 n 1 信号向量； 是 n 1 观测值误差向量；
误差方程
（4）通常假定 s 的先验值为 0，并且 具有先验方差。
公式推导
L AX BY
（1）式对应的误差方程
（1）
已知
PL1 ( P1 BPY1 BT ) ，得
ˆ BY ˆ L V AX
V P1 K
（2）
（3） （4） （5）
ˆ P 1 K L =0 （6） AX L T 上式左乘 A PL ，顾及（5）式，得 ˆ AT P L 0 AT P AX
数学模型
1、最小二乘配置的函数模型
L AX BY
（1）
最小二乘平差和最小二乘滤波和推 估都可以作为最小二乘配置的特例。
数学模型
1、最小二乘配置的函数模型
L AX BY
（1）
特别强调：观测值的方 差-协方差矩阵与经典平 差不同。
2、最小二乘配置的随机模型
E() 0, E(Y ) 0, 观测误差仅含偶然误差，信号验前值为0
L L
ˆ P 1 BT K Y Y
ˆ ( AT P A) 1 AT P L （7） X L L
由（6）式，得
A K 0
T
（3）、（4）代入（2）
ˆ L) K PL ( AX
（8）代入（3）、（4），得
Hale Waihona Puke （8） （9）ˆ BP 1 BT K L P1 K AX Y ˆ ( P 1 BP 1 BT ) K L =0 AX Y
应用背景
拟合步骤：
（1）根据数据的特征，确定 函数的形式。 （2）建立观测方程和误差方 程：
L AX ˆ L V AX
（3）最小二乘平差 （4）检验模型的正确性。
直线方程： vi a0 a1 xi Li
应用背景
理想情况：
模型选择正确， 最小二乘残差 具有偶然误差的特征， 得到的 拟合模型是最优的。
应用背景
真实模型： 一般情况：
f ( x) 2.0 1.5x 2.0 sin(4x/20)
采用的平差模型：
L AX s
L 是 n 1 观测值向量； A 是 n t 系数矩阵； t 是 t 1 未知参向量； s 是 n 1 信号向量； 是 n 1 观测值误差向量；
x
应用背景
30 25 20 15
问题：
残差具有系统性， 且绝对值较 大；说明模型选择不当。
L LS
f(x)
原因：
未考虑正弦项影响， 相当于将 正弦项作为观测误差对待。
10 5 0
实用中：
-5 0 5 10 15 20
x
未考虑的系统误差项可能更 为复杂。
f (x) 2.0 1.5x 2.0 sin(4x/20)
权矩阵满秩,对称正定
2 2 0 Q 0 P1 ，
2 0 2 1 0 Y
ΣS ΣY σ QY σ P Σ S' S
Σ SS' Σ S'
信号方差协方差， 信号之间是相关的
Y 0
设 0
观测值与信号独立 观测值的方差-协方差阵
L BY B T S
ˆ L) V P1 PL ( AX
ˆ P 1 BT P ( AX ˆ L) （10） Y Y L
公式推导
顾及
ˆ S ˆ Y ˆ ' S S 1 PY Y S ' S
设： PL
1
( P1 BPY1 BT ) ，得
最小二乘配置
授课内容
• 概述
• 应用背景
• 数学模型
• 公式推导
• 精度估计
• 应用举例
概述
最小二乘配置起源于根据最小二乘推估来内插和外 推重力异常的课题。1969年，克拉鲁普把推估重力异常
的方法发展为用不同类型的数据，例如重力异常、垂线
偏差等，去估计重力异常场中的任一元素，例如扰动位、 大地水准面差距等，提出了最小二乘配置法。莫里兹对
B I n 0
S Y S '
（2） （3）
S Δ Δ L L AX I n S0 AX S'
I n 是 n 阶单位阵，根据矩阵 B 的构成，可知观测方程中不含 未测点信号 S' 。
S 也叫显信号， S ' 也叫隐信号。
数学模型
1、最小二乘配置的函数模型
式中
ˆ BY ˆ L V AX ˆ S ˆ Y ˆ ' S
（2）
因Y是随机量，估值准则：
S'
ˆ E(Y ))T P (Y ˆ E(Y )) min V T PV (Y Y
ˆT P Y ˆ min V T PV Y Y
（按这个估值准则，得到的 信号实际上是信号改正数）
2
1 ，则 Σ Q P 1 ，
数学模型
3、解析意义
L AX S
不符值由观测误差 和信号 S 产生， S 是零均值的随机过程。 即使没有观测误差， L 也不是确定性函数。
公式推导
L AX BY
（1）式对应的误差方程
（1）
ˆ E( S ) V S S ˆ ' E( S ' ) V S S' ˆ V S S ˆ'V S
ˆ s ˆL V AX
数学模型
1、最小二乘配置的函数模型
L AX BY
（1）
式中，L 为 n 维观测向量， 为观测误差；X 为 t 维非随机参数； A 为 n t 阶设计矩阵， rk ( A) t ； Y 为随机参数，包括 n 维已 测点信号 S 和 g 维未测点信号 S' 。