现代测量数据处理原理与方法
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1.从正态分布的由来,你收到了那些启示?
第一个故事和概率论的发展密切相关,主角是棣莫弗,棣莫弗定理:
,最早的概率论问题是职业赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。
问题本质是一个二项分布,但是对具体的n,要把这个理论结果实际计算出数值结果可不是件容易的事,因为其中的二项公式中有组合数.这就驱动棣莫弗寻找近似计算的方法。
莫弗利用斯特林公式进行计算,得到:正态分布的密度函数的形式,也就是二项分布的极限分布是正态分布。
随后拉普拉斯对P≠½的情况作分析并把二项分布的正态近似推广到了任意p的情况,首次把正态密度函数勾画出来,即:
,棣莫弗在二项分布的计算中瞥见了正态曲线的模样,不过他并没有能展现这个曲线的美妙之处。
棣莫弗的这个工作当时并没有引起人们足够的重视,原因在于棣莫弗不是个统计学家,从未从统计学的角度去考虑其工作的意义。
正态分布(当时也没有被命名为正态分布)在当时也只是以极限分布的形式出现,并没有在统计学,尤其是误差分析中发挥作用。
第二个故事的主角是欧拉,拉普拉斯,勒让德和高斯,微积分的发展和牛顿万有引力定律的建立,直接的推动了天文学和测地学的迅猛发展。
勒让德发表最小二乘法,认为测量中有误差,求解出累计误差最小的参数即可。
并对最小二乘法的优良性做了说明:最小二乘使得误差平方和最小,并在各个方程的误差之间建立了一种平衡,从而防止某一个极端误差取得支配地位;计算中只要求偏导后求解线性方程组,计算过程明确便捷;最小二乘可以导出算术平均值作为估计值。
高斯拓展了最小二乘法,把正态分布和最小二乘法联系在一起,并使得正态分布在统计误差分析中确立了自己的定位,拉布拉斯假定误差分布函数f(x) 满足
如下性质;,由此求得分布函数,由于拉普拉斯找了一个零点不可导的误差的分布函数,导致最终没能搞定误差分布的问题。
高斯把整个问题的思考模式倒过来,提出极大似然估计导出的就应该是算术平均,然后高斯去找误差密度函数f以迎合这一点,即寻找这样的概率分布函数f,使得极大似然估计正好是算术平均通过应用数学技巧求解这个函数f,唯一满足这个性质的就是:
,要使得这个概率最大,必须使得取最小值,这正好就是最小二乘法的要求。
高斯的推导存在循环论证的味道:因为算术平均是优良的,推出误差必须服从正态分布;反过来,又基于正态分布推导出最小二乘和算术平均,来说明最小二乘法和算术平均的优良性。
拉普拉斯将误差的正态分布理论和中心极限定理联系起来,提出了元误差解释。
他指出如果误差可以看成许多微小量的叠加,则根据他的中心极限定理,随机误差理所当然是高斯分布。
有了这个解释为理论支持,高斯的循环论证的圈子就可以打破。
至此,误差分布曲线的寻找尘埃落定,正态分布在误差分析中确立了自己的地位,并在整个19世纪不断地开疆扩土,直至在统计学中鹤立鸡群,傲世其它一切概率分布;而高斯和拉普拉斯的工作,为现代统计学的发展开启了一扇大门。
启示:1数学来源于生活,2科学地发展很少会像门外汉所想像的一样,按照直截了当合乎逻辑的方式进行,3科学知识的发现是偶然的也是必然的,过程漫长而又有趣。
数学的世界奥妙无限,有许多未被发现的大自然规律等着我们去发现。
4同时对于我们做学问的,在钻研过程中,一定要想他们几位学习,有刻苦善于运用他们的的成果去发现新问题。
提出新问题,解决问题的能力。
2.为什么要对测量平差的随机模型进行验后估计?试从误差模型上说明赫尔模特方差分
量与二次无偏估计分量估计的区别与联系。
(1)在经典平差中,观测量的方差是验前得到的,这种验前得到的方差有一定的局限性,有时不能如实地反映观测量的精度,因此确定各观测量之间的权比也不可能合理。
为了提高平差结果的精度,比较可靠地确定各观测量之间的权比,近代平差提出了验后估计方差的方法,即通过平差估计方差,称为随机模型的验后估计,又称为方差一协方差分量估计。
(2)从误差模型方面来讲:
区别:赫尔模特方差分量估计不同类的观测值的方差因子;二次无偏估计同一类观测值不同因素的方差因子。
联系:都是进行方差分量估计的一种方法。
最小范数二次无偏估计可以导出赫尔默特估计。
3.在参数估计理论中,为什么要引进稳健估计?选权迭代的基本步骤是怎么样的?
引进原因:为了处理粗差。
1、当观测值中仅包含偶然误差时,按最小二乘准则估计平差模型的参数,将具有最优的统计性质,亦即所估参数为最优线性无偏估计。
2、最小二乘估计具有良好的均衡误差特性,不具备抗粗差干扰的能力,对含粗差的观测量相当敏感,如果平差模型中包含了粗差,即使为数不多,仍将严重歪曲参数的最小二乘估值,影响成果的质量,造成极为不良的后果。
3、如何处理同时存在偶然误差和粗差的观测数据,以达到减弱或消除其对成果的影响,是现代测量平差所注意研究的理论课题
经典最小二乘平差处理的只是观测值中的偶然误差,以精度作为评定测量成果质量的指标。
但是实际问题中,观测值中的粗差往往不可避免,在平差前完全剔除粗差的影响是不可能的。
由于最小二乘估计不具备抵抗粗差的能力,其粗差的存在必然导致平差成果的不可靠,对不可靠成果讨论精度是没有意义的。
随着对平差结果精度要求不断提高,出现了通过平差
剔除粗差影响的平差方法。
处理粗差的另一种主要方法是将粗差归入随机模型的稳健估计法。
可分为选权迭代法和P-范数最小法等。
是针对最小二乘法抗粗差的干扰差这一缺陷提出的,其目的在于构造某种估计方法,使其对于粗差具有较强的抵抗能力。
选权迭代的基本步骤:
4.简述卡尔曼滤波的数学模型与动态线性卡尔曼滤波思路。
数学模型:
1)卡尔曼滤波的数学模型包括状态方程、观测方程及上述方程中所涉及到的随机变量的数学期望、方差及协方差(有数学表达式);
2)卡尔曼滤波是先忽略动态噪声,由起始状态通过状态方程对状态参数进行一步预测;
3)将预测值作为观测值与观测方程一起按广义最小二乘原理平差,从而对预测状态进行修正。
4)把修正后的状态作为下一次预测的起始值,以次类推
5.常用的参数估计方法有哪些?极大似然估计、最小二乘估计、极大验后估计的关系?
估计方法:极大似然估计;最小二乘估计;极大验后估计;最小方差估计;贝叶斯估计;线性最小方差估计;
三者关系(2-8,2-9):a在一定情况下,可由极大似然估计导出最小二乘估计;b由于极大似然估计考虑了参数X的先验统计特性,当参数的先验期望u和先验方差D已知时,极
大验后估计改善了最小二乘估计,此时,极大验后估计值的误差方差要小于其最小二乘估值的误差方差。
6.拟稳估计主要解决那些问题的,怎么解决的?
7.什么是序贯平差,主要是针对什么问题提出的,又是怎么解决的?
1序贯平差:叫做逐次相关间接平差,也称静态卡尔曼滤波,是近代新出现的一种最小二乘分解法,按照逐步的方式得到逐次解的方法。
它是将观测值分成两组或多组,按组分别做相关间接平差,达到与两期网整体平差的结果(变形监测中分期平差的问题)。
分组后可以使得每组的法方程阶数降低,减轻计算强度,现常用于控制网的改扩建或分期布网的平差计算.
2针对问题:例如一个大地网已经进行了平差,求出了参数估值及其权逆阵。
为了某种需要这个网又增加了一些新观测值或一些新的参数,以提高原有网未知参数的精度。
处理这种问题可用两种方法,一种是把新观测资料与原观测资料重新一起平差,这样处理没有发挥原平差的作用,一般来说是不经济的,特别是当新资料比原资料相对有限时。
另一种方法就是序贯处理的方法,即将已经平差的参数作为观测数据与新观测资料一并平差,这样处理在某些情况下,将大大节省计算时间。
3解决方法(PPT12):序贯平差的优点是降低了法方程求逆的阶数,能够不断对原有平差参数进行改进,由于法方程阶数不高,因此解算时数值稳定性较好。
有文献表明,序贯平差甚至对于病态问题也能给出一个确定的解。
序贯平差特别适用于参数的连续估计,在大地网优化设计和联机数据处理中,序贯平差显然是一种优良的平差方法。
8.小波分析与短时傅里叶变化有什么改进?小波变换的一般步骤?
改进方面:
对非平稳过程,傅里叶变换有局限性。
对平稳信号信号做完FFT(快速傅里叶变换)后,可以在频谱上看到清晰地四条线,信号包含四个频率成分,若为非平稳信号,做FFT 后,时域不同,频谱不一致,无法从频域上区分非平稳信号,因为他们出现的信号的成分确实是一样的,只是出现的顺序不同。
可见傅里叶变换处理非平稳信号有天生缺陷。
它只能获取一段信号总体包含哪些频率的成分,但是对各成分出现的时刻并无所知。
因此时域相差很大的两个信号,可能频谱图一样。
对于非平稳信号,只知道成分不够,要知道各个成分出现的时间,知道信号频率随时间变化的情况,各个时刻的瞬时频率及其幅值-时频分析。
短时傅里叶变换:即把整个时域过程分解成无数个等长的小过程,再傅里叶变换。
用这样的方法可以得到一个信号的时频图、但是STFT依然有缺陷,使用STFT存在一个问题,就是我们应该用多宽的窗函数?窗太窄窗内信号太短,会导致频率分析不够精准,频率分辨率差,窗太宽时域上又不够精细,时间分辨率低。
所以在一次STFT中,宽度不会变化,无法满足非稳态信号变化的频率的需求。
小波变换另寻出发点,将无限长的三角函数基换成了会衰减的小波基。
这样不仅能够获取频率,还可以定位到时间。
这个基函数会伸缩、会平移(两个正交基的分解)。
在小波变换中,尺度对应于频率(反比),平移量对应于时间。
当伸缩、平移到一种从何情况时,也会相乘得到一个大的值,既可以知道信号频率成分,又可得到它在时域上存在的具体位置。
当我们在每个尺度下都平移着和信号乘过一遍后,就知道信号在每个位置都包含哪些频率成分。
小波变换改进:a傅里叶变换对于突变信号,存在吉布斯效应,而只有小波函数和信号突变处重叠时,系数不为0.;b小波可是实现正交化,短时傅里叶不能。
小波变换的一般步骤:
1数据格式的转化;
2边界效应的消除与减小;
3计算小波系数;
4计算复小波系数的实部;
5绘制小波系数实部等值线图;
6绘制小波系数模和模方等直线图;
7绘制小波方差图;绘制主周期趋势图。
9.随着测绘科学技术的变革和不断发展,经典测量评查理论已经不能满足限额带测量数据
处理,根据自己的理解论述现代测量数据处理的发展方向。
测量平差的理论和方法已经发展到了一个新的阶段,形成了内容丰富的近代平差。
其主要特点是:观测值的概念广义化了,扩展了经典平差的数学模型,从处理随机独立的观测数据,发展到处理随机相关的观测数据的相关平差;从只对满秩问题的平差,发展到对具有任何秩的秩亏自由网平差;从仅处理非随机参数到处理随机参数以及一并处理随机与非随机参数的最小二乘滤波、推估和配置。
从侧重于函数模型的研究,发展到也重视随机模型的随机模型的验后估计;从仅能处理偶然误差发展到处理系统误差的附加系统参数平差和粗差的数据探测法与稳健估计;从确定性平差模型扩展到不确定性平差模型;从线性模型扩展到非线性模型估计;从处理静态数据扩展到处理动态数据;从无偏估计扩展到有偏估计;从几何数据和物理数据分开处理,发展到几何数据和物理数据综合处理;从二维平差发展到三维平差;从按经验设计大地网,发展到最优的设计大地网。
同时随着现代测绘学科的发展,数据来源的多元化和数据处理的精化,以及学科间的交叉,还将会涌现出更多现代测量数据处理理论与方法。
1.从法方程系数矩阵满秩扩展到法方程系数矩阵亏秩
2.从仅处理静态数据扩展到处理动态数据
3.从无偏估计扩展到有偏估计
4.从线性模型的参数估计扩展到非线性模型的参数估计
5.从待估参数为非随机量扩展到待估参数为随机量
6.从观测值仅含偶然误差扩展到含有系统误差和粗差
7.从主要研究函数模型扩展到深入研究随机模型
经典—非随机
广义---随机
10.结合自己的研究方向谈谈对着门课程(某种数据处理方法)的理解。