测量误差论文
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
1969年,Krarup在研究重力异常的推估时,对最小二乘平差进行了扩展,提出了最小二乘配置法,并建立了滤波和推估模型。后来,Moritz又对此进行了深入研究,提出了带系统参数最小二乘配置法,从而为综合处理几何、物理等各类观测数据奠定了理论基础。
在这一时期,由于人们认为系统误差和粗差可以通过简单方法控制、校正或消除。例如,人工经验、简单的数据检验和测量规程控制等。因此,长期以来,测绘界一直将注意力集中在随机误差的分析和处理上。后来,一方面,人们逐渐发现,通过简单方法并不能有效地消除粗差和系统误差;另一方面,随着科学技术的发展,观测仪器的精密度得以大幅度提高,再加上处理随机误差的最小二乘平差理论相对来说已发展的较为成熟。因此,随机误差不再是主要矛盾,人们开始将注意力转向系统误差和粗差。
2 测量误差理论的发展
测绘学中的观测误差分为随机误差、系统误差和粗差。误差的统计分布特征通常用精度表示,精度又细分为精密度、正确度和准确度。传统的误差理论曾在矿山巷道贯通点精度预计和控制等矿山测量工作中起过重要作用。
wk.baidu.com2.1 随机误差
经典误差理论的研究对象为随机误差。这方面的研究历史可追溯到法国数学家De Moivre,他首先研究过自然界中最常见最重要的一种分布,即正态分布;而法国另一数学家Laplace是最先将概率论应用于测量误差分析者。对误差理论发展作出杰出贡献的当代德国天文大地测量学家、数学家Gauss。1794,Gauss首先导出了一元正态分布的密度函数,并创立了“最小二乘法”。Gauss这方面的两大杰出贡献奠定了经典误差理论(随机误差的正态分布模式)和误差处理方法(最小二乘平差)的科学基础。后人在误差分布参数的估计技术和经典最小二乘平差的扩展上做了大量工作。
可区分性和可靠性理论研究为网的设计提供了新的准则。例如,多余观测分量,可靠性矩阵,可靠性梯形和广义可靠性指标。可靠性和可区分性理论的研究还为粗差定位、消除提供了两种途径;粗差归入函数模型(也称“数学期望平移”模型)的统计检验法和粗差归入随机模型(也称“方差扩大”模型)的稳健估计(Robust Estimation)法。前者的统计量如上所述,后者源于统计界的研究。1953年,统计学家Box首先引入了稳健性(Robustness)概念。随后,由于Tukey(1960),特别是Huber(1964)和Hampel(1968)等人的开拓性贡献,为稳健估计理论化奠定了基础。70年代末,丹麦测量学者Krarup和Kubik等人最先引用Robust估计进行粗差定位,主要方法是选权迭代法。许多学者提出了有效的权函数,国内著名的有李德仁(1984)的验后估计法、王任享(1986)的增强法和周江文(1989)的IGG方案等。
模型误差区分可能性的概念最先是由德国测量学者Forstner于1983年提出的。Forstner(1983)从两个一维备选假设出发,得出了区分可能性本质上取决于检验量间相关系数的结论。随后,我国李德仁教授(1985)在其博士学位论文中将Forstner的研究推广至两个多维备选假设情况,并提出了平差系统的可区分性理论和可靠性理论,从而为研究多个模型误差的区分和定位奠定了理论基础。李德仁教授的可区分性理论被国际上誉为解决了自Gauss提出“最小二乘法”以来的百年难题。
3 GIS数据质量
当前GIS数据质量研究方面的主要课题是位置数据和属性数据的不确定性。公认的GIS数据质量指标是数据来源说明、位置精度、属性精度、逻辑一致性、完整性和现势性。
3.1 位置不确定性
位置不确定性是指GIS中的位置数据与其真值的差值。位置数据可以概括为三类拓扑概念:点、线和面,其中点又是构成线和面的基本单元,而栅格象元可视为特殊的面元。因此,点不确定性的度量一直是人们研究的重点,近年来逐渐扩展到线和面。
2.2 系统误差
对系统误差注意较早、研究最多的是摄影测量学科。补偿系统误差的方法可以分为两类:直接补偿法和间接补偿法。前者又可进一步分为实验场检校法(由Kupfer提出)和自抵偿法;而后者又分为验后补偿法(由Masson D'Autume提出)和附加参数自检校法。在这方面,国内李德仁教授(1988)从事过大量研究。在大地测量学科中,对系统误差研究的重视只是近年来的事,研究方法多采用统计检验法和附加系统参数自检校法(陶本藻,1987)。
连续专题数据的不确定性度量指标与位置数据不确定性的度量指标类似,例如土壤元素含量值的方差、中误差等。Goodchild等人(1992)利用概念包含关系和自相关关系两个指标讨论过位置和专题不确定性间的关系。
3.3 时态不确定性
时态误差可以根据不同的时间参考标准度量,例如,记时误差和同时误差。
3.4 知识、证据和假设的不确定性
测量误差理论与矿山数据质量
测量误差理论与矿山GIS数据质量的当代发展*
摘要 为了建立矿山GIS辅助决策中位置数据和属性数据的误差理论,发展矿山GIS产品的质量评价指标体系,本文系统地论述测量误差理论与矿山GIS数据质量的当代发展,以便为设计与建立一个可靠和健全的矿山GIS提供参考。
关键词 矿山GIS 误差理论 数据质量
4 结论和建议
随着RS、GIS和GPS技术的发展和集成,对误差理论研究和数据质量等提出了新的问题,例如数据表现出动态、多时相、多尺度、多分辨率和多源信息融合的特点,不再是传统测量中的单一定位数据或物理数据,而是矢量栅格混合的、位置和属性数据及拓扑关系相互影响的非线性动态信息。因此,应在信息论框架下建立现代测绘信息不确定性理论。
自80年代中期以来,我国周江文、陶本藻、黄幼才、杨元喜和欧吉坤等教授们在将稳健估计思想应用于测量粗差处理方面进行了大量研究,引入了“抗差最小二乘法”这一术语,从而为建立同时处理粗差和随机误差的“抗差最小二乘平差”理论奠定了基础。
当前测量误差理论的主要发展方向是,对观测值中可能同时存在的三类误差,如何寻找符合实际的统计分布和有效的估计准则,以便发展可以同时处理三类误差的整体平差方法,即统一分布理论和统一平差方法。例如,於宗俦、孙海燕和周世健等的Lp—范数分布和估计;陶华学等的动态和非线性最小二乘法;王新洲等的方差分量估计等等。
2.1.2 误差处理方法
随机误差的处理方法主要是最小二乘平差。在平差理论方面,德国Gauss(1794)提出了独立观测值经典平差,荷兰Tienstra(1947)提出了相关观测值平差,奥地利Meissl(1962)提出了秩亏自由网平差。类似地,在统计界,Markov(1912)提出了后人称之为Gauss-Markov的模型,Aitken(1934)建立了相关G—M模型,Bose(1943)提出了秩亏G—M模型,Goldmen和Zelen(1964)提出了权逆阵奇异G—M模型,Rao(1971)提出了广义G—M模型,即最小二乘统一理论。在平差技术方面,Schreiber(1876)提出了后来称为Schreiber约化法则,Krueger(1905)提出了分组条件平差法,Boltz(1923)提出了扩展法。此外,还有Krasovsky平差法,Eggert平差法,Helmert分区平差和阶段平差,以及静态逐次滤波和动态Kalman(1960)滤波等。
2.3 粗差
对粗差的理论研究始于荷兰大地测量学者Baarda(1967)提出的可靠性理论。Baarda从单个一维备选假设出发,对已知单位权方差的情况导出了粗差检验的著名“数据探测法”。10余年后,对未知方差因子情况,Pope(1976)和Koch(1980)等分别导出了t检验量。与此同时,德国Forstner(1983)和Koch(1980)等人还进一步将Baarda的单个一维备选假设下的可靠性理论推广至单个多维备选假设情况,从理论上解决了平差系统发现多个模型误差的问题。
1 引 言
70年代以前,我国矿图的绘制和管理主要采用人工方法。80年代以来,众多测绘、地理、地质和计算机等学科的学者们联合开展了计算机矿图数据库管理系统和基于AutoCAD软件平台的机助矿图绘制系统研究,并进一步发展成一些实用化的“地质测绘信息系统”,还相继建立了某些专用的“事务性管理系统”。90年代初,随着地理信息系统(GIS)的发展和应用的广泛普及,在对上述系统进行改造和集成基础上,又兴起了建立矿山地理信息系统(MGIS)热潮。这些系统的研究和建立已在矿山抢险救灾、安全生产、现代化管理和智能决策等方面显示了强大的生命力。但在应用实践中也发现,由于缺少统一的空间数据质量标准,使得原先花费大量人力、财力所建立的矿山空间数据库因通用性差、精度混乱,以及无法进行数据转换等缺点,而不得不重新建库,造成极大浪费。更为重要的是,在矿山安全和生产管理中,对矿山空间几何数据分析和处理结果精度的技术要求极高。例如,在矿山发生井筒或巷道塌方事故后,需要根据MGIS迅速确定井下巷道在地面上的相应准确位置,以便打钻孔至井下该巷道处,及时进行通风并输送食物和水等,维持井下受困人员的生命,为抢险救灾赢得时间。又如,在井下发生突水事故时,需要利用MGIS迅速判断突水点的精确位置,以便进一步确定标高低于突水点的受水威胁区域,及时撤离工作人员,并组织抢险救灾。同样,在出现井下发火事故时,也需要迅速确定发火点的精确位置,进行隔离火源、灭火及抢救人员,并进一步采取措施防止瓦斯爆炸。这类例子不胜枚举。而塌方、突水、发火等又是煤矿日常生产中经常可能发生的。过去,在人工判断确定年代,常出现延误或判断失误现象,造成人员重大伤亡,并使国家财产蒙受巨大损失。现在,利用MGIS技术虽然判断迅速,但因理论研究的滞后,至今仍缺少对矿山空间数据库精度进行定量评价的合适方法,造成决策失误的后果也是灾难性的。可见,矿山空间数据的质量将直接影响到MGIS的社会效益和经济效益。由于传统的误差理论是建立矿山GIS几何和属性数据误差理论的基础,本文论述测量误差理论和矿山MGIS中数据质量的当代发展,为进一步建立矿山GIS中的数据质量评价体系提供参考。
3.2 属性不确定性
属性不确定性是指属性值与其真值的差值,其度量指标随属性数据类型的不同而不同。专题属性数据的类型有两种:分类数据(定性数据)和连续数据(定量数据)。
分类数据的不确定性通常用误差矩阵或混淆矩阵度量。利用误差矩阵中的元素可以计算分类精度的纯量指标,例如正确分类比(PCC)。另一种常用指标是Cohen(1960)提出的Kappa系数和由Foody对其改进后的Tau系数。
1983年,我国陈永奇教授在其博士学位论文中利用向量空间理论导出了一个广义统计检验量,为观测值筛选和变形模型检验奠定了理论基础。陈永奇教授的广义统计检验量被国际上誉为概括和统一了许多名测量学者的工作。10余年后,陈永奇教授(1993)又从单个备选假设出发,提出了变形模型的可区分性理论,为研究模型误差区分问题找到了一条独特的新途径。
这种不确定性的度量指标来自人工智能领域。知识和证据不确定性的度量有三种:概率指标、模糊指标和主观指标。假设不确定性的度量有四种:支持度、拒绝度、信任度和可能性。
当前GIS数据质量方面的主要研究课题是:利用经典的概率统计理论和模糊数学理论建立GIS中的不确定性度量和传播模型;利用图像动画和声频技术研究不确定性信息的可视化表达问题;建立有效的数据质量控制模型;制定统一的数字数据转换标准和数据质量标准。
2.1.1 方差分量估计
方差或协方差阵是度量观测精度的常用指标。许多学者探讨过(单位权)方差的估计问题。早期的简单方法有重复观测的白塞尔(Bessel)公式,三角测量的菲列罗(Ferreros)公式和往返观测的双观测列估计公式。这方面近代的理论工作始于本世纪初德国大地测量学家Helmert(1924)提出的方差/协方差分量估计技术,现在为Helmert法。根据Helmert的思想,后人做了许多发展,例如Welsch(1978)和Grafarend(1980)等;同时又提出了一些新的方法,例如Kubik(1967)的极大似然估计法,Rao(1970,1980)的最小范数二次无偏估计和最小方差二次无偏估计,以及Koch(1987,1990)的 Bayes估计和Bayes区间估计等。
在这一时期,由于人们认为系统误差和粗差可以通过简单方法控制、校正或消除。例如,人工经验、简单的数据检验和测量规程控制等。因此,长期以来,测绘界一直将注意力集中在随机误差的分析和处理上。后来,一方面,人们逐渐发现,通过简单方法并不能有效地消除粗差和系统误差;另一方面,随着科学技术的发展,观测仪器的精密度得以大幅度提高,再加上处理随机误差的最小二乘平差理论相对来说已发展的较为成熟。因此,随机误差不再是主要矛盾,人们开始将注意力转向系统误差和粗差。
2 测量误差理论的发展
测绘学中的观测误差分为随机误差、系统误差和粗差。误差的统计分布特征通常用精度表示,精度又细分为精密度、正确度和准确度。传统的误差理论曾在矿山巷道贯通点精度预计和控制等矿山测量工作中起过重要作用。
wk.baidu.com2.1 随机误差
经典误差理论的研究对象为随机误差。这方面的研究历史可追溯到法国数学家De Moivre,他首先研究过自然界中最常见最重要的一种分布,即正态分布;而法国另一数学家Laplace是最先将概率论应用于测量误差分析者。对误差理论发展作出杰出贡献的当代德国天文大地测量学家、数学家Gauss。1794,Gauss首先导出了一元正态分布的密度函数,并创立了“最小二乘法”。Gauss这方面的两大杰出贡献奠定了经典误差理论(随机误差的正态分布模式)和误差处理方法(最小二乘平差)的科学基础。后人在误差分布参数的估计技术和经典最小二乘平差的扩展上做了大量工作。
可区分性和可靠性理论研究为网的设计提供了新的准则。例如,多余观测分量,可靠性矩阵,可靠性梯形和广义可靠性指标。可靠性和可区分性理论的研究还为粗差定位、消除提供了两种途径;粗差归入函数模型(也称“数学期望平移”模型)的统计检验法和粗差归入随机模型(也称“方差扩大”模型)的稳健估计(Robust Estimation)法。前者的统计量如上所述,后者源于统计界的研究。1953年,统计学家Box首先引入了稳健性(Robustness)概念。随后,由于Tukey(1960),特别是Huber(1964)和Hampel(1968)等人的开拓性贡献,为稳健估计理论化奠定了基础。70年代末,丹麦测量学者Krarup和Kubik等人最先引用Robust估计进行粗差定位,主要方法是选权迭代法。许多学者提出了有效的权函数,国内著名的有李德仁(1984)的验后估计法、王任享(1986)的增强法和周江文(1989)的IGG方案等。
模型误差区分可能性的概念最先是由德国测量学者Forstner于1983年提出的。Forstner(1983)从两个一维备选假设出发,得出了区分可能性本质上取决于检验量间相关系数的结论。随后,我国李德仁教授(1985)在其博士学位论文中将Forstner的研究推广至两个多维备选假设情况,并提出了平差系统的可区分性理论和可靠性理论,从而为研究多个模型误差的区分和定位奠定了理论基础。李德仁教授的可区分性理论被国际上誉为解决了自Gauss提出“最小二乘法”以来的百年难题。
3 GIS数据质量
当前GIS数据质量研究方面的主要课题是位置数据和属性数据的不确定性。公认的GIS数据质量指标是数据来源说明、位置精度、属性精度、逻辑一致性、完整性和现势性。
3.1 位置不确定性
位置不确定性是指GIS中的位置数据与其真值的差值。位置数据可以概括为三类拓扑概念:点、线和面,其中点又是构成线和面的基本单元,而栅格象元可视为特殊的面元。因此,点不确定性的度量一直是人们研究的重点,近年来逐渐扩展到线和面。
2.2 系统误差
对系统误差注意较早、研究最多的是摄影测量学科。补偿系统误差的方法可以分为两类:直接补偿法和间接补偿法。前者又可进一步分为实验场检校法(由Kupfer提出)和自抵偿法;而后者又分为验后补偿法(由Masson D'Autume提出)和附加参数自检校法。在这方面,国内李德仁教授(1988)从事过大量研究。在大地测量学科中,对系统误差研究的重视只是近年来的事,研究方法多采用统计检验法和附加系统参数自检校法(陶本藻,1987)。
连续专题数据的不确定性度量指标与位置数据不确定性的度量指标类似,例如土壤元素含量值的方差、中误差等。Goodchild等人(1992)利用概念包含关系和自相关关系两个指标讨论过位置和专题不确定性间的关系。
3.3 时态不确定性
时态误差可以根据不同的时间参考标准度量,例如,记时误差和同时误差。
3.4 知识、证据和假设的不确定性
测量误差理论与矿山数据质量
测量误差理论与矿山GIS数据质量的当代发展*
摘要 为了建立矿山GIS辅助决策中位置数据和属性数据的误差理论,发展矿山GIS产品的质量评价指标体系,本文系统地论述测量误差理论与矿山GIS数据质量的当代发展,以便为设计与建立一个可靠和健全的矿山GIS提供参考。
关键词 矿山GIS 误差理论 数据质量
4 结论和建议
随着RS、GIS和GPS技术的发展和集成,对误差理论研究和数据质量等提出了新的问题,例如数据表现出动态、多时相、多尺度、多分辨率和多源信息融合的特点,不再是传统测量中的单一定位数据或物理数据,而是矢量栅格混合的、位置和属性数据及拓扑关系相互影响的非线性动态信息。因此,应在信息论框架下建立现代测绘信息不确定性理论。
自80年代中期以来,我国周江文、陶本藻、黄幼才、杨元喜和欧吉坤等教授们在将稳健估计思想应用于测量粗差处理方面进行了大量研究,引入了“抗差最小二乘法”这一术语,从而为建立同时处理粗差和随机误差的“抗差最小二乘平差”理论奠定了基础。
当前测量误差理论的主要发展方向是,对观测值中可能同时存在的三类误差,如何寻找符合实际的统计分布和有效的估计准则,以便发展可以同时处理三类误差的整体平差方法,即统一分布理论和统一平差方法。例如,於宗俦、孙海燕和周世健等的Lp—范数分布和估计;陶华学等的动态和非线性最小二乘法;王新洲等的方差分量估计等等。
2.1.2 误差处理方法
随机误差的处理方法主要是最小二乘平差。在平差理论方面,德国Gauss(1794)提出了独立观测值经典平差,荷兰Tienstra(1947)提出了相关观测值平差,奥地利Meissl(1962)提出了秩亏自由网平差。类似地,在统计界,Markov(1912)提出了后人称之为Gauss-Markov的模型,Aitken(1934)建立了相关G—M模型,Bose(1943)提出了秩亏G—M模型,Goldmen和Zelen(1964)提出了权逆阵奇异G—M模型,Rao(1971)提出了广义G—M模型,即最小二乘统一理论。在平差技术方面,Schreiber(1876)提出了后来称为Schreiber约化法则,Krueger(1905)提出了分组条件平差法,Boltz(1923)提出了扩展法。此外,还有Krasovsky平差法,Eggert平差法,Helmert分区平差和阶段平差,以及静态逐次滤波和动态Kalman(1960)滤波等。
2.3 粗差
对粗差的理论研究始于荷兰大地测量学者Baarda(1967)提出的可靠性理论。Baarda从单个一维备选假设出发,对已知单位权方差的情况导出了粗差检验的著名“数据探测法”。10余年后,对未知方差因子情况,Pope(1976)和Koch(1980)等分别导出了t检验量。与此同时,德国Forstner(1983)和Koch(1980)等人还进一步将Baarda的单个一维备选假设下的可靠性理论推广至单个多维备选假设情况,从理论上解决了平差系统发现多个模型误差的问题。
1 引 言
70年代以前,我国矿图的绘制和管理主要采用人工方法。80年代以来,众多测绘、地理、地质和计算机等学科的学者们联合开展了计算机矿图数据库管理系统和基于AutoCAD软件平台的机助矿图绘制系统研究,并进一步发展成一些实用化的“地质测绘信息系统”,还相继建立了某些专用的“事务性管理系统”。90年代初,随着地理信息系统(GIS)的发展和应用的广泛普及,在对上述系统进行改造和集成基础上,又兴起了建立矿山地理信息系统(MGIS)热潮。这些系统的研究和建立已在矿山抢险救灾、安全生产、现代化管理和智能决策等方面显示了强大的生命力。但在应用实践中也发现,由于缺少统一的空间数据质量标准,使得原先花费大量人力、财力所建立的矿山空间数据库因通用性差、精度混乱,以及无法进行数据转换等缺点,而不得不重新建库,造成极大浪费。更为重要的是,在矿山安全和生产管理中,对矿山空间几何数据分析和处理结果精度的技术要求极高。例如,在矿山发生井筒或巷道塌方事故后,需要根据MGIS迅速确定井下巷道在地面上的相应准确位置,以便打钻孔至井下该巷道处,及时进行通风并输送食物和水等,维持井下受困人员的生命,为抢险救灾赢得时间。又如,在井下发生突水事故时,需要利用MGIS迅速判断突水点的精确位置,以便进一步确定标高低于突水点的受水威胁区域,及时撤离工作人员,并组织抢险救灾。同样,在出现井下发火事故时,也需要迅速确定发火点的精确位置,进行隔离火源、灭火及抢救人员,并进一步采取措施防止瓦斯爆炸。这类例子不胜枚举。而塌方、突水、发火等又是煤矿日常生产中经常可能发生的。过去,在人工判断确定年代,常出现延误或判断失误现象,造成人员重大伤亡,并使国家财产蒙受巨大损失。现在,利用MGIS技术虽然判断迅速,但因理论研究的滞后,至今仍缺少对矿山空间数据库精度进行定量评价的合适方法,造成决策失误的后果也是灾难性的。可见,矿山空间数据的质量将直接影响到MGIS的社会效益和经济效益。由于传统的误差理论是建立矿山GIS几何和属性数据误差理论的基础,本文论述测量误差理论和矿山MGIS中数据质量的当代发展,为进一步建立矿山GIS中的数据质量评价体系提供参考。
3.2 属性不确定性
属性不确定性是指属性值与其真值的差值,其度量指标随属性数据类型的不同而不同。专题属性数据的类型有两种:分类数据(定性数据)和连续数据(定量数据)。
分类数据的不确定性通常用误差矩阵或混淆矩阵度量。利用误差矩阵中的元素可以计算分类精度的纯量指标,例如正确分类比(PCC)。另一种常用指标是Cohen(1960)提出的Kappa系数和由Foody对其改进后的Tau系数。
1983年,我国陈永奇教授在其博士学位论文中利用向量空间理论导出了一个广义统计检验量,为观测值筛选和变形模型检验奠定了理论基础。陈永奇教授的广义统计检验量被国际上誉为概括和统一了许多名测量学者的工作。10余年后,陈永奇教授(1993)又从单个备选假设出发,提出了变形模型的可区分性理论,为研究模型误差区分问题找到了一条独特的新途径。
这种不确定性的度量指标来自人工智能领域。知识和证据不确定性的度量有三种:概率指标、模糊指标和主观指标。假设不确定性的度量有四种:支持度、拒绝度、信任度和可能性。
当前GIS数据质量方面的主要研究课题是:利用经典的概率统计理论和模糊数学理论建立GIS中的不确定性度量和传播模型;利用图像动画和声频技术研究不确定性信息的可视化表达问题;建立有效的数据质量控制模型;制定统一的数字数据转换标准和数据质量标准。
2.1.1 方差分量估计
方差或协方差阵是度量观测精度的常用指标。许多学者探讨过(单位权)方差的估计问题。早期的简单方法有重复观测的白塞尔(Bessel)公式,三角测量的菲列罗(Ferreros)公式和往返观测的双观测列估计公式。这方面近代的理论工作始于本世纪初德国大地测量学家Helmert(1924)提出的方差/协方差分量估计技术,现在为Helmert法。根据Helmert的思想,后人做了许多发展,例如Welsch(1978)和Grafarend(1980)等;同时又提出了一些新的方法,例如Kubik(1967)的极大似然估计法,Rao(1970,1980)的最小范数二次无偏估计和最小方差二次无偏估计,以及Koch(1987,1990)的 Bayes估计和Bayes区间估计等。