数据的不确定性
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
强，解释的唯一性，只有一种可能；有的测得准. 解释的唯一性，只有一种可能；有的测得准.
** 不确定性：规律性不明显，时有时无，可 不确定性：规律性不明显，时有时无，
预测性差，多种解释，多种可能，有的测不准 预测性差，多种解释，多种可能，有的测不准.
2）近年来的讨论 1996年 UCGISCI（ 1996年，在UCGISCI（地理信息科学大学研 究中心） 地理信息科学的优先研究领域》 究中心）中，在《地理信息科学的优先研究领域》 的文件中： 的文件中：把“地理数据和基于地理信息系统分 析中的不确定性”问题作为重中之重。 析中的不确定性”问题作为重中之重。 1998年 NCGIA（ 1998年，NCGIA（地理信息和分析国家中 提出了“21世纪三大前沿研究问题 世纪三大前沿研究问题” 心）提出了“21世纪三大前沿研究问题”： ①空间数据精度和不确定性 ②空间认知 ③GIS建模与表达 GIS建模与表达 M.Goodchild(1987):“没有以准确数据为 M.Goodchild(1987):“没有以准确数据为 基础的GIS分析的结论是不正确的， GIS分析的结论是不正确的 基础的GIS分析的结论是不正确的，至少是不健 全的。 全的。”
地学空间数据不确定性的度量： 地学空间数据不确定性的度量：
• （1）点位置的不确定性度量： 点位误差的标准 点位置的不确定性度量： 椭园模型。 椭园模型。 • （2）线位置的不确定性度量： Epsilon 带模型； 线位置的不确定性度量： 带模型； 误差带（ 模型。 误差带（熵，E-带、H-带）模型。 • （3）面位置的不确定性度量，可由线状导出。 面位置的不确定性度量，可由线状导出。 • （4）GIS属性数据的不确定性度量：多边形（区 GIS属性数据的不确定性度量 多边形（ 属性数据的不确定性度量： 边界属性（湖水边界、土地边界） 域）边界属性（湖水边界、土地边界）的不确定 性描述；区域内部属性（树种、庄稼） 性描述；区域内部属性（树种、庄稼）不确定性 的描述。 的描述。
• （5）位置和属性综合的不确定性度量： S位置和属性综合的不确定性度量： 带模型；场模型。 带模型；场模型。 • 空间数据不确定性的分析方法： 空间数据不确定性的分析方法： • （1）基于误差传播定律的不确定性分析。 基于误差传播定律的不确定性分析。 • （2）Monte Carlo模拟法。 Carlo模拟法 模拟法。 • （3）灵敏度（输入数据对输出结果的影响） 灵敏度（输入数据对输出结果的影响） 分析。 分析。
3.遥感数据中的不确定性问 3.遥感数据中的不确定性问 题
1）问题的基本概念 问题的基本概念
①普遍存在“同物异谱”与“异谱同物”现 普遍存在“同物异谱” 异谱同物” 象 ②同一影像特征的多解性 ③几何变异与光谱变异的的随机性 ④量测与处理过程造成的随机性误差
2）问题产生的原因
①数据固有的不确定性 ②数据获取过程中引起的不确定性 ③数据处理过程中引起的不确定性 ④数据转换过程中引起的不确定性 ⑤数据传输过程中引起的不确定性 ⑥数据提取与分类过程中引起的不确定性 ⑦数据应用不当引起的不确定性
3）国际会议
①数据质量会议（The International 数据质量会议（ Symposium on Spatial Data Quality) 共进 行了三次
第一届：1999年在香港 第一届：1999年在香港 第二届：2003年在香港 第二届：200Baidu Nhomakorabea年在香港 第三届：2004年在奥地利维也纳 第三届：2004年在奥地利维也纳 第四届：2005年 第四届：2005年8月在北京大学召开
• •
经典集合： 经典集合： 具有某种特性的所有元素的总和。 具有某种特性的所有元素的总和。 模糊集合： 模糊集合： 不同程度上具有某种特性的所有元素的 在不同程度上具有某种特性的所有元素的 总和。 总和。
3) 遥感数据不确定性控制的数学理论
• 一般数学方法： 一般数学方法： 方法 （1）概率论 （2）证据数学理论（又称Dempstershafer 理论） （3）模糊数学 （4）空间统计学 （5）现代工程控制论（不确定性传递函 数），钱学森院士的贡献。
• 鲁棒（Robust）方法 鲁棒（ ）
模糊数学建模方法
②自然资源与环境科学中的空间精度评估国 际会议（ 际会议（The International Symposium on Spatial Accuracy Assessment in Natural Science） Resources and Environment Science）已开过 八届： 八届：
3）理论上是测得准的，但实际上是测不准的。 理论上是测得准的，但实际上是测不准的。 如太复杂的、动态的科学数据是测不准的。 如太复杂的、动态的科学数据是测不准的。如全国 耕地面积数据，全国农作物的产量、 耕地面积数据，全国农作物的产量、甚至全国人口 不论是逐个调查，或统计抽样，都具有概率、 数，不论是逐个调查，或统计抽样，都具有概率、 统计特征。 统计特征。 4）定义或概念的不确定性，导致一系列数据的 定义或概念的不确定性， 不确定性。如城市的定义（城乡结合带、农民工） 不确定性。如城市的定义（城乡结合带、农民工） 不确定性，导致城市化率（目前我国为40%左右） 40%左右 不确定性，导致城市化率（目前我国为40%左右） 等数据的不确定性，又如耕地的定义也是模糊的， 等数据的不确定性，又如耕地的定义也是模糊的， 导致了总产量、平均产量的不确定性。 导致了总产量、平均产量的不确定性。 5）不同的对象有不同的确定性与不确定性问题， 不同的对象有不同的确定性与不确定性问题， 或不同的精度问题，不同的问题有不同的精度要求， 或不同的精度问题，不同的问题有不同的精度要求， 不能千篇一律要求。 不能千篇一律要求。
2. 空间数据的确定性与不确定性
地球科学中的确定性和不确定性并存且不对称 是客观存在的，是符合对立统一法则的。 是客观存在的，是符合对立统一法则的。 与地球科学有关的现象和过程中的数据也具有 相应的确定性，同时不确定性或不对称性也是客观 相应的确定性， 存在的。 存在的。 地球自转、公转、季节变化， 1）地球自转、公转、季节变化，自然带的分布 规律是存在的。但大气过程、水文过程、尤其是地 规律是存在的。但大气过程、水文过程、 火山喷发的随机性、混沌现象也是客观存在的， 震、火山喷发的随机性、混沌现象也是客观存在的， 确定性与不确定性并存的，也是不对称的。 确定性与不确定性并存的，也是不对称的。 测得准与测不准是并存的。如气象、海洋、 2）测得准与测不准是并存的。如气象、海洋、 水文观测数据是准确的， 水文观测数据是准确的，以外的地方用插值法或计 算所得的数据存在误差，具有不确定性。 算所得的数据存在误差，具有不确定性。
• (5）(数字、物理）模拟产品与真实世界之间 不可能 (5） 数字、物理） 完全一致。 完全一致。 • （6）观测误差总是存在，真值极难获得。 观测误差总是存在，真值极难获得。 • （7）不同观测对象、不同目的要求的量测数据的精 不同观测对象、 度要求不同。 度要求不同。Km,m,cm,mm,n, 年、 日、时、分、 毫秒等。 秒、毫秒等。 • （8）认识、研究事物的长期性、局限性、不完整性。 认识、研究事物的长期性、局限性、不完整性。 • （9）非线性及系统工程属不确定性科学的领 域，如 1+1>2,1+1<2。 1+1=2; 1+1>2,1+1<2。
不确定性的一些概念： 不确定性的一些概念：
• 不确定性是与“复杂性科学” 不确定性是与“复杂性科学” science）密切相关， （complexity science）密切相关，是指 处于混沌（ 处于混沌（chaos ）边缘或模糊边缘的现 混沌边缘是指介于有序与无序之间的、 象。混沌边缘是指介于有序与无序之间的、 或有序与序并存的现象。 或有序与序并存的现象。模糊边缘则是指 介于清楚与模糊之间的、 介于清楚与模糊之间的、或清楚与模糊并 存的现象。即无序、模糊、差错、 存的现象。即无序、模糊、差错、异常或 噪声等现象。 噪声等现象。 • 社会经济范畴的事件、过程，其不确定性 社会经济范畴的事件、过程， 特征更突出、预测时准确率往往很低。 特征更突出、预测时准确率往往很低。如 股市行情、交通事故等。 股市行情、交通事故等。
空间数据不确定性研究进展
提 纲
1. 2. 3. 4. 问题的提出与意义 地球空间数据的不确定性问题 遥感数据中的不确定性问题 模糊数学建模方法
1.问题的提出与意义 1.问题的提出与意义
1）基本概念： 基本概念：
客观世界的现象或过程中， 客观世界的现象或过程中，存在以下两种基本 情况： 情况：
** 确定性：有规律性或无规律性，可预测性 确定性：有规律性或无规律性，
一般不确定性理论要点： 一般不确定性理论要点：
• （1）不确定性是客观世界固有的特征或现象。 不确定性是客观世界固有的特征或现象。 • （2）共性与个性并存是普遍现象，但个性即差异性 共性与个性并存是普遍现象， 是主要的。 是主要的。 • （3）运用不同的时、空分辨率去观测（察）客观世 运用不同的时、空分辨率去观测（ 界所得的结果通常是不同的， 界所得的结果通常是不同的，因 此，对复杂的大事物 过程） 一种时空尺度去观察。 （过程）不能仅用 一种时空尺度去观察。 • （4）其确定性的一面使之可将复杂问题简单化、科 其确定性的一面使之可将复杂问题简单化、 学化。 学化。
第一届 第二届 第三届 第四届 第五届 第六届 第八届 第九届 1994年美国Virginia的 1994年美国Virginia的Williamsburg 年美国Virginia 1996年美国的 年美国的Colorado 1996年美国的Colorado 1998年加拿大的 年加拿大的Quebec 1998年加拿大的Quebec City 2000年荷兰的 年荷兰的Amsterdam 2000年荷兰的Amsterdam 2002年澳大利亚 年澳大利亚Melbourne 2002年澳大利亚Melbourne 2004年美国 2004年美国 2008年 2008年上海交通大学 2010年 20-23日在英国莱斯特大学 2010年7月20-23日在英国莱斯特大学
天气冷热
雨的大小
风的强弱
人的胖瘦
年龄大小
个子高低
一、模糊集合及其表述
1. 集合的概念
• 为了对事物进行识别， 为了对事物进行识别 ， 必须对事物按不同的要求 进行分类。 进行分类 。 许多事物可以依据一定的标准进行分 用于这种分类的数学工具就是集合论 集合论。 类。用于这种分类的数学工具就是集合论。 解决精确性的集合问题可以用经典集合论。 解决精确性的集合问题可以用经典集合论。 经典集合论 世界上大多数事物具有模糊性。 世界上大多数事物具有模糊性 。 为了描述具有模 糊性的事物，引入模糊集合的概念。 模糊集合的概念 糊性的事物，引入模糊集合的概念。
4）问题的核心
M.Goodchild(1998)等认为空间数据质 M.Goodchild(1998)等认为空间数据质 量标准（ 量标准（Spatial Data Quality Standard) 的评估要素包括以下七个方面： 的评估要素包括以下七个方面：
（1）数据的产生过程（Lineage) 数据的产生过程（ 位置精度(Positional （2）位置精度(Positional Accuracy) 属性精度(Attribute （3）属性精度(Attribute Accuracy) 完整性(Completeness) （4）完整性(Completeness) （5）逻辑的一致性(Logical Consistency) 逻辑的一致性(Logical 语义精度(Semantic Accuracy)：指图形、 （6）语义精度(Semantic Accuracy)：指图形、 关系或属性序列的语义正确性 现时性(Currentness) (Currentness)： （7）现时性(Currentness)：指数据的观测日期 和更新日期
** 不确定性：规律性不明显，时有时无，可 不确定性：规律性不明显，时有时无，
预测性差，多种解释，多种可能，有的测不准 预测性差，多种解释，多种可能，有的测不准.
2）近年来的讨论 1996年 UCGISCI（ 1996年，在UCGISCI（地理信息科学大学研 究中心） 地理信息科学的优先研究领域》 究中心）中，在《地理信息科学的优先研究领域》 的文件中： 的文件中：把“地理数据和基于地理信息系统分 析中的不确定性”问题作为重中之重。 析中的不确定性”问题作为重中之重。 1998年 NCGIA（ 1998年，NCGIA（地理信息和分析国家中 提出了“21世纪三大前沿研究问题 世纪三大前沿研究问题” 心）提出了“21世纪三大前沿研究问题”： ①空间数据精度和不确定性 ②空间认知 ③GIS建模与表达 GIS建模与表达 M.Goodchild(1987):“没有以准确数据为 M.Goodchild(1987):“没有以准确数据为 基础的GIS分析的结论是不正确的， GIS分析的结论是不正确的 基础的GIS分析的结论是不正确的，至少是不健 全的。 全的。”
地学空间数据不确定性的度量： 地学空间数据不确定性的度量：
• （1）点位置的不确定性度量： 点位误差的标准 点位置的不确定性度量： 椭园模型。 椭园模型。 • （2）线位置的不确定性度量： Epsilon 带模型； 线位置的不确定性度量： 带模型； 误差带（ 模型。 误差带（熵，E-带、H-带）模型。 • （3）面位置的不确定性度量，可由线状导出。 面位置的不确定性度量，可由线状导出。 • （4）GIS属性数据的不确定性度量：多边形（区 GIS属性数据的不确定性度量 多边形（ 属性数据的不确定性度量： 边界属性（湖水边界、土地边界） 域）边界属性（湖水边界、土地边界）的不确定 性描述；区域内部属性（树种、庄稼） 性描述；区域内部属性（树种、庄稼）不确定性 的描述。 的描述。
• （5）位置和属性综合的不确定性度量： S位置和属性综合的不确定性度量： 带模型；场模型。 带模型；场模型。 • 空间数据不确定性的分析方法： 空间数据不确定性的分析方法： • （1）基于误差传播定律的不确定性分析。 基于误差传播定律的不确定性分析。 • （2）Monte Carlo模拟法。 Carlo模拟法 模拟法。 • （3）灵敏度（输入数据对输出结果的影响） 灵敏度（输入数据对输出结果的影响） 分析。 分析。
3.遥感数据中的不确定性问 3.遥感数据中的不确定性问 题
1）问题的基本概念 问题的基本概念
①普遍存在“同物异谱”与“异谱同物”现 普遍存在“同物异谱” 异谱同物” 象 ②同一影像特征的多解性 ③几何变异与光谱变异的的随机性 ④量测与处理过程造成的随机性误差
2）问题产生的原因
①数据固有的不确定性 ②数据获取过程中引起的不确定性 ③数据处理过程中引起的不确定性 ④数据转换过程中引起的不确定性 ⑤数据传输过程中引起的不确定性 ⑥数据提取与分类过程中引起的不确定性 ⑦数据应用不当引起的不确定性
3）国际会议
①数据质量会议（The International 数据质量会议（ Symposium on Spatial Data Quality) 共进 行了三次
第一届：1999年在香港 第一届：1999年在香港 第二届：2003年在香港 第二届：200Baidu Nhomakorabea年在香港 第三届：2004年在奥地利维也纳 第三届：2004年在奥地利维也纳 第四届：2005年 第四届：2005年8月在北京大学召开
• •
经典集合： 经典集合： 具有某种特性的所有元素的总和。 具有某种特性的所有元素的总和。 模糊集合： 模糊集合： 不同程度上具有某种特性的所有元素的 在不同程度上具有某种特性的所有元素的 总和。 总和。
3) 遥感数据不确定性控制的数学理论
• 一般数学方法： 一般数学方法： 方法 （1）概率论 （2）证据数学理论（又称Dempstershafer 理论） （3）模糊数学 （4）空间统计学 （5）现代工程控制论（不确定性传递函 数），钱学森院士的贡献。
• 鲁棒（Robust）方法 鲁棒（ ）
模糊数学建模方法
②自然资源与环境科学中的空间精度评估国 际会议（ 际会议（The International Symposium on Spatial Accuracy Assessment in Natural Science） Resources and Environment Science）已开过 八届： 八届：
3）理论上是测得准的，但实际上是测不准的。 理论上是测得准的，但实际上是测不准的。 如太复杂的、动态的科学数据是测不准的。 如太复杂的、动态的科学数据是测不准的。如全国 耕地面积数据，全国农作物的产量、 耕地面积数据，全国农作物的产量、甚至全国人口 不论是逐个调查，或统计抽样，都具有概率、 数，不论是逐个调查，或统计抽样，都具有概率、 统计特征。 统计特征。 4）定义或概念的不确定性，导致一系列数据的 定义或概念的不确定性， 不确定性。如城市的定义（城乡结合带、农民工） 不确定性。如城市的定义（城乡结合带、农民工） 不确定性，导致城市化率（目前我国为40%左右） 40%左右 不确定性，导致城市化率（目前我国为40%左右） 等数据的不确定性，又如耕地的定义也是模糊的， 等数据的不确定性，又如耕地的定义也是模糊的， 导致了总产量、平均产量的不确定性。 导致了总产量、平均产量的不确定性。 5）不同的对象有不同的确定性与不确定性问题， 不同的对象有不同的确定性与不确定性问题， 或不同的精度问题，不同的问题有不同的精度要求， 或不同的精度问题，不同的问题有不同的精度要求， 不能千篇一律要求。 不能千篇一律要求。
2. 空间数据的确定性与不确定性
地球科学中的确定性和不确定性并存且不对称 是客观存在的，是符合对立统一法则的。 是客观存在的，是符合对立统一法则的。 与地球科学有关的现象和过程中的数据也具有 相应的确定性，同时不确定性或不对称性也是客观 相应的确定性， 存在的。 存在的。 地球自转、公转、季节变化， 1）地球自转、公转、季节变化，自然带的分布 规律是存在的。但大气过程、水文过程、尤其是地 规律是存在的。但大气过程、水文过程、 火山喷发的随机性、混沌现象也是客观存在的， 震、火山喷发的随机性、混沌现象也是客观存在的， 确定性与不确定性并存的，也是不对称的。 确定性与不确定性并存的，也是不对称的。 测得准与测不准是并存的。如气象、海洋、 2）测得准与测不准是并存的。如气象、海洋、 水文观测数据是准确的， 水文观测数据是准确的，以外的地方用插值法或计 算所得的数据存在误差，具有不确定性。 算所得的数据存在误差，具有不确定性。
• (5）(数字、物理）模拟产品与真实世界之间 不可能 (5） 数字、物理） 完全一致。 完全一致。 • （6）观测误差总是存在，真值极难获得。 观测误差总是存在，真值极难获得。 • （7）不同观测对象、不同目的要求的量测数据的精 不同观测对象、 度要求不同。 度要求不同。Km,m,cm,mm,n, 年、 日、时、分、 毫秒等。 秒、毫秒等。 • （8）认识、研究事物的长期性、局限性、不完整性。 认识、研究事物的长期性、局限性、不完整性。 • （9）非线性及系统工程属不确定性科学的领 域，如 1+1>2,1+1<2。 1+1=2; 1+1>2,1+1<2。
不确定性的一些概念： 不确定性的一些概念：
• 不确定性是与“复杂性科学” 不确定性是与“复杂性科学” science）密切相关， （complexity science）密切相关，是指 处于混沌（ 处于混沌（chaos ）边缘或模糊边缘的现 混沌边缘是指介于有序与无序之间的、 象。混沌边缘是指介于有序与无序之间的、 或有序与序并存的现象。 或有序与序并存的现象。模糊边缘则是指 介于清楚与模糊之间的、 介于清楚与模糊之间的、或清楚与模糊并 存的现象。即无序、模糊、差错、 存的现象。即无序、模糊、差错、异常或 噪声等现象。 噪声等现象。 • 社会经济范畴的事件、过程，其不确定性 社会经济范畴的事件、过程， 特征更突出、预测时准确率往往很低。 特征更突出、预测时准确率往往很低。如 股市行情、交通事故等。 股市行情、交通事故等。
空间数据不确定性研究进展
提 纲
1. 2. 3. 4. 问题的提出与意义 地球空间数据的不确定性问题 遥感数据中的不确定性问题 模糊数学建模方法
1.问题的提出与意义 1.问题的提出与意义
1）基本概念： 基本概念：
客观世界的现象或过程中， 客观世界的现象或过程中，存在以下两种基本 情况： 情况：
** 确定性：有规律性或无规律性，可预测性 确定性：有规律性或无规律性，
一般不确定性理论要点： 一般不确定性理论要点：
• （1）不确定性是客观世界固有的特征或现象。 不确定性是客观世界固有的特征或现象。 • （2）共性与个性并存是普遍现象，但个性即差异性 共性与个性并存是普遍现象， 是主要的。 是主要的。 • （3）运用不同的时、空分辨率去观测（察）客观世 运用不同的时、空分辨率去观测（ 界所得的结果通常是不同的， 界所得的结果通常是不同的，因 此，对复杂的大事物 过程） 一种时空尺度去观察。 （过程）不能仅用 一种时空尺度去观察。 • （4）其确定性的一面使之可将复杂问题简单化、科 其确定性的一面使之可将复杂问题简单化、 学化。 学化。
第一届 第二届 第三届 第四届 第五届 第六届 第八届 第九届 1994年美国Virginia的 1994年美国Virginia的Williamsburg 年美国Virginia 1996年美国的 年美国的Colorado 1996年美国的Colorado 1998年加拿大的 年加拿大的Quebec 1998年加拿大的Quebec City 2000年荷兰的 年荷兰的Amsterdam 2000年荷兰的Amsterdam 2002年澳大利亚 年澳大利亚Melbourne 2002年澳大利亚Melbourne 2004年美国 2004年美国 2008年 2008年上海交通大学 2010年 20-23日在英国莱斯特大学 2010年7月20-23日在英国莱斯特大学
天气冷热
雨的大小
风的强弱
人的胖瘦
年龄大小
个子高低
一、模糊集合及其表述
1. 集合的概念
• 为了对事物进行识别， 为了对事物进行识别 ， 必须对事物按不同的要求 进行分类。 进行分类 。 许多事物可以依据一定的标准进行分 用于这种分类的数学工具就是集合论 集合论。 类。用于这种分类的数学工具就是集合论。 解决精确性的集合问题可以用经典集合论。 解决精确性的集合问题可以用经典集合论。 经典集合论 世界上大多数事物具有模糊性。 世界上大多数事物具有模糊性 。 为了描述具有模 糊性的事物，引入模糊集合的概念。 模糊集合的概念 糊性的事物，引入模糊集合的概念。
4）问题的核心
M.Goodchild(1998)等认为空间数据质 M.Goodchild(1998)等认为空间数据质 量标准（ 量标准（Spatial Data Quality Standard) 的评估要素包括以下七个方面： 的评估要素包括以下七个方面：
（1）数据的产生过程（Lineage) 数据的产生过程（ 位置精度(Positional （2）位置精度(Positional Accuracy) 属性精度(Attribute （3）属性精度(Attribute Accuracy) 完整性(Completeness) （4）完整性(Completeness) （5）逻辑的一致性(Logical Consistency) 逻辑的一致性(Logical 语义精度(Semantic Accuracy)：指图形、 （6）语义精度(Semantic Accuracy)：指图形、 关系或属性序列的语义正确性 现时性(Currentness) (Currentness)： （7）现时性(Currentness)：指数据的观测日期 和更新日期