基于信息熵的测量数据粗差识别法

文章编号:049420911(2002)02209202中图分类号:P207 文献标识码:B基于信息熵的测量数据粗差识别法史玉峰1,2,靳奉祥1,王　健1(1.山东理工大学,山东淄博255000;2.山东科技大学,山东泰安271019)I nformation E ntropy B ased G ross Error Discrimination Methodfor Surveying DataSHI Y u 2feng ,J I N Feng 2xiang ,W ANGJian摘要:基于信息论,提出用信息熵进行测量数据粗差识别,与统计识别方法相比较,该方法对观测数据的分布无要求,识别能力较强,且计算比较方便;并通过实例对该方法进行验证。

关键词:信息熵;测量数据;粗差识别;不确定度 收稿日期:2001209204;修回日期:2001210222作者简介:史玉峰(19652),男,山东栖霞人,副教授,主要从事测绘信息模式识别理论及应用的研究。

一、引　言测量数据中的粗差是由于测量人员的主观原因或仪器设备等客观外界条件而引起的偏离正常测量结果的数据。

为了通过测量数据而获得被观测值的最佳估值,通常在观测数据预处理工作中需将粗差识别出并剔除掉。

经典的测量数据粗差的识别准则主要是基于数理统计方法,这种方法需要已知或假设观测值满足某种概率分布或在大样本的前提下使用。

但实际测量工作中,由于多种因素的影响和限制,观测数据的数目往往偏少,统计特性不明显,难以保证其满足某种概率分布。

本文基于信息论提出运用信息熵识别测量数据中的粗差。

二、经典粗差识别方法经典测量数据中粗差的识别方法很多,有Pauta准则(3倍中误差法)、t 检验准则以及巴尔大提出的数据探测法(Data Snooping )等,观测数据的预处理工作中常用的方法是Pauta 准则。

Pauta 准则:若对一常型对象做n 次观测,得到一观测样本x 1,x 2,…,x n ,首先计算样本平均值x =(∑ni =1x i )/n(1)以及每个个体对样本平均值的误差,即残差e i =x i -x ,i =1,2,…,n (2)求出样本标准差:S =∑ie 2in -1(3)Pauta 准则识别粗差方法如下:若某个观测值x i j 的残差e i (1≤i ≤n )满足|e i |>3S (4)则x i 是含有粗差的异常数据。

在剔除了已识别的异常数据后,对余下的数据按上述准则继续进行计算、识别和剔除,直到不再有异常数据。

Pauta 准则比较简便,它是用x -xS作为Z =x -μσ的近似,且认定Z 近似标准服从正态分布,即Z ～N (0,1)。

此时,样本置信区间为[χ-3S ,χ+3S ],其置信度达到99.63%,即有P{|Z |>3}=0.0027。

这是一个很小的概率,从而可以认为|e i |>3S 是小概率事件。

该方法比较粗糙,尤其是当n ≤10时,恒有3S =3∑ie 2in -1≥∑i e 2i >e i 成立,可见此时无法识别出异常数据,取伪现象严重。

三、信息熵及其粗差识别法1.自信息的涵义事物状态的不确定性与事物可能出现的各种状态及其出现的概率有关,将可能出现的各种状态,即各种可能选择的消息的集合一般称做样本空间,每个可选择的消息各有一个概率。

一个样本空间及其概率称为概率空间[X ,P ]。

离散情况下,X 的样本空间可写成:{x 1,x 2,…,x n },任一元素χi 出现的概率称为先验概率:P (x i )=P i ,0≤P i ≤1,∑P i =1。

χi 所表示的事件含有的信息量以I (x i )表示,显然某事件发生所含有的信息量为该事件先验概率的函数,即I (x i )=f [P (x i )](5)92002年　第2期 测　绘　通　报 当P (x i )=1时,f [P i ]=0;当P (x i )=0时,f [P i ]=1;f [P i ]是先验概率P (x i )的单调递减函数。

这样定义的不确定性可表示为先验概率P (x i )的倒数的对数函数,称为该事件所含有的信息量,也叫做χi 的自信息。

信息论对自信息定义如下:事件x i 的自信息记做I (x i ),并且I (x i )=log 21P (x i )=-log 2P (x i )(6)I (x i )在事件χi 发生以前,表示χi 的不确定性;当事件χi 发生以后,则表示χi 所含有的信息量。

由于自信息I (x i )是一个随所发生消息而改变的随机变量,故不宜用做整个信息源的信息度量;因此,定义自信息的数学期望为信息源的平均自信息量。

2.信息熵的定义X 的熵记做H (X ),它是自信息的统计平均值,定义为H (X )=E[-log a P i ]=-∑ni =1P i log a P i(7)对数底a 决定了熵的单位,当a =2,e ,10,熵的单位分别为bit ,nat ,Hartley 。

由对数换底公式,可得:1nat =1.44bit 。

习惯上,计算熵时我们选a =e ,则熵的定义式变为H (X )=1.44∑ni =1P i ln1P i=-1.44∑ni =1P i ln P i (bit )(8)上式与物理学中熵的表达式相似。

熵是杂乱无章、不平衡、不确定等无序状态的度量。

借用熵这个词,Shannon 定义H (X )为信息熵。

热力学中度量热状态不平衡程度为热熵H (S ),随着平衡(相对于混乱)程度的接近,热熵减少,热熵的减少相当于信息熵的增加,故信息熵相当于负熵。

可见热熵用以衡量热力系统中不能利用的热能,信息熵用以衡量信息源的平均信息量。

当所有事件具有等概率时,某一事件将出现的不确定性为最大,熵也最大,即当各事件的不确定性都相等时,熵最大;对确定性事件,则熵为零。

因此,熵可作为不确定性的度量。

3.信息熵法识别粗差由以上讨论可知,具有确定概率分布的随机变量X ,其熵与方差间存在一定的对应关系:H (x )=ln (k σ)(9)式中,σ为X 的方差的平方根,k 为与P (x )有关的常系数。

根据信息论中最大熵定理,系统的不确定度(误差熵)定义为U e =eH (x )/2=k σ/2(10)且此时置信水平可达0.95以上,在此置信水平下,X 的置信区间为^X =[X -U e ,X +U e ](11)式中,X 为随机变量X 的数学期望,对于离散X i ,有X =1n ∑ni =1x i 。

信息熵法识别是否存在粗差,就是以式⑾为界限来进行识别的。

在此置信区间外的测量数据可认定含有粗差。

实际计算时,当采集的样本数据较多时,采用分组统计频数的方法来近似求出概率估计;当样本数较少时(如n ≤50)时计,可采用如下的秩估计法来求出熵估计。

将样本x 1,x 2,…,x n 按从小到大顺序排列成一个新的序列x (1)x (2)…x (n ),定义秩R k 为R k =∫x (k )-∞p (x )d x =∫x (k )-∞dP (x )=P (x (k ))(0≤R k ≤1)(12)式中,P (x )为X 的概率分布函数,其估计^P (x (k )=R k =k n +1,则式(8)的熵估计为　^H (X )=-1.44∑ni =1lnΔP (x (k ))Δx (k )ΔP (x (k ))=-1.44∑ni =1ln R k +1-R kx (k +1)-x (k )・(R k +1-R k )(13)由式(13)计算出熵的估值,再由式(10)计算出扩展不确定度,代入式(11)求出X 的置信区间,即可对含有粗差的测量值进行识别。

四、应用示例某段距离共进行了9次独立量测,得到距离值如表1。

显然,第6次观测值与其他观测值有较大偏差,为异常值。

下面分别用Pauta 法和信息熵法对观测列进行判识。

表1　距离观测值mix iix iix i12.04242.04272.03922.04352.04382.04132.04062.03092.0401.用P auta 法由式(1),式(2),式(3)可求得:x =2.040,S =4mm ,则3S =12,而max (e i )=10mm <3S =12mm (i =1,2,…n ),没有识别出异常值。

(下转第13页)01 测　绘　通　报 2002年　第2期数字地球的研究对象是带有地理坐标的空间信息,而空间信息约占总信息量的80%。

S DM 是将这些信息转为有用的知识的有效工具之一,在“数字地球”海量空间数据处理中占有十分重要的作用,有着广泛的应用前景。

它可以应用于空间数据库管理系统中,可作为辅助决策支持和分析的工具,可用于自动构建遥感解译专家系统和空间决策支持系统的知识库,也可以为空间数据仓库提供比O LAP (联机分析)更高级的分析工具,还可以与GIS 和其他IT 工具高度集成构成智能化软件。

五、结束语数据挖掘从提出到现在只短短20年时间,而S DM 则更年轻,但其发展十分迅速,已经取得了十分丰富的成果。

但是,S DM 中仍有大量的理论和技术问题有待于进一步研究和探索,如多分辨率的数据挖掘、并行数据挖掘、多媒体空间数据库的数据挖掘、知识的可视化表达、便于数据挖掘过程中进行人机交互的可视化技术、分布式空间数据的知识发现、空间数据挖掘语言、新算法和高效率的空间挖掘算法的研究、S DM 技术与空间数据仓库中的O LAP 技术的结合、S DM 与GIS 的集成、S DM 与空间决策知识系统的集成、S DM 与其他专家系统的集成以及S DM 与空间数据仓库的集成等等。

参考文献:[1]　邸凯昌.空间数据挖掘和知识发现的理论与方法[D ].武汉:武汉测绘科技大学,1999.[2]　周学虎,张健挺.基于信息熵的地学空间数据挖掘模型[J ].中国图象图形学报,1999,4(11).[3]　J I AWEI H.MICHE LI NE K.Data M ining :C oncepts and T ech 2niques[M].[s.l.]M organ K au fmann Publishers ,2000.[4]　王家耀.空间信息系统原理[M].北京:科学出版社,2001.[5]　郭仁忠.空间分析[M].武汉:武汉测绘科技大学出版社,1997.(上接第10页)2.用信息熵法识别将观测数据从小到大排列:2.030,2.039,2.040,2.040,2.041,2.042,2.042,2.043,2.043。

为计算方便,将所有观测值减去最小观测值x min =x 6=2.030,得到一新的序列:0,9,10,10,11,12,12,13,13。

令第一个数的编号k =0,即x (0)=0,x (1)=9,…,x (8)=13,且前两个重复10的k 取其均值k =(2+3)/2=2.5,计算其R k 时,按R k =k/n +1计算,其余数据处理与此类似。