利用数据挖掘技术从气象数据库中建立范例库_赵鹏

文章编号:1005-3751(2002)03-0067-04利用数据挖掘技术从气象数据库中建立范例库Using Data Mining Technique to Establish Case Base from Weather Database赵　鹏,倪志伟,贾兆红(安徽大学计算机系计算智能与信号处理国家教育部重点实验室,安徽合肥230039)ZHAO Peng,NI Z hi-w ei,JIA Zhao-hong(T he Key Laboratory of Intelligence Co mputing and Sig nal P rocessing,Dept. of Computer Science,Anhui U niv ersity,Hefei AH230039,China)摘　要:基于范例的推理中的知识表示是以范例为基础,目前,在基于范例的推理中,一个重要的任务是如何准备有效的范例库。

在有些领域,过去虽然有比较详细的工作记录,建立了一些相关的数据库,但都是实际观测或工作运行状态的简单记录。

我们采用了数据挖掘的技术来处理范例获取的问题,从存储于农业气象数据库中的信息发现范例,以形成范例库。

关键词:基于范例的推理;源范例;目标范例;数据挖掘;关联规则Abstract:The know ledge representation in Cas e-Bas ed Reason-ing is based on cas es.At present,a most important task in Case -Based Reasoning is how to establish effective Cas e Base.In some areas,past records w ere usuall y w ell documen ted and relat-ed databases w ere established,but they are all just simple record of real observation or the w orking status.We use data mining technique to tackl e this cas e acquisition p roblem and discover cas-es from agriculture w eather databases to establish case base. Key words:case-based reasoning;base case;target cas e;data mining;association rule中图分类号:T P311.132 文献标识码:A1　引　言基于范例的推理(Case-Based Reasoning CBR)是八十年代末九十年代初新崛起的一项重要技术,它是由目标范例的提示而获得记忆中的源范例,并由源范例来指导目标范例求解。

在CBR中,把当前所面临的问题或情况称为目标范例,而把记忆的问题或情况称为源范例。

CBR技术已被广泛的应用在各个领域建立智能系统,如计划、决策制定、错误诊断等。

在一些不能或者不便于用数学模型表示的领域,这种方法特别有效,例如医疗诊断、法律应用、气象灾害预测等领域。

CBR中最重要的一个部分是范例库,它是CBR中的知识库之一。

范例库就是包含了应用领域中的历史经验。

为了有效地操作CBR系统,必需要有充足、有效的范例。

如何建立范例与知识工程中的知识获取相关。

这个问题通常在研究与开发中被看成是瓶颈问题。

虽然,CBR在决策支持方面非常强大,但是由于缺少快速、有效的范例库获取方法,很难应用于工程领域,比如灾害预测、故障检测等。

安徽是一个农业大省,气象灾害频繁。

气象灾害预测有着重要的意义。

在论文中,我们将采用数据挖掘和知识发现技术从存储于气象数据库中的历史信息中发现范例建立范例库。

2　气象数据库中的基于范例的推理2.1　应用问题描述为了描述工程中CBR的必要性,我们给出下面这个例子。

在气象服务决策系统中,如何向用户提供及时、准确、针对性强的气象服务信息,为防灾减灾提供更可靠的科学依据,是深入气象服务工作的一个重要课题。

气象局多年以来对各地区气象状况进行了详细的检测和记录。

比如,有日报,旬报,月报,季报,年报,记载了各地区的温度,湿度,降雨量,风力以及日照等。

当某几种气象参数值超出一定的范围,或者某些参数的值发生了不正常的变化,那可能就是一种灾害天气产生的迹象。

例如:在安徽省某地区,5月下旬至6月中旬,有3天以上连阴雨,降水量在30mm以上,或者有5天以上降雨,其中可有一天无降水,但日照小于4小时,降水量在50mm以上,即为午收“烂场雨”。

那么这时候,系统就应该能够根据不正常的参数值及参数值的变化,识别出是何种灾害性天气。

为了能够迅速的决策,系统应能够搜索范例库,看是否能够找到过去相似范例。

如果能够找到相似的范例,系统就能够判断将会产生何种灾害性天气。

为了建立一个基于范例的气象灾害预测系统,从数据库中建立一个包含大量丰富且无冗余的范例库是收稿日期:2001-10-08非常必要的。

然而,建立一个适当的范例库并不容易,尤其是当参数和灾害类型很多时。

2.2　数据预处理我们知道,原始的数据库记录了日常工作中,按照一定的时间间隔进行监测的大量观测数据。

其中包括正常天气状况的记录和非正常天气状况的记录。

这些属性可以分为两大类,一类是根据仪器、设备测量出来的观测属性,一类是根据经验,专家知识得出的决策属性。

首先,我们要对原始数据库中的数据进行预处理,将非正常天气状况的记录抽取出来。

这些记载非正常天气状况的记录中必有一个或一组属性值超出了正常范围或发生了异常变化,导致了灾害性天气的发生。

将这些记录中具有非正常属性值的属性抽取出来。

经过了预处理中的属性抽取,原先的原始数据就表示成属性集的形式。

通常,它是以下这种n+m元组形式(C1,C2,…,C n,D1,D2,…,D m)其中C i(1<i<n)是第i个观测属性,D j为第j 个决策属性令C为所有观测属性集合,D为所有决策属性的集合。

记C={C1,C2,…,C n},D={D1,D2,…,D m}当一种灾害性天气出现时,一些或是全部的观测属性值将会超出一定正常值。

我们可以用一个灾害模型来表示一条记录灾害信息的记录的观测属性,这个灾害模型仅仅包括那些属性值超出正常值范围的观测属性,如果一个属性值仍然在正常值范围内,则这个属性不被包括在灾害模型中。

在这种情况下,我们用Pr 来表示一种灾害模型P r={C P,C P+1,…,C q},其中1<=p<=q<=n。

设P为所有可能灾害模型的集合,记P={P1,P2,…,P i},其中1<=i<=2|C|。

并且P2|C|。

当一种灾害性天气出现时,必然会记录为一种或多种灾害类型。

我们用F t来表示一种灾害类型。

F t={D h,D h+1,…,D l},其中1<=h<=l<=m。

设F为所有可能灾害类型的集合,记F={F1,F2,…,F j},其中1<=j<=2|D|。

并且F2|D|。

于是对应每种灾害模型,将会有一个或一组灾害类型。

我们用F T t来表示涉及灾害模型P r的灾害类型集。

如果P r是一个灾害模型,则在理想情况下,对应的FT t≠Υ。

在定义了所有相关术语后,我们需要建立基于预处理气象数据的范例结构。

这样的一个范例是一个三元组CES={P r,FT t,s}P r是一个灾害模型,F T t是一个相关决策属性,s 是一个[0,1]区间的实数,用来表示灾害模型和灾害类型之间关联强度,也就是说s为置信因子,用来度量任何的不确定性。

在两个特殊的范例中,如s=0,则表示在P r和FT t之间没有关联;如s=1,则表示,如果P r发生,则发生了决策属性FT t对应的灾害。

为了在数据库中发现所有相关的范例,所有相关灾害模式和灾害类型之间的关联规则都必须被建立。

必须处理任何的不确定性,每个发现的范例都应该赋以一个置信值。

这是范例发现的基本任务。

下面,我们讨论一下挖掘关联规则与范例发现的联系与区别,这将显示为什么可以采用数据挖掘技术以及对此所作的修改。

2.3　挖掘关联规则及和范例发现的区别挖掘关联规则在数据挖掘和知识发现中是最重要的任务之一。

范例发现与挖掘关联规则有很多相似之处。

比如寻找灾害模型与灾害类型之间的关联规则。

然而,它们之间也有一些重要的不同之处。

第一,在销售数据库中,每一个销售商品集中的元素用一个二值变量来表示该商品是否被购买。

在气象数据中,一个相似的变量(如Pr中的一个元素)可能取得许多不同的值(如不同的气温和降雨量)。

这可能在发现灾害模型的过程中增加额外的复杂度,因为存在模型的数量会很大,而且模型也可能表示成多种形式。

典型的挖掘关联规则算法必须加以修改来解决这个问题。

第二,确定一个范例很可能会比发现一个关联规则要简单。

在挖掘关联规则和确定范例时,都需要发现的是以下形式的规则:X Y,及一个置信因子s。

但在确定范例时,X和Y的范围都已被确定了,这回大大减少检测的复杂度,如X∈P2C且Y∈F2F。

相反,在挖掘关联规则中,一般不可能预先知道X 和Y的内容,则查找适当的规则可能会变得更复杂。

第三,在建立范例中,关联规则的最小支持度的要求是不适用的。

在关联的规则中,为了使一个规则有意义,就需要有一定的支持度。

而在建立范例中,一个范例表示过去的经验,即使在过去它只出现过一次,这样的范例也不应该被忽略。

2.4　数据挖掘算法本文所提出的挖掘范例的算法是在对数据库中的数据进行预处理后进行的。

算法的总体思想是:扫描全部记录,查找出所有灾害类型F T 。

对F T 中每一种灾害,查找相关灾害模型P 。

一个具体的灾害类型可能会与两个或两个以上的灾害模型关联。

同样地,一个确定的灾害模型可能蕴涵两个或两个以上不同的灾害类型。

基于灾害模型集P 中,该算法将再次读取数据库,以发现与每一灾害模型相关联的灾害类型集。

与之相联系的置信因子s 通过计算支持该范例的模型的比例来确定。

完整的算法概括如下:beginopen 数据库文件;FT =Υ;//初始化F T ,FT 是所有可能的灾害集合。

//P =Υ;//初始化P ,P 是所有有关联的灾害模型集。

////建立F T 。

//for (i =0;i <n ;i ++)//n 为数据库的记录数。

对全部记录查找灾害类型。

//{　search for FTi ;if ((F Ti Υ)&&(FTiF T ))thenadd F Ti to FT ;}//建立P 。