基于灰色马尔可夫链的径流序列模式挖掘(1)

第41卷第1期2008年2月武汉大学学报(工学版)Eng ineer ing Jour nal of W uhan U niversity Vo l.41N o.1Feb.2008收稿日期:2007-04-20作者简介:赵雪花(1974-),女,博士,研究方向为水文水资源.基金项目:国家自然科学基金项目(编号:50479024);山西省青年科技研究基金项目(编号:2007021025);山西省自然科学基金项目(编号:2006011059)文章编号:1671-8844(2008)01-0001-04基于灰色马尔可夫链的径流序列模式挖掘赵雪花1,黄 强2,吴建华1(1.太原理工大学水利科学与工程学院,山西太原 030024; 2.西安理工大学水电学院,陕西西安 710048)摘要:河川径流受气候、地貌、土壤、植被等自然条件以及人类活动的耦合作用,其演变过程既表现出灰色禀性,同时也有强烈的随机性.探讨了径流序列模式挖掘的灰色系统方法,提出了综合考虑径流序列趋势变化与随机变化的灰色马尔可夫预测方法,并用于年径流序列预测.通过黄河上游贵德站年径流序列资料验证,该方法比GM (1,1)有更高的精度,满足规范要求,计算方法可行.结果可为黄河上游防洪抗旱、区域水资源管理、水利水电工程规划提供科学的依据.关键词:径流预测;灰色理论;马尔可夫链;黄河上游中图分类号:P 338 文献标志码:ARunoff series pattern mining based on grey Markov chainZH AO Xuehua 1,H UAN G Qiang 2,WU Jianhua 1(1.T aiyuan U niversit y of T echnolog y,T aiy uan 030024,China;2.Xi an U niv ersity of T echno lo gy ,X i an 710048,China)Abstract:Riv er runo ff is affected by co upling action o f human activity and natural conditio ns,including climatic chang e,topogr aphical features,so il and vegetation co ver.Its change pro cess show s both grey character and strong r ando mness.In this paper,grey system model of runo ff series pattern mining is discussed,considered trend chang e and stochastic chang e o f the runo ff series;and fo recasting method based on grey M arkov chain is presented to predict annual runo ff.Ex am ple of Guide station in the upper reaches o f the Yellow Riv er prov ed that fo recast pr ecision is higher than GM (1,1);the r esults meet the current standard;and this method is feasible.The conclusion can pro vide scientific base for flood co n -tro lling ,drought r esisting ,w ater resour ce m anagement and hydroelectric eng ineering planning in the upper reaches of the Yellow River.Key words:runoff forecasting;g rey theo ry;M arkov chain;upper reaches of the Yello w River 数据挖掘(Data M ining ,DM )就是从大量的、不完全的、有噪声的、模糊的、随机的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程[1].从水文角度来讲,就是对水文要素(如径流、降雨等)大量的、零乱的、存在干扰的相关数据加以分析提炼,从中发现和认识水文要素演变的内在规律,进而科学合理地进行防洪抗旱、区域水资源管理、水利水电工程建设.根据数据挖掘的基本概念,水文数据挖掘主要分为两种类型,一是描述式挖掘,二是预测式挖掘.预测式数据挖掘通过分析历史数据集,建立单个或一组模型,并试图通过模型对新数据集的行为做出预测,这种数据挖掘是水文领域当前研究的主要方面.典型数据挖掘的方法和技术要求数据量必须武汉大学学报(工学版)2008大到足够辨认出期望的关系,以便数据挖掘能够发现一些有价值的关系.然而这些方法在某些时候并不能很好地解决问题,原因是:(1)样本数据量不大或有残缺;(2)制约序列变化的因果关系太复杂,序列变化环节缺乏充分的依据,不确定性占有相当大的比重;(3)整体数据规律相当复杂,但在某一时间或空间的数据却有很强的规律性.河川径流序列是符合这些特征的非平稳随机序列.面对这类 贫 信息系统,必须寻求 贫 信息系统的数据挖掘技术.1 基于灰色系统理论的数据挖掘灰色系统理论适用于信息不完全、关系不明确的难以用一般方法分析的能量系统.灰色理论将随机量当作在一定范围内变化的灰色量,将随机过程当作在一定幅区和时区变化的灰色过程,具有广泛的适应性及相当的实用价值[2].由于河川径流不仅受制于天气系统的变化,还受下垫面、地理环境、人类活动等其他众多因素的影响,而这些影响因素大多具有不确定的时变特征,人类对水文资料信息的掌握又十分有限[3].因此,径流序列显示出复杂、多变的不确定性和对系统信息了解的不完全性[4].这些性质都体现了径流变化具有灰色禀性.灰色理论以GM(1,1)模型为基础,将无规律的原始数据通过 数据生成 (常用方式有累加生成(Accumulated Generating Operation,A GO)和累减生成(Inverse Accum ulated Generating Opera-tion,IAGO))后,使其变为有规律的生成数列,再建立数学模型.其核心是要抓住系统变化信息与规律,通过整体的不确定性分析,找到最佳预测的区间范围.它不仅强调信息源的开发利用,而且强调从杂乱无章的数据中找到内在规律.这一类方法的特点是充分利用已有灰信息,进行信息挖掘和补充,以达到解决问题的目的.GM(1,1)模型在描述系统整体发展趋势时有较好的效果,而对随机波动较大的径流序列,其精度较低.可以说,灰色系统理论在考虑了径流变化不确定性的同时,忽略了径流变化的随机性,因此,我们有必要提出综合考虑径流这两种特性的预测模型.2 灰色马尔可夫预测统.它根据状态之间的转移概率来推测一个系统未来的发展变化,而转移概率反映了各随机因素的影响程度,反映了各状态之间转移的内在规律.因此,适合描述随机波动性较大的预测问题[5].GM(1, 1)预测与马尔可夫概率矩阵预测可以优势互补, GM(1,1)模型用来揭示预测数据的发展趋势,而马尔可夫概率矩阵预测则用来确定状态的转移规律.把两者结合起来,能充分利用原始数据给予的信息,可大大提高随机波动性较大数据列的预测精度,为随机波动性较大的预测提供一种新方法. 2.1 灰色马尔可夫方法假定马尔可夫过程{X n,n T}的参数集T是离散的时间序列,即T={0,1,2, },则相应X n 可能取值的全体组成的状态空间是离散的状态集I={i0,i1,i2, }.设有随机过程{X n,n T},若对任意的整数{n T}和任意的i0,i1,i2, I,条件概率满足:P{X n+1=i n+1|X0=i0,X1=i1, ,X n=i n}= P X n+1=i n+1|X n=i n则称X n,n T为马尔可夫链.上式也是马尔可夫链的马尔可夫性的数学表达式.马尔可夫链的数学特性取决于条件概率:P{X n+1=i n+1|X n=i n}下面将结合建模过程,给出状态转移概率和状态转移矩阵的表达式.设X(0)=(x(0)(1),x(0)(2), ,x(0)(s))为原始数据,对于一组已知数据序列{x(0)(s)},按下式进行一次累加:x(1)(k)= k s=1x(0)(s)(1)得到一组生成列:X^(1)={x(1)(1),x(1)(2), ,x(1)(s)}(2)根据生成列,可建立白化形式的一阶微分方程:d x(1)/d t+ax(1)=u(3) 记辨识参数为^a=au(4)根据最小二乘法,有^a=(B T B)-1B T y(x(1)(1)+x(1)(2))(x(1)(2)+x(1)(3))(x(1)(s-1)+x(1)(s)2第1期赵雪花,等:基于灰色马尔可夫链的径流序列模式挖掘y S =x (0)(2)x (0)(3) x (0)(s)白化形式微分方程的解为x ^(1)(k +1)=(x(0)(1)-u a )e -a k +ua(6)对X ^(1)(k)进行累加(A GO)逆运算(IAGO),得X ^(0)(k)为X ^(0)(k)=X ^(1)(k)-X ^(1)(k -1)=[(x (0)(1)-u/a)e -a(k-1)+u/a]-[(x (0)(1)-u/a)e -a(k-2)+u/a]=(x (0)(1)-u/a)(1-e a )e -a(k-1)令b =x (0)(1)-u/a,则X ^(0)(k)=b(1-e a)e -a(k-1)(7)式中:X ^(0)(k)即为k 时刻按GM (1,1)模型求得的原始数据的预测值.令^Y (k )=X ^(0)(k),则^Y (k )反映了原始序列的总的变化趋势.为构造状态转移概率矩阵,首先作状态的划分,即将数据序列分成若干状态.状态划分就是以^Y (k)为基准,划分成与^Y (k )曲线平行的若干条形区域,每一条形区域构成一个状态.对于一个符合马尔可夫链特点的非平稳随机序列X ,可将其分为n 个状态,任一个状态 i 表达式为i =[ 1i , 2i ], 1 i(8)1i =^Y (k)+A i , 2i =^Y (k)+B i其中:i =1,2, ,n;A i ,B i 分别表示某一状态的上、下边界线到^Y (k)之 距离 .由于^Y (k)是时间的函数,因而灰元 1i 、 2i 随时间变化,即状态具有动态性.若M ij (m)为由状态 i 经过m 步转移到 j 状态的原始数据样本数,M t 为处于状态 j 的原始数据样本数,则可以定义P ij (m )=M ij /M i 为状态转移概率(i,j =1,2, ,n),并称P (m)=P 11(m)P 12(m) P 1n (m)P 21(m)P 22(m) P 2n (m)P n 1(m)P n 2(m )P n n (m)(9)为状态转移概率矩阵.状态转移矩阵P (m )反映了系统各状态之间的转移规律.状态转移概率P ij (m)反映了 i 经过m 步转移到 j 状态的概率.考察P (m),可以预测系统未来状态的转向.在实际中,一般只考虑1步转移概率矩阵P (1).设预测对象处于 k 状态,则考察P (1)中第k 行,若m ax j p kj =p kl ,则认为下一时刻系统最有可能由 k 状态转向 l 状态.若矩阵P 中第k 行有2个或2个以上概率相同或相近时,则状态的未来转向难以确定.此时,可能需要考察2步或m 步转移概率矩阵P (2)或P (m)(其中m 3).考察转移概率矩阵,确定了系统未来的转移状态后,也就确定了灰元 1i 和 2i ,即确定了预测值的变动灰区间[ 1i , 2i ].最可能的预测值^Y (k)可认为是该灰区间的中点,由^Y (k )=( 1i + 2i )/2确定,即^Y (k)=^Y (k)+(A i +B i )/2.2.2 径流的灰色马尔可夫预测黄河上游贵德站具有较长历史观测资料(1920~1998年径流系列),系列资料长达79年,包括足够的丰、平、枯水年及其组合,资料精度高,具有很好的代表性.应用上述理论,对贵德站1920~1990年的年径流数据进行模型构造,1991~1998年的数据用来检验.根据规范一般将年径流划分为特丰、偏丰、平水、偏枯、特枯5个等级,即4个状态[6].为了使结果更精确,将71(1920~1990年)个年径流数据的4个状态分别平分,即得8种状态,如图1所示.各个状态的区间分别为状态1:[^Y (k )+0.42y ,^Y (k)+0.56y]状态2:[^Y (k )+0.28y ,^Y (k)+0.42y]状态3:[^Y (k )+0.14y ,^Y (k)+0.28y]状态4:[^Y (k ),^Y (k )+0.14y ]状态5:[^Y (k )-0.14y ,^Y (k)]状态6:[^Y (k )-0.28y ,^Y (k)-0.14y]状态7:[^Y (k )-0.42y ,^Y (k)-0.28y]状态8:[^Y (k )-0.56y ,^Y (k)-0.42y]图1 年径流量状态划分3武汉大学学报(工学版)2008由图1可知,1920~1990年的年径流量处于8种状态的个数分别为:M1=2,M2=8,M3=9,M4=11,M5=16,M6=20,M7=3,M8=1.而由状态1转移到这8种状态的个数分别为M11=0,M12=0,M13=2,M14=2,M15=0,M16=0,M17=0,M18=0.根据状态转移概率计算公式,可以求得由状态1经过1步转移到这8种状态的概率分别为P11=0,P12=0,P13=1/2,P14=1/2,P15=0,P16=0,P17=0,P18=0.同理,可以求出其他的1步转移概率值.并得到1步状态转移概率矩阵:P=001/21/20000003/81/401/41/801/92/91/91/92/92/9001/111/1102/116/111/110001/81/81/81/41/41/161/1603/201/201/103/209/201/2000001/31/31/300000001001990年的年径流值处于状态6.由状态转移矩阵不难看出,经过1年转移,即1991年的年径流最有可能处于状态6.状态6区间为[^Y(k)-0.28y,^Y(k)-0.14y].因此,1991年年径流最有可能的预测值为^Y (72)=^Y(k)+12(-0.28-0.14)y=192.8连续预测8年的值,及其与实测值及GM(1, 1)预测值的比较如表1所示.表1 灰色马尔可夫与GM(1,1)预测结果比较年份实测值/亿m3灰色马尔可夫模型GM(1,1)预测值/亿m3预测误差/%预测值/亿m3预测误差/%1991163.9192.817.6244.349.1 1992208.3193.9 6.9245.417.8 1993226.2196.213.3246.48.9 1994174.1195.412.2247.442.1 1995166.9184.610.6248.448.8 1996150.7182.120.8249.565.6 1997148.7180.921.6250.568.5 1998177.7198.811.9251.641.6 GM(1,1)模型能够较好地拟合出黄河上游贵德站年径流的多年变化趋势,但从表1中看出,其用于逐年径流预测则误差较大,不太合适.而灰色马尔可夫模型兼有灰色预测模型和马尔可夫概率矩阵的优点,能充分利用历史数据给予的信息.此模型吸收了马尔可夫链描绘随机变化动态系统的优势,在灰色GM(1,1)模型得出的序列总体趋势上,通过状态转移,恰当地描述了序列的随机成分,较适合于年径流这样随机变化成分较大的序列.从预测结果来看,连续8年的预测中,取相对误差为20%,最大误差为21.6%,合格率为75%,满足规范要求[6].3 结 论(1)河川径流变化过程受大气与下垫面等诸多因子的综合影响,各影响因素间又相互影响、相互作用,导致目前仍很难定量分析和分离各个因素影响的程度与机理,故径流过程具有灰色禀性.(2)在过去灰色系统预测的基础上,考虑了年径流随机成分较大的特点,引入马尔可夫链,将这两者有机结合起来,既吸取灰色预测能较好地描述发展趋势的优点,又吸取马尔可夫状态转移能够描述系统随机变化的优势,首次采用灰色马尔可夫方法对年径流进行了预测,取相对误差为20%,合格率达75%,满足规范要求.与GM(1,1)预测相比,具有较高的精度.参考文献:[1] 冯建生.K DD及其应用[J].宝钢技术,1999,(3):27-32.[2] 袁秀娟,夏 军.径流中长期预报的灰色系统方法研究[J].武汉水利电力大学学报,1994,27(4):367-375.[3] 蒋晓辉,刘昌明,黄 强.黄河上中游天然径流多时间尺度变化及动因分析[J].自然资源学报,2003,18(2):142-147.[4] X ia Jun.A g rey relat ing analysis and pat tern identif-icatio n applied to mid-long-term r unoff fo recasting[M].IA HS P ublication,1994:221-228.[5] Yev jevich V.Stochast ic P rocess in H ydrolog y[M].Color ado:W ater Resources Publication,1972.[6] SL250-2000水文情报预报规范[S].北京:水利电力出版社,2000.4。