长短期记忆模型在小流域洪水预报上的应用研究
长短期记忆模型在小流域洪水预报上的应用研究
Journal of Water Resources Research 水资源研究, 2019, 8(1), 24-32Published Online February 2019 in Hans. /journal/jwrrhttps:///10.12677/jwrr.2019.81003Application of the Long Short-Term Memory Networks for Flood ForecastJiong Guo1, Yanjun Zhang1*, Junbo Wang1, Zhengying Yuan2, Jinjin Wu1, Wenxun Dong1, Sumiao Wang11State Key Laboratory of Water Resources and Hydropower Engineering Science, Wuhan University, Wuhan Hubei2Hydrology Bureau of Changjiang Water Resources Commission of the Ministry of Water Resources, Wuhan HubeiReceived: Feb. 2nd, 2019; accepted: Feb. 17th, 2019; published: Feb. 25th, 2019AbstractFlood forecasting is difficult in mountain watershed because precipitation data is scarce and hard to reflect spatial heterogeneity. To improve the accuracy of flood forecasting in mountain watershed, long short-term memory model (LSTM) and Xin’anjiang model are used to simulate flood in Guanshan river watershed. The results show that the Nash efficiency coefficient of verification period in the tra-ditional hydrological model is 0.55, while that in the LSTM is 0.7 with daily data from 1975 to 1987. LSTM can greatly improve the hydrological simulation and forecast effect in the areas lacking precipi-tation data.KeywordsLong Short-Term Memory (LSTM), Flood Forecast长短期记忆模型在小流域洪水预报上的应用研究郭炅1,张艳军1*,王俊勃1,袁正颖2,吴金津1,董文逊1,王素描11武汉大学水资源与水电工程科学国家重点实验室,湖北武汉2长江水利委员会水文局,湖北武汉收稿日期:2019年2月2日;录用日期:2019年2月17日;发布日期:2019年2月25日摘要在山区小流域,降水资料稀缺,且难以反应其降水的空间异质性,使得仅依靠降水资料进行洪水预报十分困难。
211010139_基于长短时记忆神经网络的水库洪水预报
图 $ 展示了一个 1F>I 记忆单元的典型结构# 在 W时刻"记忆单元的输入包括前一时刻的隐藏层 状态变量$记忆单元状态变量和当前时刻的输入信 息!然后模型依次通过遗忘门$输入门$输出门和这 - 个控制机制得到 W时刻的隐藏层状态变量和记忆 单元状态变量!最终会传入输出层生成 1F>I 在 W
GWj* G/% <W2$ "5W& kG+
*$+
式中 ! G,,,遗 忘 门 的 权 重 向 量! G,,,遗 忘 门 的
偏置向量"在神经网络训练中这些矩阵或向
量将被优化!,,,F:R([:< 激活函数#
下一步"计算输入门 ,W# ,W将决定从新获取的
信息中选择多少用以更新状态# ,W的计算公式如下'
基于长短时记忆神经网络的水库洪水预报
罗朝林#张!波#孟庆魁#陈武奋
珠江水利委员会珠江水利科学研究院广东!广州!%$#3$$
摘 要&精准的洪水预报是做好防洪排涝工作的重要手段之一#而长短时记忆神经网络! =[8RT94[N5T5;N( (;([Nc 8;PN*=8;5M[N'#1F>I" 具有很强的时间序列关系拟合能力#非常适用于模拟及预报流域产汇流这一复杂的时间序列 过程) 为探究 1F>I在水库洪水预报领域的适用性#在白盆珠流域针对不同预见期建立 1F>I模型#并与新安江模 型进行对比) 1F>I模型采用流域降雨及水位数据作为输入#不同预见期的水库水位过程作为输出#率定期为 % 年#验证期为 $ 年) 结果表明&1F>I在预见期为 $ z3 4 时都具有较高的预报精度#在预见期为 $ 4 时预报精度最 高#达到 #&BB$#随着预见期增长#模型精度逐渐降低#但其预报精度均高于新安江模型) 预见期以及隐藏层神经元 数量作为神经网络复杂程度的代表既会影响模型预报精度#也会影响模型训练速度) 结果证明了基于长短时记忆 神经网络模型具有较高的预报精度#对水库洪水预报具有指导意义) 关键词洪水预报,长短时记忆神经网络,预见期,训练速度,白盆珠水库 中图分类号>G$)->?3BA&$-!!文献标识码K!!文章编号$##$TB"-%"#""$"T#$")T#A
基于长短时记忆神经网络的水库洪水预报
基于长短时记忆神经网络的水库洪水预报罗朝林;张波;孟庆魁;陈武奋【期刊名称】《人民珠江》【年(卷),期】2022(43)12【摘要】精准的洪水预报是做好防洪排涝工作的重要手段之一,而长短时记忆神经网络(long-short-term memory neural network,LSTM)具有很强的时间序列关系拟合能力,非常适用于模拟及预报流域产汇流这一复杂的时间序列过程。
为探究LSTM在水库洪水预报领域的适用性,在白盆珠流域针对不同预见期建立LSTM模型,并与新安江模型进行对比。
LSTM模型采用流域降雨及水位数据作为输入,不同预见期的水库水位过程作为输出,率定期为5年,验证期为1年。
结果表明:LSTM在预见期为1~6 h时都具有较高的预报精度,在预见期为1 h时预报精度最高,达到0.991,随着预见期增长,模型精度逐渐降低,但其预报精度均高于新安江模型。
预见期以及隐藏层神经元数量作为神经网络复杂程度的代表既会影响模型预报精度,也会影响模型训练速度。
结果证明了基于长短时记忆神经网络模型具有较高的预报精度,对水库洪水预报具有指导意义。
【总页数】7页(P128-134)【作者】罗朝林;张波;孟庆魁;陈武奋【作者单位】珠江水利委员会珠江水利科学研究院【正文语种】中文【中图分类】TP183;TV697.13【相关文献】1.基于BP神经网络和遗传算法的丰满水库洪水预报模型研究2.基于BP神经网络的尼尔基水库短期洪水预报研究3.集合降雨预报驱动洪水预报模型的铁甲水库洪水预报研究4.加强水库科学精准洪水预报确保水库水电站运行安全——2020年白莲河水库洪水预报调度服务及思考5.基于长短时记忆(LSTM)神经网络的黄河中游洪水过程模拟及预报因版权原因,仅展示原文概要,查看原文内容请购买。
小流域水文学模型的构建与应用研究
小流域水文学模型的构建与应用研究近年来,随着气候变化与人类活动的影响,小流域水资源管理的难度不断加大。
传统的经验式调查方法无法准确反映流域内复杂的水文过程。
因此,小流域水文学模型成为一种研究小流域水文问题的有效手段。
本文将探讨小流域水文学模型的构建与应用研究。
一、小流域水文学模型的构建1. 数据采集小流域水文学模型的构建离不开数据的支持。
数据采集是模型构建的首要步骤。
数据的种类包括流量、降雨、蒸发、气温等。
这些数据可以通过高精度的水文测量仪表、气象站等设备采集到,也可以利用遥感技术获取。
数据量的大小与精度直接影响到模型的精度和适用性。
2. 模型选择小流域水文学模型可以分为统计模型和物理模型两种。
统计模型是通过数据统计和分析建立模型,无需考虑物理规律。
常见的统计模型包括灰色模型、ARMA模型、BP神经网络等。
物理模型则基于物理规律建立模型,模型参数可以通过实验室和现场观测确定。
常见的物理模型包括SWAT模型、MIKE SHE模型等。
根据实际情况和需要,选择不同类型的模型进行构建。
3. 参数估计模型的参数估计是模型构建的核心环节。
参数估计的目的是通过拟合观测数据使模型达到较高的精度。
在参数估计过程中,需要考虑模型结构、算法选择、初始参数等多个因素。
该环节是模型误差最容易产生的阶段,需要多次调整参数以达到最优。
4. 模型评价模型评价是对模型预测能力的检验。
评价标准包括相关系数、均方根误差、平均偏差等。
通过模型评价,可以了解模型的适用性、精度和优化空间。
如果模型评价不理想,需要重新调整参数或更换模型。
二、小流域水文学模型的应用小流域水文学模型的应用包括径流预测、水资源评估、水环境修复等。
下面以径流预测为例介绍小流域水文学模型的应用。
1. 利用模型进行径流预测小流域水文学模型可以实现对未来一段时间内径流量的预测。
预测的主要依据是历史数据和气象预报信息。
通过将这些信息输入已建立的模型中,即可得到未来一段时间内的径流量预测结果。
基于混合深度学习模型的洪水过程概率预报研究
2023年8月水 利 学 报SHUILI XUEBAO第54卷 第8期文章编号:0559-9350(2023)08-0889-10收稿日期:2022-09-23;网络首发日期:2023-04-19网络首发地址:https:??kns.cnki.net?kcms?detail?11.1882.TV.20230418.1158.001.html基金项目:国家重点研发计划项目(2021YFC3200301);国家自然科学基金项目(U20A20317)作者简介:崔震(1997-),博士生,主要从事水文水资源研究。
E-mail:zhencui@whu.edu.cn通信作者:郭生练(1957-),教授,挪威工程院外籍院士,主要从事水文水资源研究。
E-mail:slguo@whu.edu.cn基于混合深度学习模型的洪水过程概率预报研究崔 震1,郭生练1,王 俊1,2,张 俊2,周研来1(1.武汉大学水资源与水电工程科学国家重点实验室,湖北武汉 430072;2.长江水利委员会水文局,湖北武汉 430010)摘要:传统的人工神经网络模型无法量化洪水预报的不确定性,而且在多时段连续预报中未考虑输出的时间相关性。
本文通过融合新安江(XAJ)模型、基于外源输入编码-解码(EDE)结构的长短期记忆(LSTM)神经网络和混合密度网络(MDN),构建了XAJ-LSTM-EDE-MDN混合深度学习模型,以实现洪水过程概率预报。
该模型在考虑预报洪水时间相关性的前提下,将解码过程产生的点估计转化为条件概率分布的估计;进一步采用最大似然估计法建立了损失函数,通过自适应矩估计(Adam)算法优选模型参数。
在陆水和建溪两个流域的研究结果表明:该模型在不降低XAJ-LSTM-EDE模型预报精度的前提下,可有效反映预报洪水过程的不确定性,获得合理可靠的置信区间和优良的概率预报性能,为水库防洪调度等决策提供更多的风险信息,同时为研究深度学习在洪水概率预报中的应用提供参考。
基于LSTM神经网络的水电站短期水位预测方法
基于 LSTM 神经网络的水电站短期水位预测方法
刘亚新,樊启祥,尚毅梓,樊启萌,刘志武
( 中国长江三峡集团有限公司,北京摇 100038)
摘要:针对常规水位预测方法信息挖掘能力不足和启发式算法机理不明确等缺点,提出了一种基于 长短时记忆( long short鄄term memory, LSTM) 网络的水位预测方法。 该方法采用水位和出力等直接 监测数据,避免了出入库流量等间接计算值带来的二次误差,进而提升水位预测的准确率;采用梯 度下降法与 Broyden鄄Fletcher鄄Goldfarb鄄Shanno (BFGS)算法相结合训练模型,Wolfe鄄Powell 线搜索方法 选取步长,提高模型收敛速率。 将该方法用于葛洲坝水电站的上下游水位预测,结果表明,该方法能 够实现下游水位连续 6 h 和上游水位连续 3 h 的准确预测,具有较高的预测精度和实用性,为葛洲坝水 库的实时调度提供了技术支撑。 关键词:长短时记忆网络;短期水位预测;梯度下降法;BFGS 算法;Wolfe鄄Powell 线搜索方法 中图分类号:TV131摇 摇 摇 文献标志码:A摇 摇 摇 文章编号:1006 7647(2019)02 0056 05
Short鄄term water level prediction method for hydropower station based on LSTM neural network / / LIU Yaxin, FAN Qixiang, SHANG Yizi, FAN Qimeng, LIU Zhiwu( China Three Gorges Corporation, Beijing 100038, China) Abstract: In order to overcome the shortcomings such as insufficient information mining capability of conventional water level prediction methods and unclear mechanism of heuristic algorithms, an water level prediction method based on long short鄄term memory ( LSTM) neural network is proposed. Direct monitoring data such as water level and unit output are used in this method and the middle errors caused by the indirect calculation of the outflow and inflow can be avoided, which improves the accuracy of water level prediction. A hybrid method based on the gradient descent algorithm and Broyden鄄 Fletcher鄄Goldfarb鄄Shanno ( BFGS) algorithm is used to train the model, and the step length is determined by the Wolfe鄄 Powell line search method to accelerate convergence. The proposed method is used to predict the water level at the upstream and downstream of the Gezhouba Hydropower Station. The results show that this method can continuously predict the downstream water level for 6 hours and the upstream water level for 3 hours with high accuracy, providing technical support for the real鄄time scheduling of the Gezhouba Reservoir. Key words: LSTM; short鄄term water level prediction; gradient descent algorithm; BFGS algorithm; Wolfe鄄Powell line search method
基于长短时记忆神经网络(lstm)的降雨径流模拟及预报
基于长短时记忆神经网络的鄱阳湖水位预测
J.LakeSci.(湖泊科学),2020,32(3):865⁃876DOI10 18307/2020 0325©2020byJournalofLakeSciences基于长短时记忆神经网络的鄱阳湖水位预测∗郭㊀燕1,2,赖锡军1∗∗(1:中国科学院南京地理与湖泊研究所,中国科学院流域地理学重点实验室,南京210008)(2:中国科学院大学资源与环境学院,北京100049)摘㊀要:湖泊水位是维持其生态系统结构㊁功能和完整性的基础.鄱阳湖受流域 五河 和长江来水双重影响,水位变化复杂.为了准确预测鄱阳湖水位变化,采用长短时记忆神经网络方法(LSTM)构建了鄱阳湖水位预测模型.该模型以赣江㊁抚河㊁信江㊁饶河和修水 五河 入湖流量和长江干流流量作为输入条件,预测鄱阳湖湖区不同代表站(湖口㊁星子㊁都昌㊁吴城和康山)的水位过程.研究以19561980年的水文时间序列数据作为训练集,19812000年作为验证集,探讨了LSTM模型输入时间窗㊁隐藏神经元数目㊁初始学习率等模型参数对预测精度的影响,并确定了鄱阳湖水位预测模型的最优参数.结果表明,采用LSTM神经网络方法可基于流域 五河 和长江来水量历时数据合理预测鄱阳湖不同湖区的水位过程,五站水位预测的均方根误差为0.41 0.50m,纳什效率系数和决定系数达0.96 0.98.为考察模型训练数据集对鄱阳湖水位预测结果的影响,进一步选取了随机5年(19561960年)的资料和5个典型水文年(1954年㊁1973年㊁1974年㊁1977年和1978年)的日均流量资料来训练模型.结果显示随机5年资料作为训练数据的预测精度要差于典型年水文资料训练得到的模型,尤其是洪㊁枯水位的预测;由于典型水文年数据量仍远低于20年的资料,故其总体预测精度要略低于采用20年资料训练的模型.建议应用这类基于数据驱动的模型时,应该尽可能多选取具有代表性的资料来训练.关键词:湖泊水位;LSTM循环神经网络;模型参数;训练集;鄱阳湖WaterlevelpredictionofLakePoyangbasedonlongshort⁃termmemoryneuralnetwork∗GUOYan1,2&LAIXijun1∗∗(1:KeyLaboratoryofWatershedGeographicSciences,NanjingInstituteofGeographyandLimnology,ChineseAcademyofSciences,Nanjing210008,P.R.China)(2:CollegeofResourcesandEnvironment,UniversityofChineseAcademyofSciences,Beijing100049,P.R.China)Abstract:Lakewaterlevelisthebasisformaintainingthestructure,function,andintegrityofitsecosystem.ThewaterlevelchangeofLakePoyangiscomplicatedasitwasaffectedbyfiveriverswithinthebasinandtheYangtzeRiver.ToaccuratelypredictthewaterlevelchangeofLakePoyang,thelongshort⁃termmemory(LSTM)isusedtoconstructthewaterlevelpredictionmodelofLakePoyang.ThemodelusestheflowsoftheGanjiangRiver,FuheRiver,XinjiangRiver,RaoheRiver,XiushuiRiverandthemainstreamoftheYangtzeRiverasinputconditionstopredictthewaterlevelprocessofdifferentrepresentativestationsintheLakePoyangarea(Hukou,Xingzi,Duchang,WuchengandKangshan).Thehydrologicaltimeseriesdatafrom1956to1980isusedasthetrainingset,anddatafrom1981to2000wasusedastheverificationset.Theinfluenceofmodelparameterssuchasinputtimewindow,hiddenneuronnodesandinitiallearningrateonpredictionaccuracyisdiscussed.TheoptimalparametersoftheLakePoy⁃angwaterlevelpredictionmodelaredetermined.TheresultsshowthattheLSTMcanaccuratelypredictthewaterlevelatdifferentpartsofLakePoyangbasedonthewaterflowfromthefiveriversandtheYangtzeRiver.TheRMSEvalueofthefivestationsis0.41-0.50m,andtheNSEandR2are0.96-0.98.InordertoinvestigatetheimpactofthemodeltrainingsetonthewaterlevelpredictionresultsofLakePoyang,thestudyfurtherselectsdatafrom5randomyears(1956-1960)and5typicalhydrologicalyears(1954,1973,1974,1977and1978)dailyaverageflowdatatotrainthemodel.Theresultsshowthatthepredictionaccura⁃∗∗∗2019-06-10收稿;2019-11-06收修改稿.中国科学院战略性先导科技专项(A类)(XDA230402)资助.通信作者;E⁃mail:xjlai@niglas.ac.cn.866㊀J.LakeSci.(湖泊科学),2020,32(3)cyofrandom5yearsdataastrainingsetisworsethanthatoftypicalannualhydrologicaldatatraining,especiallythepredictionoffloodanddrywaterlevel;sincethetypicalhydrologicaldatavolumeisstillmuchlowerthan20yearsofdata,theoverallpredictionaccuracyisslightlylowerthanthemodelwith20yearsofdatatraining.Therefore,representativedatashouldbeselectedasmuchaspossiblefortraining,whenapplyingsuchadata⁃drivenLSTMneuralnetworkmodel.Keywords:Lakewaterlevel;LSTMneuralnetwork;modelparameters;trainingset;LakePoyang鄱阳湖是中国第一大淡水湖,水量主要来自流域 五河 .汛期,长江水可能倒灌鄱阳湖.鄱阳湖是典型的季节性吞吐型湖泊,水位年内年际变化剧烈,具有 洪水一片,枯水一线 的特征.每年46月为鄱阳湖主汛期,湖水位随 五河 来水的增加而升高;79月是长江主汛期,受到长江高水位的顶托作用,湖水位进一步升高;每年10月次年3月鄱阳湖属于枯水期,水位较低.水位变化会导致湿地植被分布以及候鸟栖息等也相应发生改变[1⁃3].近十几年来,在气候变化和高强度的人类活动影响下,鄱阳湖水情发生了剧烈的变化,特别是枯水问题突出,出现了枯水发生时间提前㊁持续时间延长的现象.湖区生态环境因水量平衡的变化面临威胁[4⁃5].鄱阳湖水量平衡近年成为了学界关注热点.为阐明鄱阳湖的水量变化,开展了大量卓有成效的研究,建立了诸多水文水动力模型和数理统计模型,分析了气候变化和不同类型的人类活动对鄱阳湖水量的影响过程以及江湖交互作用下湖泊水位的变化特征[6⁃9].水动力模型可实现过程的精细模拟,但是水动力系统庞大㊁需要非常完善的基础资料㊁计算复杂㊁耗时较长,对水位高效预测仍存挑战[10⁃11].数理统计方法(如:多元线性回归(MLR)㊁累积距平曲线(CPC)㊁概率分布函数(PDF)㊁泰尔森方法(TSA))简单易行,主要用于长时间尺度的变化检验分析[12⁃16].鄱阳湖水位受流域 五河 和长江来水多重控制,其变化与 五河 来水和长江来水有着非常复杂的非线性关系[17],难以采用简单的统计模型模拟预测水位和来水的响应关系.人工神经网络方法作为一种数据驱动的自适应性方法,没有先验假设,可较好地模拟预测复杂的非线性作用关系,也在鄱阳湖得到了应用[18].近年来,基于人工神经网络的深度学习算法得到了飞速发展.特别是长短时记忆神经网络方法(longshort⁃termmemory,LSTM),它通过循环反馈结构存储历史信息,具有较强的时间序列问题求解能力,在模拟预测水文时间序列问题中受到关注.Zhang等[19]基于雨量器和水位传感器的在线数据,比较了不同神经网络结构在模拟和预测挪威Drammen联合下水道结构水位方面的性能,证实了LSTM比没有显式细胞记忆的传统架构更适合于多步预测.Zhang等[20]使用LSTM预测农业地区的地下水位,并将基于LSTM方法的预测结果与传统神经网络的预测结果进行了比较,发现前者的性能优于后者.Lee等[21]利用基于物理的水文模型SWAT和数据驱动的深度学习算法LSTM,在湄公河下游Kratie站进行了径流模拟.Liu等[22]提出了改进的CA⁃LSTM上下文感知神经网络,基于收集到的洪水因子序列数据对洪水进行了预测.鄱阳湖水位受江湖共同制约,其变化与流域 五河 来水量及长江来水量具有非常复杂的非线性关系.本文选取鄱阳湖为研究对象,采用LSTM神经网络方法,建立鄱阳湖水位日尺度的预测模型,探讨其用于预测江湖交互作用下鄱阳湖水位变化过程的潜力,为鄱阳湖水量平衡研究提供一个快速有效的预测方法.1数据和方法1.1研究区概况鄱阳湖(28ʎ24ᶄ 29ʎ46ᶄN,115ʎ49ᶄ 116ʎ46ᶄE)位于长江中下游南岸,北部较平坦,东西南三面环山,全流域总体地势是南高北低,南部地形起伏变化较大,形成了一个以鄱阳湖为底,向北开口连接长江的巨大盆地.鄱阳湖流域由赣江㊁抚河㊁信江㊁饶河和修水5个相互独立的子流域组成,与湖区共同形成了一个完整的流域系统,流域总面积为16.2ˑ104km2[16,23].多年平均径流量为1491亿m3,水位年内变幅为9.59 15.36m.1.2研究数据选用 五河 流域外洲站㊁李家渡站㊁梅港站㊁渡峰坑站㊁虎山站㊁万家埠站和长江中游汉口站7站逐日平均流量数据以及湖口站㊁星子站㊁都昌站㊁吴城站和康山站5站逐日平均水位数据建模,时间序列长度均为19562000年,监测站点分布见图1.1.3LSTM基本原理1.3.1LSTM前向计算㊀LSTM是1997年Hochreiter和Schmidhuber[24]为了解决RNN模型的梯度消失或爆炸郭㊀燕等:基于长短时记忆神经网络的鄱阳湖水位预测867㊀图1鄱阳湖监测站点的空间分布Fig.1LocationofsamplingsitesintheLakePoyang缺陷而开发的一种复杂的递归模型.Gers等[25]正式提出LSTM网络层是由遗忘门f㊁输入门i㊁记忆单元C和输出门o组成(图2).LSTM的关键是记忆单元,它像传送带一样,将信息从上一个单元传递到下一个单元.图2LSTM内部结构示意图Fig.2SchematicdiagramoftheinternalstructureofLSTM首先,决定从记忆单元中增减多少信息.遗忘门本质上是一个σ神经网络层,根据前一时刻的输出ht-1和当前的输入Xt,产生一个介于0和1之间的ft值:ft=σ(Wxf㊃Xt+Whf㊃ht-1+bf)(1)接下来,确定将在记忆单元中存储哪些新信息.这一部分由一个σ神经网络层和一个tanh神经网络层两部分组成.输入门根据前一时刻的输出ht-1和当前的输入Xt,产生一个介于0和1之间的it值:it=σ(Wxi㊃Xt+Whi㊃ht-1+bi)(2)tanh神经网络层产生一个新的候选向量^C:868㊀J.LakeSci.(湖泊科学),2020,32(3)^C=tanh(Wxc㊃Xt+Whc㊃ht-1+bc)(3)从而更新记忆单元:Ct=ft㊃Ct-1+it㊃^C(4)最后,我们决定输出什么信息.首先,运行一个σ神经网络层来决定输出记忆单元的哪些部分.然后,通过tanh神经网络层将Ct值调整为-1 1,并将其乘以σ神经网络层的输出,最终得到目标信息.ot=σ(Wxo㊃Xt+Who㊃ht-1+bo)(5)ht=ot㊃tanh(Ct)(6)式(1 6)中,f㊁i㊁o㊁C和h分别是遗忘门㊁输入门㊁输出门㊁记忆单元和输出信息,W是相应的权重矩阵,b是偏差矩阵,σ和tanh是激活函数.1.3.2LSTM反向训练㊀神经网络训练的过程是去寻找最优参数,使得模型收敛,即损失函数达到极小甚至最小的过程.网络通过反向传播损失函数,利用梯度下降法迭代更新网络的权重[26⁃27].我们选取最常用的均方误差计算损失函数:loss=1mðmi=1(yi-^yi)2(7)式中,loss为损失函数,yi和^yi分别为i时刻的观测值和预测值.1.4模型评估标准LSTM是通过已有的训练样本(即已知数据及对应的输出)去学习得到一个最优模型,再利用该模型将所有的输入映射为相应的输出.我们采用均方根误差(RMSE)㊁纳什效率系数(NSE)和决定系数(R2)3个指标对模型模拟的效果进行评价[28].RMSE=ðni=1(Yobsi-Yprei)2n(8)RMSE值为0表示观测值与预测值完全吻合.NSE=1-ðni=1(Yobsi-Yprei)2ðni=1(Yobsi-Ymean)2éëêêêùûúúú(9)NSE是一个参数,它决定了剩余方差(噪声)相对于测量数据(信息)中的方差的相对重要性,取值范围为负无穷至1.接近1,表示模拟效果好,模型可信度高;接近0,表示模拟结果接近观测值的平均值水平,即总体结果可信,但过程模拟误差大.R2=(ðni=1(Yprei-Ymeanpre)(Yobsi-Ymean))2ðni=1(Yprei-Ymeanpre)2ðni=1(Yobsi-Ymean)2éëêêêùûúúú(10)式(8 10)中,Yobsi㊁Yprei㊁Ymean和Ymeanpre分别表示观测值㊁预测值㊁观测值的平均值和预测值的平均值,n为数据长度.R2取值为0 1,越大表示模型拟合效果越好.2鄱阳湖水位预报模型构建2.1模型结构采用单层LSTM循环神经网络建模,输入长江和 五河 来水量,其中长江水量以汉口站流量为代表, 五河 水量以赣江外洲站㊁抚河李家渡站㊁信江梅港站㊁饶河渡峰坑站和虎山站㊁修水万家埠站流量为代表,输出湖口站㊁星子站㊁都昌站㊁吴城站和康山站5个代表站的水位,实现根据 五河 来水量和长江来水量组合预测鄱阳湖湖区未来1d水位的空间分布,神经网络结构见图3,表达式为:ht+1i=f(Qtj,Qt-1j, ,Qt-n+1j)(11)式中,ht+1i为未来1d的水位,Qtj为当前时刻流量,Qt-n+1j为输入时间窗为前n天时刻的流量.郭㊀燕等:基于长短时记忆神经网络的鄱阳湖水位预测869㊀图3单层长短时记忆网络LSTM模型结构Fig.3StructureofasinglelayerLSTMmodel数据之间的差异性会对模型的学习能力产生负面影响.因此,为了保证构建的模型中参数能够稳定收敛,在神经网络训练之前需对其进行预处理,以确保所有变量保持在相同的量表上[29⁃30].我们对所有数据进行[0,1]归一化处理:X=Xori-XminXmax-Xmin(12)式中,X是归一化后的数据,Xori是原始数据,Xmax和Xmin分别是原始数据的最大值和最小值.模型损失函数选用均方根误差,优化选取基于梯度下降的ADAM算法,采用Dropout正则化方法防止模型过拟合[31⁃33].训练集为19561980年的水文时间序列数据,验证集数据长度为19812000年.在LSTM神经网络中,输入时间窗㊁隐藏神经元数目㊁初始学习率大小等重要参数会直接影响到模型预测效果.所以,接下来我们将对模型中的这些参数进行优选.2.2模型参数优选2.2.1输入时间窗长短对模型模拟效果的影响㊀鄱阳湖作为大型通江洪泛湖泊,其入湖流量与湖泊水位关系呈现明显的非线性特征,加之长江与湖泊之间相互作用的复杂性,湖泊流量与水位之间呈现多种对应关系[34]. 五河 水量经一段时间传输入湖,鄱阳湖接受 五河 及长江来水进行调蓄作用,因而水位和流量并不总是同步变化,存在明显的相位滞后效应,输入时间窗的优选计算就是确定流量水位之间滞后时长的过程.我们计算并比较了不同长短的输入时间窗(1 10d,即分别将当前时刻的流量㊁前2d内的流量㊁ ㊁前10d内的流量作为输入变量)下,根据 五河 来和长江来水量,组合预测鄱阳湖湖区未来1d的水位空间分布.同时,为了确保模型较高的准确率,隐藏神经元数目应尽量多取,设置了100个;初始学习率大小应定义为较小的值,设置为0.001.不同输入时间窗模式下模型拟合评价指标计算结果如图4所示.虽然神经网络模型的外延效果一般不是很理想,但可通过反复对模型调试计算㊁选取最适宜的输入时间窗来提高模型预测效果.图4结果表明:不同输入时间窗下,湖口站水位预测的效果均最好,其次分别是星子站㊁都昌站和吴城站,康山站水位预测效果为五站中最差.利用当前时刻的七站流量来预测未来1d的鄱阳湖五站水位时,湖口站训练和验证过程的RMSE均较大,分别为0.91m和0.79m.NSE和R2相对较小,训练阶段NSE为0.94,R2为0.95;验证阶段NSE和R2均为0.96.随着输入时间窗逐步延长,模型训练和验证870㊀J.LakeSci.(湖泊科学),2020,32(3)图4不同输入时间窗下模型训练和验证过程的模拟结果Fig.4Simulationresultsofmodeltrainingandverificationunderdifferentinputtimewindows阶段的模拟效果都稳步提高.当输入时间窗为7d时,模型各项性能指标已达到很好的效果,继续增大输入时间窗,模型预测效果没有明显提高.因此,我们选择利用 五河 六站及长江干流汉口站这七站前7d内的流量来预测鄱阳湖湖口㊁星子㊁都昌㊁吴城和康山站未来1d的水位.其中,湖口站训练和验证阶段的RMSE分别为0.62和0.55m,NSE分别为0.97和0.98,R2均为0.98.2.2.2隐藏神经元数目对模型模拟效果的影响㊀LSTM网络层中隐藏神经元数目是影响模型预测结果准确率的重要参数之一.若数量太少,网络不能很好地学习,需要训练的次数也多,训练精度也不高;若数量太多,训练时间又较长,甚至可能导致模型不收敛[35⁃36].因此,我们进一步计算了隐藏神经元数分别为1㊁5㊁10㊁20㊁30㊁40㊁50㊁100㊁200㊁500共10种模式下,根据前7d 五河 六站及汉口站流量组合预测鄱阳湖5站未来1d的水位空间分布,相应的训练和验证阶段模型拟合评价指标的计算结果如图5所示.计算结果表明,一定范围内随着隐藏神经元数目的增加,模型在训练和验证阶段的水位预测效果均稳步提高,但当隐藏神经元数目增加到一定值之后,继续增加其数量模型预测效果变化不大.隐藏神经元数为1个时,各站水位预测效果最差.湖口站水位训练和验证阶段的RMSE均高达1.0m以上,分别为1.02和1.13m,NSE和R2均相对较低.隐藏神经元数目为50个时,各站水位预测效果的评估指标均达到平稳.其中,作为5个水位站中预测效果最差的康山站,RMSE仅为0.45m,NSE为0.95,R2为0.96.考虑到模型预测精度以及计算时间,我们设置了50个隐藏神经元节点.模型训练阶段的RMSE为0.61m,NSE为0.97,R2为0.98;验证阶段的RMSE为0.53m,NSE为0.98,R2也为0.98.2.2.3初始学习率大小对模型模拟效果的影响㊀学习率表示每次迭代后权重的更新量,学习率太小,模型更新速度慢;学习率过大,模型可能错过最优解.为了找到模型的全局最优解,我们借助基于梯度下降的具有相当鲁棒性的ADAM自适应学习率优化算法作为优化器[37],算法描述为:mt=β1㊃mt-1+1-β1()gt(13)vt=β2㊃vt-1+1-β2()g2t(14)^mt=mt1-βt1(15)郭㊀燕等:基于长短时记忆神经网络的鄱阳湖水位预测871㊀图5隐藏神经元数目对模型训练和验证过程的模拟结果的影响Fig.5Theeffectofthenumberofhiddennodesonthesimulationresultsofmodeltrainingandverification^vt=vt1-βt2(16)Wt+1=Wt-η^vt+ε^mt(17)式中,mt和vt分别为一阶动量项和二阶动量项;β1和β2为动力值大小,通常分别取0.9和0.999;^mt和^vt为各自的修正值;Wt表示第t次迭代时模型的参数;gt为梯度;ε是一个取值很小的数(一般为10-8),为了避免分母为0.计算了4种初始学习率(分别为0.1㊁0.01㊁0.001和0.0001)下模型训练和验证阶段损失函数的大小(图6).我们发现,初始学习率为0.1时,损失函数曲线随着迭代次数的增加发生不同幅度的震荡,此时学习率选择过大;当初始学习率为0.01时,训练阶段的损失函数具有较好的学习过程,但验证阶段的损失函数曲线迅速下降,模型学得太快,基于对模型精度和速度的综合考虑,认为初始学习率过大;当初始学习率为0.0001时,则经过较长时间模型才得以收敛.因此,我们选取训练和验证阶段均有很好的学习过程曲线的0.001作为最适初始学习率,且模型快速地收敛于0.03.此时,五站中水位预测效果最好的湖口站,训练和验证阶段的RMSE分别为0.58和0.50m,NSE均为0.98,R2也均为0.98.预测效果相对最差的康山站,验证阶段的RMSE为0.42m,NSE和R2分别可达0.95和0.96.康山站的RMSE值反而比湖口站的低,是因为各站年内水位变幅存在差异,康山站多年年内变幅均值为6.03m,而湖口站可达12.00m.3水位预测3.1预测结果分析综上所述,最终我们建立了含50个隐藏神经元的单层LSTM神经网络,采用基于梯度下降的自适应学习率的ADAM优化算法,初始学习率为0.001,利用 五河 六站和长江干流共7个流量站前7d内的日均流量,组合预测鄱阳湖从北到南5个水位站未来1d的日均水位.将19561980年水文序列数据作为训练集,19812000年数据对模型进行验证.构建的LSTM模型对湖口㊁星子㊁都昌㊁康山和吴城站的水位预测精度872㊀J.LakeSci.(湖泊科学),2020,32(3)图6初始学习率大小对模型训练和验证过程的模拟结果的影响Fig.6Theeffectoftheinitiallearningrateonthesimulationresultsofmodeltrainingandverification较高,模型拟合的各项评价指标如表1所示,训练阶段和验证阶段RMSE都很小,范围分别为0.48 0.60m和0.41 0.50m.同时,训练和验证阶段的NSE和R2都很大,几乎接近于1.其中,训练阶段和验证阶段的NSE范围分别为0.92 0.98和0.96 0.98;两个阶段的R2范围则分别为0.93 0.98和0.96 0.98.湖口站和星子站19812000年水位预测的验证结果如图7所示,以两站2000年的水位过程线为例,湖口站年均水位实测值和预测值分别为12.98和13.26m.最高日均水位实测值为18.10m,预测值较之大0.62m,但与年均水位相比,相差较小,具有较强的可靠性.日均最低水位的实测值与预测值分别为7.73和7.61m,较年均和年最高水位值的预测结果更精确.构建的LSTM模型对湖泊最下游湖口站的水位预测精度最高,从最上游康山站至湖口站,模型对五站水位预测精度有逐步增强的趋势,这可能和湖区各站受长江的顶托关系逐渐趋弱有关.表1最佳模型评价指标计算结果Tab.1Calculationresultofbestmodelevaluationindex数据类型评价指标湖口站星子站都昌站康山站吴城站训练数据RMSE/m0.580.600.580.480.54NSE0.980.970.960.920.95R20.980.970.960.930.96验证数据RMSE/m0.500.490.460.410.50NSE0.980.980.970.960.96R20.980.980.970.960.973.2模型能力比较为了充分验证本文构建的LSTM模型的水位模拟精度,突出模型的优势以及后续模型应用,我们也用一般的循环神经网络BP神经网络对鄱阳湖水位进行模拟,并与LSTM模型的模拟精度进行对比.BP神经网㊀郭㊀燕等:基于长短时记忆神经网络的鄱阳湖水位预测873图719812000年湖口站(a)和星子站(b)水位预测结果Fig.7WaterlevelpredictionresultsofHukoustation(a)andXingzistation(b)from1981to2000络同样是将19561980年水文序列数据作为训练集,19812000年数据对模型进行验证,利用 五河 六站和长江干流共7个流量站前7d内的日均流量,组合预测鄱阳湖从上游到下游5个水位站未来1d的日均水位.比较了两种方法的各项评价指标(表2).表2两种神经网络方法验证阶段评价指标计算结果对比Tab.2Comparisonofevaluationindexcalculationresultsoftwomethodsinthetestingstage模型评价指标湖口站星子站都昌站康山站吴城站LSTMRMSE/m0.500.490.460.410.50NSE0.980.980.970.960.96R20.980.980.970.960.97计算速度/s㊀㊀㊀㊀21.66BPNNRMSE/m0.850.860.870.770.82NSE0.950.940.910.840.90R20.950.940.920.870.91计算速度/s㊀㊀㊀㊀138.82㊀㊀对五站水位的预测,LSTM模型得到的最佳RMSE值均低于0.50m,而BPNN模型得到的最佳RMSE值除最上游康山站为0.77m,其他四站的RMSE值均高于0.80m;LSTM模型得到的NSE,预测精度最低的康山站水位也达到0.96,而BPNN得到的NSE,预测精度最高的湖口站水位也仅有0.95.不难看出,我们构建的LSTM模型模拟精度明显强于BPNN模型.除了模拟精度外,计算速度也是衡量模型性能的一个重要指标.计算了两种模型的计算速度,结果表明,LSTM模型的计算速度(21.66s)明显快于BPNN的计算速度(138.82s).综上,构建的LSTM模型在精度和速度上较BPNN模型均具有明显的优势.874㊀J.LakeSci.(湖泊科学),2020,32(3)图8三种训练数据集下模型验证结果比较Fig.8Comparisonofmodelverificationresultsunderthreetrainingdatasets3.3训练数据集的影响实际情况中,应尽可能选取足够多的数据来建模,但由于各种不可抗因素,往往无法获取完整的水文时间序列数据.为此,我们需要考虑选用不同的训练数据集,分析模型的效果.我们基于水文时间序列数据自身的特点,利用上述参数设计好的LSTM模型,设计3种方案分别对五站水位进行预测,分别为:①训练集数据为长时间序列(19561980年);②训练集数据较短时间序列(19561960年);③训练集数据时间序列为5个典型年:1954年㊁1973年㊁1974年㊁1977年和1978年.根据‘水文情报预报规范“(GB/T224822008)中的距平百分率划分径流丰平枯的标准,1954年和1973年是典型的丰水年,1977年是平水年,1974年和1978年为典型的枯水年.利用19812000年的数据进行验证,比较3种训练集数据模式下模型拟合的效果.图9三种训练集训练模式下都昌站19812000年水位预测结果Fig.9WaterlevelpredictionresultsofDuchangstationfrom1981to2000underthreetrainingsets五站水位预测效果的各项评价指标计算结果如图8所示,同种预测方案中,湖口站水位预测效果均最好,康山站均最差.方案①中,湖口站验证阶段RMSE㊁NSE和R2分别为0.51m㊁0.98和0.98;康山站相应的指标计算结果分别为0.43m㊁0.95和0.95.方案②中,五站水位预测的效果明显降低.湖口站RMSE㊁NSE和R2分别为0.93m㊁0.94和0.97;康山站相应的指标计算结果分别为0.88m㊁0.80和0.91.方案①和方案②中训练集的样本量分别为9126和1827.而将样本量为1820个的5个典型年的数据作为训㊀郭㊀燕等:基于长短时记忆神经网络的鄱阳湖水位预测875练数据进行模型训练时,五站水位的预测效果与方案①相比较差,但明显优于方案②的预测效果.湖口站RMSE㊁NSE和R2分别为0.76m㊁0.96和0.96;康山站相应的指标计算结果分别为0.56m㊁0.92和0.93.所以,我们在利用LSTM神经网络预测湖泊水位时,应尽可能选取足够长时间序列的数据.若因为不可抗因素无法获取完整的数据序列,选取涵盖各种代表性数据的典型年数据进行训练,也可以获得较好的模型预测效果.都昌站代表鄱阳湖主湖区水位,3种方案下其水位预测的结果如图9所示(其他水位站预测结果与其相似,故图省略),当19561980年数据作为训练时间序列时,五站多年水位的预测值与真实值之间具有非常高的对应关系.19561960年是鄱阳湖典型的枯水期,因而模型通过训练能够较好地反映低水位特征.5个典型年涵盖了几个重要的丰㊁枯水年信息,总体预测效果介于前两者之间.4参考文献[1]㊀HuiFM,XuB,HuangHBetal.Modellingspatial⁃temporalchangeofLakePoyangusingmultitemporalLandsatimagery.InternationalJournalofRemoteSensing,2008,29(20):5767⁃5784.DOI:10.1080/01431160802060912.[2]㊀KanaiY,UetaM,GermogenovNetal.MigrationroutesandimportantrestingareasofSiberiancranes(Grusleucogera⁃nus)betweennortheasternSiberiaandChinaasrevealedbysatellitetracking.BiologicalConservation,2002,106(3):339⁃346.DOI:10.1016/s0006⁃3207(01)00259⁃2.[3]㊀LiuXY,GuanYN,GuoSetal.VegetationdistributionandwaterlevelchangeresponseofPoyangLakeWetlandbasedontimeseriesharmonicanalysis.JLakeSci,2016,28(1):195⁃206.DOI:10.18307/2016.0123.[刘旭颖,关燕宁,郭杉等.基于时间序列谐波分析的鄱阳湖湿地植被分布与水位变化响应.湖泊科学,2016,28(1):195⁃206.][4]㊀OuyangQL,LiuWL.StudyonthevariationcharacteristicsofPoyangLakewaterlevelinthepast50years.ResourcesandEnvironmentoftheYangtzeRiverBasin,2014,(11):1545⁃1550.DOI:10.11870/cjlyzyyhj201411009.[欧阳千林,刘卫林.近50年鄱阳湖水位变化特征研究.长江流域资源与环境,2014,(11):1545⁃1550.][5]㊀MinQ.ChangesintheshapeandwaterregimeofPoyangLakeinthepast50yearsanditsrelationshipwithreclamation.AdvancesinWaterScience,2000,11(1):76⁃81.[闵骞.近50年鄱阳湖形态和水情的变化及其与围垦的关系.水科学进展,2000,11(1):76⁃81.][6]㊀GuoH,HuQ,JiangT.Annualandseasonalstreamflowresponsestoclimateandland⁃coverchangesinthePoyangLakebasin,China.JournalofHydrology,2008,355(1/2/3/4):106⁃122.DOI:10.1016/j.jhydrol.2008.03.020.[7]㊀YeXC,ZhangQ,BaiLetal.AmodelingstudyofcatchmentdischargetoPoyangLakeunderfutureclimateinChina.QuaternaryInternational,2011,244(2):221⁃229.DOI:10.1016/j.quaint.2010.07.004.[8]㊀LaiXJ,HuangQ,ZhangYHetal.ImpactoflakeinflowandtheYangtzeRiverflowalterationsonwaterlevelsinPoyangLake,China.LakeandReservoirManagement,2014,30(4):321⁃330.DOI:10.1080/10402381.2014.928390.[9]㊀ZhangQ,LiuJY,SinghVPetal.EvaluationofimpactsofclimatechangeandhumanactivitiesonstreamflowinthePoy⁃angLakebasin,China.HydrologicalProcesses,2016,30(14):2562⁃2576.DOI:10.1002/hyp.10814.[10]㊀LaiXJ,JiangJH,LiangQHetal.Large⁃scalehydrodynamicmodelingofthemiddleYangtzeRiverBasinwithcomplexriv⁃er⁃lakeinteractions.JournalofHydrology,2013,492:228⁃243.DOI:10.1016/j.jhydrol.2013.03.049.[11]㊀NouraniV,BaghanamAH,AdamowskiJetal.Applicationsofhybridwavelet⁃ArtificialIntelligencemodelsinhydrology:Areview.JournalofHydrology,2014,514:358⁃377.DOI:10.1016/j.jhydrol.2014.03.057.[12]㊀HuQ,FengS,GuoHetal.InteractionsoftheYangtzeriverflowandhydrologicprocessesofthePoyangLake,China.JournalofHydrology,2007,347(1/2):90⁃100.DOI:10.1016/j.jhydrol.2007.09.005.[13]㊀ZhaoGJ,HörmannG,FohrerNetal.StreamflowtrendsandclimatevariabilityimpactsinPoyanglakebasin,China.Wa⁃terResourcesManagement,2010,24(4):689⁃706.DOI:10.1007/s11269⁃009⁃9465⁃7.[14]㊀GuoH,HuQ,ZhangQetal.EffectsofthethreegorgesdamonYangtzeriverflowandriverinteractionwithPoyangLake,China:2003-2008.JournalofHydrology,2012,416/417:19⁃27.DOI:10.1016/j.jhydrol.2011.11.027.[15]㊀YeXC,ZhangQ,LiuJetal.DistinguishingtherelativeimpactsofclimatechangeandhumanactivitiesonvariationofstreamflowinthePoyangLakecatchment,China.JournalofHydrology,2013,494:83⁃95.DOI:10.1016/j.jhydrol.2013.04.036.[16]㊀ZhangQ,YeXC,WernerADetal.AninvestigationofenhancedrecessionsinPoyangLake:ComparisonofYangtzeRiverandlocalcatchmentimpacts.JournalofHydrology,2014,517:425⁃434.DOI:10.1016/j.jhydrol.2014.05.051.876㊀J.LakeSci.(湖泊科学),2020,32(3)[17]㊀LiXH,ZhangQ,XuCY.SuitabilityoftheTRMMsatelliterainfallsindrivingadistributedhydrologicalmodelforwaterbalancecomputationsinXinjiangcatchment,Poyanglakebasin.JournalofHydrology,2012,426/427:28⁃38.DOI:10.1016/j.jhydrol.2012.01.013.[18]㊀LiYL,ZhangQ,WernerADetal.Investigatingacomplexlake⁃catchment⁃riversystemusingartificialneuralnetworks:PoyangLake(China).HydrologyResearch,2015,46(6):912⁃928.DOI:10.2166/nh.2015.150.[19]㊀ZhangD,LindholmG,RatnaweeraH.Uselongshort⁃termmemorytoenhanceinternetofthingsforcombinedsewerover⁃flowmonitoring.JournalofHydrology,2018,556:409⁃418.DOI:10.1016/j.jhydrol.2017.11.018.[20]㊀ZhangJF,ZhuY,ZhangXPetal.DevelopingaLongShort⁃TermMemory(LSTM)basedmodelforpredictingwatertabledepthinagriculturalareas.JournalofHydrology,2018,561:918⁃929.DOI:10.1016/j.jhydrol.2018.04.065.[21]㊀LeeGH,JungSH,LeeDE.Comparisonofphysics⁃basedanddata⁃drivenmodelsforstreamflowsimulationoftheMekongriver.JournalofKoreaWaterResourcesAssociation,2018,51(6):503⁃514.[22]㊀WuYR,LiuZY,XuWGetal.Context⁃AwareAttentionLSTMNetworkforFloodPrediction.24thInternationalConfer⁃enceonPatternRecognition(ICPR),2018.Beijing.NewYork,USA:IEEE,2018.DOI:10.1109/icpr.2018.8545385.[23]㊀DaiX,WanR,YangG.Non⁃stationarywater⁃levelfluctuationinChina sPoyangLakeanditsinteractionswithYangtzeRiver.JournalofGeographicalSciences,2015,25(3):274⁃288.DOI:10.1007/s11442⁃015⁃1167⁃x.[24]㊀HochreiterS,SchmidhuberJ.Longshort⁃termmemory.NeuralComputation,1997,9(8):1735⁃1780.DOI:10.1162/neco.1997.9.8.1735.[25]㊀GersFA,SchmidhuberJ,CumminsF.Learningtoforget:ContinualpredictionwithLSTM.NeuralComputation,2000,12(10):2451⁃2471.DOI:10.1162/089976600300015015.[26]㊀WythoffBJ.Backpropagationneuralnetworks.ChemometricsandIntelligentLaboratorySystems,1993,18(2):115⁃155.DOI:10.1016/0169⁃7439(93)80052⁃j.[27]㊀WenY,ZhangK,LiZetal.ADiscriminativefeaturelearningapproachfordeepfacerecognition.LectureNotesinCom⁃puterScience,2016:499⁃515.DOI:10.1007/978⁃3⁃319⁃46478⁃7_31.[28]㊀NashJE,SutcliffeJV.RiverflowforecastingthroughconceptualmodelspartI Adiscussionofprinciples.JournalofHy⁃drology,1970,10(3):282⁃290.DOI:10.1016/0022⁃1694(70)90255⁃6.[29]㊀SønderbySK,SønderbyCK,MaaløeLetal.RecurrentSpatialTransformerNetworks.arXivpreprint,2015.arXiv:1509.05329.[30]㊀IoffeS,SzegedyC.Batchnormalization:Acceleratingdeepnetworktrainingbyreducinginternalcovariateshift.arXivpre⁃print,2015.arXiv:1502.03167.[31]㊀KrizhevskyA,SutskeverI,HintonGE.ImageNetclassificationwithdeepconvolutionalneuralnetworks.CommunicationsoftheACM,2017,60(6):84⁃90.DOI:10.1145/3065386.[32]㊀SrivastavaN,HintonG,KrizhevskyAetal.Dropout:asimplewaytopreventneuralnetworksfromoverfitting.TheJour⁃nalofMachineLearningResearch,2014,15(1):1929⁃1958.[33]㊀KingmaDP,BaJ.Adam:AMethodforStochasticOptimization.ComputerScience,2014:1⁃15.[34]㊀ZhangXL,ZhangQ,WangXL.Analysisofnonlinearcharacteristicsofwaterlevel⁃flowrelationshipinfloodplain.Re⁃sourcesandEnvironmentoftheYangtzeRiverBasin,2017,26(5):78⁃84.[张小琳,张奇,王晓龙.洪泛湖泊水位⁃流量关系的非线性特征分析.长江流域资源与环境,2017,26(5):78⁃84.][35]㊀ZhangD,LinJQ,PengQDetal.Modelingandsimulatingofreservoiroperationusingtheartificialneuralnetwork,sup⁃portvectorregression,deeplearningalgorithm.JournalofHydrology,2018,565:720⁃736.DOI:10.1016/j.jhydrol.2018.08.050.[36]㊀XueLQ,CuiGB,ChenKQ.Dynamicwaterlevelneuralnetworkpredictionmodelfornon⁃stationarytimeseries.JLakeSci,2002,14(1):19⁃24.DOI:10.18307/2002.0103.[薛联青,崔广柏,陈凯麒.非平稳时间序列的动态水位神经网络预报模型.湖泊科学,2002,14(1):19⁃24.][37]㊀SmithLN.CyclicalLearningratesfortrainingneuralnetworks.ComputerScience,2015:464⁃472.DOI:10.1109/WACV.2017.58.。
长短期记忆神经网络(LSTM)模型在低能见度预报中的应用
长短期记忆神经网络(LSTM)模型在低能见度预报中的应用长短期记忆神经网络(LSTM)模型在低能见度预报中的应用低能见度是指气象条件导致观测到的地面视程低于人眼识别物体的最小距离。
低能见度天气现象,如雾、霾等,对人们的出行、交通安全、航空运输等活动造成了很大的影响。
因此,能够准确预测低能见度天气状况对于人们的生活与工作尤为重要。
传统的低能见度预报通常基于统计方法,如回归分析、Kriging等,但这些方法往往无法捕捉到数据之间的复杂关系和非线性动态特征。
近年来,随着人工智能技术的发展,LSTM 模型被广泛应用于低能见度天气预报中,取得了较好的效果。
LSTM模型是一种特殊的循环神经网络,它能够捕捉序列数据中的长期依赖关系。
与传统的神经网络相比,LSTM模型引入了三个门控单元:输入门、遗忘门和输出门。
这些门控单元能够帮助LSTM模型在处理长序列数据时更好地维持和更新信息,从而有效地解决了长期依赖问题。
在低能见度预报中,LSTM模型可以将过去一段时间的气象数据作为输入,通过学习数据之间的时空关系,预测未来的能见度情况。
首先,需要对原始数据进行预处理,包括数据清洗、标准化等操作,以消除数据中的噪声和异常值。
接着,将处理后的数据划分为训练集和测试集,一般采用70%的数据用于训练,30%的数据用于测试。
然后,设计LSTM模型的网络结构,包括输入层、隐藏层和输出层。
在隐藏层中,通过增加神经元的数量和层数,可以提高模型的学习能力和预测精度。
最后,使用适当的损失函数和优化算法,对模型进行训练和优化,使其能够运用于实际的低能见度预报工作中。
LSTM模型在低能见度预报中的应用得到了广泛的关注和研究。
研究者们通过收集大量的低能见度数据和气象观测数据,构建了针对不同地区和时间尺度的LSTM模型。
实验结果表明,与传统的统计模型相比,LSTM模型在低能见度预报中展现出更好的性能。
LSTM模型能够更有效地捕捉到低能见度数据的时空关系和复杂特征,对瞬时的变化和突发事件的反应更加敏感。
《黄土区典型中小流域洪水预报KNN-FWA-ELM模型及其适用件研究》范文
《黄土区典型中小流域洪水预报KNN-FWA-ELM模型及其适用件研究》篇一黄土区典型中小流域洪水预报KNN-FWA-ELM模型及其适用性研究一、引言随着气候变化带来的频繁和强度不断增加的洪涝灾害,对流域洪水预报的研究显得尤为重要。
黄土区因其特殊的地形地貌和气候条件,中小流域的洪水预报成为防洪减灾工作的重要一环。
本文旨在研究一种新型的洪水预报模型——KNN-FWA-ELM模型,并探讨其在黄土区典型中小流域的适用性。
二、研究区域及数据准备本研究选取黄土区典型中小流域作为研究对象,通过收集历史气象数据、水文数据以及地形地貌数据等,为模型训练和验证提供数据支持。
数据预处理包括数据清洗、数据整合、数据标准化等步骤,以确保数据的准确性和可靠性。
三、KNN-FWA-ELM模型介绍KNN-FWA-ELM模型是一种结合了K近邻算法(KNN)、果蝇优化算法(FWA)和极限学习机(ELM)的洪水预报模型。
该模型首先通过KNN算法对历史数据进行分类和聚类,然后利用FWA算法对ELM模型进行参数优化,最后通过ELM模型进行洪水预报。
四、模型构建与训练在构建KNN-FWA-ELM模型时,首先需要确定KNN算法的近邻数、距离度量方式等参数。
然后,通过FWA算法对ELM模型的隐层神经元数量、激活函数等进行优化。
在模型训练过程中,采用历史气象数据、水文数据等作为输入,以实际洪水数据作为输出,通过不断调整模型参数,使模型能够更好地拟合实际洪水数据。
五、模型验证与适用性分析通过将KNN-FWA-ELM模型应用于黄土区典型中小流域的洪水预报,我们发现该模型具有较高的预报精度和较好的泛化能力。
与传统的洪水预报模型相比,KNN-FWA-ELM模型能够更好地考虑不同因素对洪水的影响,提高了预报的准确性和可靠性。
此外,该模型还具有较好的实时性,能够快速地对实时气象数据进行处理和预报。
在适用性分析方面,我们发现KNN-FWA-ELM模型在黄土区典型中小流域的洪水预报中具有较好的适用性。
基于深度学习的流溪河典型水库水位预报
基于深度学习的流溪河典型水库水位预报近年来,随着深度学习技术的迅猛发展,其在各个领域中的应用也越来越广泛。
其中,基于深度学习的水位预报在水资源管理和防洪减灾方面具有重要意义。
本文将以流溪河典型水库为例,探讨基于深度学习的水位预报方法及其在实际应用中的效果。
首先,我们需要收集并整理流溪河典型水库的历史水位数据作为训练集。
这些数据包括水位值以及其对应的时间信息。
接下来,我们将采用长短期记忆网络(LSTM)作为深度学习模型,用于建立水位预报模型。
LSTM是一种能够很好地处理时间序列数据的循环神经网络,它能够捕捉到时间序列中的长期依赖关系,并具有较好的预测性能。
在建立水位预报模型之前,我们需要对数据进行预处理。
首先,对水位数据进行归一化处理,将其缩放到0-1的范围内。
然后,将时间信息转化为适合输入模型的形式,例如将时间转化为连续的数值表示。
接着,我们将数据集划分为训练集和测试集,其中训练集用于训练模型,测试集用于评估模型的预测能力。
接下来,我们将使用LSTM模型对训练集进行训练。
在训练过程中,我们将调整模型的超参数,例如网络层数、隐藏层节点数等,以获得较好的预测效果。
训练完成后,我们将使用测试集进行模型的评估。
评估指标包括均方根误差(RMSE)和平均绝对误差(MAE),用于衡量模型的预测精度。
通过对流溪河典型水库历史水位数据的分析和模型的训练,我们可以得到一个基于深度学习的水位预报模型。
该模型可以根据过去的水位数据,预测未来一段时间内的水位变化趋势。
这对于水资源管理和防洪减灾具有重要意义。
例如,当水位预测超过安全水位时,相关部门可以提前采取措施,减少洪水对人民生命财产的影响。
综上所述,基于深度学习的流溪河典型水库水位预报具有重要的实际应用价值。
通过建立合理的数据预处理和LSTM模型训练,我们可以获得较好的水位预测效果。
这将为水资源管理和防洪减灾提供有力的支持,对于保障人民生命财产安全和可持续发展具有积极的意义。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
Journal of Water Resources Research 水资源研究, 2019, 8(1), 24-32Published Online February 2019 in Hans. /journal/jwrrhttps:///10.12677/jwrr.2019.81003Application of the Long Short-Term Memory Networks for Flood ForecastJiong Guo1, Yanjun Zhang1*, Junbo Wang1, Zhengying Yuan2, Jinjin Wu1, Wenxun Dong1, Sumiao Wang11State Key Laboratory of Water Resources and Hydropower Engineering Science, Wuhan University, Wuhan Hubei2Hydrology Bureau of Changjiang Water Resources Commission of the Ministry of Water Resources, Wuhan HubeiReceived: Feb. 2nd, 2019; accepted: Feb. 17th, 2019; published: Feb. 25th, 2019AbstractFlood forecasting is difficult in mountain watershed because precipitation data is scarce and hard to reflect spatial heterogeneity. To improve the accuracy of flood forecasting in mountain watershed, long short-term memory model (LSTM) and Xin’anjiang model are used to simulate flood in Guanshan river watershed. The results show that the Nash efficiency coefficient of verification period in the tra-ditional hydrological model is 0.55, while that in the LSTM is 0.7 with daily data from 1975 to 1987. LSTM can greatly improve the hydrological simulation and forecast effect in the areas lacking precipi-tation data.KeywordsLong Short-Term Memory (LSTM), Flood Forecast长短期记忆模型在小流域洪水预报上的应用研究郭炅1,张艳军1*,王俊勃1,袁正颖2,吴金津1,董文逊1,王素描11武汉大学水资源与水电工程科学国家重点实验室,湖北武汉2长江水利委员会水文局,湖北武汉收稿日期:2019年2月2日;录用日期:2019年2月17日;发布日期:2019年2月25日摘要在山区小流域,降水资料稀缺,且难以反应其降水的空间异质性,使得仅依靠降水资料进行洪水预报十分困难。
作者简介:郭炅(1993-),男,湖北黄冈人,硕士研究生,主要从事水文水资源方面研究。
*通讯作者。
长短期记忆模型在小流域洪水预报上的应用研究为了提高山区小流域洪水预报精度,本文以官山河流域为例,选择可同时输入降水和径流资料进行水文模拟和预报的长短期记忆模型(LSTM),对洪水过程进行模拟。
同时构建了新安江模型模拟,进行对比研究。
研究结果表明,若使用1975~1987年逐日数据对模型进行率定和检验,传统水文模型检验期的纳什效率系数为0.55,而对应的LSTM检验期的纳什效率系数为0.73,长短期记忆模型(LSTM)能够较大地提高降水资料缺少地区的水文模拟和预报效果。
关键词长短期记忆,洪水预报Copyright © 2019 by authors and Wuhan University.This work is licensed under the Creative Commons Attribution International License (CC BY)./licenses/by/4.0/1. 引言山洪是最常见的自然灾害之一,具有短历时,高强度的特点,威胁着社会与国民经济的发展[1]。
洪水预报是为了预先获得洪水发生发展过程,根据洪水形成机理与运动规律,利用气象、水文等信息,预报预测洪水发生与变化过程的技术方法,并作为一项重要的防洪非工程措施,是减少洪水损失的最重要手段和方法之一。
因此,建立有效的洪水预报模型,具有强烈的紧迫性和必要性。
目前洪水预报方法可分为三类:经验预报、概念模型和系统或黑箱模型[2]。
但是,对于我国广大山区,由于水文资料缺失,且降雨的空间异质性强,传统的概念模型在山洪模拟上精度较差[3]。
近年来,人工神经网络等黑箱被广泛应用于水文预报的相关研究,并取得一定成果[4] [5] [6]。
然而,传统的人工神经网络对样本的噪声、网络模式等因素比较敏感,而且存在过拟合以及结点记忆快速衰弱现象,其应用也是受到很大限制[7]。
长短期记忆网络是一种改进的神经网络模型[8] [9],它通过修改神经网络结构中的隐藏层神经元,解决了上述问题。
本文提出了一种基于长短期记忆网络的洪水预报模型,同时使用官山河流域的降水、径流资料,对其流域进行洪水预报,提高洪水预报精度。
2. 模型介绍2.1. LSTM模型神经网络是一种由处理单元相互关联,有自适应能力的,非线性系统。
它可以通过神经元的有向连接,建立输入参数到输出参数的映射,这种学习能力可以省略系统建模的步骤,特别适用于规律未知的情况。
而比较传统的BP神经网络也已经广泛应用于水文预报,但是容易出现梯度消失,结点记忆快速衰弱的缺点,而LSTM 长短期记忆网络模型可以改善这种情况。
长短期记忆(long-short term memory, LSTM)神经网络是一种改进的时间递归神经网络[10] [11]。
LSTM网络模型引入了多个自相关的核心信元cell和3个新增单元[12],分别是:输入门(inputgate)、输出门(output gate)和遗忘门(forget gate)。
核心信元即细胞状态,3个门结构则控制信息在细胞状态上的更新。
这样便实现了信息在网络上的更新。
LSTM神经元结构如图1所示。
由结构图可知,为了与时间建立联系,LSTM在递归循环过程中增加了一个记忆单元——细胞状态,然后通过输入门i t、输出门o t和遗忘门f t这三个结构来进行数据写入、读取和过去状态的重置工作。
Sigmoid激活函数使遗忘门的输出值为[0, 1],当输出为0时,表示上一状态的信息全部被遗忘门舍弃;当输出为1时,表示上一状态的信息全部被保留。
该结构的前向计算过程如下:长短期记忆模型在小流域洪水预报上的应用研究Figure 1. LSTM structure diagram 图1. LSTM 结构示意图[]()1,t i t t i i W h x b σ−=+⋅ (1)[]()1,t o t t o o W h x b σ−=+⋅ (2) []()1,t f t t ff W h x b σ−=+⋅ (3)()1tanh t C t C t CC W h W x b −=++ (4) 1t t t t t C f C i C −=+ (5)()tanh t t t h o C = (6)式中:σ为Sigmoid 激活函数,f W 、i W 、C W 、o W 分别为对应的权重系数矩阵,1t h −、t h 为上一时刻和这一时刻的隐藏层输出量,1t C −、tC 、t C分别为上一时刻和当前时刻细胞状态以及输入的候选状态,tx 为当前层输出,f b 、i b 、C b 、o b 分别为对应的偏置项。
首先,利用上一时刻的隐藏层输出和当前层输出,通过(1)、(2)、(3)式计算输入门、输出门、遗忘门的系数。
然后,通过(4)式得到当前神经元的候选状态tC。
再通过遗忘门和输入门确定t C 和1t C −在当前细胞状态中的比例关系,使用(5)式对其进行更新。
最后,使用(6)式计算当前时刻的隐藏层输出量。
在本文的LSTM 网络训练中,采用时间反向传播算法,反向计算各神经元的输出值与真实值的误差,根据误差结果计算各权重。
同时,在LSTM 模型的输入层中,输入层变量包括三个特征值:时间、降水量、径流量。
输出层变量只有一个特征值:径流量。
这样,模型的预报结果不仅与降雨有关,也与前期的径流量有关。
2.2. 对比模型介绍在本文中,选取水文上广泛应用的三水源新安江模型,使用该模型的洪水模拟结果与LSTM 模型的模拟结果进行对比分析。
新安江是一种适用于我国湿润半湿润地区的概念性流域水文模型[13] [14]。
三水源新安江模型蒸散发采用三层模型计算;产流计算选择蓄满产流模型;总径流采用自由水库结构被划分为地表径流、壤中流和地下径流;汇流计算采用线性水库;河道汇流采用马斯京根演算。
模型参数主要包括以下4类:1) 蒸散发计算参数;2) 产流模型计算参数;3) 水源划分参数;4) 汇流模型计算参数。
对于新安江模型而言,其模型的输入变量包括降水,蒸发。
从两个模型的输入变量来看,LSTM模型可以同时输入降水和径流资料,而新安江模型只是降水资料。
文长短期记忆模型在小流域洪水预报上的应用研究献[15]表明,水文序列具有较强的自相关性,同时长记忆性分解结果表明,随着时间的延长,序列的长记忆性逐渐减弱。
由此分析,当流域的降水资料与实际降水偏差较大时,同时使用降水、径流作为输入变量的LSTM 的效果会更好。
3. 实例分析3.1. 研究区概况官山河位于汉江中上游,湖北省丹江口市西南部,丹江南岸[16]。
其经纬度范围东经110˚48'00''~111˚34'59'',北纬32˚13'16''~32˚58'20''。
该流域面积465 km 2,河长66.5千米,孤山水文站以上流域面积300多km 2 (孤山站集水面积322 km 2)。
流域平均高程690米,河道平均坡降5.7‰,多年平均流量7.78 m 3/s 。