改进ESN在混沌时间序列预测中的应用

其中，x(n)= (x1(n)，…，xN(n))T 表示回声状态网 络的状态变量；y(n)= (y1(n)，…，yL(n))T 表示回声状 态网络的输出变量；u(n)= (u1(n)，…，uK(n))T 表示 网络的输入变量；f=( f1，…，fN)表示储备池处理单 元的激活函数；fout=(f1out，…，fLout))表示储备池输出 单元的激活函数。除 Wout 以外，其余权值全部随机 产生，唯一需要调整的是 Wout。 2.2 回声状态网络的算法流程 (1) 样本数据预处理。 对样本数据进行归一化处 理，并将其合理的分为训练部分和预测部分，利用 相空间重构技术对样本数据进行相空间重构确定最 佳嵌入维数和最优时延。 (2) 初始化网络参数。 影响回声状态网络性能的 主要参数有储备池规模 N、谱半径 SR、储备池稀疏 程度 SD 和输入伸缩尺度 IS(详见下文)。
典型 ESN 预测 1 真实值 预测值 0.5 0 -0.5 0 x 10
-4
够记录最优个体和共享种群信息的算法，其本质是 一种基于实数编码且具有保优思想的贪婪遗传算 法。微分进化算法是当前最强大的随机实数优化算 法之一，由于其具有算法简捷易用、全局优化能力 较强等特点，被广泛应用于诸多领域，并取得了良 好的效果，如信号处理[7]等。 微分进化算法首先在问题的可行解空间内随机 初始化种群，之后进行变异、交叉、选择操作。考 虑微分进化算法的种群规模为 NP， 则第 G 代的个体 可 表 示 为 XG=(XG,1,XG,2, … ,XG,NP) ， 其 中 ， XG,j=(XG,j1,XG,j2,…,XG, jl)，j =1，2，3，…，NP。 1) 初始化 种群初始化是指根据优化问题的性质确定种群 的规模 NP 和个体维数 n。 随机初始化种群是在约束 条件内随机生成种群。第 G 代第 j 个个体为 XG,j=(XG,j1,XG,j2,…,XG, ji) (j =1，2，3，…，NP；i=1，2， 3，…n)，个体的各个分量由式 (4) 产生。 XG,ji=XG,jimin+rand(XG,jimax-XG,jimin) (4) 其中 XG, jimin 、XG, jimax 分别表示第 G 代第 j 个体 的第 i 分量及其上下限。初始化种群规模不但决定 计算的复杂性，而且影响空间搜索能力。 2) 变异 微分进化算法与其他进化算法的最主要的不同 在于变异操作， 设 vG+1,j 为变异操作后的得到的中间 个体，从目前 G 代的种群中任意选取三个互不相同 的个体 xG,r1、xG,r2 和 xG,r3，以第一个被选中的个体 xG,r1 出发，沿着 xG,r2 和 xG,r3 作差的方向走一个 F 的 步长，得到一个变异个体 vG+1,j，即 vG+1,j=xG,r1+F(xG,r2-xG,r3) (5) 式(5)中，r1,r2,r3∈{1,2,…，N} 且互不相等。F 表示变异因子。 3) 交叉 通过交叉操作， 微分进化算子要实现测试向量 vG+1,j 和父代向量 xG,,j 的离散重组并同时产生子代向 量 uG+1,j =( uG+1,j1, uG+1,j2,…，uG+1,ji)，如下所示。
(3)
当式(3)中 σ=16、b=4、r=45.92 时系统表现出混 沌状态，可产生典型混沌时间序列。本文即采用此 组合生成混沌时间序列的 x 分量作为实验数据，研
究典型回声状态网络对混沌时间序列的预测性能。 基于 MATLAB 仿真平台，取 5000 组样本，其中训 练样本数为 3000，测试样本数为 2000。首先对样本 数据进行归一化处理，利用虚假邻近点法确定样本 嵌入维数为 3，利用 C-C 方法确定混沌时间序列最 佳延迟时间为 10，进行相空间重构，重构后规模如 下 ：训练 输入样 本为 3× 2979 ，训 练输出 样本 为 1× 2979；测试输入样本为 3× 1979，测试输出样本即 真实数据的规模为 1× 1979。根据人为经验设置 ESN 网络参数如下：谱半径 SR 为 0. 58，内部神经元个 数 N 为 400，储备池稀疏程度 SD 为 3%，输入伸缩 尺度 IS 为 0.2。仿真结果如下图：
i 1 L
(4) 基于训练好的网络进行预测。 对影响网络性能的四个主要参数作简要说明如 下： 1) 储备池规模 N。N 的确定与给定序列大小有 关，一般设置为训练样本数量的 1/10 与 1/2 之间， 对回声状态网络的性能影响明显 [5]。和各类神经网 络结论类似，储备池内部处理单元越多能拟合的系 统越复杂，网络的预测精度也会随之提高，但是， 储备池内部神经元的个数并非越多越好，因为规模 太大将会产生过拟合现象。 2) 谱半径 SR。 SR=max{abs(W 的特征值)}，其 中 W 是储备池内部神经元间的稀疏连接权矩阵。SR 的选择对 ESN 性能有较大影响。在实际应用中，当 谱半径 SR<1 时， 可以在绝大部分情况下保证储备池 具有回声状态特性，取值范围一般为[0.1,0.99][4]； 3) 储备池稀疏程度 SD。SD=n/N (n 为相互连接 神经元，N 为总神经元数)，表征了储备池中连接神 经元数目占总神经元数目的比例。该参数决定储备 池中所含向量的丰富程度，从而影响网络的非线性 逼近能力，一般取值 2%—5%。 4) 输入伸缩尺度 IS。针对储备池处理单元激活 函数选择的差异，网络训练前需要对输入信号进行 预处理，一般需要乘以一个尺度因子，其本质是将 输入信号转换到与激活函数相符的范围，取值范围 一般为[0.01,1]。 2.3 基于 ESN 对混沌时间序列的预测 Lorenz 系统是一种典型的非线性系统，其方程 如下：
大。目前，没有确切的方法能够针对不同问题产生 相应最优训练参数，而是大多根据人为经验或不断 尝试的方法来设置参数，给实际应用时带来了繁重 任务问题。有学者引入了各种优化算子来尝试解决 这一问题，比如用遗传算法优化 ESN 参数来进行风 速预测[2]、用微粒群优化算法优化回声状态网络参 数进行大脑皮层信号建模 [3]等等，并取得了一定的 成果。但是，传统的这些优化算法存在着诸如搜索 效率低、早熟等一系列问题，严重影响了其在一些 优化问题中的性能。针对这些不足，本文提出了一 种基于微分进化算法与回声状态网络相结合的混沌 时间序列预测模型，以针对不同数据特点找到相应 最优参数来建立合适的回声状态网络。
1
引言
随着对混沌理论研究的不断深入，混沌时间序 列的预测等方面逐渐成为混沌信号处理及应用中的 研究重点，目前已有了广泛应用：在经济学中，利 用混沌预测思想预测股市指数走向；在天文学中， 利用混沌预测思想预测太阳黑子数目； 在水文学中， 利用混沌思想预测黄河、长江等大河的年径流量等 等[1]。在对混沌序列预测长达几十年的研究显示， 因观测效果的直观性等特点使得神经网络在混沌时 间序列预测的各种预测方法中尽显优势。通过大量 的仿真试验证明，在对混沌时间序列的预测中，动 态递归神经网络预测效果较静态神经网络预测更具 有优越性。其中，回声状态网络(Echo State Network, ESN)的在对一些标杆问题上的预测精度又远远高于 传统的预测方法，现已成为主流的混沌建模工具之 一。 回声状态网络具有良好的理论研究意义和实际 应用价值，已成为混沌时间序列预测领域的一个研 究热点。在研究回声状态网络时所面临的一系列问 题中，如何针对具体问题产生和训练储备池是重要 问题之一。储备池的参数设置是回声状态网络训练 过程中的关键，对回声状态网络的预测性能影响较
2
基于 ESN 的混沌时间序列预测

2.1 回声状态网络的基本结构 回声状态网络是近年来新兴的一种新型递归神 经网络，由 H.Jaeger 于 2001 年提出[4]。它的特点在 于内部有个大型循环网络，形成一个巨大的动态记 忆库(Dynamic Reservoir, DR)，当在输入输出层加入 教师序列后，动态记忆库产生振荡，并具有短期记 忆功能，然后通过计算循环网络状态矩阵和训练输
Input Layer u1 u2 Win x2 x4 x3 uK xN x7 yL W x1 x5 x6 Wout Wback y2 Output Layer y1
(3) 训练网络。 输入重构好的训练数据激发储备 池内部状态，驱动隐含层网络开始训练。由公式(1) 和(2)完成系统状态 x(n)和输出 y(n)的计算与收集， 计算输出连接权矩阵 Wout。根据状态变量与输出之 间的线性映射关系，利用网络的实际输出 y(n)逼近 期望输出 Y(n)。即：Y(n)≈y(n)= wiout xi (n) 。
x y x y rx y xz z bz xy
Dynamical Reservoir
图 1 回声状态网络结构示意图
图 1 中， 左侧为输入层，是由 K 个神经元构成； 右侧为输出层，由 L 个神经元构成；中间为储备池， 由 N 个内部神经元稀疏连接而成。ui(i=1,2,…,K)表 示网络输入向量； xi(i=1,2,…,N)表示储备池内部状态 向量；yi(i=1,2,…,L)表示网络输出向量；Win 表示输 入层到储备池的全连接矩阵；Wback 表示由输出层到 储备池的反馈全连接矩阵；W 表示储备池内部相互 稀疏连接的权值矩阵；Wout 表示全连接的状态矩阵。 回声状态网络的基本方程如下： x(n+1)=f(Winu(n+1)+Wx(n)+ Wbacky(n)) y(n+1)= fout (Wout(u(n+1), x(n+1), y(n))) (1) (2)
The Application of Modified ESN in Chaotic Time Series Prediction
Abstract: The parameter selection of ESN (Echo State Network) is excessively dependent on human experience, it is difficult to produce the corresponding optimal parameters for specific problem, resulting in severely restricted in practice. In view of this, a chaotic time series prediction model is proposed in this paper, and the model is based on differential evolution algorithm and the echo state network. With this model, training the input sample sequence to find the network’s parameters which is suitable for the data characteristics at first, then use the ideal parameters to predict chaotic time series. In the prediction of the typical chaotic time series generated by Lorenz system, this method can establish a suitable echo state network based on the data characteristics effectively, and gets satisfactory results. Keywords: Echo State Network; Differential Evolution algorithm; Chaotic time series prediction