最小二乘支持向量机在混沌时间序列中的应用_尹华

第28卷第2期计算机仿真2011年2月文章编号:1006-9348(2011)02-0225-03
最小二乘支持向量机在混沌时间序列中的应用
尹华,吴虹
(赣南师范学院数学与计算机科学学院,江西赣州341000)
摘要:针对混沌时间序列存在噪声和不稳定性问题,混沌时间序列预测是当前的一个热点问题。

根据当前预测方法预测精度低的难题,提出一种优化的混沌时间序列预测方法(GA_LSSVM)。

GA_LSSV M首先采用相空间重构对时间序列样本进行重构,采用遗传算法对最小二乘支持向量机参数进行优化,得到混沌时间序列的最优预测模型,最后以经典时间序列Lorenz 数据对最优模型进行仿真测试和分析。

实验结果表明,GA_LSSVM比神经网络的预测精度高。

GA_LSSV M方法是一种可行的、有效的混沌时间序列预测算法,在混沌时间序列具有广泛的应用前景,可为应用提供科学依据。

关键词:支持向量机;时间序列;遗传算法;优化
中图分类号:TP309文献标识码:B
Study on T im e Series Forecasti ng Based on
L east Squares Support V ector M ach i ne
Y IN Hua,WU H ong
(Co llege ofM a t he m atics and Computer Sc ience,A nnan N or m a lU n i versity,G uangzhou J i angx i341000,Ch i na)
AB STRACT:Op ti m ization o f t he e m bedd i ng d i m ensi on,de lay ti m e and suppo rt vec t o r machines para m eters i s a key prob le m i n the pred i c tion o f chao ti c ti m e series based on phase space reconstructi on and support vector m achi nes.In
this paper,an a l gor it hm for opti m izi ng suppo rt vector m achi ne ti m e series forecasti ng m ode l para m ete rs i s proposed.
F irstly,ti m e ser i es para m eter is dec i ded by C-C and G-P a l go rith m.Second l y,the para m eters o f LSSVM is op t-i
m i zed by geneti c a l go rith m.T he result shows tha t t he proposed algor it h m is accurate and t he computati onal co m plex-i
ty i s l ow.It i s a good param eters opti m izi ng a l go rith m.
K EY W ORDS:Support vecto r m ach i ne(S VM);T i m e ser i es;G ene ti c a l go rith m;O pti m i zing
1引言
混沌时间序列的预测广泛应用于经济、商业、信号处理和天气预报等各个领域,是个实际的问题[1]。

混沌时间序列数据具有躁声、不稳定、随机性等特点,在过去的几十年里,许多学者先后提出了很多种混沌预测方法,如时间序列预测[2],灰色预测[3],模糊神经网络预测[4],但这些方法都存在缺点,时间序列和灰色预测方法针对的是线性数据,对非线性的混沌时间序列预测精度低;神经网络预测在网络训练后得到的解不能保证是全局最小解,导致预测误差较大。

最小二乘支持向量机(LSS VM)是一种建立在结构风险最小化原则基础上的新型学习机器,较好地解决了小样本、非线性、过拟合、维数灾和局极小等问题,泛化推广能力优异,在许多领域都得到了广泛应用[5]。

针对当前混沌时间预测过程存在的问题,本文提出一种基于遗传算法优化最小支持向量机的预测方法,将共用于混沌时间预测,实验结果表明该方法提高了混沌时间序列的预测精度。

该方法是有效的。

2混沌时间序列预测方法
2.1混沌时间序列预测原理
混沌时间序列预测是根据事件以往的历史状态,对将来某个时刻的状态作预报的问题,其原理是根据时间序列过去、现在值来预测它的未来值。

混沌时间序列预测分两步,第一步利用相空间重构生成时间序列训练和预测样本数据,第二步就是选择预测模型,进行时间序列预测,原理如图1所示。

其中选择预测精度高的预测模型是时间序列预测中最为关键的问题,目前传统预测模型对混沌时间序列都达不到理想结果。

最小二乘支持向量机是一种解决非线性、高维预测问题的方法,这正是混沌时间序列预测所面临的困境,
收稿日期:2010-02-12修回日期:2010-04-15
因此,支持向量机用于混沌时间序列预测问题有着很好的预
测效果。

图1 混沌时间序列预测原理
2.2 相间空重构
相空间重构是把具有混沌特性的时间序列重建为一种低阶非线性动力学系统,它是非线性时间序列分析的重要步骤,重构的质量直接影响到模型的建立和预测。

混沌预测的基础是状态空间的重构理论,假设观测到的混沌时间序列为{x (t)},t =1,2,,,N,嵌入维数为m,时间延迟为S ,则重构相空间为:
X (t)=(x (t),x (t+S ),,,x (t +(m -1)S ))
x (t)I R m ,t =1,2,,,N
(1)
根据T akens 定理,对合适的嵌入维数m 及时间延迟S ,重构相空间在嵌入空间中的/轨线0,在微分同胚意义下与原系统是动力学等价的。

本文选择C-C 算法和G -P 算法选取嵌入维数m 和时间延迟S ,通过相空间重构产生新的数据集用于最小二乘支持向量训练。

2.3 最小二乘支持向量机
最小二乘支持向量机(LSS VM )的非线性回归的主要思想是:通过非线性映射U (#),将输入数据投影到高维特征空间,从而将低维非线性回归问题转化为高维特征空间中的线性回归问题。

原理如下:
对于给定m 个样本数据x i ,y i ,i =1,2,,m,其中x i I R n 是n 维输入,y i I R 是样本输出。

构造最优决策函数:
f (x )=w T <(x )+b
(2)
其中h 为高维特征空间维数(可能为无穷维),b 为偏置量;
根据问题求解目标和结构风险最小化的原则,上式需满足如下条件:
y i -w T <(x )+b [E (3)m in J =
12
w T w (4)
根据LS-S VM 算法,定义误差损失函数为误差的二次项,上述问题可转为
m in w,b ,e
J (w,e )=
12w T w +C 1
2
E M
i=1
e
2
i
(5)
s .t . y i =w T <(x i )+b +e i ,i =1,,,M
其中,C 为惩罚系数,控制对超出误差e 的样本的惩罚程度。

用拉格朗日乘子法求解这个具有等式约束的二次规划问题,定义L agrange 函数:
L (w,b ,e ,A ,C )=12w T w +C
1
2
E
M
i=1
e 2i -
E M
i=1
A i
(w
T
<(x i )
+b +e i -y i )
(6)
其中A i (i =1,,,M )为Lagrange 乘子。

定义核函数K (x i ,x j =<(x i )T <(x j ),核函数K (x i ,x j )为满足M e rcer 条件的任意对称函数,常见的核函数有线性核函数、多项式核函数、R BF 核函数、S i gmo id 函数等,最后预测模型可表达为
y =
E N
i=1
K (x i
,x j
)+
b (7)
3 最小二乘支持向量机的预测建模方法
3.1 预测模型算法描述
1)对混沌时间数据进行预处理。

为了提高训练速度,对原始数据进行归一化处理,具体如下:
X (k,i)=
x (k,i)-m ean _x (i)
(8)
Y (k )=
y (k )-m ean _y
s t d _y
(9)
其中m ean_x (i),std_x (i )分别为输入向量X 的第i 列的算术平均值和标准方差;mean_y 和st d_y 分别为输入向量Y 的算
术平均值和标准方差。

2)根据相空间重构理论计算最小嵌入维数m 和最佳延迟时间,重构相空间,本文采用C -C 算法选择延迟时间S ,嵌入维数m 的选确定采用关联指数饱和法中常用的G -P 算法。

3)由步骤2)得到的m 和S 构造最小二乘支持向量机预测模型,表示为:
w =
w 1
w 2
,
w N -
(m -1)S =
x 1-(m -1)S ,x 1-S
x 1x 2-(m -1)S
,
x 2-S x 2,,
,x N -(m -1)S ,
x N -S
x N
(10)
4)从原始数据中选择部分训练数据输入进行支持向量机训练,直到训练达到要求为止,记录此时的支持向量机参数,若不满足训练目标,则返回步骤3),其中最小二乘支持向量机参数的优化通过遗传算法来实现。

5)选择测试样本输入,得到第一个预测点值,并将第一点的实际值加入原输入集,进行第二点的预测,依此类推,依次步进生成预测结果。

3.2 基于遗传算法的L SSV M 参数优化过程
基于LSS VM 的参数对预测结果好坏起着决定性的作用,传统的参数优化采取穷举的方式搜索方法,计算量将十分巨大以至于有时无法实现。

由于遗传算法具有隐含的并行性和强大全局搜索能力,可以在很短的时间内搜索到全局最优点,本文采用遗传算法对R 、C 进行同时寻优,产生一种
基于遗传算法(GA )优化的最小二乘支持向量机)GA _LSS -VM 。

在M a tlab710平台进行编程实现GA _LSSVM,其算法步骤如下:
1)对输入数据进行归一化处理;
2)对运行参数进行设置。

取种群大小N =100,进化最大代数为500,交叉概率P c 为0155,变异概率P m 为01005;
3)随机生成N 个染色体作为初始种群,采用实数编码;
4)对每个染色体解码,计算每个染色体的适应度;
5)按其适应度采用赌轮盘选择法选择和复制个体,生成新的种群;
6)对种群进行遗传操作;
7)判断是否满足最大进化代数或停止准则,若满足则转到步骤8);若不满足则返回步骤4);
8)结束训练,此时得到最佳参数R 、C。

图2 基于GA 的LSS VM 参数优化过程
3.3 参比模型及评价标准
为了衡量本文模型的优劣,采用LSSVM 、BP 神经网络和R BF 神经网络作为参比模型,数据集各参数设置均相同,采用一步预测法。

采用M SE 来评价模型预测效果的优劣,M SE 定义如下:
M SE =
E
n
i=1
(y i -y ^i )2
(11)
其中,y i 为为真值,y ^i 为预测值,n 为预测样本数,M SE 越小,预测精度越高,误差越小。

4 仿真实验
4.1 实验数据来源
Lo renz 系统为一确定性非线性耗散系统,存在看似无序的、非周期的混沌现象,其研究贯穿整个混沌科学的发展,具十分基本而重要的意义。

Ûx =10(y -x )Ûy =28x -y -xz
Ûz =-8
3
z +xy
(12)
取初始条件x 0=5,y 0=5,z 0=15,利用四阶五级的R unge-K utta 算法求其数值解,采样间隔时间0105产生关于x 分量的混沌时间序列前1400数据点如图3所示,不难看出,该时间序列具有复杂的非线
性混沌特征。

图3 Lorenz 混沌时间序列
4.2 模型的实现
用前1000个数据作为训练集,200个作为预测集,利用遗传算法进行参数组合寻优,最后的最优的参数R =400,C =1000。

利用所的参数R =400,C =1000建模,得到预测值。

预测结果如图4所示,GA _LSSVM 、LSS VM 、BP 神经网络和R BF 神经网络方法对比结果见表1。

图4 GA _LSS VM 的预测结果图表1 LSS VM 、BP 和RBF 预测M S E 比较数据集M SE BP 神经网络301475RBF 神经网络
221253LSSV M 201099GA_LSSVM
17129
(下转第291页)
5结束语
本文主要针对图像融合中边缘信息容易丢失等问题,提出了形态学小波变换图像融合改进方法,采用数学形态学的灰度形态梯度检测算子检测低频子图像边缘信息,采用基于绝对值最大的原则方法选择高频系数。

将这一新算法应用于医学图像和其他两组图像融合中,并与小波区域能量融合方法进行了比较,实验结果分析得出基于形态学小波变换图像融合算法的融合效果明显。

本文研究发现,在对边缘检测算子的改进将是以后研究的重点。

参考文献:
[1]P i ellag.A gen era l fra m e w or k for m u ltires o l uti on i m age f u si on:fro m
P i xel s to regi ons[J].In f or m ati on Fu si on,2003,68(4):259
-280.
[2]P J Burt,R J Kolczyn s k.i E nh anced i m age capture t h rough f u sion
[C].Proceed i ngs In ternati onal Con ference on C o m pu ter V ision,
19931173-182.[3]G Q Tao,D P L,i G H Lu.On i m age f u si on bas ed on d i ff eren t f u-
sion ru l es of wavelet transfor m[J].A cta Phot onica S i n ica,2004,
33(2):222.
[4]唐常青.数学形态学方法及其应用[M].北京:科学技术出版
社,1990.
[5]戴青云,余英林.数学形态学在图像处理中的应用进展[J].
控制理论与应用,2001,18(4):478-482.
[6]杨福生.小波变换的工程与应用[M].北京:科学出版
社,2000.
[7]晁锐,张科,李言俊.一种基于小波变换的图像融合算法[J].
电子学报,2004,32(5):750-753.
[8]燕文浩,马彩文,张鸣,王晨.基于小波变换的图像融合新算法
[J].光子学报,2006,35(4):638-
640.
[作者简介]
杨鹏(1978-),女(汉族),湖南株洲人,硕士
研究生,讲师,主要研究方向:数据库技术、图形图
像处理、软件测试。

(上接第227页)
从图4可见GA_L SS VM输出和系统真实样本输出数据在测试集上能很好地拟合,说明GA_LSSVM的预测能力很强。

从表1可以看出,对于相同的数据集,L SSVM比BP神经网络和RBF神经网络预测的误差要小,说明LSSVM算法的混沌时间序列预测精度要明显优于神经网络。

这主要因为在采用神经网络构造非线性预测模型预测含有混沌的序列时,混沌的存在有可能造成神经网络出现拟合过度现象,使得预测误差变大。

从LSS VM和GA_LSS VM的结果来看,无论从预测精度和训练时间来看,GA_LSSVM都要比L SSVM要好,说明遗传算法对LSS VM模型的参数优化加快了寻优速度,大大降低的时间的复杂度,精准度相应提高。

5结论
分析了混沌时间预测过程中的难点问题,提出了将最小二乘支持向量机应用到混沌时间序列预测过程中,同时针对最小二乘支持向量机的参数优化难题,采用遗传算法对最小二乘支持向量机参数进行优化,并对用经典混沌时间序列对该方法进行了仿真实验,结果表明本文提出的算法比传统预测算法的预测精度要,在混沌时间序列预测中有广泛的应用前景。

参考文献:
[1]文娟,谭阳红,龙伯华,周野.混沌时间序列的组合网络预测研
究[J].计算机仿真,2009,26(11):166-170.
[2]薛可,等.基于ARI MA模型的网络流量预测[J].微电子与计
算机,2004,21(7):84-87.
[3]徐维维,高风.灰色算法在股票价格预测中的应用[J].计算
机仿真,2007,24(11):274-277.
[4]杨梅,卿晓霞,王波.基于改进遗传算法的神经网络优化方法
[J].计算机仿真,2009,25(6):199-202.
[5]向昌盛,周子英.粮食产量的支持向量机模型研究[J].湖南
农业大学学报(社会科学版),2010,11(1):6-10
.
[作者简介]
尹华(1975-),女(汉族),江西大余人,硕士,
讲师,研究方向:计算机应用。

吴虹(1983),女(汉族),江西宁都人,硕士,助
教,研究方向:计算机应用。