混沌时间序列预测模型参数同步优化
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
相空间重构 （Phase Space Reconstruction， PSR） 把具有混 沌特性的时间序列重构成为一种低阶非线性动力学系统， 从 而近似恢复系统的混沌吸引子。 PSR 基本思想为： 系统中任 一分量的演化均由与之相互作用着的其他分量所决定的， 因 此可以从某一分量的一批时间序列数据中提取和恢复出系统 原来的规律 [4]。因此在进行相空间重构时， 只需考察一个分 量， 并将它在某些固定的时间延迟点上的测量作为新维处理， 它们确定了某个多维状态空间中的一点， 不断重复这一过程 并测量相对于不同时间的各延迟量， 就可以产生出许多这样 的点， 它可以将吸引子的许多性质保存下来， 这样就可以通过 采用系统的一个分量重构出原动力系统模型， 从而初步确定 系统的真实相空间的维数[5]。 { x(t)}; t = 1 2 N ， 假设观测到的混沌时间序列为： 其 中 N 表示样本个数。根据 Takens 定理， 通过选定合适的τ和 m 就可以将混沌时间序列时间重构为： X n = ( x n x n + τ x n + (m - 1)τ ) （1） 相空间重构是混沌时间序列预测建模过程最为关键一 步， 其重构的质量会直接影响到模型的建立与预测结果。从 式 （1） 可知， 相空间重构结果的好坏由 m 和τ决定。实验研究表 [6-7] 明 ， 如果τ选取不合适， 会导致信息冗余或丢失， 而 m 太小， 不 足以展示复杂行为的细致结构； 太大却会使计算工作大大复 杂化， 所以τ与 m 的正确选取对混沌时间序列分析有着重要的 意义。针对τ和 m 的选取两种思想， 一种是应该独立进行， 另一 种应该同时进行。关于独立选择τ的算法主要有自相关函数法[8]、 平均互信息法 [9] 等， 而 m 选择算法主要有试算法、 虚假近邻点 [4] [10] 法等 。同时进行选择的算法主要有 C-C 和 τ-m[11] 等算法。 根据 Takens 定理。对于无限长的、 无噪声的时间序列， 其τ可 以任意选择， 即τ与 m 没有关联， 但实际时间序列不可避免地带 有噪音且不能保证序列长度足够， 因此实际应用中延迟时间 的选取对相空间的重构质量有着重大的影响， 因此， 现在多数 研究者认为τ和 m 是相互关联的， 应该同步进行。
复杂性有了更为深刻的认识， 混沌时间序列的预测已经成为 一个热点问题， 在信号处理、 自动控制和模式识别等领域中得 到了广泛的应用 。 混沌时间序列预测模型的构造包括两个关键步骤： 一是 混沌时间序列相空重构过程中最佳时间延迟τ和嵌入维 m 的确 定； 二是预测模型选择及其参数优化 。最小二乘支持向量机 （Least Square Support Vector Machine， LSSVM） 是一种结构 风险最小化原则的机器学习算法， 其在最小化样本点误差的 同时， 缩小模型泛化误差的上界， 在训练过程中不易产生类似
测模型参数的互相关系， 提出一种混沌时间序列预测模型参数同步优化方法。首先采用均匀设计方法对影响模型预测精度的参 数进行均匀设计， 然后采用自调用最小二乘支持向量机进行参数同步优化， 得到最优参数。以经典混沌时间序列太阳黑子年平 均数为例进行了验证， 结果表明， 相对传统的参数优化算法， 参数同步优化算法时间复杂度低、 预测精度高， 为混沌时间序列预测 模型参数优化提供了一种新的思路。 关键词： 最小二乘支持向量机； 时间序列预测； 均匀设计； 优化 DOI： 10.3778/j.issn.1002-8331.2011.01.002 文章编号： 1002-8331 （2011） 01-0004-04 文献标识码： A 中图分类号： TP183
4
2011， 47 （1）
Computer Engineering and Applications 计算机工程与应用
混沌时间序列预测模型参数同步优化
向昌盛 1， 张林峰 2 XIANG Changsheng1， ZHANG Linfeng2
1.湖南农业大学 东方科技学院， 长沙 410128 2.湖南农业大学 信息技术学院， 长沙 410128 1.Orient Science & Technology College of Hunan Agricultural University， Changsha 410128， China rmation Science and Technology College of Hunan Agricultural University， Changsha 410128， China E-mail： cx5243879@ XIANG Changsheng， ZHANG Linfeng.Simultaneous optimization of chaotic time series prediction model parameters. Computer Engineering and Applications， 2011， 47 （1） ： 4-7. Abstract：Phase space reconstruction and least square support vector machine parameters optimization are optimized separately in traditional methods， and the prediction model can’ t achieve the best performance.A parameters simultaneous optimization method is proposed， which uses the interdependent relationship between phase space reconstruction and least square support vector machine parameters to improve the model performance.Firstly， the parameters are designed based on uniform design.Secondly， parameters are optimized based on least square support vector machine and the best parameters are obtained. The experiment results on sunspots time series show that the proposed algorithm’ s prediction precision is higher and computational complexity is lower compared with the traditional parameters optimization method.It provides a new way for chaotic time series prediction model parameters optimization. Key words：least square support vector machine； time series prediction； uniform design； optimization 摘 要： 传统上相空间重构与预测模型参数优化分开优化， 割裂两者的联系， 模型预测性能难以达到最优。利用相空间重构和预
ï
ï
（4）
其中， （ f x） yi 表示实际值。 i 表示预测值， 不同损失函数构造不同形式的支持向量机， LSSVM 在优 化目标中选择训练误差的 2 范数作为损失函数， 且采用等式约 束代替标准支持向量机的不等式约束[13]， 因此优化问题为：
ω b ξ
min J (ω ξ ) = 1 ωT ω + γ 1 å ξi 2 2 i=1
n n
（6）
根据 Lagrange， LSSVM 回归模型表示为：
f ( x) = å αiΦ( xi)T Φ( x j) + b
i=1 N
（7）
任何满足 Mercer 条件的函数都可以作为支持向量机的核 函数， 通过引入核函数巧妙地解决了高维特征空间中的点积 运算。对于特定的问题， 如何选择最合适的核， 一直是困扰研 究者的一个难点， 大量实践研究表明[14]， 当缺少对具体问题的 先验知识时， 选择径向基核函数模型的总体性能比选择其他 核函数的模型更好， 所以本文选择径向基核函数作为 LSSVM 核函数， 径向基核函数定义如下：
ω
2
2 表示决策函数的复杂程度； Remp 表示经验风险的训练误
差， 经验风险由损失函数来度量。 在支持向量机损失函数中， ε不敏感损失函数具有较好的 稀疏特性， 能保证结果具有很好的泛化性， 因此， 一般情况下 均采用ε不敏感损失函数来表示， 即
ì0 | yi - f ( xi) | £ ε | yi - f (xi) |ε = í î| yi - f ( xi) | - ε otherwise
1
前言
随着非线性混沌动力学的发展， 人们对混沌时间序列的
神经网络的局部最优及过拟合现象， 本文选择 LSSVM 作为混 沌时间序列的预测模型。在基于 LSSVM 的混沌时间序列预 测过程中， 相空间重构和 LSSVM 参数优化过程是互相依赖 的， 无法确定先优化τ、 m 还是训练模型参数， 这样优化其中一 个时总得随机地确定另一个， 割裂了两者之间的内在联系， 因 此， 即使轮流进行也不能保证两者同时达到最优[3]。 针对当前混沌时间序列预测模型参数选择的缺陷， 打破 传统模型参数选择单独进行的做法， 提出了一种基于均匀设 计的 LSSVM 混沌时间序列预测模型参数同步优化方法 （Uniform Design Least Square Support Vector Machine， UD_LSSVM） ， 并以经典混沌时间序列太阳黑子年平均数对 UD_LSSVM 方
n
s.t. yi = ωTΦ( xi) + b + ξ i i = 1 2 n
（5）
通过引入 Lagrange 乘子来建立 Lagrange 函数， Lagrange 函数定义为：
L = 1 ωT ω + γ 1 å ξi - å αi (ωTΦ( xi) + b + ξi - yi) 2 2 i向昌盛， 张林峰： 混沌时间序列预测模型参数同步优化 法进行验证性实验。实验结果表明， 该方法在大幅度降低计 算时间复杂度同时， 预测精度也相应提高。
2011， 47 （1）
5
其中， γ表示正则化的惩罚参数， 能在训练误差和模型复杂度之 间取一个折衷， 以便使所求得函数具有较好的泛化能力；
2 相空间重构和最小二乘支持向量机 2.1 混沌时间序列的相空间重构
[2] [1]
基金项目： 国家教育部新世纪人才支持计划 （the New Century Excellent Talent Foundation from MOE of China under Grant No.NCET-06-0710） ； 湖南省教育厅科学研究资助项目 （No.10C0803） 。 作者简介： 向昌盛 （1971—） ， 男， 博士， 副教授， 主要研究方向： 人工智能与生物信息学； 张林峰 （1963—） ， 男， 副教授， 主要研究方向： 计算机网络与 分布式计算法。 收稿日期： 2010-06-02 修回日期： 2010-11-22
æ x -x 2ö i j ç ÷ ÷ k ( xi x j) = expç 2 ç ÷ 2σ ç ÷ è ø 最后 LSSVM 预测模型为：
（8）
2.2
最小二乘支持向量机
1998 年， Vapnik 等提出了支持向量机 （SVM） ， SVM 是一 种基于结构风险最小化原则的机器学习算法， 泛化能力优异[12]。 SVM 基本思想是： 通过非线性变换函数 Φ 将输人变量映射到 高维特征空间， 在这个空间中根据结构风险最小化原则构造 最优线性回归函数。
复杂性有了更为深刻的认识， 混沌时间序列的预测已经成为 一个热点问题， 在信号处理、 自动控制和模式识别等领域中得 到了广泛的应用 。 混沌时间序列预测模型的构造包括两个关键步骤： 一是 混沌时间序列相空重构过程中最佳时间延迟τ和嵌入维 m 的确 定； 二是预测模型选择及其参数优化 。最小二乘支持向量机 （Least Square Support Vector Machine， LSSVM） 是一种结构 风险最小化原则的机器学习算法， 其在最小化样本点误差的 同时， 缩小模型泛化误差的上界， 在训练过程中不易产生类似
测模型参数的互相关系， 提出一种混沌时间序列预测模型参数同步优化方法。首先采用均匀设计方法对影响模型预测精度的参 数进行均匀设计， 然后采用自调用最小二乘支持向量机进行参数同步优化， 得到最优参数。以经典混沌时间序列太阳黑子年平 均数为例进行了验证， 结果表明， 相对传统的参数优化算法， 参数同步优化算法时间复杂度低、 预测精度高， 为混沌时间序列预测 模型参数优化提供了一种新的思路。 关键词： 最小二乘支持向量机； 时间序列预测； 均匀设计； 优化 DOI： 10.3778/j.issn.1002-8331.2011.01.002 文章编号： 1002-8331 （2011） 01-0004-04 文献标识码： A 中图分类号： TP183
4
2011， 47 （1）
Computer Engineering and Applications 计算机工程与应用
混沌时间序列预测模型参数同步优化
向昌盛 1， 张林峰 2 XIANG Changsheng1， ZHANG Linfeng2
1.湖南农业大学 东方科技学院， 长沙 410128 2.湖南农业大学 信息技术学院， 长沙 410128 1.Orient Science & Technology College of Hunan Agricultural University， Changsha 410128， China rmation Science and Technology College of Hunan Agricultural University， Changsha 410128， China E-mail： cx5243879@ XIANG Changsheng， ZHANG Linfeng.Simultaneous optimization of chaotic time series prediction model parameters. Computer Engineering and Applications， 2011， 47 （1） ： 4-7. Abstract：Phase space reconstruction and least square support vector machine parameters optimization are optimized separately in traditional methods， and the prediction model can’ t achieve the best performance.A parameters simultaneous optimization method is proposed， which uses the interdependent relationship between phase space reconstruction and least square support vector machine parameters to improve the model performance.Firstly， the parameters are designed based on uniform design.Secondly， parameters are optimized based on least square support vector machine and the best parameters are obtained. The experiment results on sunspots time series show that the proposed algorithm’ s prediction precision is higher and computational complexity is lower compared with the traditional parameters optimization method.It provides a new way for chaotic time series prediction model parameters optimization. Key words：least square support vector machine； time series prediction； uniform design； optimization 摘 要： 传统上相空间重构与预测模型参数优化分开优化， 割裂两者的联系， 模型预测性能难以达到最优。利用相空间重构和预
ï
ï
（4）
其中， （ f x） yi 表示实际值。 i 表示预测值， 不同损失函数构造不同形式的支持向量机， LSSVM 在优 化目标中选择训练误差的 2 范数作为损失函数， 且采用等式约 束代替标准支持向量机的不等式约束[13]， 因此优化问题为：
ω b ξ
min J (ω ξ ) = 1 ωT ω + γ 1 å ξi 2 2 i=1
n n
（6）
根据 Lagrange， LSSVM 回归模型表示为：
f ( x) = å αiΦ( xi)T Φ( x j) + b
i=1 N
（7）
任何满足 Mercer 条件的函数都可以作为支持向量机的核 函数， 通过引入核函数巧妙地解决了高维特征空间中的点积 运算。对于特定的问题， 如何选择最合适的核， 一直是困扰研 究者的一个难点， 大量实践研究表明[14]， 当缺少对具体问题的 先验知识时， 选择径向基核函数模型的总体性能比选择其他 核函数的模型更好， 所以本文选择径向基核函数作为 LSSVM 核函数， 径向基核函数定义如下：
ω
2
2 表示决策函数的复杂程度； Remp 表示经验风险的训练误
差， 经验风险由损失函数来度量。 在支持向量机损失函数中， ε不敏感损失函数具有较好的 稀疏特性， 能保证结果具有很好的泛化性， 因此， 一般情况下 均采用ε不敏感损失函数来表示， 即
ì0 | yi - f ( xi) | £ ε | yi - f (xi) |ε = í î| yi - f ( xi) | - ε otherwise
1
前言
随着非线性混沌动力学的发展， 人们对混沌时间序列的
神经网络的局部最优及过拟合现象， 本文选择 LSSVM 作为混 沌时间序列的预测模型。在基于 LSSVM 的混沌时间序列预 测过程中， 相空间重构和 LSSVM 参数优化过程是互相依赖 的， 无法确定先优化τ、 m 还是训练模型参数， 这样优化其中一 个时总得随机地确定另一个， 割裂了两者之间的内在联系， 因 此， 即使轮流进行也不能保证两者同时达到最优[3]。 针对当前混沌时间序列预测模型参数选择的缺陷， 打破 传统模型参数选择单独进行的做法， 提出了一种基于均匀设 计的 LSSVM 混沌时间序列预测模型参数同步优化方法 （Uniform Design Least Square Support Vector Machine， UD_LSSVM） ， 并以经典混沌时间序列太阳黑子年平均数对 UD_LSSVM 方
n
s.t. yi = ωTΦ( xi) + b + ξ i i = 1 2 n
（5）
通过引入 Lagrange 乘子来建立 Lagrange 函数， Lagrange 函数定义为：
L = 1 ωT ω + γ 1 å ξi - å αi (ωTΦ( xi) + b + ξi - yi) 2 2 i向昌盛， 张林峰： 混沌时间序列预测模型参数同步优化 法进行验证性实验。实验结果表明， 该方法在大幅度降低计 算时间复杂度同时， 预测精度也相应提高。
2011， 47 （1）
5
其中， γ表示正则化的惩罚参数， 能在训练误差和模型复杂度之 间取一个折衷， 以便使所求得函数具有较好的泛化能力；
2 相空间重构和最小二乘支持向量机 2.1 混沌时间序列的相空间重构
[2] [1]
基金项目： 国家教育部新世纪人才支持计划 （the New Century Excellent Talent Foundation from MOE of China under Grant No.NCET-06-0710） ； 湖南省教育厅科学研究资助项目 （No.10C0803） 。 作者简介： 向昌盛 （1971—） ， 男， 博士， 副教授， 主要研究方向： 人工智能与生物信息学； 张林峰 （1963—） ， 男， 副教授， 主要研究方向： 计算机网络与 分布式计算法。 收稿日期： 2010-06-02 修回日期： 2010-11-22
æ x -x 2ö i j ç ÷ ÷ k ( xi x j) = expç 2 ç ÷ 2σ ç ÷ è ø 最后 LSSVM 预测模型为：
（8）
2.2
最小二乘支持向量机
1998 年， Vapnik 等提出了支持向量机 （SVM） ， SVM 是一 种基于结构风险最小化原则的机器学习算法， 泛化能力优异[12]。 SVM 基本思想是： 通过非线性变换函数 Φ 将输人变量映射到 高维特征空间， 在这个空间中根据结构风险最小化原则构造 最优线性回归函数。