基于粒子群优化的最小二乘支持向量机在时间序列预测中的应用_张弦

作为一种 基 于 统 计 学 习 理 论 的 机 器 学 习 机 制，最小二乘 支 持 向 量 机［１３－１４］（ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐ－ ｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ，ＬＳＳＶＭ）根 据 结 构 风 险 最 小原则在模型复杂性与学习能力之间寻求最佳平 衡，有效避免了传 统 机 器 学 习 方 法 中 存 在 的 局 部 极值、过 学 习 与 维 数 灾 难 等 缺 陷。ＬＳＳＶＭ 以 误 差平方和损失函数作为训练样本集的经验损失， 在等式约 束 条 件 下，将 支 持 向 量 机 （ｓｕｐｐｏｒｔ ｖｅｃ－ ｔｏｒ ｍａｃｈｉｎｅ，ＳＶＭ）中求 解 凸 二 次 规 划 问 题 转 化 为求解线性方程 组 问 题，大 大 缩 短 了 模 型 训 练 时
组 ，即
［ ］［］ ［］ ０ ｌＴ
ｂ０
＝
ｌ Ω ＋ｃ－１Ｉ ａ
ｙ
（４）
ｌ＝ ［１ １ … １ ］Ｔ
ｙ ＝ ［ｙ１ ｙ２ … ｙＮ ］Ｔ
ａ ＝ ［ａ１ ａ２ … ａＮ ］Ｔ
式中，Ω 为核 函 数 矩 阵 ，Ω ＝ ［ｆ（ｘｉ，ｘｊ）］；ｆ（ｘｉ，ｘｊ）为 核 函 数 ；Ｉ 为 单 位 矩 阵 。
求解式（４）可得 ＬＳＳＶＭ 回归函数：
（２）设置 粒 子 群 规 模 为 Ｐ、最 大 进 化 代 数 为 ｔｍａｘ、最大惯性权值为 ｗｍａｘ、最小惯性权值为 ｗｍｉｎ、 加速因子为ｃ１、ｃ２，并 在 （ｃ，ｒ）的 取 值 区 间 内 随 机 初 始化每个粒子ｐｉ（ｉ＝１，２，…，Ｐ）的位置ｘｉ（ｔ）＝ ［ｃｉ（ｔ） ｒｉ（ｔ）］Ｔ 与 速 度 ｖｉ（ｔ） ＝ ［Δｃｉ（ｔ） Δｒｉ（ｔ）］Ｔ 。
Ｎ
∑ ｙ（ｘ）＝ ａｉｋ（ｘ，ｘｉ）＋ｂ ｉ＝１
（５）
以ｆ（ｘｉ，ｘｊ）＝ｅｘｐ（‖ｘｉ－ｘｊ‖２／ｒ）为 核 函 数 （ｒ为
核参数），此时 ＬＳＳＶＭ 需优化的超参数包括正则 化 参 数ｃ 与 核 参 数ｒ。
３ 基 于 粒 子 群 优 化 的 最 小 二 乘 支 持 向 量机
交叉 验 证 的 基 本 原 理 为：对 于 以 （ｃ，ｒ）为 超 参数的 ＬＳＳＶＭ，预先 将 训 练 样 本 集 划 分 为 ｍ 个 独立子集，利用其中 ｍ －１ 个 子 集 中 的 训 练 样 本 训练 ＬＳＳＶＭ，并 以 剩 余 的 一 个 子 集 测 试 训 练 后 的 ＬＳＳＶＭ，以得到 ＬＳＳＶＭ 对于该子集的测试误 差。重复上述过程 ｍ 次，直至每 个 子 集 都 被 作 为 测试样本集，最终以 ｍ 个子集测试 误 差 的 均 值 作 为（ｃ，ｒ）的 交 叉 验 证 误 差。 可 见，交 叉 验 证 误 差 直接反映了 ＬＳＳＶＭ 泛 化 能 力 的 优 劣，因 此 是 一 种有效 的 ＬＳＳＶＭ 泛 化 能 力 估 计 方 法。ＰＳＯ 是 在飞鸟集群行为启发下而提出的一类基于种群的 随机全局优化技 术，它 利 用 群 体 中 的 个 体 对 信 息 的共享，使整个群 体 的 运 动 在 问 题 求 解 空 间 中 产 生从无序到有序 的 进 化 寻 优 过 程，具 有 较 强 的 自 适应性。
量），并利用 Ｓ＝ ｛（ｘｉ，ｙｉ）｝ｉＮ＝１ 训练 ＬＳＳＶＭ，则可 使训练后的 ＬＳＳＶＭ 逼近非线性映射函数 Ｔ（·），
从 而 可 实 现 对 ｛ｘｎ｝ｎＭ＝１ 之 外 的 时 间 序 列 数 据 ｘＭ＋１，ｘＭ＋２，… 的预测。
２ 最小二乘支持向量机的回归原理
根据结 构 风 险 最 小 化 原 理，基 于 时 间 序 列 训
ＬＳＳＶＭ 与传统时间序列预测方法的预测精度。
关 键 词 ：最 小 二 乘 支 持 向 量 机 ；粒 子 群 优 化 ；交 叉 验 证 ；时 间 序 列 预 测
中 图 分 类 号 ：ＴＰ２７３ 文 章 编 号 ：１００４—１３２Ｘ（２０１１）２１—２５７２—０５
ＬＳＳＶＭ Ｂａｓｅｄ ｏｎ ＰＳＯ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｔｉｍｅ Ｓｅｒｉｅｓ Ｐｒｅｄｉｃｔｉｏｎ Ｚｈａｎｇ Ｘｉａｎ Ｗａｎｇ Ｈｏｎｇｌｉ
收 稿 日 期 ：２０１０—１２—０９
· ２５７２ ·
间 ，且 算 法 简 练 ，已 在 解 决 高 维 、非 线 性 、有 限 样 本 的模式识别与回归估计等问题中表现出了超越经 典机器学习机制的独特优势 。 ［１５－１８］
粒 子 群 优 化［１９－２０］（ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａ－ ｔｉｏｎ，ＰＳＯ）是 一 种 基 于 群 体 智 能 的 新 兴 优 化 算 法。该算法在对 飞 鸟 集 群 行 为 观 察 的 基 础 上，利 用群体中的个体对信息的共享使整个群体的运动 在问题求 解 空 间 中 产 生 从 无 序 到 有 序 的 演 化 过 程，从而获取最优 解。ＰＳＯ 保 留 了 基 于 种 群 的 全 局搜索策略，采用 简 化 的 速 度 － 位 移 迭 代 进 化 模 型 避 免 了 复 杂 的 遗 传 变 异 操 作，同 时 特 有 的 速 度－位移记忆模式使其可动态跟踪当前的搜索情 况 ，从 而 可 调 整 搜 索 策 略 ，具 有 较 强 的 全 局 收 敛 能 力与 鲁 棒 性，已 在 机 器 学 习、电 力 系 统、机 械 设 计 与通讯工程等应用领域得到了成功应用。
中 国 机 械 工 程 第 ２２ 卷 第 ２１ 期 ２０１１ 年 １１ 月 上 半 月
基于粒子群优化的最小二乘支持向量机 在时间序列预测中的应用
张 弦 王宏力
第 二 炮 兵 工 程 学 院 ，西 安 ，７１００２５
摘要：为提高基于最小二乘支持向量机（ＬＳＳＶＭ）的 时 间 序 列 预 测 方 法 的 泛 化 能 力 与 预 测 精 度，研
究了一种基于粒子群优化（ＰＳＯ）的 ＬＳＳＶＭ。该方法以交叉验证误差为评价准 则，利 用 ＰＳＯ 对 多 个 具
有不同超参数的 ＬＳＳＶＭ 进行基于迭代进化 的 优 化 选 择，并 以 交 叉 验 证 误 差 最 小 的 ＬＳＳＶＭ 作 为 最 终
优化后的 ＬＳＳＶＭ。时间序列 预 测 实 例 表 明，经 ＰＳＯ 优 化 后 的 ＬＳＳＶＭ 的 预 测 精 度 高 于 未 经 优 化 的
练 样本集Ｓ＝｛（ｘｉ，ｙｉ）｝ｉＮ＝１ 的ＬＳＳＶＭ 回归问题可
表示为约束优化：
Ｎ
∑ ｍｉｎ １２ωＴω ＋ １２ｃｉ＝１ξｉ２
烌 烍
（２）
ｓ．ｔ． ｙｉ ＝ ωＴψ（ｘｉ）＋ｂ＋ξｉ烎
式中，ω 为 权 值 向 量；ｃ 为 正 则 化 参 数；ｂ 为 常 值 偏 差；
ψ（·）为非线性函数；ξｉ 为回归误差。
ｊ＝１
误差。 （４）根 据 ｅｉ（ｔ）确 定 ｐｉ 的 当 前 个 体 最 优 值
ｐｉｂｅｓｔ（ｔ）＝ ［ｃｉｂｅｓｔ（ｔ） ｒｉｂｅｓｔ（ｔ）］Ｔ 与当前 种 群 最 优 值 ｇｂｅｓｔ（ｔ）＝ ［ｃｇｂｅｓｔ（ｔ） ｒｇｂｅｓｔ（ｔ）］Ｔ。
为求解 上 述 优 化 问 题，建 立 相 应 的 拉 格 朗 日
函数：
Ｎ
∑ Ｌ（ω，ｂ，ａｉ，ξｉ）＝ １２ωＴω ＋ １２ｃｉ＝１ξｉ２ －
Ｎ
∑ａｉ（ωａｉ 为拉格朗日权值。
（３）
对拉格朗日函数各变量求偏导并令其偏导数
为零，可将求解的 优 化 问 题 转 化 为 求 解 线 性 方 程
０ 引 言
时间序列是指存在于自然科学或社会科学中 的某一变量或指 标 的 数 值 或 观 测 值，按 照 其 出 现 时间的先后次序，以 相 同 的 时 间 间 隔 排 列 的 一 组 数值。它是某一现象或若干现象在不同时刻的状 态所形成的数据，反 映 的 是 现 象 与 现 象 之 间 关 系 的发展变化规律，因 而 包 含 了 系 统 结 构 特 征 及 其 运行规律，所以可 通 过 对 时 间 序 列 的 预 测 来 揭 示 所研究系统的未来行为 。 ［１－１２］
针对时 间 序 列 预 测 问 题，本 文 利 用 ＰＳＯ 对 ＬＳＳＶＭ 进 行 优 化，以 提 高 基 于 ＬＳＳＶＭ 的 时 间 序列预测方法的 泛 化 能 力 与 预 测 精 度，研 究 了 一 种基于 ＰＳＯ 的 ＬＳＳＶＭ，其 有 效 性 通 过 时 间 序 列 预测实例进行了验证。
基 于 粒 子 群 优 化 的 最 小 二 乘 支 持 向 量 机 在 时 间 序 列 预 测 中 的 应 用 ——— 张 弦 王 宏 力
１ 时 间 序 列 预 测 原 理
在时间 序 列 观 测 值 ｛ｘｎ｝ｎＭ＝１ 中，每 个 时 间 序
列数据ｘｎ 均与其之前的ｋ 个时间序列 数 据ｘｎ－１，
ｘｎ－２，…，ｘｎ－ｋ 之间存在非线性映射关系 ：
ｘｎ ＝ Ｔ（ｘｎ－１，ｘｎ－２，… ，ｘｎ－ｋ）
（１）
ｎ ＝ｋ＋１，ｋ＋２，…，Ｍ
式中，ｋ 为嵌入维数；Ｔ（·）为非线性映射函数。
从式（１）可 见，实 现 时 间 序 列 预 测 的 关 键 在
于 对 非 线 性 映 射 函 数Ｔ（·）的 准 确 模 拟 。 因 此 ，以
｛ｘｎ｝ｎＭ＝１ 为 基 础 构 造 时 间 序 列 训 练 样 本 集 Ｓ ＝ ｛（ｘｉ，ｙｉ）｝ｉＮ＝１（其中ｘｉ ＝ ［ｘｎ－１ ｘｎ－２ … ｘｎ－ｋ］Ｔ 为 输入，ｙｉ ＝ｘｎ 为输出，Ｎ ＝Ｍ －ｋ为训练样本数
Ｔｈｅ Ｓｅｃｏｎｄ Ａｒｔｉｌｌｅｒｙ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｌｌｅｇｅ，Ｘｉ’ａｎ，７１００２５ Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｐｒｅｄｉｃｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ＬＳＳＶＭ ｂａｓｅｄ ｔｉｍｅ ｓｅｒｉｅｓ ｐｒｅｄｉｃｔｉｏｎ，ａ ＰＳＯ ｂａｓｅｄ ＬＳＳＶＭ ｗａｓ ｓｔｕｄｉｅｄ．Ｆｉｒｓｔｌｙ，ａ ｃｅｒｔａｉｎ ｎｕｍｂｅｒ ｏｆ ＬＳＳＶＭｓ ｗｅｒｅ ｔｒａｉｎｅｄ ｂｙ ｕｓｉｎｇ ｔｒａｉｎｉｎｇ ｓａｍｐｌｅｓ ａｎｄ ｔｈｅｎ ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ ｅｒｒｏｒ ｗａｓ ａｐｐｌｉｅｄ ｔｏ ｅｖａｌｕａｔｅ ｔｈｅ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｔｈｅ ＬＳＳＶＭｓ．Ｆｉｎａｌｌｙ，ＰＳＯ ｗａｓ ａｐｐｌｉｅｄ ｔｏ ｓｅａｒｃｈ ｆｏｒ ｔｈｅ ｏｐｔｉｍａｌ ＬＳＳ－ ＶＭ ｗｉｔｈ ｔｈｅ ｓｍａｌｌｅｓｔ ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ ｅｒｒｏｒ．Ｅｘｐｅｒｉｍｅｎｔｓ ｏｎ ｔｉｍｅ ｓｅｒｉｅｓ ｐｒｅｄｉｃｔｉｏｎ ｉｎｄｉｃａｔｅ ｔｈａｔ ＬＳＳＶＭ ｏｐｔｉｍｉｚｅｄ ｂｙ ＰＳＯ ｈａｓ ｂｅｔｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｔｈａｎ ｔｈａｔ ｎｏｔ ｏｐｔｉｍｉｚｅｄ ａｎｄ ｃｏｎｖｅｎｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｏｎ ｍｅｔｈｏｄｓ． Ｋｅｙ ｗｏｒｄｓ：ｌｅａｓｔ ｓｑｕａｒｅ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＬＳＳＶＭ）；ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ（ＰＳＯ）； ｃｒｏｓｓ－ｖａｌｉｄａｔｉｏｎ；ｔｉｍｅ ｓｅｒｉｅｓ ｐｒｅｄｉｃｔｉｏｎ