基于支持向量机的回归研究

图２预 测结 果
ຫໍສະໝຸດ Baidu
均方误 差 Ｍ Ｅ＝００ １ Ｓ ． ５相 关 系数 Ｒ＝０ ９ １ ７ ．８。 ４
为 了取得 更 好 的效 果 ． 练 中对数 组ａ 行 归 一化 训 进 子 集 作 为训 练集 训练 模 型 ． 用第 ｉ 子 集作 为测 试 计算 个 预 预测 结果 如 图３ 所示 ： 模 型 预测 的误 差 。 最后 将ｋ 次预测 模 型 的平均 误差 值作 处 理 ， 测后再 进 行反 归一 化 ， 均方误 差 ＭＳ Ｅ＝０１２ ．０ ４相 关 系数 Ｒ ＝０８ ２ 。 ． ７ ６ 为 模 型 的近似误 差值
向量 ， 称为输 入 特 征 向量 。Ｙ ∈Ｒ， ； 表示 输 出 ， ｌ ，…， ｉ ，３ ＝ ２ ｎ 。通过 训练 学 习寻求Ｒ 上的 函数 ）使 得训 练样 本 集 “ ｘ， 要 满 足 对 任意ｘ， 在ｙ 。 对 于ｘ＋Ｘ …的数 据 ， 存 ｉ ｘ， ＝ ） ｎ￣ ｌ 也 同样 存在 这样 的“ １ ｘ。 回归 问题 ．是 输 入变 量 和输 出变 量通 过 函数关 系 表 示 ， 以此 函数 为规 则 ． 过 输 入新 的变 量 ． 到新 并 通 得 的输 出作 为预 测值 。
２１ ０ ０年第 １ ２期
福 建 电
脑
１７ ０
基 于支 持 向量 机 的 回归 研 究
刘 磊
（天津 大唐 国际盘 山发 电有 限责 任公 司 天 津 蓟县 ３ １ ０ ０ ９ ０）
【 摘
要 】 支持 向量 机在 非 线性 回 归 中 ， 着成功 的应 用。本 文 通过 一支持 向量机 进行 回归 的 实例 研 ： 有
参考 文献 ：
【】 ｉ ｒｋｓＤ， ｎ ａｏ ｒ ． ｅ ｓ ｅｍｎｎ ｓａｔｏ ｆｒ １ Ｐｅ ａｏ ａｄＰｌ ｕａ ＧＷ ｂ ｕａ ｉｉｇａ １ ｒ ｉ ｓ ｇ ｏ ｏ ｐｒ ｎｌａｏ ： ｒｅ 【１Ｕｓ ｄｌ ｇａｄＵｓ ￣ｐ － ｅ ｏ ａｚｔ ｎ Ａ ｓ ｖｙＣ ． ｅ Ｍｏ ｅｎ ｎ ｅ Ａ ｍｄＩ ｓ ｉ ｉ ｕ ｒ ｉ ｒ ｎ
ｍ ｉ ｎ
ｃ ∑三（ （） ｆｘ） ，
ｓ． Ｊ一＿（， ） ． 厂 ｏ ｓ￡ ｔ ）
其 中， 常数 Ｃ Ｃ ０ 用来 调 整训 练模 型 ， 于 平衡 结 （＞ ） 用 构 风险 和置信 风 险 。
２ 交 叉 验 证 原 理 、
参 数 的 取值 对支 持 向量 机 有 很重 要 的 影 响 ．选 择
本 文 以 麦 克一 拉 斯 混 沌 微 分 方 程 为对 象 进行 研 格 ｄ ｄ＝ （ 丁， ＋ （ 下 ￣］ｂ ｘ ） ￣ ｔａ ｘｔ ） １ ｘ — ） ０－ （ 一 ［ ｔ ｔ 计 算时 ，＝ ７ ＝ ． ｂ ０１ ｒ １ ； ０２ ＝ ．，取 １ ０ 个 点 ，如 图１ ａ ； ２０ 所
合适 的参 数 ． 能够使 支 持 向量机 既 有好 的学 习能 力 ， 又 有好 的泛 化 能力
交 叉 验证 是 度量 Ｓ Ｍ回归 结 果 的首 选 方法 ．并且 Ｖ 它具 有指 导参 数选 择 的能力 其 原 理是 将 训 练样 本 分 成 数 据量 相 同的ｋ 子集 ． 个 记性 训 练算 法ｋ 。 于每个 次 对 子 集 ｉ在第 ｉ 训 练 时 ． 用 除 去第 ｉ 子 集后 的ｋ １ ． 次 要 个 一 个
究， 通过 交叉验证 确定 最优 的 系数 ， 为研 究 者提供 参 考 。
【 关键 词 】 非 线性 回归 ；８ ｓｒ ； ： 一 ｖｎ 交叉验 证
１ 支持 向量机 回归原理 、 限样本 下 机器学 习的理 论 框架 和通 用 方 法 ．既 有严 格 的理论 基 础 。 能较 好 地解 决 小 样本 、 线 性 、 维 数 又 非 高 学 习领 域新 的研究 热点 。
图 １ 麦克 一 拉 斯 混 沌 微 分方 程 ： 格
用 数组 记 录方 程 中 的点 ：： ａ ｋＹ￣ ａｓ ２ ０１） ａ ｍ ｃ ｅ ｌ （ ０ ，７ ； ｓ１ ａ １０ 个点 的数 组 是 ２０
应用 一 支持 向量 机进 行 回归研 究 ．以ａ 对支 持 向量 依 据结 构 风险最 小化 准则 ． 数学 语 言表 达 ． 持 向量 用 支 机进 行训 练 ． 练 中 ． 训 以交 叉 验证 的方 法 确定最 优 的参 回归机 要求 解 的问题是 ： 数值 ， 并做 预测 。 图２ 预测 结果 ： 是
统计 学 习理 论 和支 持 向量 机 建立 了一 套 较好 的有 究 。麦克一 拉斯 混沌 微分 方 程 ： 格
和 局部 极小 点等 实际 问题 ．因此成 为 目前 国际 上机 器 示 ：
支 持 向量机 是 从统 计 学 习理 论发 展 而 来 的 ．设 给
定 训 练 样 本集 Ｇ： （， ｉ 其 中ｘ∈Ｒ ， 示 第 ｉ ｄ ｆ ｉＹ ｘ ） “表 个 维
Ａ２０ ３，２ ０ ０ ０ ３，２ ７－２４ ３ ９
３ 实 例 研 究 、 ３ 结 论 ．
根据预测结果可见 ， 训练样本 （ 对 下转 第 １２页 ） ０
１２ ０
福 建 电
脑
２１ ０ ０年第 １ ２期
出 ， 着 用户 数 的增 多 ， 法 耗 费 的 Ｃ Ｕ时 间上 升 比 的可信 度和准 确性 。 随 算 Ｐ
较缓慢 。
ｔｒｃｉｎ ２ ０ ．３４ ： １ —３ ２ ｅａｔ ， ０ ３１ （）３ ７ ． ｏ １
【】 ａｌｎ ， ｒ ｒ Ｕ．ｌｏ ｉ ， ． ｇｅｉ ．Ｐｅｒｃｓｎ ２ Ｂ ｇｏ ｉ ｉ Ｍ．Ｆ ｒ ａ ，￣ ｍｅ Ａ．Ｒｕ ｉ ， ｒｐｏｅ ｉ ｅ ａ ｇ ｒＳ ｓｇ
ａｄ ｎ Ｍｉ ｉ ｇ Ｗ ｅ Ｌ ｇ Ｄａ ｏ ｂ ｅ ｓ ｎ ｌ ａｉ ｎ ｎ ｎｎ ｂ ｏ ｔ ｆ ｒ ｗｅ Ｐ ｒ ａｉ ｔ ．Ｉ ：ＡＩ Ｉ ａ ｏ ｚ ｏ ＊—