基于Matlab的最小二乘支持向量机的工具箱及其应用_李方方

xi ) +1] q
2
k(xi , x) = exp { -| x - xi | /2σ2 } (3) S ig m o id 函数 : k(xi , x) = tanh(v(x xi ) + c ) (4) B 样条函数 : K (x, y) =B 2 n (x - y)
小二乘支持向量机 , 固定大小的最小二乘支持向量机等 。 2 . 4 LSSVM 算法的改进 lssvm. m ex*是 m a tlab 训练 时在 UN I X /L inux 环境 下和 C 的接口 。 lssvm. d ll 是 M a tlab 训 练时 在 W indow s 环 境下 和 C 的接口 , 有了这两个文件 , 就可以大大提高运行效率 。 模 型 的 验 证 主 要 包 括 C ro ssva lida te、 rcro ssva lida tion、 leaveoneout 是 用 交 叉 验 证 的 各 种 改 进 方 法 进 行 寻 优 , g ridsearch 是在一定的范围内 用来寻找最优的参数范围 。 由于最小二乘支持向量回归估计将二次规划问 题转变成 线性方程组的求解 , 失去了 支持向 量解的 稀疏性 优点 , 此外 , 冗余信息的噪声被全部 拟合到 模型参 数里 , 削弱了 模型的 鲁 棒性 , 使 辨 识 参 数 的 推 广 能 力 下 降 。 针 对 上 述 缺 点 , 函 数 T unelssv m , p runelssv m , w e ightedlssvm 是 对 最小 二 乘支 持 向 量 机上述缺点的改进 。
l
ω+b +ξ- yi ) (4)
其中 : α i ( i = 1, …பைடு நூலகம், l)是拉格朗日乘子 。 根据优化条件 : L =0 ω L =0 b L =0 ξ L =0 α 可得到 : ω=
l l
(5)
1 最小二乘支持向量机的原理
最小二乘支持向 量机 [ 2] 是支持 向量机的 一种改 进 , 它是 将传统支持向量机中 的不等 式约束 改为等式 约束 , 且将 误差 平方和 (Sum Squares E rror) 损失函数作为训练集的经验损失 , 这样就把解二次规划问 题转化 为求解 线性方 程组问 题 , 提高 求解问题的速度和收敛精度 。设样本为 n 维向 量 , 某区域 的 l 个样本及其表示为 : (x1 , y1 ), … , (xl , yl ) ∈ R n ×R , 首先 用一 非 线性映射 ψ ( )把样本从原空间 Rn 映射到 特征空间 φ (xi ), 在这个高维特征空间 中构造最优决策函数 : y(x) =ω φ (x) +b (1) 这样非线性估计 函数转化为高维特征空间的线性估计函 数。 利用结构风险最小化原则 , 寻找 ω , b 就是最小化 : R =
∑ αK(x, x ) +b
i= 1 i i
(8)
K (xi , x) =Υ(xi ) 种类较多 , 常用的有 : (1) 多项式函数 : k(xi , x) =[ (x (2) RBF 函数 :
Υ(x) 称为核函数 , 它 是满足 M erce r
条件的任何对称的核函 数对应 于特征 空间的 点积 。 核函 数的
(2)
(7)
收稿日期 : 2006 - 03 - 23; 修订日期 : 2006 - 06 -04 基金项目 : 国家科技攻关计划项目 (2004BA 204B0803) 作者简介 : 李方方 (1981 - ), 女 , 江苏徐州人 , 硕士研究生 , 主要研究方向 : 智能建模与优化 ; 赵英凯 (1943 - ), 男 , 江 苏镇江人 , 教授 , 博士 生导师 , 主要研究方向 : 智能控制 、机器人控制 ; 颜昕 ( 1979 - ), 男 , 江苏南京人 , 硕士研究生 , 主要研究方向 : 信息集成 、实时数据库 .
第 26 卷 2006 年 12 月
计算机应用 C ompu ter App lications
Vo.l 26 Dec . 2006
文章编号 : 1001 - 9081(2006)12Z - 0358 - 03
基于 M atlab的最小二乘支持向量机的工具箱及其应用
李方方 , 赵英凯 , 颜 昕 ( 南京工业大学 自动化学院 , 江苏 南京 210009) 牗lifangfang101604@ 163 . com牘 摘 要 : 介绍了最小二乘支持向量机的算法和基于 M a tlab 的工具箱 LS SVM lab, 工具箱主要包括 数据预处理 , 建立模型的对象及其各种训练算法等 , 并且结合一个工业实例阐述了 LSSVM lab 在 82B 钢生产预测中的应用 。 仿真结果表明 , 用 M a tla b开发的最小二乘支持向量机工具箱 LS SVM lab 效 果好 , 编程简单 , 易于实现 。 关键词 : 预测 ; 最小二乘支持向量机 ;LSSVM lab;82B 钢 中图分类号 : TP181 文献标识码 : A
其中 ‖ ω‖ 控制模型的复杂度 , c是正规化参数 , 控制对 超出误差样本的惩罚程度 。 R em p 为误差控制函数 , 也即 ε 不敏 感损失函数 。 常用的损失函数有线性 ε 损失函数 , 二次 ε 损失 函数 , H ube r损失函数 。 选 取了不 同的损 失函 数 , 可构 造不 同 形式的支持向量机 。 最小二乘 支持向 量机在 优化目 标失函 数 为误差 ξ 的二次项 。 故优化问题为 : i m inJ(ω ,ξ ) = 1 2 ω ω +c ξ i 2 i= 1
2 1 ω +c R emp 2 ‖ ‖
∑α
i i= 1 i
φ (x i ) (6)
∑α = 0
i= 1
其中 : α =c ξ ,ω φ (xi ) +b +ξ - yi = 0。 i i i 定义核函数 K (xi , yi ) =φ (x i ) φ (xj ) 是满足 条件的 对 称函数 。 根据文献 [ 6] , 优化问题转化为求解线性方程 : 0 1 … 1 b 0 1 1 K(x1 , x1 ) +1 /c … K(x1 , x1 ) K(x1 , x1 ) a1 al … K(x1 , y1 ) +1 /c = y1 yl
2 LSSVM lab 工具箱
基于 M a tlab 的 LSSVM lab 工 具 箱 [ 3 ] 主 要 包 括分 类 、 回 归 、时间序列预测和无监督学 习 。 工具箱 的代码 都是用 C 语 言编写的 。 工具箱根据不同计 算机系统可以用于 W indow s版 本和 L inux 版 本 , 大 多 数 函 数 都 能 计 算 20 000 个 数 据 。 LSSVM工具箱有 3 个版 本 , 基本的 , 高 级的 ( 代 码可 编辑 , 包 括用于贝叶斯框架 ), 还有一个 是在 C 环境 下运行的 版本 , 每 个不同的 算法包含不同的函 数 。 在 LSSVM 工具箱 外有一个 C 程序的编译器 , 它 会自 动把 M a tlab 程 序编 译成 C 程 序 , 然 后在 C 程序下进行 计算 , 这样 就大 大提 高了 LSSVM 的运 算 效率 。
2
∑
l
(3)
s . . t: yi =φ (xi ) ω+ b +ξ , i = 1, … , l i 式中 , ξ 用拉格朗日法求解这个优化问题 : i 为松弛因子 。 L(ω , b, ξ ,α , γ ) = 1 2 ω ω+ c ξ i 2 i= 1
∑
i
l
-
(x ) ∑ α(φ
i i= 1
12 月
李方方等 : 基于 M a tla b的最小二乘支持向量机的工具箱及其应用
359
最后用最小二乘 法求出 a 与 b, 最小二乘支持向量机也由 此得名 , 并且得到非线性预测模型 : f(x) =
l
为均值为 0, 方差为 1 的一组数据 , 所涉及到 的函数有 prestd, poa tstd, trastd) 和主 成分 分析 ( 进 行正 交处 理 , 减 少输 入数 据 的维数 , 所涉及到 的函数有 prepca, trapca)。 当训 练得到输 出 时 , 还必 须进行数据的反归一化 。 2 . 3 算法的训练和仿真 LSSVM lab 工具 箱主 要用来 进行 分类 、函数 的回 归和 利 用核函数进行无监督学习 。 LSSVM lab 用于 函数回 归主要 用 到 3 个函数 , trainlssv m 函数用来训练建立模 型 , sim lssv m 函数 用于预估模型 , plo tlssvm 函 数 是 LSSVM lab 工具 箱的 专用 绘 图函数 。 高版本的 LSSVM lab 工具箱还有贝叶斯框架下的 最
0 引言
支持向量机 [ 1] (Suppo rtV e ctor M achine s, SVM ) 是近 几年 来应用于建模的一种新的学习 方法 , 与传统的神经网络相比 , 支持向量机算法最终 将转化 为一个 二次型寻 优问题 , 从 理论 上讲得到的将是全局 最优点 , 解决 了在神 经网络 中无法 避免 的局部极小 值问 题 。 支 持向 量机 的拓 扑结 构由 支持 向量 决 定 , 避免了传统神经网络拓扑结构需要经验试凑的方法 , 而且 SVM 的最优求解基于结构风险最小 化思想 , 因此 具有比 其他 非线性函数逼近方法具有更强 的泛化能力 。 由此对支持向量 机的研究掀 起了 一股 热潮 。 但是 支持 向量 机的 原理 比较 复 杂 , 因此国内外很多学者开 发了很 多关于 支持向 量机的 工具 包 , 最著名的有台湾学者林智仁博士研发的 libsvm 工具箱 , 国 外很多网站上应用比较多的 有 sv mosu_ 3. 00, svm ligh t , mySv m 等等 , 相比之下 , 美国 K. P e lckm ans, J . A. K, Suykens开发的基 于 M atlab 的最小二 乘支 持向 量 机的 工具 箱 LSSVM lab 编 程 简单 , 可扩展性强 , 算法丰富 。 本文将以 M atlab 7. 1 为 开发环 境 , 主要介 绍了 最小二 乘 支持向量机 LSSVM lab 工具 箱的一 些函 数和设 计步 骤 , 并 且 结合一个实例在 82B 钢生产 中进行 建模与预 估 , 得到了 很好 的预测效果 , LSSVM lab 编 写代 码少 , 易 于实 现 , 是研 究支 持 向量机的一个很有用 的工具 。