增量密度加权近似支持向量机

第３ 卷　第１ 期 ９ １ ２１ 年１ 月 ０２ １
计 算 机 科 学 Ｃ ｍ ｕｅ　Ｓｉｎｅ ｏ ｐ ｔｒ ｃ ｃ ｅ
Ｖ ｌ３ ｏ １ ｏ ．９Ｎ ．１ Ｎ ｖ２ １ ｏ ０ ２
增量密度加权近似支持向量机
鲁淑霞 崔芳芳 忽丽莎 （ 河北省机器学习重点实验室 河北大学数学与计算机学院 保定 ０ １ ０ ） ７０２
摘 要 近似支持向量机（Ｓ 是 有 但 的 Ｐ ＶＭ） 一 个 正 则 化 最 小 二 乘 问 题， 解 析 解， 是 它 失 去 了 支 持 向 量 机 （ ＶＭ） 稀 疏 Ｓ 性， 使得所有的训练样例都成为支持向量。为了有效地控制近似支持向量机的稀疏性， 提出了增量密度加权近似 支 持 ， 向量机 （ＤＷＰ ＶＭ） 它在训练集中选取最基本 的 支 持 向 量。 实 验 表 明，ＤＷＰ ＶＭ 方 法 与 Ｓ Ｉ Ｓ Ｉ Ｓ ＶＭ， Ｓ Ｐ ＶＭ 和 ＤＷＰ － Ｓ 其精度相似， 收敛速度快， 可有效地控制近似支持向量机的稀疏性。 ＶＭ 方法相比， 关键词 近似支持向量机， 密度加权， 增量， 稀疏性 中图法分类号 Ｔ １ １ 文献标识码 Ａ Ｐ８
ｌｃｅ ｅｔｌＤ ｎｉ ｅ ｈｅ ｒｘｍ ｌ ｕ ｐｒ　ｅｔｒ Ｍ ｃｉｅ ｎｒ ｍ ｎａ　ｅｓ ｙ Ｗ ｉ ｔｄＰｏｉ ａ ｐ ｏｔＶ ｃｏ ａｈｎ ｔ Ｓ ｇ
Ｌ ｈ － ｉ Ｃ ＩＦ ｎ － ａ ｇ Ｕ Ｓ ｕｘａ Ｕ ａ ｇｆｎ ＨＵ Ｌ－ ｈ ｓ ｉ ａ
（ ｅ ａ ｆ Ｍ ｃｉｅＬ ａｎｎ ， ｅ ｅ　ｒｖｎｅ Ｃｌ ｇ ａｈ ｍ ｔ ｓａ ｄＣ ｍ ｕｅ ， ｅ ｅ ｎｖｒｉ ，ａ ｄｎ ７ ０ ２，ｈｎ ） Ｋ ｙＬ ｂｏ ａｈｎ ｅｒｉｇ Ｈ ｂｉＰｏｉｃ ，ｏ ｅｅｏ Ｍ ｔｅ ａ ｃ　ｎ ｏ ｐ ｔｒ Ｈ ｂｉＵ ｉｅｓ ｙ Ｂ ｏｉｇ０ １ ０ Ｃ ｉａ ｌ ｆ ｉ ｔ
Ａ ｓ ａｔ ｈ ｒｘｍ ｌ ｕ ｐｒ　ｅｔｒｍ ｃｉｅ （Ｓ ｂｔ ｃ Ｔ ｅｐｏｉ ａ ｓ ｐ ｏｔ ｃｏ ａｈｎｓ Ｐ ＶＭ）ｓａｒｇｌｒ ｅ ａｔ ｑ ａｅ　ｒｂｅ ， ｈｃ ａ　ｎａ ａｙ ｃ ｒ ｖ ｉ ｕａｉ ｄ ｅｓ－ ｕｒｓｐｏｌ ｍ ｗ ｉｈｈｓａ ｎｌｔ ｅ ｚ ｌ ｓ ｉ ｈ ａ ｓ ｌｔ ｓ ｖ ｆ ｆ ｓｌｔ ｎ． ｏ ｅｅ ， ｅＰ ＶＭｌｃ ｓ ｐｒｅ ｅｓａ ｄａ ａｎｎ ａｅ　ｅｏ ｅ ｕ ｐｒ　ｅｔｒ ． ｈｓｐ ｐｒ ｏｕｅ ｎｅ－ ｏｕｉ Ｈ ｗ ｖｒｔ Ｓ ｋ ａｓｎｓ ，ｎ ｌ ｒｉｉｇｄｔｓｂｃ ｍ ｐ ｏｔ ｃｏｓ Ｔ ｉ　ａ ｅ ｃｓｄｏ ｏ ｆｃ ｖｌ　ｏｔｏ ｎ　ｈ　ｐｒｅ ｅｓｏ　ｈ Ｓ ｅｔ ｅｙｃ ｎｒｌ ｇｔｅｓ ａｓｎｓ　ｆｔｅ Ｐ ＶＭ． ｎｉｃｅ ｅｔｌｄ ｎｉ ｅ ｈｅ ｒｘｍ ｌｓ ｐ ｏｔｖｃｏ ａｈｎ ｉ ｉ Ａ ｎｒ ｍ ｎａ　ｅｓ ｙ ｗｉ ｔｄ ｐｏｉ ａ ｕ ｐｒ　ｅｔｒ ｍ ｃｉｅ ｔ ｇ （ＤＷＰ ＶＭ）ｗ ｓｐｏ ｏｅ ， ｈｃ ｅ ｃｓｔｅｂｓ ｕ ｐｒ　ｅｔｒ　ｎｔｅｔａｎｎ ｅ ． ｈ　ｘ ｅｉ ｅｔｒｓｌ ｈ ｗ Ｉ Ｓ ａ　ｒｐ ｓｄ ｗ ｉｈｓｌ ｔ　ｈ ａｉ ｓ ｐ ｏｔｖｃｏｓｉ　ｈ　ｒｉｉｇｓｔ Ｔ ｅｅ ｐｒｍ ｎ　ｅｕ ｓｓ ｏ ｅ ｓ ｔ ｔ ａ ｆｈ Ｉ Ｓ ｍｌ ｉｈ ｈ ＶＭ，Ｓ ｎ ａ ｉｓ ａ ｔ Ｐ ＶＭ ａ ｄＤＷＰ ＶＭ　ｅｈ ｄ ，ｎ ｎ ｅｇ ｎｅ ｐｅ Ｓ ｍ ｔｏ ｓａ ｄｃ ｖｒｅｃ ｅｄ ｏ ｓ ｔａ　ｈ ｃｒｃ ｅ ＤＷＰ ＶＭｃｎ ｓ ｉ ｉ ｒｗｔ ｅＳ ｈｔ ｅ ｃｕａｙｏ ｔ ｉ ｆｓｅ ． ｈ　ＤＷＰ ＶＭ ｃｎｅ ｅｔ ｅｙｃ ｎｒｌ ｈ　ｐｒｅ ｅｓｏ　ｈ Ｓ ｓ ａｔｒ Ｔ ｅ Ｉ Ｓ ａ ｆｃ ｖｌ　ｏｔｏ ｔｅｓ ａｓｎｓ　ｆ ｅＰ ＶＭ． ｆ ｉ ｔ Ｋ ｙ ｏｄ Ｐｏｉ ａ ｓ ｐ ｏｔｖｃｏ ａｈｎ ，ｅｓ ｙ ｗｉｈ ， ｃｅ ｅｔＳ ａｓｎｓ ｅ ｗ ｒｓ ｒｘｍ ｌ ｕ ｐｒ　ｅｔｒｍ ｃｉｅ Ｄ ｎｉ ｅ ｔＩ ｒ ｍ ｎ ，ｐｒｅ ｅｓ ｔ ｇ ｎ 很好地控制了 Ｐ ＶＭ 的稀疏性。 的支持向量的个数， Ｓ
１ 引言
［ １ 标准的支持向量机（ ＶＭ） ］的 求 解 属 于 二 次 规 划 问 题， Ｓ
２ 密度加权近似支持向量机
２． 标准的 Ｐ ＶＭ １ Ｓ 标准的 Ｐ ＶＭ 通过拟合两类数 据， 到 两 个 平 行 的 间 隔 得 Ｓ 面， 这两个间 隔 面 通 过 类 中 心 ， 得 样 本 的 聚 类 误 差 尽 可 能 使 且两个间隔面的间隔最大。 小， 标准的 Ｐ ＶＭ 的优化问题： Ｓ
ｎ （ ， ，） Ｒ ＋１＋ｍ ω ｂξ ∈
对于大规模数据， ＶＭ 的训练时间较长。为了减少 时 间 的 复 Ｓ 杂度， 许多学者提出了 Ｓ 如 ＶＭ 的各 种 变 形， 最 小 二 乘 支 持 向
［ ，］ ２ 量机 （ ｅｓ　ｑ ａｅＳ ｐ ｏｔ Ｖ ｃｏ ａｈｎｓ Ｌ Ｓ Ｌ ａｔＳ ｕｒ ｕ ｐｒ ｅｔｒ Ｍ ｃｉｅ ， Ｓ ＶＭ ） ３ 、
近 似 支 持 向 量 机 （ｒｘｍ ｌＳ ｐ ｏｔ Ｖ ｃｏ ａｈｎｓ Ｐ － Ｐｏｉ ａ ｕ ｐｒ ｅｔｒ Ｍ ｃｉｅ ， Ｓ ［］ ４ 约简支持向量机（ ｅ ｕｅ ｕ ｐｒ　ｅｔｒＭ ｃｉｅ ， ＶＭ） 、 Ｒ ｄ ｃｄＳ ｐ ｏｔＶ ｃｏ ａｈｎｓ 文 Ｒ ＶＭ） 。文献［ ］ Ｓ ６ 给出了多类近似支持 向 量 机； 献［ ］ ７ 提
［］ ５
出了一种改进的近似支持 向 量 机。文 献［ ］ Ｐ ＶＭ 的 增 量 ８是 Ｓ 版本， 适合解决大样本和高维数据问题。 标准的 Ｐ ＶＭ 方法是 Ｍ ｎ ａａｉｎ 等人基于优化理论提 Ｓ ａ ｇｓｒ ａ 出的， 它将 Ｓ ＶＭ 的 二 次 规 划 问 题 转 化 为 求 解 线 性 方 程 组 的 问题， 可以得到解析 解， 合 解 决 大 样 本 问 题， 是 它 使 所 有 适 但 训练样例都成为了支持向量， 去 了 标 准 Ｓ 失 ＶＭ 的 稀 疏 特 性。 因此需要对 Ｐ ＶＭ 模型进行稀 疏 化。文 献［ ］ 出 了 去 除 部 Ｓ ９提 文献［０ 去掉具有最小引入误差的样本， 得 获 分样本的方法； １］ 了好的稀疏性能； 献 ［１］ 剪 枝 法 控 制 稀 疏 性。 为 了 有 效 文 １ 用 地控制 Ｐ ＶＭ 方 法 的 稀 疏 性， 文 在 文 献 ［２］ 基 础 上， 本 提 Ｓ １ 的 其 出了增量密度加权近似支持向量机方法， 从训练集合中选 取使得目标函数值最小的点作为支持向量， 而选取所期望 进
ｍｎ ｉ
２ υ‖ ‖ ＋ ξ
１ （Ｔ ２ ｂ ω ω＋ ） ２
（） １
ｓｔ Ｄ（ ω－ ｂ ＋ ＝ ．． Ａ ｅ ） ξ ｅ 式中， 矩阵 Ａ∈Ｒｍ×ｎ 表 示 训 练 集 合， ＋ 表 示 训 练 集 合 中 正 类 Ａ 样本组成的集合， － 表 示 训 练 集 合 中 负 类 样 本 组 成 的 集 合； Ａ
ｍ ｎ ｍ ｅ ω υ ξ∈Ｒ 是误差项； ∈Ｒ 是 法 向 量； 为 正 则 化 常 数； ∈Ｒ 为 全 １ 向 量； 是 一 个 ｍ ×ｍ 的 对 角 矩 阵， 角 线 元 素 取 ＋１ 对 Ｄ
时， 对应的点为点集 Ａ＋ 中的元素， 对角线元素取 －１ 时， 应 对 的点为点集 Ａ－ 中的元素。 ２． 密度加权近似支持向量机 ２ 标准 Ｐ ＶＭ 的间隔 面 经 过 类 中 心， 般 情 况 下， 离 类 一 距 Ｓ 中心较近点周围的样例个数较多， 密度较大， 而类中心附近 的 点是重要的点。标准的 Ｐ ＶＭ 在 分 类 时， 样 例 赋 予 了 相 同 给 Ｓ
到稿日期：０ ２０ － ５ 返修日期：０ ２０ － ８ ２ １ － １０ ２ １ － ６０ 本文受国家自然科学基金项目（１ ７ ０ ４ ） 河 北 省 自 然 科 学 基 金 项 目 （２ １ ２ １ ６ ，２ １ － ６１０００ ， Ｆ０１００３ Ｆ００ ００２ ） ０ ３ ３ 资助。 ， 博士， ， 硕士， 鲁淑霞（９ ６－ ） 女， 教授， 主要研究方向为机器学习与计算智能、 支持向量机， ａ ：ｍｌｓ ＠１ ６． ｍ； 主要 １６ Ｅ－ｍ ｉ ｃ ｃｕｘ ２ ｃ ｌ ｏ 崔芳芳（９ ４－ ） 女， １８ ， 硕士， 研究方向为支持向量机； 忽丽莎（９ ６－ ） 女， 主要研究方向为支持向量机。 １８
·１４· ９