一种基于决策树的SVM算法

分 类超 平 面之 间 的正类 样 本 和负 面样本 。最 优 超平
面是 能够 给 予 两类 训 练 样 本 之 间最 大 间 隔 的 超 平
面 。支 持 向量 机 已成 功 应 用 于 各 种 现 实 问 题 ， 如 手 写 数字 识 别 、 人脸 图像识别 、 文 本 分 类 和 生 物 信 息
树 的 支 持 向 量 机 算 法 的 思 想是 利 用 决 策 树 算 出 支 持 向 量 机 的 大 致 决 策 边 界 ， 决 策 树 上 含 有 单 变 量 节 点和 Ｓ ＶＭ 节 点 ， 支持 向 量 机 用 来 对 靠 近 决 策 边 界 的 重 要 的 数 据 点 进 行 分 类 ， 剩 下 的 相 对 不 重 要
减 少支 持 向量 的方 法 ： 一 种 方 法 利 用 回归 来 近 似 支 持 向量 机决 定 函数 ； 另一个是解决 了 Ｓ ＶＭ 优 化 中 的一 个 原始 重组 问题 。Ｄｏ ｗｎ ｓ ｅ ｔ ａ ｌ Ｌ ４ 提 出 了一个 方 法是 使 用线 性相 关 丢弃一 些 不必 要 的支持 向量 。李 和 张＿ ５ 提 出 了一 种 利 用 迭 代 学 习 支 持 向量 机算个 数 据 集 上 的测 试 精度 ， 图 １
还给 出了 Ｓ Ｖ Ｍ和 Ｄ Ｔ在 六个 数据 集 上 的测 试速 率 ，
图２ 和 图 ３分别给 出了 Ｓ Ｖ Ｍ和 Ｄ Ｔ的测试 时间 。
收 稿 日期 ： ２ ０ １ ６ 一 ｌ １ ～ Ｏ ９
基金项 目 ： 山 西 高 等 学校 科 技 创 新 项 目（ ２ ０ １ ５ １ １ ０ ） 作者简 介 ： 程凤伟 （ １ ９ ８ ８ 一） ， 女， 河 南 周 口人 ， 太原学院 ， 硕 士， 研 究方向 ： 人 工 智 能 和机 器 学 习 。
的数 据 ， 点用决 策树对 其进 行 快速 分 类 。
关 键 词 ：支 持 向 量 机 ； 决 策树 ； 决 策世 界
中图 分 类 号 ： ＴＰ ３ 文 献 标 识 码 ：Ａ 文章 编 号 ： ２ ０ ９ ６ － １ ９ １ Ｘ（ ２ ０ １ ７ ） ０ １ — ０ ０ ３ ３ — ０ ４
Ｄ０Ｉ ： １ ０ ． １ ４ １ ５ ２ ／ ｉ ． ｃ ｎｋ ｉ ． ２ ０ ９ ６ — １ ９ １ Ｘ ２ ０ １ ７ ． ０ １ ． ０ １ ０
引 言
支持 向 量 机 （ Ｓ ｕ ｐ ｐ ｏ ｒ ｔ Ｖｅ ｃ ｔ ｏ ｒ Ｍａ ｃ ｈ ｉ ｎ ｅ ， Ｓ ＶＭ ） 是 监督 学 习 的一个 有 力 工 具 ， 广 泛应 用 于分 类 和 回 归 问题 。支持 向量机 分类 器 的 中心思 想是 找到 最优
一
的决定 边 界 的样 本 需 要 使 用 Ｓ ＶＭ 分类 ， 剩 下 的样 本 使用 快速 的决 策树 进行 分类 。
１ 对 ＤＴ 和 Ｓ ＶＭ 算 法 的研 究
为 了了解 Ｄ Ｔ—ｓ ＶＭ 算 法 的分类 过程 ， 本 文在 ６ 个 ＵＣ Ｉ ａ ｄ ｕ ｌ ｔ 数据 集 上 （ 见表 １ ） 进 行 了实 验 ， 本文 使
用Ｊ ｏ ａ ｃ ｈ ｉ ｍ的 Ｓ Ｖ Ｍ 算 法训 练 Ｓ Ｖ Ｍ 二元 分 类 器 。其 中惩罚 参数 Ｃ取 ５ ． ４ ， 高斯 核参 数 ｄ取 １ ． ０ 。图 １给
个 热 门领域 ， 现 已有 许 多可 用 的 方 法 。Ｂ ｕ ｒ ｇ ｅ ｓ 一 Ｊ ］
提 出 了简 Ｓ ＶＭ 算 法 ； Ｏ ｓ ｕ ｎ ａ和 Ｇｉ ｒ ｏ ｓ ｉ Ｌ ３ 提 出了两 种
第３ ５卷 第 １ 期 ２ ０ １ ７年 ３月
Ｖｏ１ ．３ ５ ＮＯ．１
太 原 学 院 学 报
Ｍａ ｒ ．２ Ｏ１ ７
一
种基 于决策树的 Ｓ ＶＭ 算法
程 凤 伟
（ 太原学院 ， 山西 太 原 ０ ３ ０ ０ ３ ２ ）
摘 要 ：随 着 现 实 生 活 中 数 据 集 规 模 的 不 断 增 大 ， 提 出 一 个 有 效 的 分 类 算 法 势 在 必 行 。 现 今
Ｌ ｉ ｅ ｔ ａ ｌ Ｌ ６ 提 出 了一 种 基 于 向量 相 关性 的 自适 应 算
法 。可 以看 出 ， 几 乎所 有 的 方 法 旨在 减 少 支 持 向量 的数量 来 减少 测试 时 间 。本 文 提 出一 种新 的算 法 ， 用 决 策 树口 支 持 向 量 机 的 模 糊 决 策 边 界 来 提 高
Ｓ ＶＭ 在测 试 阶段 的速度 ， 基 于决策 树 的支持 向量机 算法 （ ＤＴ— Ｓ ＶＭ ） 。Ｄ Ｔ 的 几 个 节 点 是 二 进 制 Ｓ ＶＭ 。在 Ｓ ＶＭＤ Ｔ一 个 二 进 制 Ｓ ＶＭ 训 练 一 次 ， 定 位的（ 多个 ） Ｄ Ｔ 的树 叶 。Ｄ Ｔ～Ｓ ＶＭ 算 法 不 同 于上
很 多 已有 的 算 法 是 针 对 减 少 支持 向 量 的 数 目来 提 高 分 类 的 效 率 ， 文 章 提 出 了 一 个 基 于 决 策 树 的 支
持 向量机 算 法 ， 旨在 通 过 减 少 测 试 集 的 数 目来 提 高 支持 向 量 机 在 测 试 阶段 的 分 类 速 度 。 基 于 决 策
面几种 算法 ， 它不 试 图减少 支持 向量 的数 量 ， 而是减
少 需要 用 Ｓ ＶＭ 分类 的样 本数 目 ， 它是用 Ｓ ＶＭ 和决 策树（ Ｄ Ｔ） 共 同来实现快 速分类。只有靠近 Ｓ ＶＭ
学口 ］ 。支持 向量 机 与其 他分 类方 法 相 比拥有 更好 的
泛 化能 力 ， 但也 造 成一 定 的损失 ， 支 持 向量机 在测 试 阶段 的速度 减 慢 。这是 因 为 Ｓ ＶＭ 计 算 复杂 度 决 定 于支持 向量 的个数 ， 因 此 如果 支持 向量 的数 目非 常 大， 支 持 向量机 就需 要更 多 时 间对数 据进 行分 类 。 加快 Ｓ ＶＭ 在 测 试 阶段 的速 率 是 近 十年 研 究 的