模糊多类支持向量机及其在入侵检测中的应用_李昆仑
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期 : 2003 -07 -18; 修改稿收到 日期 : 2004 -09 -28. 本课题 得到 国家/ 十 五0 重 点科技 攻关项 目基金 ( 2002BA 407B) 资 助 . 李 昆仑 , 男 , 1962 年生 , 博士 , 研究领域为机器学习、 数据挖掘、 智能网络安全等 . E -mail: likunl un@ mail. hbu . edu. cn . 黄厚宽 , 男 , 1940 年生 , 教授 , 博 士生导师 , 研究领域为数据挖掘、 机器学习和多 A gent 等 . 田盛丰 , 男 , 1944 年生 , 教授 , 博 士生导师 , 研究 领域为人工智能、 模式识别、 机 器学习和智能网络安全 . 刘振鹏 , 男 , 1966 年生 , 副教授 , 研究领域为分布式系统、 信息安全 . 刘志强 , 男 , 1954 年生 , 教授 , 研究领域为自动 控制与信息安全等 .
l l l l
. 已经证明 , 到
目前为止在处理小样本问题时 , SVM 的泛化能力是 最好的, 它拥有传统的机器学习方法无法比拟的性 能, 尽管有时它的分类精度不是最佳的
[ 1, 2]
. 正是基
于上述的原因, 这一理论已经广泛的应用于数据分 类问题和回归问题, 例如手写体数字的识别、 物体的 识别、 语音识别以及空间数据的分析等 . 在 SVM 理论中 , 原始的输入空间通过一个核 函数映射到一个高维的空间, 这个高维的空间称为 特征空间 , 在这个空间中 , 一个最优分类超平面将分 类器的泛化能力最大化. 最优分类超平面可以由少 量的数 据点 生成 , 这 些点称 为支 持向 量 ( Support Vect or, SV) . 从而 , SVM 分类器在不了解原始问题 领域知识的情况下, 也可以得到很好的分类结果. 这 一特性是支持向量机所特有的优点之一 [ 1~ 3] . 当前 , 在支持向量机的研究中有两类问题亟待 解决 . 其一 , 是如何将两类问题的解决办法有效地推 广至多类问题. 这一问题 , 目前已经有一些卓有成效 的方法, 例如 1 -v - 1, 1 -v - r 以及 DAGSVM 等方法 . 上述的方法都是基于多个 2 - 类分类器的某种 组合 进行决策分类的 . 换言之 , 构造 SVM 多类分类器大 多是从 2 - 类分类器出发设计的. 其二, 如何克服 SVM 对孤立点( out lier) 和噪音数据的敏感性. 本文提出了一种模糊多类 SVM 方法 , 简记为 FM SVM. 与传统的多类 SVM 不同, F MSVM 首先 在 West on 和 Watkins 所提出的多类 SVM 分类器 直接构造方法
N
假设存在一组带有类别标记的训练样本: ( 1) 其中每一个输入点 x i I R , 属于两类中的某一类, 其类别标记为 y i I { - 1, 1} . SVM 的主要目的是构 造一个分类超平面以分割两类不同的样本 , 使得分 类间隔( marg in ) 最大. 由此可以得到下面的二次优 化问题 : m in 1 (w #w) + C i EN 2 i= 1 ( 2) N i E 0, i = 1, 2 , , ,l 引入 L agrange 乘子 A i ( i = 1, 2, , , l ) , 得到其对偶 形式为 max 1 y i y j Ai A jK (xi, xj ) E Ai - 2 i,E i= 1 j= 1 i = 1 , 2, ,, l ( 3)
第 28 卷 第 2 期 2005 年 2 月
计 算 机 学 报 CH INESE JOURNA L OF COM PU T ERS
Vo l. 28 N o. 2 Feb. 2005
模糊多类支持向量机及其在入侵检测中的应用
李昆仑
1)
黄厚宽
1) 2) 3)
2)
田盛丰
2)
刘振鹏
保定 保定 北京
1)
刘志强
[ 1, 2]
是统 计 学 习 理 论 ( St at ist ical L earning T heor y, SLT ) 中的核心内容 , 它基于 VC 维理论和结构风险 最小化原理, 在很大程度上克服了传统机器学习中 的维数灾难以及局部极小等问题
[ 1, 2]
. ( x 1 , y 1 ) , ,, ( x l , y l )
Abstract SVM s ( support v ecto r machines) ar e v ery pow erf ul in classificat ion and regression, and have been applied t o m any applicat ion fields successf ul ly, such as patt ern recog nit ion and dat a mining . But t here are tw o kinds of problems t o be solv ed in such f iled, one is t he multi class classificat ion problem, and t he ot her is t he sensit ivit y t o t he noisy dat a. In or der t o ov ercom e t hesis diff icult ies, an approach of f uzzy multi class Support Vect or M achine is pro posed in t his paper, w hich is ref ered as FM SVM in t he present paper. In many cases, each input point may not be f ully assigned t o one of t he classes. T his paper int roduces a fuzzy m em bership funct ion t o t he penalt y in t he quadrat ic problem of proposed by West on and Wat kins, t he m em bership f unction acquir e dif ferent values fo r each input dat a ac cording t o their diff er ent af fect s o n t he classificat ion r esult . H ence, t he dat a w hich aff ect the classificat ion result a lit tle is ig nor ed. T her ef ore diff er ent input po int s can make dif ferent cont ri butions t o t he learning o f the decision surface ) ) ) t he optimal separat ing hyper - plane. T he experi m ents cont ain t w o parts, i. e. , the numerical ex periment s and t he ex periment on int rusion det ection. Keywords multi class classif icat ion; suppor t vect or machine ( SVM ) ; f uzzy member ship f unc t ion; int rusion det ect ion
3)
( 河北大学数学与计算机学院
071002) 100044) 071002)
( 北方交通大学计算机与信息技术学院 ( 河北大学物理科学与技术学院
摘
要
针对支持向量机理论中现存的问题 : 多 类分类问题 和对于 噪音数据 的敏感 性 , 提出了一 种模糊 多类支 持
向量机算法 . 该算法是在 W eston 等人提出的多类 SV M 分类器 的直接构 造方法中引 入模糊成员 函数 , 针对每个 输 入数 据对分类结果的不同影响 , 该模糊成员函数得到相应 的值 , 由此可以得到不同 的惩罚值 , 并且在 构造分类超 平 面时 , 可以忽略那些对分类结果影响很小的数据 . 在充分的数值实验基础上 , 将文中提出的 方法应用 于当前一个 重 要的 应用领域 ) ) ) 计算机网络入侵检测问题 , 并得到了较 好的实验结果 . 理论分析 与数值实验 都表明 , 该算法是 切 实可行的 , 并具有良好的鲁棒性 . 关键词 多类分类问题 ; 支持向量机 ( SVM ) ; 模糊成员函数 ; 入侵检测 中图法分类号 T P 18
2 期
李昆仑等 : 模糊多类支持向量机及其在入侵检测 中的应用
275
1
引 言
支持向量机 ( Suppo rt Vect or M achine, SVM )
2
传统的 SVM 方法简介
2. 1 标准的 2 - 类 SVM 简介 为了讨 论 方 便, 首 先 简 单 介 绍 一 下 标 准 的 SVM
的惩罚项中引入模糊成员函数, 然
后, 在处理训练数据时, 根据它们在训练过程中的重 要程度的不同, 区别对待 . 也就是说 , 将目标函数中 的惩罚项模糊化 , 重构优化问题及其约束条件 , 然后 重构其 Lag rang e 公式 , 使得原公式( 模型 ) 所对应的 最优分类超平面的解即为其对偶形式的解. 在本文 中, 首先对所提出的方法给出了理论推导; 并且在给 出充分的数值实验的基础上, 在入侵检测的入侵数 据集上进行了进一步的实验.
1)
L IU Zhi Q iang
100044)
1)Βιβλιοθήκη ( Sc hool of M athe mati cs & Comp ut er S ci ence , H ebe i Uni ve rsi ty , Baodi ng
3)
071002)
2)
( S chool of Comp ut er & I nf or mati on T echnol og y , N ort her n Ji aot on g Uni v er sit y , Bei j i ng ( S chool of P hysi cs & T ec hnol ogy , H ebei Uni v er si t y , B aod i ng 071002)
Fuzzy Multi Class Support Vector Machine and Application in Intrusion Detection
L I Kun - L un
1) , 2)
H UANG H o u - Kuan
1)
2)
T IAN Sheng - F eng
2)
L IU Z hen - Peng
[ 5] [ 4]
s. t . y i ( ( w # x i ) + b) E 1 - N i,
i F C, s. t . 0 F A
i= 1
E Ay
i
i
= 0
由此得到如下的决策函数: f ( x ) = sign
i= 1
E Ay K ( x, x
i i
l
i
) + b
( 4)
2. 2 多类 SVM 分类方法简介 利用 SVM 解决多类分类问题, 目前主要有两 种途径 : ( 1) 把多个 2 - 类 SVM 分类器进行组合 , 研 究的内容包括 对组合方式的改进以及对每 个 2 -类 SVM 分类器的改进; ( 2) 利用 West on 等人提出的 将2 - 类 SVM 从优化公式直接进行推广, 研究的内 容包括如何将 2 - 类 SVM 的一些有效的改进措施引 入到这种方法. 目前, 常见的多类 SVM 分类方法有 如下几种: ( 1) 1 -v - r( one - versus - rest , 一对多 ) 对于 k - 类分类问题 , 构造 k 个 2 - 类 SVM 分类 器 , 每一类对应其中的一个, 将它与其它的类分开; 其中第 i 个 2- 类 SVM 分类器是把第 i 类中的样本 都标记为 + 1, 而其它所有的样本都标记为 - 1. 也 就是说, 第 i 个 2- 类 SVM 分类器所构造的分类超 平面 ( separat ing hyper plane ) , 把第 i 类 与其 它的
l l l l
. 已经证明 , 到
目前为止在处理小样本问题时 , SVM 的泛化能力是 最好的, 它拥有传统的机器学习方法无法比拟的性 能, 尽管有时它的分类精度不是最佳的
[ 1, 2]
. 正是基
于上述的原因, 这一理论已经广泛的应用于数据分 类问题和回归问题, 例如手写体数字的识别、 物体的 识别、 语音识别以及空间数据的分析等 . 在 SVM 理论中 , 原始的输入空间通过一个核 函数映射到一个高维的空间, 这个高维的空间称为 特征空间 , 在这个空间中 , 一个最优分类超平面将分 类器的泛化能力最大化. 最优分类超平面可以由少 量的数 据点 生成 , 这 些点称 为支 持向 量 ( Support Vect or, SV) . 从而 , SVM 分类器在不了解原始问题 领域知识的情况下, 也可以得到很好的分类结果. 这 一特性是支持向量机所特有的优点之一 [ 1~ 3] . 当前 , 在支持向量机的研究中有两类问题亟待 解决 . 其一 , 是如何将两类问题的解决办法有效地推 广至多类问题. 这一问题 , 目前已经有一些卓有成效 的方法, 例如 1 -v - 1, 1 -v - r 以及 DAGSVM 等方法 . 上述的方法都是基于多个 2 - 类分类器的某种 组合 进行决策分类的 . 换言之 , 构造 SVM 多类分类器大 多是从 2 - 类分类器出发设计的. 其二, 如何克服 SVM 对孤立点( out lier) 和噪音数据的敏感性. 本文提出了一种模糊多类 SVM 方法 , 简记为 FM SVM. 与传统的多类 SVM 不同, F MSVM 首先 在 West on 和 Watkins 所提出的多类 SVM 分类器 直接构造方法
N
假设存在一组带有类别标记的训练样本: ( 1) 其中每一个输入点 x i I R , 属于两类中的某一类, 其类别标记为 y i I { - 1, 1} . SVM 的主要目的是构 造一个分类超平面以分割两类不同的样本 , 使得分 类间隔( marg in ) 最大. 由此可以得到下面的二次优 化问题 : m in 1 (w #w) + C i EN 2 i= 1 ( 2) N i E 0, i = 1, 2 , , ,l 引入 L agrange 乘子 A i ( i = 1, 2, , , l ) , 得到其对偶 形式为 max 1 y i y j Ai A jK (xi, xj ) E Ai - 2 i,E i= 1 j= 1 i = 1 , 2, ,, l ( 3)
第 28 卷 第 2 期 2005 年 2 月
计 算 机 学 报 CH INESE JOURNA L OF COM PU T ERS
Vo l. 28 N o. 2 Feb. 2005
模糊多类支持向量机及其在入侵检测中的应用
李昆仑
1)
黄厚宽
1) 2) 3)
2)
田盛丰
2)
刘振鹏
保定 保定 北京
1)
刘志强
[ 1, 2]
是统 计 学 习 理 论 ( St at ist ical L earning T heor y, SLT ) 中的核心内容 , 它基于 VC 维理论和结构风险 最小化原理, 在很大程度上克服了传统机器学习中 的维数灾难以及局部极小等问题
[ 1, 2]
. ( x 1 , y 1 ) , ,, ( x l , y l )
Abstract SVM s ( support v ecto r machines) ar e v ery pow erf ul in classificat ion and regression, and have been applied t o m any applicat ion fields successf ul ly, such as patt ern recog nit ion and dat a mining . But t here are tw o kinds of problems t o be solv ed in such f iled, one is t he multi class classificat ion problem, and t he ot her is t he sensit ivit y t o t he noisy dat a. In or der t o ov ercom e t hesis diff icult ies, an approach of f uzzy multi class Support Vect or M achine is pro posed in t his paper, w hich is ref ered as FM SVM in t he present paper. In many cases, each input point may not be f ully assigned t o one of t he classes. T his paper int roduces a fuzzy m em bership funct ion t o t he penalt y in t he quadrat ic problem of proposed by West on and Wat kins, t he m em bership f unction acquir e dif ferent values fo r each input dat a ac cording t o their diff er ent af fect s o n t he classificat ion r esult . H ence, t he dat a w hich aff ect the classificat ion result a lit tle is ig nor ed. T her ef ore diff er ent input po int s can make dif ferent cont ri butions t o t he learning o f the decision surface ) ) ) t he optimal separat ing hyper - plane. T he experi m ents cont ain t w o parts, i. e. , the numerical ex periment s and t he ex periment on int rusion det ection. Keywords multi class classif icat ion; suppor t vect or machine ( SVM ) ; f uzzy member ship f unc t ion; int rusion det ect ion
3)
( 河北大学数学与计算机学院
071002) 100044) 071002)
( 北方交通大学计算机与信息技术学院 ( 河北大学物理科学与技术学院
摘
要
针对支持向量机理论中现存的问题 : 多 类分类问题 和对于 噪音数据 的敏感 性 , 提出了一 种模糊 多类支 持
向量机算法 . 该算法是在 W eston 等人提出的多类 SV M 分类器 的直接构 造方法中引 入模糊成员 函数 , 针对每个 输 入数 据对分类结果的不同影响 , 该模糊成员函数得到相应 的值 , 由此可以得到不同 的惩罚值 , 并且在 构造分类超 平 面时 , 可以忽略那些对分类结果影响很小的数据 . 在充分的数值实验基础上 , 将文中提出的 方法应用 于当前一个 重 要的 应用领域 ) ) ) 计算机网络入侵检测问题 , 并得到了较 好的实验结果 . 理论分析 与数值实验 都表明 , 该算法是 切 实可行的 , 并具有良好的鲁棒性 . 关键词 多类分类问题 ; 支持向量机 ( SVM ) ; 模糊成员函数 ; 入侵检测 中图法分类号 T P 18
2 期
李昆仑等 : 模糊多类支持向量机及其在入侵检测 中的应用
275
1
引 言
支持向量机 ( Suppo rt Vect or M achine, SVM )
2
传统的 SVM 方法简介
2. 1 标准的 2 - 类 SVM 简介 为了讨 论 方 便, 首 先 简 单 介 绍 一 下 标 准 的 SVM
的惩罚项中引入模糊成员函数, 然
后, 在处理训练数据时, 根据它们在训练过程中的重 要程度的不同, 区别对待 . 也就是说 , 将目标函数中 的惩罚项模糊化 , 重构优化问题及其约束条件 , 然后 重构其 Lag rang e 公式 , 使得原公式( 模型 ) 所对应的 最优分类超平面的解即为其对偶形式的解. 在本文 中, 首先对所提出的方法给出了理论推导; 并且在给 出充分的数值实验的基础上, 在入侵检测的入侵数 据集上进行了进一步的实验.
1)
L IU Zhi Q iang
100044)
1)Βιβλιοθήκη ( Sc hool of M athe mati cs & Comp ut er S ci ence , H ebe i Uni ve rsi ty , Baodi ng
3)
071002)
2)
( S chool of Comp ut er & I nf or mati on T echnol og y , N ort her n Ji aot on g Uni v er sit y , Bei j i ng ( S chool of P hysi cs & T ec hnol ogy , H ebei Uni v er si t y , B aod i ng 071002)
Fuzzy Multi Class Support Vector Machine and Application in Intrusion Detection
L I Kun - L un
1) , 2)
H UANG H o u - Kuan
1)
2)
T IAN Sheng - F eng
2)
L IU Z hen - Peng
[ 5] [ 4]
s. t . y i ( ( w # x i ) + b) E 1 - N i,
i F C, s. t . 0 F A
i= 1
E Ay
i
i
= 0
由此得到如下的决策函数: f ( x ) = sign
i= 1
E Ay K ( x, x
i i
l
i
) + b
( 4)
2. 2 多类 SVM 分类方法简介 利用 SVM 解决多类分类问题, 目前主要有两 种途径 : ( 1) 把多个 2 - 类 SVM 分类器进行组合 , 研 究的内容包括 对组合方式的改进以及对每 个 2 -类 SVM 分类器的改进; ( 2) 利用 West on 等人提出的 将2 - 类 SVM 从优化公式直接进行推广, 研究的内 容包括如何将 2 - 类 SVM 的一些有效的改进措施引 入到这种方法. 目前, 常见的多类 SVM 分类方法有 如下几种: ( 1) 1 -v - r( one - versus - rest , 一对多 ) 对于 k - 类分类问题 , 构造 k 个 2 - 类 SVM 分类 器 , 每一类对应其中的一个, 将它与其它的类分开; 其中第 i 个 2- 类 SVM 分类器是把第 i 类中的样本 都标记为 + 1, 而其它所有的样本都标记为 - 1. 也 就是说, 第 i 个 2- 类 SVM 分类器所构造的分类超 平面 ( separat ing hyper plane ) , 把第 i 类 与其 它的