支持向量机与最小二乘法的关系研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
m in s. t. 1 ‖w ‖2 + 2
w zi -
其中 C 为一个常数, 用于控制对错分样本惩罚的 程度。 这一问题可以转化为下列的对偶问题, 即: 在 约束条件6 y i Α i = 0 和 0 ≤Α i ≤C , i = 1, …, n 下对 Α i
i= 1 n
求解下列函数的最大值:
) = Q (Α
Rela tion between a support vector mach ine and the lea st square m ethod
YAN Hui, ZHANG Xue gong , L I Ya nda
(D epartm en t of Automa tion , Tsinghua Un iversity, Sta te Key Labora tory of In tell igen t Technology and System s of Ch ina , Be ij ing 100084, Ch ina ) Abstract: T h is p aper com p ares the so lu t ion of a suppo rt vecto r m ach ine (SVM ) u sing a quadratic co st function w ith the least 2squares m ethod w h ich has a fo rm si m ilar to the SVM. SVM reg ression w ith a quad ratic lo ss function is show n to be equ ivalen t to the least squares estim ate, w ith the SVM so lu t ion co rresponding to the m in i m al no rm least square estim ate. T herefo re, a m in im um no rm L S so lu tion can be ob tained w ith SVM w ith the p rop er cho ice of the p aram eters. T h is p aper p resen ts such a schem e fo r so lving L S p rob lem s w ith the SVM techn ique, w h ich is better fo r so lving m any p ractical p rob lem s due to the good featu res of SVM. Key words: suppo rt vecto r m ach ine; g lobal op tim al sep arat ing hyperp lane; least square estim ation; m in im al no rm so lu tion
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
http://www.cnki.net
78
清 华 大 学 学 报 ( 自 然 科 学 版)
2001, 41 ( 9)
下, 有所谓的广义最优分类面问题, 即在追求最大化 分类间隔的同时最小化错分样本的数目。 若训练样 本集为 ( x i , y i ) , i= 1, …, n , x ∈R d , y ∈{+ 1, - 1}, 则上述问题可以表达为
sgn
z 为 x 经过坐标变换后的样本特征向量, 即 z = A x
+ B 。A 为正交变换矩阵, B 为平移向量。 ( 3)
6
n
i= 1
3 Α , i y i (x i x ) + b
3
2 最小二乘法 (L S) 的数值解
从 Gau ss 时代起, 最小二乘法就用来对平面上 的点拟合直线, 对高维空间的点拟合超平面。 对于给 ( ( ) ) 定的数据向量 b N ×1 和数据矩阵 A N ×p , 很多 工程问题都需要求解超定方程 A x = b , 而最小二乘 法是解决这类问题最常用的方法。 如果观测过程中没有噪声, 则方程组 A x = b 是 一致的; 若数据向量 b 和数据矩阵 A 中存在噪声或 方程组超定时, A x = b 是不一致的。 此时人们自然 地会选择这样的一种求解准则, 即使误差的平方和
( 10)
为 [ 3 ]:
m in s. t. 1 ‖w ‖2 + C 2
y i - w xi w xi + b -
6
n
i= 1
2 3 2 (Ν i + Ν i )
( 4a )
b ≤ Ε+ Ν i, y i ≤ Ε+ Ν i ,
3
i = 1, …, n
3
( 4b )
A A x = A b,
T
T
( 11)
1 m in ‖w ‖2 + C 2
i = 1, …, n
子, ( 4a ) 中的第二项是对超出逼近精度样本的惩 罚, 常数 C > 0 控制惩罚的程度。这实际上是采用了 二次 Ε 2不敏感损失函数 Ν Ε=
0, ( Ν - Ε ) ,
2
6
n
i= 1
Ν i
( 1a )
Ν ≤Ε ; Ν > Ε .
( 5)
6
3
n
i= 1
2 3 2 (Ν i + Ν i )
( 6a ) ( 6b )
6
n
i= 1
Α i -
1 2
i, j = 1
6
n
Α iΑ j y i y j ( x i x j ).
( 2)
yi - w zi = Ν i yi = Ν i
ห้องสมุดไป่ตู้
i = 1, …, N
这是一个不等式约束下的二次函数寻优问题, 存在 唯一解。 解后得到的最优分类函数是 f ( x ) = sgn{ (w x ) + b} =
式中: Ε 表示逼近精度, Ν i ≥0 和 Ν i ≥ 0 为松弛因
这一方程有两类不同的解。
http://www.cnki.net
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
有限样本下统计学习的理论。 它针对小样本统计问 题建立了一套新的体系, 在这种体系下的统计推理 规则不仅考虑了对渐近性能的要求, 而且追求在现 有有限信息条件下得到最优结果。 支持向量机 ( sup 2
po rt vecto r m ach ine 简称 SVM ) 方法是 SL T 的一种
成功的实现。它建立在 SL T 的 V C 维理论和结构风 险最小原理基础上, 根据有限样本信息在模型的复 杂性 ( 即对特定训练样本的学习精度) 和学习能力 ( 即无错误地识别任意样本的能力) 之间寻求最佳折 衷, 以期获得最好的推广能力[ 1, 2 ]。 由于 SVM 具有良好的推广特性, 目前已成功 地推广到了函数逼近、 信息融合等领域[ 3, 4 ]。 而最小 二乘估计作为函数回归最基本的工具之一, 一直在 数据估计中占有举足轻重的地位, 并得到了广泛的 研究。 如果能将最小二乘问题转化为 SVM 形式的 问题加以解决, 就可以保证得到的函数具有最小的 预测风险, 换句话说, 具有最好的推广性。 同时, 当进 行函数逼近时, SVM 是一个很好的框架, 通过选择 不同的范数、 代 价 函 数、 核 函 数、 权 重 系 数 C 等, 本文正是在这种思想 SVM 可以等价于不同的方法。 的指导下, 研究了二者之间的关系, 并且提出了采用 SVM 方法解决欠定方程组求解的思想。
收稿日期: 2000206219 基金项目: 国家自然科学基金资助项目 (69885004) 作者简介: 阎辉 (19732) , 男 ( 汉) , 山东, 博士研究生。
统计学习理论 ( sta t ist ica l lea rn ing theo ry 或 SL T ) 是由 V ap n ik 等人在 1970 年代末提出的一种
性 SVM , 而这里并不需要直接进行非线性变换, 计 算复杂度没有增加 。 这就是支持向量机, 其基本思想概括起来就是 通过非线性变换将输入空间变换到一个高维空间, 在这个新空间中求取最优线性分类面, 而这个非线 性变换是通过内积核函数实现的。
1. 2 二次损失函数下的优化问题表达
[1 ]
6
N
i= 1
阎 辉, 张学工, 李衍达
( 清华大学 自动化系, 智能技术与系统国家重点实验室, 北京 100084)
摘 要: 研究了支持向量机 ( SVM ) 在二次损失函数下的优 化问题解的形式, 并与普通的最小二乘 (L S ) 估计问题进行 了比较, 得到了几乎完全一致的优化问题形式。 由于 SVM 在二次损失函数下的优化问题对应于一个欠定问题, 该问题 在最小二乘估计中有最小范数解。如果 SVM 的参数选择合 适, 从理论上可以证明采用二次损失函数的 SVM 函数拟合 问题实际为约束最小二乘估计问题, 并且该问题的解对应于 最小范数最小二乘解。由于最小化范数解实际是 SVM 在取 某些参数时的一个特例, 如果能够自动调整这些参数, 则得 到一类最小化范数解。由此提出了采用 SVM 解决最小二乘 法问题的思想, 由于 SVM 的优点, 使解更加符合实际情况。 关键词: 支持向量机; 最优分类面; 最小二乘估计; 最小范 数解 中图分类号: T P 18 文章编号: 100020054 ( 2001) 0920077204 文献标识码: A
s. t. y i [ (w x i ) + b ] - 1 + Ν i ≥ 0, ( 1b )
即只有当拟合误差大于 Ε 时才接受惩罚, 且惩罚与 损失成平方关系。 采用 Ε 2不敏感损失函数的好处是 提高了估计的鲁棒性, 有一定的抗噪能力。 可以暂不 考虑 b 的优化问题, 比如假设事先对训练样本进行 了预处理, 样本分布于以原点为中心的区域, 这样 b = 0。 如果令 Ε= 0, C = 1 2 则优化问题式 ( 4 ) 可 变为:
2 T (b - A x ) T (b - A x ) Ε i = Ε Ε=
( 7)
最小, 这样得到的解 x 称为最小二乘解。 最小二乘 法等价于
m in
与上述用于模式识别的 SVM 相类似, 用函数 f ( x ) = (w x ) + b 拟合观测样本 ( x i , y i ) , i = 1, …,
ISSN 100020054 清华大学学报 ( 自然科学版) 2001 年 第 41 卷 第 9 期 CN 1122223 N . 41, N o. 9 J T singhua U n iv ( Sci & T ech ) , 2001, V o l
20 32 77280
支持向量机与最小二乘法的关系研究
1 支持向量机简介
1. 1 基本原理 SVM 方法是从线性可分情况下的最优分类面
提出的。 所谓最优分类面, 就是这样的分类超平面, 它不但能够将所有训练样本正确分类, 而且使训练 样本中离分类面最近的点到分类面的距离 ( 定义为 间隔) 最大。 通过使间隔最大化来控制分类器的复杂 度, 进而实现较好的推广能力。 在线性不可分的情况
其中 sgn () 为符号函数。 上面讨论的是线性分类函数。 要解决非线性问 题, 可以通过非线性变换转化为另一个空间中的线 性问题, 在这个变换空间求最优分类面。 分析上述
SVM 对偶问题, 只要用满足 M ercer 条件的核函数 K ( x i , x j ) 代替 ( 2 ) 和 ( 3 ) 式中的内积, 就可实现非线
n , x i ∈R , y i ∈R 的 SVM 函数拟合的问题可表示
d
6
N
i= 1
Ε i , s. t. A x = b + Ε
2
( 8)
因此最小二乘方法的基本思想就是使校正项 Ε 尽可能小, 而同时通过约束 A x = b + Ε 补偿存在于 b 中的噪声。 为了得到最小二乘解, 展开式 ( 7) 得: T T T T T T ( 9) L = b b - b Ax - x A b + x A Ax 求 L 关于 x 的导数, 并令结果等于 0, 有 9L = - 2A T b + 2A TA x = 0 9x 也就是说, 解 x 必然满足:
w zi -
其中 C 为一个常数, 用于控制对错分样本惩罚的 程度。 这一问题可以转化为下列的对偶问题, 即: 在 约束条件6 y i Α i = 0 和 0 ≤Α i ≤C , i = 1, …, n 下对 Α i
i= 1 n
求解下列函数的最大值:
) = Q (Α
Rela tion between a support vector mach ine and the lea st square m ethod
YAN Hui, ZHANG Xue gong , L I Ya nda
(D epartm en t of Automa tion , Tsinghua Un iversity, Sta te Key Labora tory of In tell igen t Technology and System s of Ch ina , Be ij ing 100084, Ch ina ) Abstract: T h is p aper com p ares the so lu t ion of a suppo rt vecto r m ach ine (SVM ) u sing a quadratic co st function w ith the least 2squares m ethod w h ich has a fo rm si m ilar to the SVM. SVM reg ression w ith a quad ratic lo ss function is show n to be equ ivalen t to the least squares estim ate, w ith the SVM so lu t ion co rresponding to the m in i m al no rm least square estim ate. T herefo re, a m in im um no rm L S so lu tion can be ob tained w ith SVM w ith the p rop er cho ice of the p aram eters. T h is p aper p resen ts such a schem e fo r so lving L S p rob lem s w ith the SVM techn ique, w h ich is better fo r so lving m any p ractical p rob lem s due to the good featu res of SVM. Key words: suppo rt vecto r m ach ine; g lobal op tim al sep arat ing hyperp lane; least square estim ation; m in im al no rm so lu tion
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
http://www.cnki.net
78
清 华 大 学 学 报 ( 自 然 科 学 版)
2001, 41 ( 9)
下, 有所谓的广义最优分类面问题, 即在追求最大化 分类间隔的同时最小化错分样本的数目。 若训练样 本集为 ( x i , y i ) , i= 1, …, n , x ∈R d , y ∈{+ 1, - 1}, 则上述问题可以表达为
sgn
z 为 x 经过坐标变换后的样本特征向量, 即 z = A x
+ B 。A 为正交变换矩阵, B 为平移向量。 ( 3)
6
n
i= 1
3 Α , i y i (x i x ) + b
3
2 最小二乘法 (L S) 的数值解
从 Gau ss 时代起, 最小二乘法就用来对平面上 的点拟合直线, 对高维空间的点拟合超平面。 对于给 ( ( ) ) 定的数据向量 b N ×1 和数据矩阵 A N ×p , 很多 工程问题都需要求解超定方程 A x = b , 而最小二乘 法是解决这类问题最常用的方法。 如果观测过程中没有噪声, 则方程组 A x = b 是 一致的; 若数据向量 b 和数据矩阵 A 中存在噪声或 方程组超定时, A x = b 是不一致的。 此时人们自然 地会选择这样的一种求解准则, 即使误差的平方和
( 10)
为 [ 3 ]:
m in s. t. 1 ‖w ‖2 + C 2
y i - w xi w xi + b -
6
n
i= 1
2 3 2 (Ν i + Ν i )
( 4a )
b ≤ Ε+ Ν i, y i ≤ Ε+ Ν i ,
3
i = 1, …, n
3
( 4b )
A A x = A b,
T
T
( 11)
1 m in ‖w ‖2 + C 2
i = 1, …, n
子, ( 4a ) 中的第二项是对超出逼近精度样本的惩 罚, 常数 C > 0 控制惩罚的程度。这实际上是采用了 二次 Ε 2不敏感损失函数 Ν Ε=
0, ( Ν - Ε ) ,
2
6
n
i= 1
Ν i
( 1a )
Ν ≤Ε ; Ν > Ε .
( 5)
6
3
n
i= 1
2 3 2 (Ν i + Ν i )
( 6a ) ( 6b )
6
n
i= 1
Α i -
1 2
i, j = 1
6
n
Α iΑ j y i y j ( x i x j ).
( 2)
yi - w zi = Ν i yi = Ν i
ห้องสมุดไป่ตู้
i = 1, …, N
这是一个不等式约束下的二次函数寻优问题, 存在 唯一解。 解后得到的最优分类函数是 f ( x ) = sgn{ (w x ) + b} =
式中: Ε 表示逼近精度, Ν i ≥0 和 Ν i ≥ 0 为松弛因
这一方程有两类不同的解。
http://www.cnki.net
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
有限样本下统计学习的理论。 它针对小样本统计问 题建立了一套新的体系, 在这种体系下的统计推理 规则不仅考虑了对渐近性能的要求, 而且追求在现 有有限信息条件下得到最优结果。 支持向量机 ( sup 2
po rt vecto r m ach ine 简称 SVM ) 方法是 SL T 的一种
成功的实现。它建立在 SL T 的 V C 维理论和结构风 险最小原理基础上, 根据有限样本信息在模型的复 杂性 ( 即对特定训练样本的学习精度) 和学习能力 ( 即无错误地识别任意样本的能力) 之间寻求最佳折 衷, 以期获得最好的推广能力[ 1, 2 ]。 由于 SVM 具有良好的推广特性, 目前已成功 地推广到了函数逼近、 信息融合等领域[ 3, 4 ]。 而最小 二乘估计作为函数回归最基本的工具之一, 一直在 数据估计中占有举足轻重的地位, 并得到了广泛的 研究。 如果能将最小二乘问题转化为 SVM 形式的 问题加以解决, 就可以保证得到的函数具有最小的 预测风险, 换句话说, 具有最好的推广性。 同时, 当进 行函数逼近时, SVM 是一个很好的框架, 通过选择 不同的范数、 代 价 函 数、 核 函 数、 权 重 系 数 C 等, 本文正是在这种思想 SVM 可以等价于不同的方法。 的指导下, 研究了二者之间的关系, 并且提出了采用 SVM 方法解决欠定方程组求解的思想。
收稿日期: 2000206219 基金项目: 国家自然科学基金资助项目 (69885004) 作者简介: 阎辉 (19732) , 男 ( 汉) , 山东, 博士研究生。
统计学习理论 ( sta t ist ica l lea rn ing theo ry 或 SL T ) 是由 V ap n ik 等人在 1970 年代末提出的一种
性 SVM , 而这里并不需要直接进行非线性变换, 计 算复杂度没有增加 。 这就是支持向量机, 其基本思想概括起来就是 通过非线性变换将输入空间变换到一个高维空间, 在这个新空间中求取最优线性分类面, 而这个非线 性变换是通过内积核函数实现的。
1. 2 二次损失函数下的优化问题表达
[1 ]
6
N
i= 1
阎 辉, 张学工, 李衍达
( 清华大学 自动化系, 智能技术与系统国家重点实验室, 北京 100084)
摘 要: 研究了支持向量机 ( SVM ) 在二次损失函数下的优 化问题解的形式, 并与普通的最小二乘 (L S ) 估计问题进行 了比较, 得到了几乎完全一致的优化问题形式。 由于 SVM 在二次损失函数下的优化问题对应于一个欠定问题, 该问题 在最小二乘估计中有最小范数解。如果 SVM 的参数选择合 适, 从理论上可以证明采用二次损失函数的 SVM 函数拟合 问题实际为约束最小二乘估计问题, 并且该问题的解对应于 最小范数最小二乘解。由于最小化范数解实际是 SVM 在取 某些参数时的一个特例, 如果能够自动调整这些参数, 则得 到一类最小化范数解。由此提出了采用 SVM 解决最小二乘 法问题的思想, 由于 SVM 的优点, 使解更加符合实际情况。 关键词: 支持向量机; 最优分类面; 最小二乘估计; 最小范 数解 中图分类号: T P 18 文章编号: 100020054 ( 2001) 0920077204 文献标识码: A
s. t. y i [ (w x i ) + b ] - 1 + Ν i ≥ 0, ( 1b )
即只有当拟合误差大于 Ε 时才接受惩罚, 且惩罚与 损失成平方关系。 采用 Ε 2不敏感损失函数的好处是 提高了估计的鲁棒性, 有一定的抗噪能力。 可以暂不 考虑 b 的优化问题, 比如假设事先对训练样本进行 了预处理, 样本分布于以原点为中心的区域, 这样 b = 0。 如果令 Ε= 0, C = 1 2 则优化问题式 ( 4 ) 可 变为:
2 T (b - A x ) T (b - A x ) Ε i = Ε Ε=
( 7)
最小, 这样得到的解 x 称为最小二乘解。 最小二乘 法等价于
m in
与上述用于模式识别的 SVM 相类似, 用函数 f ( x ) = (w x ) + b 拟合观测样本 ( x i , y i ) , i = 1, …,
ISSN 100020054 清华大学学报 ( 自然科学版) 2001 年 第 41 卷 第 9 期 CN 1122223 N . 41, N o. 9 J T singhua U n iv ( Sci & T ech ) , 2001, V o l
20 32 77280
支持向量机与最小二乘法的关系研究
1 支持向量机简介
1. 1 基本原理 SVM 方法是从线性可分情况下的最优分类面
提出的。 所谓最优分类面, 就是这样的分类超平面, 它不但能够将所有训练样本正确分类, 而且使训练 样本中离分类面最近的点到分类面的距离 ( 定义为 间隔) 最大。 通过使间隔最大化来控制分类器的复杂 度, 进而实现较好的推广能力。 在线性不可分的情况
其中 sgn () 为符号函数。 上面讨论的是线性分类函数。 要解决非线性问 题, 可以通过非线性变换转化为另一个空间中的线 性问题, 在这个变换空间求最优分类面。 分析上述
SVM 对偶问题, 只要用满足 M ercer 条件的核函数 K ( x i , x j ) 代替 ( 2 ) 和 ( 3 ) 式中的内积, 就可实现非线
n , x i ∈R , y i ∈R 的 SVM 函数拟合的问题可表示
d
6
N
i= 1
Ε i , s. t. A x = b + Ε
2
( 8)
因此最小二乘方法的基本思想就是使校正项 Ε 尽可能小, 而同时通过约束 A x = b + Ε 补偿存在于 b 中的噪声。 为了得到最小二乘解, 展开式 ( 7) 得: T T T T T T ( 9) L = b b - b Ax - x A b + x A Ax 求 L 关于 x 的导数, 并令结果等于 0, 有 9L = - 2A T b + 2A TA x = 0 9x 也就是说, 解 x 必然满足: