支持向量机及应讲义用简介
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
R (w )L (y,f(x,w )d )(F x,y)
其中，{f(x,w)}称作预测函数集，w为函数的广 义参数。{f(x,w)}可以表示任何函数集。 L(y,f(x,w))为由于用f(x,w)对y进行预测而造成 的损失。不同类型的学习问题有不同形式的损失 函数。
经验风险
而对train set上产生的风险Remp(w)被称 为经验风险(学习的训练误差):
(x1,y1),(x2,y2),…,(xn,yn)
支持向量机（SVM）
支持向量机（Support Vector Machine，SVM） 是由Boser,Guyon和Vapnik发明，并首次在计算 学习理论（COLT）1992年年会论文中提出。它 是继人工神经网络后，智能计算领域发展的又一 里程碑。支持向量机以严格证明的统计学习理论 为基础，使用核函数把数据从样本空间映射到高 维特征空间，将非线性问题转化为线性可分问题， 获得最优解，是一重大的理论创新。支持向量机 有严密的数学基础，训练结果只与支持向量有关， 且泛化性强，成为了解决非线性问题的重要工具， 因此，受到智能计算领域学者的广泛关注，在模 式分类和回归领域得到了广泛的应用。
存在的问题
由于经验风险最小化代替期望风险最小化的理论 依据是大数定理，实际的机器学习不能满足训练 样本趋近于无穷大这一苛刻的要求，致使经验风 险最小化准则算法复杂性大与泛化能力差。
例如：基于经验风险最小化准则人工神经网络研 究中，广大学者总是把注意力集中在如何使更小， 但很快便发现，一味追求训练误差小并不是总能 达到好的预测效果。
因为是由训练样本(即经验数据)定义的，因 此称之为经验风险。用求经验风险的最小 值代替求期望风险R (a)的最小值，就是所 谓的经验风险最小化(ERM)准则
从期望风险最小化到经验风险最小化的理论
依据是大数定理，只有当训练样本趋近于
无穷大的时候，经验风险才趋近于期望风 险。即：
lim
Rem(a p) R(a)
结论
①经验风险最小并不一定意味着期望风险 最小;
②学习机器的复杂性不但与所研究的系统 有关，而且要和有限的学习样本相适应。
VC维
VC维(Vapnik-Chervonenkis Dimension)。模式识别方法 中VC维的直观定义是：对一个指示函数集，如果存在h个 样本能够被函数集里的函数按照所有可能的2h种形式分开， 则称函数集能够把h个样本打散。函数集的VC维就是它能 打散的最大样本数目h。
VC维反映了函数集的学习能力，VC维越大则 学习机器越复杂(容量越大)。
经验风险与VC维关系
经验风险Remp(a)和实际风险R(a)之间至少 以不下于1-η(0≤η≤1)的概率存在这样的 关系:
R (al)R em (alp ) (h l,R em (alp ),)
风 险
真实风险 上界
置信范 围
l
过学习Overfitting and underfitting
Problem: how rich class of classifications q(x;θ) to use.
underfitting
good fit
overfitting
Problem of generalization: a small emprical risk Remp does not imply small true expected risk R.
Rem(p a)1 l i l1L(yi,f(xi,a0))
首先Remp(w)和R(w)都是w的函数，传统 概率论中的定理只说明了(在一定条件下)
当样本趋于无穷多时Remp(w)将在概率意义
上趋近于R(w)，却没有保证使Remp(w)最小 的点也能够使R(w) 最小(同步最小)。
经验风险最小化准则
(x 1 ,y 1 )(x ,2 ,y 2 ) ,,(x N ,y N )
在一组函数{f (x,w)}中求一个最优的函数 f (x,w0)对 依赖关系进行估计，使期望风险
最小
R (w )L(y,f(x,w )d )(F x,y)
期望风险
学习到一个假设H=f(x, w) 作为预测函数,其中 w是广义参数.它对F(X,Y)的期望风险R(w)是(即 统计学习的实际风险)：
支持向量机及应用简 介
统计学习理论
统计学习理论是小样本统计估计和预测学习的最 佳理论。
假设输出变量Y与输入变量X之间存在某种对应的
依赖关系,即一未知概率分布P(X,Y)，P(X,Y)反
映了某种知识。学习问题可以概括为:根据l个独 立同分布( independently drawn and
identically distributed )的观测样本train set，
机器学习的基本问题和方法
输入x
系统（S）
F (x, y)
输出y
学习机器（LM）
f(x,),
从给定的函数集Ω中选择出 能够最好地逼近系统响应的 函数ω
ຫໍສະໝຸດ Baidu
有指导机器学习的目的是根据给定的训练样本，求 出对某系统输入输出之间依赖关系的估计，使它 能够对未知输入作出尽可能准确的预测。可以一 般地表示为：变量y与x存在一定的未知依赖关系， 即遵循某一未知的联合概率F(x,y)（x 和y 之间的 确定性关系可以看作是其特例），有指导机器学 习问题就是根据N个独立同分布观测样本
经验风 险
h –VC 维
结构风险最小化归纳原则 (SRM)
h1
Sn S*
S1
h* S* Sn
风险界限Bound on the risk
置信范围
Confidence interval
经验风险Empirical risk
原因
从理论上看，之所以出现过学习现象， 一是因为训练样本不充分， 二是机器学习的风险准则不合理。 出现这种现象的原因，就是试图用一个复杂的模
型去拟合有限的样本，结果导致丧失了推广能力。 在神经网络中，如果对于有限的训练样本来说网 络的学习能力过强，足以记住每一个训练样本， 此时经验风险很快就可以收敛到很小甚至零，但 学习机器却根本无法保证它对未来新的样本能够 得到好的预测。这就是有限样本下学习机器的复 杂性与推广性之间的矛盾。因此，关于学习机器 复杂性和推广能力，得到以下的结论,
其中，{f(x,w)}称作预测函数集，w为函数的广 义参数。{f(x,w)}可以表示任何函数集。 L(y,f(x,w))为由于用f(x,w)对y进行预测而造成 的损失。不同类型的学习问题有不同形式的损失 函数。
经验风险
而对train set上产生的风险Remp(w)被称 为经验风险(学习的训练误差):
(x1,y1),(x2,y2),…,(xn,yn)
支持向量机（SVM）
支持向量机（Support Vector Machine，SVM） 是由Boser,Guyon和Vapnik发明，并首次在计算 学习理论（COLT）1992年年会论文中提出。它 是继人工神经网络后，智能计算领域发展的又一 里程碑。支持向量机以严格证明的统计学习理论 为基础，使用核函数把数据从样本空间映射到高 维特征空间，将非线性问题转化为线性可分问题， 获得最优解，是一重大的理论创新。支持向量机 有严密的数学基础，训练结果只与支持向量有关， 且泛化性强，成为了解决非线性问题的重要工具， 因此，受到智能计算领域学者的广泛关注，在模 式分类和回归领域得到了广泛的应用。
存在的问题
由于经验风险最小化代替期望风险最小化的理论 依据是大数定理，实际的机器学习不能满足训练 样本趋近于无穷大这一苛刻的要求，致使经验风 险最小化准则算法复杂性大与泛化能力差。
例如：基于经验风险最小化准则人工神经网络研 究中，广大学者总是把注意力集中在如何使更小， 但很快便发现，一味追求训练误差小并不是总能 达到好的预测效果。
因为是由训练样本(即经验数据)定义的，因 此称之为经验风险。用求经验风险的最小 值代替求期望风险R (a)的最小值，就是所 谓的经验风险最小化(ERM)准则
从期望风险最小化到经验风险最小化的理论
依据是大数定理，只有当训练样本趋近于
无穷大的时候，经验风险才趋近于期望风 险。即：
lim
Rem(a p) R(a)
结论
①经验风险最小并不一定意味着期望风险 最小;
②学习机器的复杂性不但与所研究的系统 有关，而且要和有限的学习样本相适应。
VC维
VC维(Vapnik-Chervonenkis Dimension)。模式识别方法 中VC维的直观定义是：对一个指示函数集，如果存在h个 样本能够被函数集里的函数按照所有可能的2h种形式分开， 则称函数集能够把h个样本打散。函数集的VC维就是它能 打散的最大样本数目h。
VC维反映了函数集的学习能力，VC维越大则 学习机器越复杂(容量越大)。
经验风险与VC维关系
经验风险Remp(a)和实际风险R(a)之间至少 以不下于1-η(0≤η≤1)的概率存在这样的 关系:
R (al)R em (alp ) (h l,R em (alp ),)
风 险
真实风险 上界
置信范 围
l
过学习Overfitting and underfitting
Problem: how rich class of classifications q(x;θ) to use.
underfitting
good fit
overfitting
Problem of generalization: a small emprical risk Remp does not imply small true expected risk R.
Rem(p a)1 l i l1L(yi,f(xi,a0))
首先Remp(w)和R(w)都是w的函数，传统 概率论中的定理只说明了(在一定条件下)
当样本趋于无穷多时Remp(w)将在概率意义
上趋近于R(w)，却没有保证使Remp(w)最小 的点也能够使R(w) 最小(同步最小)。
经验风险最小化准则
(x 1 ,y 1 )(x ,2 ,y 2 ) ,,(x N ,y N )
在一组函数{f (x,w)}中求一个最优的函数 f (x,w0)对 依赖关系进行估计，使期望风险
最小
R (w )L(y,f(x,w )d )(F x,y)
期望风险
学习到一个假设H=f(x, w) 作为预测函数,其中 w是广义参数.它对F(X,Y)的期望风险R(w)是(即 统计学习的实际风险)：
支持向量机及应用简 介
统计学习理论
统计学习理论是小样本统计估计和预测学习的最 佳理论。
假设输出变量Y与输入变量X之间存在某种对应的
依赖关系,即一未知概率分布P(X,Y)，P(X,Y)反
映了某种知识。学习问题可以概括为:根据l个独 立同分布( independently drawn and
identically distributed )的观测样本train set，
机器学习的基本问题和方法
输入x
系统（S）
F (x, y)
输出y
学习机器（LM）
f(x,),
从给定的函数集Ω中选择出 能够最好地逼近系统响应的 函数ω
ຫໍສະໝຸດ Baidu
有指导机器学习的目的是根据给定的训练样本，求 出对某系统输入输出之间依赖关系的估计，使它 能够对未知输入作出尽可能准确的预测。可以一 般地表示为：变量y与x存在一定的未知依赖关系， 即遵循某一未知的联合概率F(x,y)（x 和y 之间的 确定性关系可以看作是其特例），有指导机器学 习问题就是根据N个独立同分布观测样本
经验风 险
h –VC 维
结构风险最小化归纳原则 (SRM)
h1
Sn S*
S1
h* S* Sn
风险界限Bound on the risk
置信范围
Confidence interval
经验风险Empirical risk
原因
从理论上看，之所以出现过学习现象， 一是因为训练样本不充分， 二是机器学习的风险准则不合理。 出现这种现象的原因，就是试图用一个复杂的模
型去拟合有限的样本，结果导致丧失了推广能力。 在神经网络中，如果对于有限的训练样本来说网 络的学习能力过强，足以记住每一个训练样本， 此时经验风险很快就可以收敛到很小甚至零，但 学习机器却根本无法保证它对未来新的样本能够 得到好的预测。这就是有限样本下学习机器的复 杂性与推广性之间的矛盾。因此，关于学习机器 复杂性和推广能力，得到以下的结论,