基于核函数的学习算法 ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
在样本数目有限时是不合理的,因此，需要同时最小 化经验风险和置信范围。 统计学习理论提出了一种新的策略,即把函数集构造 为一个函数子集序列,使各个子集按照VC维的大小排 列;在每个子集中寻找最小经验风险,在子集间折衷考 虑经验风险和置信范围,取得实际风险的最小。这种 思想称作结构风险最小化准则(Structural Risk Minimization Principle)。
理论基础 监督学习:SVM、KFD 无监督学习：KPCA 模型选择
理论基础
机器学习 VC维 结构风险最小化原则
SLT(Statistical Learning Theory)
上世纪90年代中才成熟的统计学习理论，是 在基于经验风险的有关研究基础上发展起来 的，专门针对小样本的统计理论。
统计学习理论为研究有限样本情况下的模式 识别、函数拟合和概率密度估计等三种类型 的机器学习问题提供了理论框架，同时也为 模式识别发展了一种新的分类方法——支持 向量机。
机器学习
机器学习是现代智能技术中重要的一个方面，研究从观测样本出 发去分析对象，去预测未来。
机器学习的基本模型：
输出y与x之间存在一种固定的、但形式未知的联合概率分布函数 F(y,x)。
VC维
Vanik和Chervonenkis(1968)提出了VC维的概念。 VC维：对于一个指示函数（即只有0和1两种取值的函
数）集，如果存在h个样本能够被函数集里的函数按照 所有可能的2h种形式分开，则称函数集能够把h个样本 打散，函数集的VC维就是能够打散的最大样本数目。 VC维是描述函数集或学习机器的复杂性或者说是学习 能力的一个重要指标,在此概念基础上发展出了一系列 关于统计学习的一致性、收敛速度、泛化性能等的重 要结论。
核函数
在处理线性分类问题时，数据以点积的形式( xi ·xj ) 出 现。而在处理非线性分类问题时，需要采用非线性映射把 输入空间映射到高维特征空间，记为： 当在特征空间H 中构造最优超平面时，训练算法仅使用空 间中的点积，即
存在一种核函数K,使得:
核函数将m维高维空间的内积运算转化为n维低维输入空间 的核函数计算，从而巧妙地解决了在高维特征空间中计算 的“维数灾难”等问题。
该线性分类函数的VC维即为3
一般而言,VC维越大, 学习能力就越强,但学 习机器也越复杂。
目前还没有通用的关于计算任意函数集的VC 维的理论,只有对一些特殊函数集的VC维可以 准确知道。
结构风险最小化准则
Vapnik和Chervonenkis(1974)提出了SRM。 传统机器学习方法中普遍采用的经验风险最小化原则
典型的例子就是SVM（可支持向量机）、KFD （基于核的Fisher判别分析）。
SVM（Support vector machines)
SVM是基于SLT的一种机器学习方法。简单的 说，就是将数据单元表示在多维空间中，然 后对这个空间做划分的算法。
SVM是建立在统计学习理论的VC维理论和结构 风险最小原理基础上的，根据有限的样本信 息在模型的复杂性之间寻求最佳折衷，以期 获得最好的推广（泛化）能力。
在一组函数{f(x,w)}中求一个最优函数f(x,w0)，使预测的期望风险R(w)最 小化。
R(L(y, {f(x,w)})为损失函数，由于对y进行预测而造成的损失；w为函数的 广义参数，故{f(x,w)}可表示任何函数集；F(x,y) 为联合分布函数。
学习机中有函数集{f(x,w)}，可估计输入与输出之间依赖关系， 其中w为广义参数。
风险最小化－机器学习问题表示
已知变量y与输入x之间存在一定的未知依赖关系，即联合概率分布F(x,y) 机器学习就是根据独立同分布的n个观测样本： (x1, y1), (x2, y2), ···, (xn, yn)
支持向量机方法建立在统计学习理论基础之上，专门 针对小样本情况下的机器学习问题。 对于分类问题， 支持向量机方法根据区域中的样本计算该区域的分类 曲面，由该曲面决定该区域中的样本类别。
已知样本x 为m 维向量, 在某个区域内存在n个样本:
(x1,y1)，(x2,y2)，…，(xn,yn)
其中，xi 是训练元组，xi∈Rm，yi是类标号， yi∈{1,-1}。
若存在超平面( hyperplane):
ω·x + b = 0
(1)
其中·表示向量的点积，如图1 所示，超平面能将这n 个
样本分为两类,那么存在最优超平面不仅能将两类样本准
确分开，而且能使两类样本到超平面的距离最大。式(1)
中的ω和b 乘以系数后仍能满足方程，进行归一化处理之 后，对于所有样本xi ，式| ω·xi + b| 的最小值为1 , 则样本与此最优超平面的最小距离为|ω·xi + b |/‖ω‖= 1/‖ω‖,那么最优超平面应满足条件:
核方法分为核函数设计和算法设计两个部分,具体情况如图1 所示。核方法的实施步骤,具体描述为: ①收集和整理样本, 并进行标准化; ②选择或构造核函数; ③ 用核函数将样本变 换成为核矩阵; ④在特征空间对核矩阵实施各种线性算法;⑤ 得到输入空间中的非线性模型。
核函数
主要的核函数有三类： 多项式核函数
Kernel-Based Learning Algorithms
引言
近几年，出现了一些基于核函数的机器学习 方法，例如：SVM（可支持向量机）、KFD （基于核的Fisher判别分析）、KPCA（核主 成分分析）等。这些方法在分类问题、回归 问题以及无监督学习上都具有现实意义。这 些核函数方法已经成功应用到模式识别的各 个领域，比如目标识别、文本分类、时间序 列预测等等
径向基函数
S形函数
有监督学习 (supervised learning)
监督学习，就是人们常说的分类，通过已有 的训练样本（即已知数据以及其对应的输出） 去训练得到一个最优模型（这个模型属于某 个函数的集合，再利用这个模型将所有的输 入映射为相应的输出，对输出进行简单的判 断从而实现分类的目的，也就具有了对未知 数据进行分类的能力。
理论基础 监督学习:SVM、KFD 无监督学习：KPCA 模型选择
理论基础
机器学习 VC维 结构风险最小化原则
SLT(Statistical Learning Theory)
上世纪90年代中才成熟的统计学习理论，是 在基于经验风险的有关研究基础上发展起来 的，专门针对小样本的统计理论。
统计学习理论为研究有限样本情况下的模式 识别、函数拟合和概率密度估计等三种类型 的机器学习问题提供了理论框架，同时也为 模式识别发展了一种新的分类方法——支持 向量机。
机器学习
机器学习是现代智能技术中重要的一个方面，研究从观测样本出 发去分析对象，去预测未来。
机器学习的基本模型：
输出y与x之间存在一种固定的、但形式未知的联合概率分布函数 F(y,x)。
VC维
Vanik和Chervonenkis(1968)提出了VC维的概念。 VC维：对于一个指示函数（即只有0和1两种取值的函
数）集，如果存在h个样本能够被函数集里的函数按照 所有可能的2h种形式分开，则称函数集能够把h个样本 打散，函数集的VC维就是能够打散的最大样本数目。 VC维是描述函数集或学习机器的复杂性或者说是学习 能力的一个重要指标,在此概念基础上发展出了一系列 关于统计学习的一致性、收敛速度、泛化性能等的重 要结论。
核函数
在处理线性分类问题时，数据以点积的形式( xi ·xj ) 出 现。而在处理非线性分类问题时，需要采用非线性映射把 输入空间映射到高维特征空间，记为： 当在特征空间H 中构造最优超平面时，训练算法仅使用空 间中的点积，即
存在一种核函数K,使得:
核函数将m维高维空间的内积运算转化为n维低维输入空间 的核函数计算，从而巧妙地解决了在高维特征空间中计算 的“维数灾难”等问题。
该线性分类函数的VC维即为3
一般而言,VC维越大, 学习能力就越强,但学 习机器也越复杂。
目前还没有通用的关于计算任意函数集的VC 维的理论,只有对一些特殊函数集的VC维可以 准确知道。
结构风险最小化准则
Vapnik和Chervonenkis(1974)提出了SRM。 传统机器学习方法中普遍采用的经验风险最小化原则
典型的例子就是SVM（可支持向量机）、KFD （基于核的Fisher判别分析）。
SVM（Support vector machines)
SVM是基于SLT的一种机器学习方法。简单的 说，就是将数据单元表示在多维空间中，然 后对这个空间做划分的算法。
SVM是建立在统计学习理论的VC维理论和结构 风险最小原理基础上的，根据有限的样本信 息在模型的复杂性之间寻求最佳折衷，以期 获得最好的推广（泛化）能力。
在一组函数{f(x,w)}中求一个最优函数f(x,w0)，使预测的期望风险R(w)最 小化。
R(L(y, {f(x,w)})为损失函数，由于对y进行预测而造成的损失；w为函数的 广义参数，故{f(x,w)}可表示任何函数集；F(x,y) 为联合分布函数。
学习机中有函数集{f(x,w)}，可估计输入与输出之间依赖关系， 其中w为广义参数。
风险最小化－机器学习问题表示
已知变量y与输入x之间存在一定的未知依赖关系，即联合概率分布F(x,y) 机器学习就是根据独立同分布的n个观测样本： (x1, y1), (x2, y2), ···, (xn, yn)
支持向量机方法建立在统计学习理论基础之上，专门 针对小样本情况下的机器学习问题。 对于分类问题， 支持向量机方法根据区域中的样本计算该区域的分类 曲面，由该曲面决定该区域中的样本类别。
已知样本x 为m 维向量, 在某个区域内存在n个样本:
(x1,y1)，(x2,y2)，…，(xn,yn)
其中，xi 是训练元组，xi∈Rm，yi是类标号， yi∈{1,-1}。
若存在超平面( hyperplane):
ω·x + b = 0
(1)
其中·表示向量的点积，如图1 所示，超平面能将这n 个
样本分为两类,那么存在最优超平面不仅能将两类样本准
确分开，而且能使两类样本到超平面的距离最大。式(1)
中的ω和b 乘以系数后仍能满足方程，进行归一化处理之 后，对于所有样本xi ，式| ω·xi + b| 的最小值为1 , 则样本与此最优超平面的最小距离为|ω·xi + b |/‖ω‖= 1/‖ω‖,那么最优超平面应满足条件:
核方法分为核函数设计和算法设计两个部分,具体情况如图1 所示。核方法的实施步骤,具体描述为: ①收集和整理样本, 并进行标准化; ②选择或构造核函数; ③ 用核函数将样本变 换成为核矩阵; ④在特征空间对核矩阵实施各种线性算法;⑤ 得到输入空间中的非线性模型。
核函数
主要的核函数有三类： 多项式核函数
Kernel-Based Learning Algorithms
引言
近几年，出现了一些基于核函数的机器学习 方法，例如：SVM（可支持向量机）、KFD （基于核的Fisher判别分析）、KPCA（核主 成分分析）等。这些方法在分类问题、回归 问题以及无监督学习上都具有现实意义。这 些核函数方法已经成功应用到模式识别的各 个领域，比如目标识别、文本分类、时间序 列预测等等
径向基函数
S形函数
有监督学习 (supervised learning)
监督学习，就是人们常说的分类，通过已有 的训练样本（即已知数据以及其对应的输出） 去训练得到一个最优模型（这个模型属于某 个函数的集合，再利用这个模型将所有的输 入映射为相应的输出，对输出进行简单的判 断从而实现分类的目的，也就具有了对未知 数据进行分类的能力。