基于核函数的学习算法

7
.
VC维
8
Vanik和Chervonenkis(1968)提出了VC维的概念。 VC维：对于一个指示函数（即只有0和1两种取值的函
数）集，如果存在h个样本能够被函数集里的函数按照 所有可能的2h种形式分开，则称函数集能够把h个样本 打散，函数集的VC维就是能够打散的最大样本数目。 VC维是描述函数集或学习机器的复杂性或者说是学习 能力的一个重要指标,在此概念基础上发展出了一系列 关于统计学习的一致性、收敛速度、泛化性能等的重 要结论。
.
3
理论基础 监督学习:SVM、KFD 无监督学习：KPCA 模型选择
.
4 理论基础
机器学习 VC维 结构风险最小化原则
.
5 SLT(Statistical Learning Theory)
上世纪90年代中才成熟的统计学习理论，是 在基于经验风险的有关研究基础上发展起来 的，专门针对小样本的统计理论。
中的ω和b 乘以系数后仍能满足方程，进行归一化处理之
后，对于所有样本xi ，式| ω·xi + b| 的最小值为1 , 则样本与此最优超平面的最小距离为|ω·xi + b |/‖ω‖= 1/‖ω‖,那么最优超平面应满足条件:
.
12
核函数
在处理线性分类问题时，数据以点积的形式( xi ·xj ) 出 现。而在处理非线性分类问题时，需要采用非线性映射把 输入空间映射到高维特征空间，记为： 当在特征空间H 中构造最优超平面时，训练算法仅使用空 间中的点积，即
存在一种核函数K,使得:
核函数将m维高维空间的内积运算转化为n维低维输入空间 的核函数计算，从而巧妙地解决了在高维特征空间中计算 的“维数灾难”等问题。
在样本数目有限时是不合理的,因此，需要同时最小 化经验风险和置信范围。 统计学习理论提出了一种新的策略,即把函数集构造 为一个函数子集序列,使各个子集按照VC维的大小排 列;在每个子集中寻找最小经验风险,在子集间折衷考 虑经验风险和置信范围,取得实际风险的最小。这种 思想称作结构风险最小化准则(Structural Risk Minimization Principle)。
Kernel-Based Learning Algorithms
1
.
2
Βιβλιοθήκη Baidu
引言
近几年，出现了一些基于核函数的机器学习 方法，例如：SVM（可支持向量机）、KFD （基于核的Fisher判别分析）、KPCA（核主 成分分析）等。这些方法在分类问题、回归 问题以及无监督学习上都具有现实意义。这 些核函数方法已经成功应用到模式识别的各 个领域，比如目标识别、文本分类、时间序 列预测等等
其中，xi 是训练元组，xi∈Rm，yi是类标号， yi∈{1,-1}。
若存在超平面( hyperplane):
ω·x + b = 0
(1)
.
19
其中·表示向量的点积，如图1 所示，超平面能将这n 个
样本分为两类,那么存在最优超平面不仅能将两类样本准
确分开，而且能使两类样本到超平面的距离最大。式(1)
学习机中有函数集{f(x,w)}，可估计输入与输出之间依赖关系， 其中w为广义参数。
.
风险最小化－机器学习问题表示
已知变量y与输入x之间存在一定的未知依赖关系，即联合概率分布F(x,y) 机器学习就是根据独立同分布的n个观测样本： (x1, y1), (x2, y2), ···, (xn, yn)
.
18
支持向量机方法建立在统计学习理论基础之上，专门 针对小样本情况下的机器学习问题。 对于分类问题， 支持向量机方法根据区域中的样本计算该区域的分类 曲面，由该曲面决定该区域中的样本类别。
已知样本x 为m 维向量, 在某个区域内存在n个样本:
(x1,y1)，(x2,y2)，…，(xn,yn)
.
13
.
14
核方法分为核函数设计和算法设计两个部分,具体情况如图1 所示。核方法的实施步骤,具体描述为: ①收集和整理样本, 并进行标准化; ②选择或构造核函数; ③ 用核函数将样本变 换成为核矩阵; ④在特征空间对核矩阵实施各种线性算法;⑤ 得到输入空间中的非线性模型。
.
核函数
主要的核函数有三类： 多项式核函数
典型的例子就是SVM（可支持向量机）、KFD （基于核的Fisher判别分析）。
.
17 SVM（Support vector machines)
SVM是基于SLT的一种机器学习方法。简单的 说，就是将数据单元表示在多维空间中，然 后对这个空间做划分的算法。
SVM是建立在统计学习理论的VC维理论和结构 风险最小原理基础上的，根据有限的样本信 息在模型的复杂性之间寻求最佳折衷，以期 获得最好的推广（泛化）能力。
.
9
该线性分类函数的VC维即为3
.
10
一般而言,VC维越大, 学习能力就越强,但学 习机器也越复杂。
目前还没有通用的关于计算任意函数集的VC 维的理论,只有对一些特殊函数集的VC维可以 准确知道。
.
11 结构风险最小化准则
Vapnik和Chervonenkis(1974)提出了SRM。 传统机器学习方法中普遍采用的经验风险最小化原则
在一组函数{f(x,w)}中求一个最优函数f(x,w0)，使预测的期望风险R(w)最 小化。
R(w) L( y, f (x, w))dF(x, y)
L(y, {f(x,w)})为损失函数，由于对y进行预测而造成的损失；w为函数的 广义参数，故{f(x,w)}可表示任何函数集；F(x,y) 为联合分布函数。
统计学习理论为研究有限样本情况下的模式 识别、函数拟合和概率密度估计等三种类型 的机器学习问题提供了理论框架，同时也为 模式识别发展了一种新的分类方法——支持 向量机。
.
6 机器学习
机器学习是现代智能技术中重要的一个方面，研究从观测样本出 发去分析对象，去预测未来。
机器学习的基本模型：
输出y与x之间存在一种固定的、但形式未知的联合概率分布函数 F(y,x)。
径向基函数
S形函数
15
.
16
有监督学习
(supervised learning)
监督学习，就是人们常说的分类，通过已有 的训练样本（即已知数据以及其对应的输出） 去训练得到一个最优模型（这个模型属于某 个函数的集合，再利用这个模型将所有的输 入映射为相应的输出，对输出进行简单的判 断从而实现分类的目的，也就具有了对未知 数据进行分类的能力。