人工神经网络ppt

风险最小，则错误率的上界最小。
机器学习的基本模型
由于我们只有样本数据可以使用，因此
在传统的学习方法中采用经验风险最小化
（ERM）准则，用样本定义经验风险。
R emp
1 n
n i1
L( yi ,
f
(xi , wi ))
但是对于过学习的系统ERM准则不适用，
由于过多注重训练误差，导致系统的推广
支持向量机模型
机器学习的目的就是根据给定的训练样本求系统输入 输出之间的关系的模型估计，使系统能够对未知输出做出 相对准确的预测。一般表示为：输出Y与输入X存在未知 的依赖关系，即遵循某一种未知的联合概率F(x w).进 行机器学习的目的就是根据n个独立的同观测样本，找出 他们之间的函数关系估计，是期望风险
第一：多项式核函数
所得到的是q阶多项式分类器。 第二：径向基函数 ，
这个核函数所得的结果与传统函数所得结 果的区别在于这里每个基函数中心对应一个 支持向量。他们以及输出权值都由算法确定。
第三：sigmoid函数
这时SVM的实现就包含一个隐形的多层 传感器，隐层节点数由算法自动确定，而 且算法不存在困扰神经网络方法的局部极 小点问题。
在更高维的特征空间中，训练样本的像有 较好的分离性，也就是说，在高位特征空 间中训练样本可以被线性分离。
此时，非线性的支持向量可以转化为 线性的，最优分类函数为：
n
f (x) sgn{(w • ) b} sgn{ i yi (i) b} i 1
在线性和非线性模型中，不同的内积 核函数也将形成不同的算法，目前研究 较多的为三种主要的核函数。
能力下降，即当对样本过度拟合，系统会
对样本完全吻合，但是就没法保证对未来
的样本有一个很好的预测。
基本模型
1.1 线性模型
SVM是从线性可分情况下的最优分类面 发展而来的，基本思想可用图说明，其中 实心和空心的点分别代表两类样本，H为分 类线，H1、H2分别为过各类中离分类先最 近的平行于分类线的直线，他们之间的距 离叫做分类间隔。
人工神经网络
-支持向量机
制作者：郑烈心
理论基础知识
基于数据的机器学习是人工智能的一 个重要的方面，传统的方法是从样本数据 出发，寻找数据间的规律，但是传统的统 计学研究的基础是假设数据趋于无穷多， 而实际生活中样本的数目确实非常有限的。 而统计学理论是专门用于研究小样本情况 下机器学习规律的理论。支持向量机 （SVM）就是一种统计学理论研究，现在 在机器视觉，图像处理等领域都发挥了不 可替代的优势。
和 大值
下对α求解下列函数的最
α为每个样本对应的拉格朗日乘子，这是一 个不等式约束下二次函数的寻优问题，存 在唯一的解，解中只有一部分α不为0，可 以得到最优分类函数为
以上的求和只对支持向量进行，b为分类 阀值，可用任意一个支持向量求得，或者 通过两类中任意一对支持向量取中值求得。
非线性模型
由线性函数的支持向量机分类函数可知， 分类函数只包含待分类样本和训练样本中 的支持向量的内积 ,它的求解也是涉及 到训练样本间的内积运算 ，可见要解 决一个特征空间的最优分类问题，只需知 道这个空间的内积运算即可。
所谓的最有分类就是不但要求分类线能够
把两者分开，而且可以使分类间隔最大。 分类线方程为 x•wb 0 我们对它进行现行归 一化，使得线性可分的样本集 (xi, yi ) 其中
满足
此时分类间隔为 2|| w，|| 使最大间隔最大，就可
以面，得H到1等、价H条2上件的为训练||样w本|最| 2 点小就，叫这做就支叫持做向最量优。分类
i1

K(x1,x)
y
输出y sgn s i yiKxi x b
i1

αsys α2y2
权值wi=αiyi
基于s个支持
K(x2,x)
…
K(xs,x)
向量x1,x2,…, Xs的非线性变
换（内积）
…
x1
x2
输入向量x xd
非线性模型特征空间的维数非常高,在 大多数情况下难以直接在特征空间计算最 优分类面。支持向量机通过定义核函数 (Kernel Function)方法将这一问题转化到 输入空间进行计算：
对于一个给定的样本空间，不能用一个超 平面分离或者近似分离时，为了提高分类 的精确度，可以利用变换将其映射到更高 维的空间，也就是将样本映射到高位的特 征空间，也就是做变换
度估计。对模式识别问题，输出y是类别标号，两类情 况下y={1,0}或{1，-1}，预测函数称作指示函数，损 失函数可以定义为
0 y f (x,w)
L(y, f (x,w)) {
}

1 y f (x,w)
要使机器风险最小，损失函数最小，损失函数定义为：
L (y f (x, w))2
R L(y, f (x,w))df (x, y)
最小，其中f(x,w)称作预测函数集，w为函数的广义 参数，f（x,w）可以表示任何函数集，L（y,f(x,w)） 为由于用f（x,y）对y进行预测而造成的损失。不同类型 的学习问题会造成不同的损失函数。预测函数也称作学习 模型。
有三类学习问题，分别为模式识别、函数逼近和概率密
对于线性系统，使分类间隔最大，就是对推广 能力的控制，这也是支持向量机的核心思想之一， 从统计学习理论可知，在N维空间中，设样本分布 在一个半径为R的超球范围内，满足条件||w||≤ A ,的正则超平面构成的指示函数集
的VC维满足下面的函数的界
因此，使 最小就是使VC维的上界最小。 在利用拉格朗日优化方法把上面的问题转 化为对偶问|题| w |，|2 即在约束条件
优化问题变为：
约束条件：
n
i yi 0
i 1
0 i C, i 1,2, , n
求下列函数的最大值
Q( )
n i 1
i

1 2
n
i
i, j 1
j
yi y j K
xi x j
对应的分类函数为：
α1y1
f (x) sgn n iyiK xi x b