人工神经网络与支持向量机

•
由于sigmoid函数将非常大的输入值范围映射到一个小范围的输出，因此常被 称为sigmoid单元的挤压函数，该函数还有另外一个很好的特性，即它的导数 很容易用它的输出来表示。
线性判别函数和判别面
线性分类的一个例子
点到超平面的距离定义：几何间隔
最大间隔分类器的定义
到底什么是支持向量？
神经网络简介
人工神经网络定义 • 神经网络是由多个非常简单的处理单元彼此按某种方 式相互连接而形成的计算系统，该系统是靠其状态对 外部输入信息的动态响应来处理信息的。 • 人工神经网络是一个由许多简单的并行工作的处理单 元组成的系统，其功能取决于网络的结构、连接强度 以及各单元的处理方式。 • 人工神经网络是一种旨在模仿人脑结构及其功能的信 息处理系统。
3. 此时，核函数就隆重登场了，核函数的价值在于它虽然也是讲特征进行从低维到高维 的转换，但核函数绝就绝在它事先在低维上进行计算，而将实质上的分类效果表现在 了高维上，也就如上文所说的避免了直接在高维空间中的复杂计算。
到底什么是支持向量？
深入SVM
支持向量机
线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是 线性方法，所以对非线性的数据就没有办法处理。举个例子来说，则是如下图所示的两类数据，分别分 布为两个圆圈的形状，这样的数据本身就是线性不可分的，此时咱们该如何把这两类数据分开呢？
线性不可分的情况
核函数的本质
1. 实际中，我们会经常遇到线性不可分的样例，此时，我们的常用做法是把样例特征映 射到高维空间中去，映射到高维空间后，相关特征便被分开了，也就达到了分类的目 的； 2. 但进一步，如果凡是遇到线性不可分的样例，一律映射到高维空间，那么这个维度大
小是会高到可怕的，那咋办呢？
Biblioteka Baidu
神经网络简介
神经网络的基本功能
问题解答 知识分布式表示 知识获取、知识库 平行推理 输入数据 变量变换 求解的问题 神经网络专家系统的构成 由同一 神经网 络实现
神经网络建模基础
神经网络的数学模型
反向传播算法
反向传播算法
BP算法的缺陷
BP算法因其简单、易行、计算量小、并行性强等优点，目 前是神经网络训练采用最多也是最成熟的训练算法之一。 其算法的实质是求解误差函数的最小值问题，由于它采用 非线性规划中的最速下降方法，按误差函数的负梯度方向 修改权值，因而通常存在以下问题： 学习效率低，收敛速度慢 易陷入局部极小状态 此外最速下降法并不是最好的方法，除此之外还有共 轭梯度法，拟牛顿法等等