神经网络的简单比较和介绍

遗传算法

遗传算法的最大优点：

你不需要知道怎么去解决一个问题;你需要知道的仅仅是，用怎么的方式对可行解进行编码，使得它能能被遗传算法机制所利用。

神经网络

人工神经网络的分类：

1. 按结构方式：前馈网络（BP网络）和反馈网络（Hopfield网络）

2. 按状态方式：离散型网络和连续型网络

3. 按学习方式：监督学习网络（BP、RBF网络）和无监督学习网络（自组织网络）

人类大脑的特点：

1. 能实现无监督的学习。这一现象称为可塑性。

2. 对损伤有冗余性。

3. 处理信息的效率极高。

4. 善于归纳推广。

人工神经网络的发展：

BP算法就是误差反向传播法，有了这个算法就可以处理非线性的运算。

人工神经网络的实质

其实质就是网络输入和输出的一种关系。

通过选取不同的模型结构和激励函数，可以形成不同的神经网络，达到不同的设计目的。

人工神经元的模型

激活函数

神经网络特性的关键就是：激活函数（也称传输函数）

常用的三种：

1. 硬极限传输函数

输出为0或1 Hardlim输出为0或1

Hardlims输出为-1或1

2. 线性传输函数

Purelin

饱和线性函数：satlin 范围为0~1,

3. 对数-S形传输函数

Logsig输出（0~1）

Tansig输出（-1~1）多层神经网络

多层神经网络设计时，隐含层的激活函数应该用非线性的，否则多层网络的计算能力并不比单层的强。

四层神经网络表示：一个输入层，两个隐含层和一个输出层。只有三个权值矩阵。

人工神经网络权值的确定不是通过计算，是通过网络的自身训练来完成的，这是神经网络在解决问题的方式上与其他方法的最大不同点。

三种网络：

1. 前馈网络（以感知机为代表）

2. 竞争网络（以hamming为代表）

3. 递归联想存储网络（以Hopfield为代表）

通过学习判别一个橘子和苹果的例子，明白了，感知机只有一个取值为-1或1代表橘子或苹果的输出；Hamming网络中也只有一个取值非0的神经元表示哪个输入的标准模式为最佳匹配。如果第一个神经元取非0，表示输入模式属于橘子类别，如果第二个神经元取非0表示输入的是苹果类别；在Hopfield网络中，标准模式本身将会出现在网络的输出上。

感知机输出的为二值，Hamming输出的非0来表示最佳的输入向量，Hopfield 输出标准的结果。

单层感知机

构造了一个线性判定边界对输入向量进行分类。所以处理的输入类别都是线性的，如果输入类别不能用线性边界划分，将会用到多层感知机。

感知机学习规则

学习规则就是修改神经网络的权值和偏置值的方法和过程。

大致有三类：

1.有监督学习

2.无监督学习

3.增强（分级）学习

1、神经网络优缺点

优点：

神经网络有很强的非线性拟合能力，可映射任意复杂的非线性关系，而且学习规则简单，便于计算机实现。具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力，因此有很大的应用市场。

缺点：

（1）最严重的问题是没能力来解释自己的推理过程和推理依据。

（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。

（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。

（4）理论和学习算法还有待于进一步完善和提高。

2、SVM的优缺点

优点：

(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；

(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM 方法的核心；

(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量.

(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法.它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法.从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”,大大简化了通常的分类和回归等问题.

(5)SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”. (6)少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性.这种“鲁棒”性主要体现在:

①增、删非支持向量样本对模型没有影响;

②支持向量样本集具有一定的鲁棒性;

③有些成功的应用中,SVM 方法对核的选取不敏感

缺点：

(1) SVM算法对大规模训练样本难以实施

由于SVM是借助二次规划来求解支持向量,而求解二次规划将涉及m阶矩阵的计算（m为样本的个数）,当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间.针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims 的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR 算法

(2) 用SVM解决多分类问题存在困难

经典的支持向量机算法只给出了二类分类的算法,而在数据挖掘的实际应用中,一般要解决多类的分类问题.可以通过多个二类支持向量机的组合来解决.主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决.主要原理是克服SVM固有的缺点,结合其他算法的优势,解决多类问题的分类精度.如：与粗集理论结合,形成一种优势互补的多类问题的组合分类器。

数学是有约束、有边界、有条件的，试图仅仅用数学描绘宇宙的想法与诗人无异！