神经网络与支持向量机的竞争与协作

神经网络与支持向量机的竞争与协作

简单介绍了神经网络与支持向量机，对比分析两者的优缺点，提出了神经网络与支持向量机的协作发展，为两者实际应用的缺欠领域创造更多可能。

标签：神经网络；支持向量机；竞争；协作

人工神经网络（Artificial Neural Network，ANN）与支持向量机（Support Vector Machine，SVM）都是非线性分类模型。1986年，Rummelhart与McClelland创造出前馈型神经网络学习算法，简称BP算法。Vapnik等人于1992年提出支持向量机的概念。神经网络为包含输入、输出以及隐含层的非线性模型，隐含层可以是单层也可以是多层，支持向量机则运用核理论将非线性问题转换为线性问题。神经网络与支持向量机同为统计学习的代表方法，其中神经网络建立在传统统计学的基础上，支持向量机则建立在统计学理论的基础上。传统统计学假定样本数据无限大，从而推导出各种算法，得到其统计性质及其渐进理论。而在实际应用中，样本数为有限数据，对神经网络算法造成了限制。为了对比分析，研究者分别对BP神经网络与支持向量机进行仿真实验，得出支持向量机具有更强的逼近能力这一结果。但从后文所述支持向量机的优缺点来看，当训练样本规模较大时，运用支持向量机的算法很难实现。一直以来，神经网络与支持向量机处于“竞争”的关系，但无论是神经网络还是支持向量机，都做不到完美无缺。

1 人工神经网络

1.1 神经网络特点

神经网络是由大量的神经细胞（亦称神经元）组成，这些神经细胞具有很高的互连程度，构成了神经网络复杂的并行结构。神经网络结构来源于对人脑结构的模仿，因而也反映了人脑的基本结构与基本特征，构成了类似人脑结构复杂程度的学习与运算系统。为前馈网络选择适当的隐含层数目与隐含层节点数目，便能以任意精度逼近非线性函数。在工业过程的控制与建模操作中，神经网络技术得以广泛应用并成果显著。神经网络具有以下特点：在线及离线学习，自学习和自适应不确定的系统；能够辨识非线性系统，逼近任意非线性函数；讯息分布存储、并行处理，因而容错性强且处理速度快；通过神经网络运算，解决自动控制计算的许多问题。具有以上特点，使神经网络良好的应用于自动控制领域。

1.2 神经网络缺陷

神经网络的缺陷性主要表现为：网络结构需事先确定，训练过程不断修正，无法保证最优网络；通过实验调整网络权系数，且有局限性；样本数目足够多时结果质量好，但需要大量训练时间；出现无法得到最优解的情况，易陷入局部最优；目前收敛速度的决定条件无法判断，定量分析训练过程的收敛速度无法实现；经验风险最小化原则的基础下，无法保证优化时神经网络的泛化能力。前馈型神经网络普遍运用于自动控制领域，但实际应用中存在的问题却不容忽视，在经验

风险最小化原则的基础下，网络模型具有较差的泛化能力。相比于神经网络，支持向量机小样本学习能力强、模型外推能力好，适用于高维数据的处理，适于解决过程控制中的复杂问题，广泛应用于过程控制领域。

2 支持向量机

2.1 支持向量机特点

支持向量机算法建立在统计学理论的基础上。统计学理论是机器学习规律的基本理论，对于小样本统计目前最佳。神经网络建立在经验风险最小化原则的基础上，优化时的泛化能力无法保证，而统计学理论对经验风险最小化原则成立的条件进行了系统的研究，并分析小样本情况下经验风险与期望风险的关系。自Vapnik等人钻研此方面起，到20世纪90年代中期，伴随核理论进展、趋于成熟，最终提出支持向量机。支持向量机可以看作简易的前馈型神经网络，只包含一个隐含层。选定非线性映射，支持向量机将输入向量映射到高维特征空间，来实现最优分类超平面。每个输入的支持向量对应一个隐含层中的节点，输出为隐含层节点的线性组合。支持向量机能够根据有限的样本信息，获得模型复杂程度与学习能力之间最佳的平衡点，得到最佳的外推能力。而基于统计学理论，支持向量机并不依赖于设计者的知识、经验，具有严谨的理论基础。支持向量机具有以下特点：具有严格的理论基础，不依赖于设计者的知识、经验；针对小样本情况，相比于寻求样本数趋于无穷时的最优解，节省了大量时间；基于结构风险最小化的原则，泛化能力得以保证；将输入空间的非线性问题转化为高维空间的线性函数进行判别；解决局部最优问题，保证了算法的全局最优性。

2.2 支持向量机缺陷

针对小样本情况，对于大规模训练样本难以实施，支持向量机凭靠二次规划来求解支持向量，求解二次规划时需要计算n（样本个数）阶矩阵。支持向量机针对小样本设计，矩阵阶数很高时需要很长的运算时间，同时大大占用了机器的内存。在解决多元问题上存在困难实际应用中待解决的往往是多元问题。利用支持向量机解决多元问题，可将待解决的问题转化为多个经典二分类支持向量机的组合，或者构造多个分类器的组合。需要结合其他算法优势，分析并克服支持向量机的固有缺陷，找到平衡点。

3 相互关系及协作发展

神经网络理论上存在一定的缺陷，实际应用中存在不可避免的问题，虽然有对应的改进方案和解决办法，但神经网络的弊端却无法从根本上解决，这就造成一段时间内神经网络理论发展缓慢。实际应用中，神经网络结构的选择为一难点。结构选择并无统一标准，研究者从实际角度出发，根据自身知识、经验选定网络的参数与结构。在样本数目一定的情况下，想得到较强的学习能力，则要求更复杂的网络结构，那么就存在过学习的现象，结构过于简单则学习能力不足。神经网络的参数与结构需要研究者事先确定，而对于实际问题中的变化无法随机应对。神经网络的研究发展缓慢，面对无法克服的缺陷及弊端，许多研究者先后选

择退出该研究领域。既然支持向量机具备多方面神经网络所欠缺的性能，为何不分析支持向量机，从统计学理论的先进性，为神经网络的发展寻求一些启示？如何与支持向量机对比、协作，在样本有限的情况下使神经网络具有较强的推广性？这些都是研究者们应该继续深入研究的问题。解决多分类问题时神经网络非常便利，而目前支持向量机仍然无法良好处理。研究者设计出包含各种先验知识的神经网络结构，来满足对实际问题的需求，支持向量机却只能将其转化为二类组合问题进行处理。对于支持向量机来说，并不是只需要选取核函数就解决了一切问题，如何选取核函数，如何构造都是还未解决的问题，对核函数不同的选择得到的分类结果不同，因此核函数的选取尤为重要。

4 结束语

处于支持向量机理论的高速发展时期，人们研究支持向量机具有很大的热情，则必然存在一定的跟风与盲目性，科学技术的研究更多需要的是理智与耐心，虽然神经网络的研究趋于平缓、正常，但不应被彻底遗忘或摒弃。如何深入研究支持向量机的優点，探讨统计学理论的先进性，对神经网络加以改进；如何避免支持向量机理论快速发展时期随波逐流的现象，借鉴神经网络算法，提高研究效率，改进研究结果，这都是研究人员需要思考、解决的问题。

参考文献

[1]史忠植.神经网络[M].北京：高等教育出版社，2009，5.

[2]韩力群.人工神经网络教程[M].北京：北京邮电大学出版社，2007，7.

[3]茹菲，李铁鹰.人工神经网络系统辨识综述[J].软件导刊，2011，3.

[4]Hagan M T，Demuth H B，Beale M H. Neural network design[M].Boston London：Pws Pub.，1996.

[5]黄娟，唐轶，王军霞.贪婪支持向量机的分析与应用[J].计算机工程与应用，2012，48（24）：32-36.

[6]Cristianinin，Shawe T J. An introduction to support vector machine[M].New York：Cambridge University Press，2000.

[7]张昱，陈光黎.基于最小二乘支持向量机的机器视觉识别方法[J].测控技术，2011，30（7）：97-100.

作者简介：黄晔（1989-），女，汉族，陕西扶风人，硕士在读，研究方向：检测技术与自动化装置。