BP神经网络及深度学习研究---综述

BP神经网络及深度学习研究
摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。

BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。

关键词：BP神经网络、算法分析、应用
1引言
人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。

人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。

人工神经网络最有吸引力的特点就是它的学习能力。

因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。

最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。

因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。

人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。

现在分别介绍人工神经元模型及人工神经网络模型。

1.1人工神经元模型
仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。

人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts 在分析总结神经元基本特性的基础上首先提出的MP模型。

该模型经过不断改进后，形成现在广泛应用的BP神经元模型。

人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。

一般来说，作为人工神经元模型应具备三个要素：
(1)具有一组突触或连接，常用
w表示神经元i和神经元j之间的连接强度。

ij
(2)具有反映生物神经元时空整合功能的输入信号累加器 。

(3) 具有一个激励函数f 用于限制神经元输出。

激励函数将输出信号限制在
一个允许范围内。

一个典型的人工神经元模型如图1-1所示。

2
x 1
x j x x i y 图1-1 人工神经元模型
其中j x 为神经元i 的输入信号，ij w 为连接权重，b 为外部刺激，f 为激励函数，i y 为神经元的输出，其输出计算公式如(1.1)。

1N i ij j j y f w x b =⎛⎫=+ ⎪⎝⎭∑ (1.1)
1.2 人工神经网络模型
建立神经元模型后，将多个神经元进行连接即可建立人工神经网络模型。

神经网络的类型多种多样，它们是从不同角度对生物神经系统不同层次的抽象和模拟。

从功能特性和学习特性来分，典型的神经网络模型主要包括感知器、线性神经网络、BP 网络、径向基函数网络、自组织映射网络和反馈神经网络等。

一般来说，当神经元模型确定后，一个神经网络的特性及其功能主要取决于网络的拓扑结构及学习方法。

从网络拓扑结构角度来看，神经网络可以分为以下四种基本形式[3]：前向网络、有反馈的前向网络、层内互边前向网络和互连网络。

神经网络结构如图1-2，其中子图的图(a)为前向网络结构，图(b)有反馈的前向网络结构、图(c)层内互边前向网络结构和图(d)互连网络结构。

根据有无反馈，亦可将神经网络划分为：无反馈网络和有反馈网络。

无反馈网络为前馈神经网络(Feed Forward NNs ，FFNNs)，有反馈网络为递归神经网络和(Recurrent NNs ，RNNs) 。

图(a)前向网络
图(b)有反馈前向网络
图(c)层内互边前向网络图(d)互联网络
图1-2 神经网络拓扑结构图
2BP神经网络原理
BP神经网络是一种按误差逆传播BP(Back Propagation)算法训练的多层前馈网络，由它最初是由Pau1werboSS在1974年提出，但未传播，直到20世纪80年代中期Rumelhart[4]、Hinton和Williams、David Parker[5]和Yann Le Cun[6]重新发现了BP算法，同时因此算法被包括在《并行分布处理》(Parallel Distributed Processing)，此算法才广为人知。

目前BP算法已成为应用最广泛的神经网络学习算法，据统计有近90%的神经网络应用是基于BP算法的。

BP神经网络学习是由信息的正向传播和误差的反向传播两个过程组成。

BP 神经网络的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP网络的神经元采用的传递函数通常是。