BP神经网络详细讲解

PS：这篇介绍神经网络是很详细的，有一步一步的推导公式！神经网络是DL（深度学习）的基础。

如果对神经网络已经有所了解，可以直接跳到“三、BP算法的执行步骤“ 部分，算法框架清晰明了。

另外，如果对NN 很感兴趣，也可以参阅最后两篇参考博文，也很不错！

学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。

自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。

1．2．1 神经网络的学习机理和机构

在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。

神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。

一、感知器的学习结构

感知器的学习是神经网络最典型的学习。

目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。

一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分：输入部，训练部和输出部。

输入部接收外来的输入样本X，由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数W。

学习机构可用图1—8所示的结构表示。

在图中，X l，X2，…，X n，是输入样本信号，W1，W2，…，W n是权系数。输入样本信号X i可以取离散值“0”或“1”。输入样本信号通过权系数作用，在u产生输出结果∑W i X i，即有：

u=∑W i X i =W1 X1 +W2 X2+…+W n X n

再把期望输出信号Y(t)和u进行比较，从而产生误差信号e。即权值调整机构根据误差e去对学习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实际输出值u和期望输出值Y(t)完全一样，则学习过程结束。

神经网络的学习一般需要多次重复训练，使误差值逐渐向零趋近，最后到达零。则这时才会使输出与期望一致。故而神经网络的学习是消耗一定时期的，有的学习过程要重复很多次，甚至达万次级。原因在于神经网络的权系数W有很多分量W1，W2，----W n；也即是一个多参数修改系统。系统的参数的调整就必定耗时耗量。目前，提高神经网络的学习速度，减少学习重复次数是十分重要的研究课题，也是实时控制中的关键问题。

二、感知器的学习算法

感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图1-9所示。

(1-12)

(1-13) (1-14)

(1-15)

(1-16) (1-18) (1-20)

感知器学习算法步骤如下：

1．对权系数w置初值

对权系数w＝(W1．W2，…，W n，W n+1 )的各个分量置一个较小的零随机值，但W n+1＝-θ。并记为W l (0)，W2 (0)，…，W n (0)，同时有Wn+1(0)＝-θ。这里W i (t)为t时刻从第i个

输入上的权系数，i＝1，2，…，n。W n+1 (t)为t时刻时的阀值。

2

．输入一样本X ＝(X 1 ，X 2 ，…，X n+1 )以及它的期望输出d 。

期望输出值d 在样本的类属不同时取值不同。如果x 是A 类，则取d ＝1,如果x 是B 类，则取-1。期望输出d 也即是教师信号。 3．计算实际输出值Y

4．根据实际输出求误差e e ＝d —Y(t) (1-21) 5．用误差e 去修改权系数

i=1,2,…,n,n+1 (1-22) 其中，η称为权重变化率，0<η≤1

在式(1—22)中，η的取值不能太大．如果1取值太大则会影响w i (t)的稳定；的取值也不能太小，太小则会使W i (t)的求取过程收敛速度太慢。 当实际输出和期望值d 相同时有： W i (t+1)=W i (t)

6．转到第2点，一直执行到一切样本均稳定为止。

从上面式(1—14)可知，感知器实质是一个分类器，它的这种分类是和二值逻辑相应的。因此，感知器可以用于实现逻辑函数。下面对感知器实现逻辑函数的情况作一些介绍。 例：用感知器实现逻辑函数X 1 VX 2 的真值：

X 1

0011 X 2

0101

X 1 V X 2 0111

(1-23)

(1-24)

从式(1—24)有：

W1≥θ,W2≥θ

令W1 =1,W2 =2

则有：θ≤1

取θ=0.5

则有：X1+X2-0.5=0,分类情况如图1—11所示。

(1-25)

(1-26)

(1-27) (1-28)

(1-29)

(1-30) (1-31)

在上式(1—30)，式(1—31)中，μ是权重变化率，它视情况不同而取值不同，一般取0-1之间的小数。

很明显，梯度法比原来感知器的学习算法进了一大步。其关键在于两点：

1．神经元的传递函数采用连续的s型函数，而不是阶跃函数；

2．对权系数的修改采用误差的梯度去控制，而不是采用误差去控制。故而有更好的动态特能，即加强了收敛进程。

但是梯度法对于实际学习来说，仍然是感觉太慢；所以，这种算法仍然是不理想的。

1．2．3 反向传播学习的BP算法

反向传播算法也称BP算法。由于这种算法在本质上是一种神经网络学习的数学模型，所以，有时也称为BP模型。

BP算法是为了解决多层前向神经网络的权系数优化而提出来的；所以，BP算法也通常暗示着神经网络的拓扑结构是一种无反馈的多层前向网络。故而．有时也称无反馈多层前向网络为BP 模型。

在这里，并不要求过于严格去争论和区分算法和模型两者的有关异同。感知机学习算法是一种单层网络的学习算法。在多层网络中．它只能改变最后权系数。因此，感知机学习算法不能用于多层神经网络的学习。1986年，Rumelhart提出了反向传播学习算法，即BP(backpropagation)算法。这种算法可以对网络中各层的权系数进行修正，故适用于多层网络的学习。BP算法是目前最广泛用的神经网络学习算法之一，在自动控制中是最有用的学习算法。

一、BP算法的原理

BP算法是用于前馈多层网络的学习算法，前馈多层网络的结构一般如图1—12所示