BP神经网络详细讲解

PS:这篇介绍神经网络就是很详细得,有一步一步得推导公式！神经网络就是DL(深度学习)得基础。

如果对神经网络已经有所了解,可以直接跳到“三、BP算法得执行步骤“ 部分,算法框架清晰明了。

另外,如果对NN 很感兴趣,也可以参阅最后两篇参考博文,也很不错！

学习就是神经网络一种最重要也最令人注目得特点。在神经网络得发展进程中,学习算法得研究有着十分重要得地位。目前,人们所提出得神经网络模型都就是与学习算法相应得。所以,有时人们并不去祈求对模型与算法进行严格得定义或区分。有得模型可以有多种算法.而有得算法可能可用于多种模型。不过,有时人们也称算法为模型。

自从40年代Hebb提出得学习规则以来,人们相继提出了各种各样得学习算法。其中以在1986年Rumelhart等提出得误差反向传播法,即BP(error BackPropagation)法影响最为广泛。直到今天,BP算法仍然就是自动控制上最重要、应用最多得有效算法。

1.2.1 神经网络得学习机理与机构

在神经网络中,对外部环境提供得模式样本进行学习训练,并能存储这种模式,则称为感知器;对外部环境有适应能力,能自动提取外部环境变化特征,则称为认知器。

神经网络在学习中,一般分为有教师与无教师学习两种。感知器采用有教师信号进行学习,而认知器则采用无教师信号学习得。在主要神经网络如BP网络,Hopfield网络,ART网络与Kohonen 网络中;BP网络与Hopfield网络就是需要教师信号才能进行学习得;而ART网络与Kohonen网络则无需教师信号就可以学习。所谓教师信号,就就是在神经网络学习中由外部提供得模式样本信号。

一、感知器得学习结构

感知器得学习就是神经网络最典型得学习。

目前,在控制上应用得就是多层前馈网络,这就是一种感知器模型,学习算法就是BP法,故就是有教师学习算法。

一个有教师得学习系统可以用图1—7表示。这种学习系统分成三个部分:输入部,训练部与输出部。

图1-7 神经网络学习系统框图

输入部接收外来得输入样本X,由训练部进行网络得权系数W调整,然后由输出部输出结果。在这个过程中,期望得输出信号可以作为教师信号输入,由该教师信号与实际输出进行比较,产生得误差去控制修改权系数W。

学习机构可用图1—8所示得结构表示。

在图中,X l ,X2,…,X n ,就是输入样本信号,W1 ,W2,…,W n就是权系数。输入样本信号X i可以取离散值“0”或“1”。输入样本信号通过权系数作用,在u产生输出结果∑W i X i ,即有:

u=∑W i X i =W1 X1 +W2 X2+…+W n X n

再把期望输出信号Y(t)与u进行比较,从而产生误差信号e。即权值调整机构根据误差e去对学习系统得权系数进行修改,修改方向应使误差e变小,不断进行下去,使到误差e为零,这时实际输出值u与期望输出值Y(t)完全一样,则学习过程结束。

神经网络得学习一般需要多次重复训练,使误差值逐渐向零趋近,最后到达零。则这时才会使输出与期望一致。故而神经网络得学习就是消耗一定时期得,有得学习过程要重复很多次,甚至达万次级。原因在于神经网络得权系数W有很多分量W1 ,W2 ,----W n ;也即就是一个多参数修改系统。系统得参数得调整就必定耗时耗量。目前,提高神经网络得学习速度,减少学习重复次数就是十分重要得研究课题,也就是实时控制中得关键问题。

二、感知器得学习算法

感知器就是有单层计算单元得神经网络,由线性元件及阀值元件组成。感知器如图1-9所示。

图1-9 感知器结构

感知器得数学模型:

(1-12)

其中:f[、]就是阶跃函数,并且有

(1-13)

θ就是阀值。

感知器得最大作用就就是可以对输入得样本分类,故它可作分类器,感知器对输入信号得分类如下:

(1-14)

即就是,当感知器得输出为1时,输入样本称为A类;输出为-1时,输入样本称为B类。从上可知感知器得分类边界就是:

(1-15)

在输入样本只有两个分量X1,X2时,则有分类边界条件:

(1-16)

即

W1 X1 +W2 X2 -θ=0(1-17)

也可写成

(1-18)

这时得分类情况如固1—10所示。

感知器得学习算法目得在于找寻恰当得权系数w＝(w1.w2,…,Wn),使系统对一个特定得样本x ＝(xt,x2,…,xn)熊产生期望值d。当x分类为A类时,期望值d＝1;X为B类时,d=-1。为了方便说明感知器学习算法,把阀值θ并人权系数w中,同时,样本x也相应增加一个分量x n+1。故令: W n+1 =-θ,X n+1 =1 (1-19)

则感知器得输出可表示为:

(1-20)

感知器学习算法步骤如下:

1.对权系数w置初值

对权系数w＝(W1 .W2,…,W n ,W n+1 )得各个分量置一个较小得零随机值,但W n+1＝-θ。并记为W l (0),W2(0),…,W n (0),同时有Wn+1(0)＝-θ。这里W i (t)为t时刻从第i个

输入上得权系数,i＝1,2,…,n。W n+1 (t)为t时刻时得阀值。

图1-10 感知器得分类例子

2.输入一样本X＝(X1 ,X2,…,X n+1 )以及它得期望输出d。

期望输出值d在样本得类属不同时取值不同。如果x就是A类,则取d＝1,如果x就是B类,则取-1。期望输出d也即就是教师信号。

3.计算实际输出值Y

4.根据实际输出求误差e

e＝d—Y(t) (1-21)

5.用误差e去修改权系数

i=1,2,…,n,n+1(1-22)

其中,η称为权重变化率,0<η≤1

在式(1—22)中,η得取值不能太大.如果1取值太大则会影响w i (t)得稳定;得取值也不能太小,太小则会使W i (t)得求取过程收敛速度太慢。

当实际输出与期望值d相同时有:

W i (t+1)=W i (t)

6.转到第2点,一直执行到一切样本均稳定为止。

从上面式(1—14)可知,感知器实质就是一个分类器,它得这种分类就是与二值逻辑相应得。因此,感知器可以用于实现逻辑函数。下面对感知器实现逻辑函数得情况作一些介绍。

例:用感知器实现逻辑函数X1 VX2得真值:

X

1

0011

X

2

0101

X

1

V X

2

0111

以X1VX2＝1为A类,以X1VX2=0为B类,则有方程组

(1-23)