人工神经网络

人工神经网络（ANN)模型

一.概念：

人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元(PE)具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。在数模中主要用于数据分类，函数拟合，数据预测，插值等方面。 二.基本构成：

f 是激励函数或者传递函数,将输入激励转换为输出响应的数学表达

式.

i

p :输入量。

ij

w ：权重，外面神经元与该神经元的连接强度，是变量。初始权

重可以由一定算法确定，也可以随意确定。

11

R

j j j n W p b

==+∑)

(n f a =

三．几种常用激励函数

1.阀值函数只有两种函数值：0或者1。可以应用于分类判定的神经网络模型中。

2.对数函数通常应用于向后传播的神经网络模型

1 ()

1x f x

eα-

=

+

3.正切函数

1 ()

1

x

x

e f x

e

-

-

-

=

+

四．分类

单层向前网络（单层感知器）

多层神经网络（多层感知器）

神经网络BP神经网络（重点）

反馈网络（含有一个反馈回路）

竞争神经网络

五．人工神经网络的工作过程

1.学习期。通过学习来修改权值

2.工作期。此时连接权固定，计算神经元输出。编制神经网络程序，主要是确定：

（1）激励函数（即确定阈值的方程） （2）学习规则

（3）网络结构（即处理单元数，层数及相互连接状况）

六．人工神经网络的学习方式

神经网络的学习也称为训练，指的是通过神经网络所在环境的刺

激作用调整神经网络的自由参数，使神经网络以一新的方式对外部环境作出反应的一个过程。学习方式可分为有导师学习和无导师学习两种。

有导师的学习

输入

应有响应 ＋ 实际响应

－

误差信号

前提是要有输入数据及一定条件下的输出数据，网络根据输入输出数据来调节本身的权重，所以学习的目的在于减小网络应有输出与实际输出之间的误差，当误差达到允许的范围，权重就不再变动了，就认为网络的输出符合实际输出。

有导师学习的训练算法的主要步骤包括： 1） 从样本集合中取一个样本（Ai ，Bi ）； 2） 计算出网络的实际输出O ；

3） 求D=Bi-O ；

环境 教师 学习系统

4） 根据D 调整权矩阵W ；

5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。

无导师的学习:只提供输入数据，而无相应输出数据。 六．神经网络的学习规则（修正权值的算法）

（1）相关规则：仅仅根据连接间的激活水平改变权值。典型的为Hebb 算法。 调整

ij

w

的原则是：若第i 个与第j 个神经元同时处于兴奋状

态，则它们的连接应当加强，(0)ij

i j w

v v αα∆

=>其中

i

j

v

v 分别为第i 个与第j 个神经元的状态。

（2）纠错规则：依赖关于输出节点的外部反馈改变权值。如δ学习规则。i j ij

v w

ηδ∆

=这里η是全局系数，而

i i i T V δ=-，即期望值与实际值之差。

（3）无教师学习（竞争学习）规则 例如：在感知机模型中

输出i o 1 n

ij w i I

输入si

输入i s 神经元i 的输入为i ij j j

I w s =∑

神经元i 的输出为()i i o f I = f(x)为作用函数，

感知机采用【0,1】阶梯函数。

设神经元i 的期望输出为i D ，它与计算输出i o 之差为i δ=i D --i o 通过样本学习，修正权值ij w 使i δ尽可能小。采用δ学习规则：

(1)()ij i j

ij ij ij

w s w t w t w αδ∆=+=+∆

α为学习系数，α∈【0,1】。更新权值ij w ，对样本重复以上计算，

经过多次反复修正，使i δ满足给定精度。

δ学习规则只适用于线性可分函数，无法用于多层网络。

七．神经网络建模的一般步骤

·了解问题的实际背景，判断是否需要使用神经网络； ·提取数据样本并标准化；

·决定网络输入层、隐含层和输出层的神经元个数； ·确定激活函数； ·训练网络； ·检验网络； ·得出结论。 八．BP 算法

BP 网络的学习算法是δ学习算法的推广，是有导师的学习。该学习由正向传播和反向传播组成，在正向传播过程中，输入信息从输

入层经隐单元层逐层处理并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的链接通路返回，通过修改各层神经元的权值，使得误差信号最小。

BP 网络采用最小二乘学习算法和梯度搜索技术，以期望网络的实际输出值与期望输出值的误差均方值为最小。

BP 反向传播模型的网络结构

BP 算法步骤

·变量和参量包括：输入向量，权值矩阵，输出变量期望输出，学习效率，迭代次数。

·初始化赋予权值矩阵各一个较小的非零值。 ·局部梯度用于指出权值实际输出最快收敛方向。

注意事项:

1）权值的初始值很重要。过大过小，都会影响学习速度，因此应选为均匀分布的小数经验值,大为 ，其中F 为所连单元的输入端个数。为了每一步权值的调整方向是同向的，应将初始值设

( 2.4/, 2.4/)F F