基于神经网络的机器人模型辨识-自动化专业

第二章 神经网络

2.1神经网络基础

人的大脑中有众多神经元，它们连接在一起组成复杂的神经网络，因此大脑拥有高级的认知能力。人工神经网络实际上是对人大脑处理信息方法的简单化。 2.1.1神经网络概述

神经网络是推广众多简单处理单元构成的一种非线性动力学系统，能够大规模地进行信息分布式存储和并行处理。同时神经网络具有自学习的能力，当外界的环境发生了改变，神经网络经过训练能够在外界信息的基础上自动调整内部结构，对于给定的输入可以得到期望输出。

由图可知，神经元是一种性质为多输入单输出的系统，是由n 个输入i x 和一个输出j y 组成。

图2-1 神经元结构

j u ：第j 个神经元的状态；

j ：第j 个神经元的阈值；

i x ：第i 个神经元的输入信号；

ji w ：第i 个神经元到第j 个神经元的连接权系数；

其中：激发状态时ji w 取正数，抑制情况下ji w 取的是负值；

j s ：第j 个神经元的外部输入信号。 输出可以表示为 1n

j ji i j j i Net w x s θ==+-∑ (2.1）

()j j u f Net = (2.2）

()()j j j y g u h Net == （2.3）

一般(.)g 是单位映射，也就是说()j j g u u = 。

j Net 表示第j 个神经元的输入； (.)f 表示第j 个神经元的激励函数；

(.)g 表示第j 个神经元的输出函数。

激活函数往往采用这三种函数： （1）二值函数（阈值型）： 1,0()0,0x f x x >⎧=⎨≤⎩

（2.4）

(2) S 型函数：

1

()1x f x e

α-=

+，0()1f x << （2.5）

（3）双曲正切函数:

1()1x

x

e f x e

αα---=+，1()1f x -<< （2.6） 2.1.2神经网络的分类

以连接方式对神经网络可分为两大类：一是没有反馈的前向网络，二是相互结合型网络（含有反馈网络）[10]。 （1）前向神经网络

每层的神经元仅仅会接受源于上一层神经元的输入，结构如图2-2：

输入层隐含层输出层

图2-2前向网络

（2）反馈型神经网络

如下图2-3所示，任一个神经元既能接收前一层节点的输入，也能接收后面节点的反馈输入。

图2-3反馈型神经网络

2.1.3神经网络的特性

（1）具有学习和自适应性。

神经网络是先通过系统实际数据以达到训练网络的目的。在经过训练之后，后期如果输入中无训练时的数据情况下，网络也可以完成辨识功能。这个功能特性在预测分析趋势方面上有重大意义和广泛应用。

（2）非线性特性。

神经网络能够对任意的非线函数进行趋近，所以一般将其用于复杂的非线性系统当中。

（3）高速寻优特性。

在复杂问题中，如果要找到一个最优解，一般要通过繁重的计算量，然而通过神经网络，就可能快速得到优化解，这样比其他方法快捷实用。 （4)硬件处理。

神经网络除了可以通过软件，还能借助硬件来达到并行处理的目的。

2.2神经网络基础

2.2.1单神经元感知器

单层感知器只有一个神经元模型，如图2-2显示：

图2-2单层神经元感知器

n 个输入构成的输入向量X ，[]1

2

T

n X x x x =

神经元的净输入表示为：

1n

i i i Net w x θ==-∑ （2.7）

当感知器的激发函数取阈值型函数时，此时，神经元的输出为：

10

()00Net y Net Net >⎧=⎨≤⎩

（2.8）

激活函数采用值域为[-1,+1]的符号函数时，输出取：

1,0

()1,0Net y Net Net +≥⎧=⎨-<⎩

（2.9）

如果把偏置θ也看为权值，那么感知器的矢量形式可以表示为：

T Net w X = （2.10）

感知器将X 分成1χ和2χ两种，以激活函数取符号函数为例：若感知器输出是

1+，就把[]12,,...,m X x x x =表示的点放入1χ类，同样，输出是1-的话，就分入2χ类。

如果1χ和2χ可分的话，那么方程10n

i i i w x θ=-=∑就定义了一个n 维空间上的超

平面（处在二维空间时超平面是一条直线），这个方程叫作线性方程。若这两类输入向量能通过超平面区开，就是线性可分，否则是不可分。

一些具有非线性可分的集合分类问题大大超出了感知器的计算能力，也就是说感知器只能在简单分类问题上发挥作用。 2.2.2多层感知器

实质上是在输入层和输出层中间增加一个或者多个隐含层。输入向量从外部进到第一层中，然后该层的各个神经元的输出会被传递到第二层各神经元，依次类推，直至网络的输出。其结构如图2-2所示。

输入层隐含层输出层

图2-2多层感知器结构图

每一个神经元都能由单个的M-P 模型来表示，采用的激活函数中比较常用的为Sigmoid 函数：

1

()1Net

y Net e β-⋅=

+ （2.11）

式中：0β>，是用来控制函数上升的陡峭程度，一般常取1β=使得函数简单化。

因为 Sigmoid 函数是可微的，这就使得通过权值向量调整的自适应算法成为可能。感知器的训练算法使用δ规则，若有目标向量，经过有限时间的训练后，能够收敛至正确的目标向量。训练学习结束以后，样本的模式是通过权值、阈值的形式存储在网络中。 多层感知器网络特点：

(1) 层跟层之间是有联系的，第l 层的任何的一个节点和第1l +层的任一个节点为前馈相连的。

(2)输入层有n 个节点，它仅被用来获取外部信息的，因为其自身是没有函数处理这一能力的。

(3) 信息在层跟层中的传递是有目的性的，信息传递在同层之间无影响的，只会对下一层神经元产生影响。 2.2.3 BP 神经网络

BP 网络的学习过程： （1）信号的正向传输； （2）偏差的反向传播。