人工神经网络的模型

MP模型神经元

人工神经网络的模型：人工神经元的模型、常用的激活转移函数、人工神经

元的主要结构单元是信号的输入、综合处理和输出

人工神经元之间通过互相联接形成网络，称为人工神经网络

神经元之间相互联接的方式称为联接模式。相互之间的联接强度由联接权值体现。

在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。

人工神经网络的构造大体上都采用如下的一些原则：

由一定数量的基本神经元分层联接；

每个神经元的输入、输出信号以及综合处理内容都比较简单；

网络的学习和知识存储体现在各神经元之间的联接强度上。

神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。

人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能

神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元

的广泛互连，以规模宏伟的并行运算来实现的。

人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为

无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。

人工神经网络的局限性：

(1) 受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认

识还很肤浅，还有很多问题需要解决；

(2) 还没有完整成熟的理论体系；

(3) 还带有浓厚的策略和经验色彩；

(4) 与传统技术的接口不成熟。

如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理

的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。 ____________ 根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：

分层网络相互连接型网络

分层网络可以细分为三种互连形式:

简单的前向网络；

具有反馈的前向网络；

层内有相互连接的前向网络。

神经网络的学习分为三种类型：有导师学习、强化学习无导师学习

有导师学习：必须预先知道学习的期望结果一一教师信息，并依此按照某一学习规则来修正权值。

强化学习：利用某一表示“奖/惩”的全局信号，衡量与强化输入相关的局部决策如何。

无导师学习：不需要教师信息或强化信号，只要给定输入信息，网络通过自组织调整，自学习并给出一定意义下的输出响应。

神经网络结构变化的角度，学习技术还可分为三种：权值修正、拓扑变化、权值与拓扑修正

学习技术又还可分为：确定性学习、随机性学习人工神经网络

人工神经网络是生物神经网络的某种模型（数学模型）；是对生物神经网络的模仿

基本处理单元为人工神经元

生物神经元（neuron）是基本的信息处理单元

人工神经网络是对生物神经系统的模拟。

大量简单的计算单元（结点，神经元）以某种形式

连接，形成一个网络.

其中某些因素，如：连接强度（连接权值，其大小决定信号传递强弱）;结点计算特性（激活特性，神经元的输入输出特性）;甚至网络结构等，可依某种规则随外部数据进行适当调整，最终实现某种功能。

神经网络的计算通过网络结构实现；

不同网络结构可以体现各种不同的功能；

网络结构的参数是通过学习逐渐修正的。

人工神经元模型的三要素：

一组连接连接权值，突触连接强度权值'0，抑活

权值：：：o,抑制一个加法器输入信号关于神经元突触的线性加权

I 一个激励函数将神经元的输出信号限制在有限范围内

3.人工神经网络三个要素 网络结构或拓扑(连接形式) 神经元的计算特性(传递函数) 学习规则

上述要素不同组合，形成各种神经网络模型

神经网络特点 自学习 自适应 并行处理 分布表达与计算 神经网络应用

神经网络本质上，可以理解为函数逼近

状态预测

可应用到众多领域,如：

优化计算；信号处理；智能控制； 模式识别；机器视觉；等等。

前馈(forward)神经网络

各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一有向无环图表示。 网络中的节点分两类：输入节点；计算节点 (神经元节点)

节点按层(layer)组织：

第i 层的输入只与第i-1层的输出相连。

输入信号由输入层输入，由第一层节点输出，传向下层，…… 前馈：信息由低层向高层单向流动。 可见层

输入层(input layer)

输入节点所在层，无计算能力

输出层 (output layer) 节点为神经元 隐含层(hidden layer) 中间层，节点为神经元

BP 神经网络训练的两个阶段

(1) 信号正向传递过程

输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出

(2) 误差反向传播过程

4.神经网络三种基本模型

1

前馈型神经网络 feedfroward network -重点介绍

多层感知器 BP 网络 RBF 网络

2 反馈网络 feedback network

Hopfield 网络

3 竞争学习网络 competitive learning network

SOM 神经网络

输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差

并用此误差修正前层的权值

BP算法训练过程描述

约定：

1 n维标准化输入向量

X -忆,川,X n [

2 L层神经网络

层号I =0 输入层

层号I = 1,...丄_2隐含层

层号I=L -1 输出层

3各层节点输入节点，计算节点数目n l I =0,1,..., L -1

输入层n0=n 输岀层n L丄=m

4相邻层连接权值

崩—供自第I-1层的节点i与当前第I层节点j的连接权值

BP算法训练过程描述

5假定：第I层为当前处理层；

其前一层I -1、当前层I、后一层I • 1的计算单元序号为i, j,k;

位于当前层第j个计算单元的输出为O j, j = 1,...,n

I

前层第i个单元到本层第j个单元的连接权值为「j ,i= 1,...,m_1 本层

第j个单元到后层第k个单元的连接权值为j1, k=1,..., n

I

注：采用梯度法修正权值，输出函数应连续可微，选sigmoid函数川个心个巾个用牛

输人层中间层中间层输出空

多层感知器的例子和符号约定