人工神经网络的模型

人工神经网络的模型:人工神经元的模型、常用的激活转移函数、MP模型神经元

人工神经元的主要结构单元是信号的输入、综合处理和输出

人工神经元之间通过互相联接形成网络，称为人工神经网络

神经元之间相互联接的方式称为联接模式。相互之间的联接强度由联接权值体现。

在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。

人工神经网络的构造大体上都采用如下的一些原则：

由一定数量的基本神经元分层联接；

每个神经元的输入、输出信号以及综合处理内容都比较简单；

网络的学习和知识存储体现在各神经元之间的联接强度上。

神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。

人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。

人工神经网络的局限性：

(1)受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有很多问题需要解决；

(2)还没有完整成熟的理论体系；

(3)还带有浓厚的策略和经验色彩；

(4)与传统技术的接口不成熟。

如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：分层网络相互连接型网络

分层网络可以细分为三种互连形式：

简单的前向网络；

具有反馈的前向网络；

层内有相互连接的前向网络。

神经网络的学习分为三种类型：有导师学习、强化学习无导师学习

有导师学习：必须预先知道学习的期望结果——教师信息，并依此按照某一学习规则来修正权值。

强化学习：利用某一表示“奖／惩”的全局信号，衡量与强化输入相关的局部决策如何。

无导师学习：不需要教师信息或强化信号，只要给定输入信息，网络通过自组织调整，自学习并给出一定意义下的输出响应。

神经网络结构变化的角度，学习技术还可分为三种: 权值修正、拓扑变化、权值与拓扑修正学习技术又还可分为：确定性学习、随机性学习

人工神经网络

人工神经网络是生物神经网络的某种模型(数学模型)；是对生物神经网络的模仿

基本处理单元为人工神经元

生物神经元(neuron)是基本的信息处理单元

是对的模拟。

大量简单的以某种形式连接，形成一个.

其中某些因素，如:连接连接，其大小决定信号传递强弱); ,神经元的输入输出特性);甚至等， 可依某种规则随外部数据进人工神经网络计算单元（结点，神经元）网络强度行适当调整，最终实现某种功能。 (权值结点 神经网络计算特性(激活特性网络结的计算通过网络结构实现； 生 物神经 构系统 不同网络结构可以体现各种不同的功能； 网络结构的是通过逐渐参数学习修正的。

00⎧>⎧⎪⎨

<⎩⎪

⎪

⎨⎪

⎪⎪⎩权值，激活 连接权值，突触连接强度权值，抑制 输入信号关于神经元突触的线性加权 将神经元的输出信号限制在有限范围内

一组连接 一个加法器一个激励函数人工神经元模型的三要素:

()⎧⎪

⎨⎪⎩

网络结构或拓扑(连接形式)神经元的计算特性传递函数学习规则上述要素不同组合，形成各种神经网络模型

3. 人工神经网络三个要素()()()()()

()23Hopfield SOM ⎧⎪

⎪⎪⎪

⎪⎪⎪⎨

⎪⎪⎪⎪

⎪⎪⎪⎩.1 网络 神经网络

feedfroward network feedback network competitive learning network

4 神经网络三种基本前馈型模神经网络-反馈网络竞争学习重点介绍网络型

多层感知器 BP 网络 RBF 网络

⎧⎨

⎩ 自学习 自适应 并行处理 分布表达与计算回归

状态预测 可应用到众多领域,如：

优化计算；信号处理；智能控制； 模式识别；机器视觉；等等。

神经网络特点神经网络应用

神经网络本质上，可以理解为函数逼近

前馈(forward)神经网络

各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一有向无环图表示。 网络中的节点分两类：输入节点；计算节点(神经元节点) 节点按层(layer)组织 ：

第i 层的输入只与第i -1层的输出相连。

输入信号由输入层输入,由第一层节点输出，传向下层，…… 前馈：信息由低层向高层单向流动。 可见层

输入层 (input layer) 输入节点所在层，无计算能力

输出层 (output layer) 节点为神经元 隐含层( hidden layer) 中间层，节点为神经元

BP 神经网络训练的两个阶段 (1)信号正向传递过程

输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出 (2)误差反向传播过程

输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.

()[]()()()()1011,,20121301,...,1

4ω-===-=-=-=--B ,...,P -1=L 维输入向量

层神经网络

层号 输入层层号 隐含层层号 输出层

各层节点输入节点，计算节点数目， 输入层输出层相邻层连接权值

来自与第层的当前的连接节点第层节点权值

T

n l

L l

ij n x x x L l l L l L n l L n n

n l i l j m

算法训练过程描述约定：

标准化

()111

5111,...,,1,...,,1,...,i,j,k j O i j j k ωω-++-+===BP ：第层为当前处理层；

其前一层、当前层、后一层的计算单元序号为； 位于当前层第个计算单元的输出为， 前层第个单元到本层第个单元的连接权值为 本层第个单元到后层第个单元的连接权值为注：采用修正权值，输出函数应连续可微，选l j l

l ij l l jk l l l l l j n i n k n sigm 算法训练过程描述

假定梯度法函数。

oid