神经网络 讲义 第二章

同的神经元模型，决定网络解决问题的能力和功效：

控制输入对输出的激励作用； 对输入、输出进行函数转换； 将可能无限域的输出变换成指定的有限范围内的输出。
§2.3 网络结构及工作方式
除单元特性外，网络的拓扑结构也是ANN的一个
重要特征，从连接方式看NN主要有两种。
前馈型网络:
各神经元接受前一层的输入，并输出给下一层， 没有反馈。
当学习系统所处环境平稳时(统计特性不随时司变
化)，从理论上讲通过监督学习可以学到环境的统计
特性，这些统计特性可被学习系统(神经网络)作为经
验记住。
如果环境是非平稳的(统计待性随时间变化)，通常的
监督学习没有能力跟踪这种变化。
为解决此问题，需要网络有一定的自适应能力，此
时对每一不同输入都做为一个新的例子来对待。其 工作过程如图所示，
息；

人工神经元以标量数值形式、同步。

连接方式：
生物神经元细微的结构上：如树突的走向、粗细、长 短却回人而异，即使具有同一遗传因子的动物或人， 也很难找出完全相同的两个树突来；

人工神经网络具有十分整齐、对称的拓扑结构，网络
中每个神经元的结构完全相同。对于同一类型的人工
神经网络来说，一旦其结构与学习方法、学习参数确
此时模型(即ANN)被当作一个预测器，基于前——时刻
输入 x n 1 和模型在 n 1 时刻的参数，估计n时刻
的输出 x n ， x n 与实际值 x n (作为应有的正
确答案)比较，其差值称为“新息”。




如新息 e n 0 ，则不修正模型参数；


使神经元难以兴奋。
§2.2 神经元的数理模型

突触权 用 x i 表示来自个神经元轴突的信号强度，当 x i
为单位强度时，受其影响，膜电位的总变化为
为 i ， i 表示突触结合的效率，称为突触结合 权，或称为突触权，也可简称为权。

当有若干个突触来自同一轴突时， i可以认为是所 有这些突触效果之和。

一个非线性激励函数，起非线性映射作用并限制神
经元输出幅度在一定的范围之内(一般限制在[0，1]
或[-1，+1]之间)。
此外还有一个阈值 k ，或偏置 以上作用可用数学式表示：
b k k

可以把输入的维数增加一维，从而把阈值也 包括进去，如


激励函数 可以有如下几种形式： 阈值函数：

对于来自兴奋性神经元的突触， i ＞0；对于来自 抑制性神经元的突触， i ＜0。

神经元的图示符号


神经元模型的三个基本要素：
一组连接权(对应于生物神经元的突触)，连接强度
由各连接上的权值表示，权值为正表示激励，为负
表示抑制。

一个求和单元，用于求取各输入信息的加权和(线性
组合)。
还有若干种其它形式，目前一般我们只各虑具有标准的突触 综合方式的神经元；

神经元可看作一个多输入单输出的器件。

神经元的动作：
神经元是通过细胞膜与外部隔离，神经元的内部和外部具有不 同的电位。在通常情况电位：以外部电位为参考电位的内部电位； 静止膜电位：没有输入时的膜电位，大约为-70mV。

兴奋性细胞：细胞产生的电脉冲使与其结合的细胞
膜电位升高；

抑制性细胞：细胞产生的电脉冲使与其结合的细胞
降低膜电位。

一个神经元有数万根轴突与其相连，轴突上有电脉冲 到来时，引起突触处的膜电位变化，这一变化传向细 胞体。 空间性相加（spatial summation）： 空间上多处输入信号影响作用的叠加。

电脉冲的传播速度大约每秒100m左右。当电脉冲沿
轴突到达突触时，就有某种化学物质放出，这种化 学物质作用在接受信号一方的细胞膜上，改变突触 处的膜电位。

化学物质的性质随神经元的种类不同而不同，有的
使膜电位升高，有的则使膜电位降低；

输出电脉冲使膜电位升高还是降低，取决于放出电
脉冲的细胞的种类。
的大小与多少、神经传递化学物质含量的多少、神经
传递化学物质释放速度的快慢、神经间隙的变化、树
突的位置与大小等等；

人工神经元来说，对输入信号的响应过程十分简单， 以对神经元所有输入所求的加权和，作为非线性响应 函数的输入，即可得到神经元的输出结果。

传递方式：
生物神经元通过活动电位脉冲、非同步、随机传递信



S型函数具有的特性：
平滑和渐近性，并保持单调性； 不丢失较小的信息响应； 不会出现溢出现象； 良好的微分性； 实用性。


说明：
1. 人工神经元：根据生物神经元结构、作用机理，作进一步 的简化和抽象，构成神经元模型。一般是多输入/单输出的非 线性器件；

2.激励函数是神经元和网络的核心，不同的激励函数构成不
环境提供数据的某些统计规律来调节自身参数或结
构(这是一种自组织过程)。以表示出外部输入的某 种固有特性(如聚类或某种统计上的分布特征)。


再励学习（强化学习)
这种学习介于上述两种情况之间，外部环境对系统
输出结果只给出评价信息(奖或惩)而不是给出正确
答案。学习系统通过强化那些受奖的动作来改善自
身的性能。

节点分为两类．即输入单元和计算单元，每一计算
单元可有任意多个输入，但只有一个输出(它可耦合
到任意多个其它节点做为其输入)。

前馈网络可分为不同的层，第i层的输入只与第i-1
层输出相连，输入和输出节点与外界相连，其它中
间层则称为隐层。

反馈型网络
所有节点都是计算单元，同时也可接受输入，并向 外界输出。它可画成一个无向图(图1)，其中每个连 接线都是双向的，也可画成图2形式、若总单元数为 n，则每一节点有n一1个输入和1个输出。

学习算法(学习规则)
误差纠正学习 令 y n 为输入 x n 时，神经元k在n时刻的实际输出， k k
d k n 表示应有的输出〔可由训练样本给出)，则误差信号可写
为
误差纠正学习的最终目的:使某一基于 e k n 的目标函数达
到最小，以便网络中每一输出单元的实际输出在某种统计意

常称此种模型为M-P模型。

分段线性函数：

它类似于一个带限幅的线性放大器，当工作于线性区
时，放大倍数为l。

Sigmoid函数：

最常用的函数形式（非对称）为
参数α 控制其斜率。

另一种常用的是双曲正切函数（对称）：

近年来文献改进为：
vc
pxe b a 1 v
定下来，其性能也就随之确定了。

数量 ：
到目前为止人工神经网络中神经元的数量限于10000
以下。

智能性 ：
人工神经网络所实现的智能恃性仅是生物神经网络中
的一小部分。
当输入信号来到时，受其影响膜电位发生变化，—旦膜电化变
得比静止膜电位高大约15mV，即越过大约-55mV时，神经元的 膜电位急剧升高，在大约1ms时间以相对于静止膜电位升高 100mV，紧接着膜电位又急剧降低。

绝对不应期：电脉冲刚刚放出之后，既使很强的信号到
来，神经元也不会兴奋的期间，绝对不应期大约有1ms 。
用数学方式可描述为：

竞争(competitive)学习
在竞争学习时，网络各输出单元互相竞争，最后达
到只有一个最强者激活，

最常见的一种情况是输出神经元之间有侧向抑制性
连接，这样原来输出单元中如有某一单元较强，则
它将获胜并抑制其它单元，最后只有此强者处于激
活状态。
最常用的竞争学习规则可写为：
学习与自适应
义L迟近应有输出。一旦选定了目标函数形式,误差纠正学习 就变成了一个典型的最优化问题。
最常用的目标函数是均方误差判据。定义为误差平
方和的均值
其中E为求期望算子，上式的前提是被学习的过程是
宽平稳的，具体方法可用最优梯度下降法。
直接用J做为目标函数时，需要知道整个过程的统计
特性。
为解决这一问题，通常用J在时刻n的瞬时值 n
第二章 神经网络基础

§2.1 人脑神经网络
§2.2 神经元的数理模型


§2.3 网络结构及工作方式
§2.4 神经网络的学习方法 §2.5 生物神经网络与人工神经网络的比较
§2.1 人脑神经网络

神经元结构：
神经系统:
神经元 neuron or neurone neuroglial cell 神经胶质细胞
否则应修正模型参数以便跟踪环境的变化。
§2.5 生物神经网络与人工神经网络的比较
在结构、性能上有许多相似之处，但是，二者之间决不
是一一对应的写真关系。

信息处理的巨量并行性 信息存贮的分布性； 可塑性； 冗余性； 稳定性 。

复杂程度：
影响神经激活电位的因素很多、很复杂。如神经细胞


时间性相加(time summation)： 时间上不同时刻到来的输入信号影响作用的叠加。

一个电脉冲引起的膜电位的变化量，因突触不同而
不同，大致范围是0.1mV-30mV。 距离细胞体远的突触上产生的膜电位变化传到细胞 体，既有时间上的延迟．又有其强度上的衰减。 疲劳: 神经持续多次兴奋时，其阈值渐渐增加，致


ANN的工作过程主要分为两个阶段：
学习期：各计算单元状态不变，各连线上的权值通