第六讲神经网络

• 翼长 • 1.64 • 1.82 • 1.90 • 1.70 • 1.82 • 1.82 • 2.08
触角长 1.38 1.38 1.38 1.40 1.48 1.54 1.56
类别 Af Af Af Af Af Af Af
一、引例
• 问：如果抓到三只新的蚊子，它们的触角长和 翼长分别为(l.24,1.80); (l.28，1.84)；（1.40， 2.04）．问它们应分别属于哪一个种类？ 解法一： • 把翼长作纵坐标，触角长作横坐标；那么每个 蚊子的翼长和触角决定了坐标平面的一个点.其 中 6个蚊子属于 APf类；用黑点“·”表示；9个 蚊子属 Af类；用小圆圈“。”表示． • 得到的结果见图1
i
f ( xi )
信息传播
人工神经元－信息处理单元


i
f ( xi )
信息传播与处理：非线性
人工神经元－信息处理单元


i
f ( xi )
信息输出
人工神经网络的分类
按性能分：连续型和离散型网络，或确定型和随机
型网络。
按拓扑结构分：有反馈网络和无反馈网络。
按学习方法分：有教师的学习网络和无教师的学习
全互连型结构
人工神经网络模型
网络拓扑结构类型 ——互连型结构
局 部 互 连 型 网 络 结 构
〇 〇 〇 〇
〇 〇 〇 〇
〇 〇 〇 〇
〇 〇 〇 〇
人工神经网络模型
网络信息流向类型
○
○ ○
○ ○ ○ ○ ○
前 馈 型 网 络
○ ○ ○
○
人工神经网络模型
网络信息流向类型
〇
反 馈 型 网 络
〇 〇 〇 〇
神经网络的作用
（1）蚂蚁群 一个蚂蚁有 50 个神经元，单独的一个蚂蚁不能做太多 的事；甚至于不能很好活下去．但是一窝蚂蚁；设有 10万 个体，那么这个群体相当于500万个神经元（当然不是简单 相加，这里只为说明方便而言）；那么它们可以觅食、搬 家、围攻敌人等等． （2）网络说话 人们把一本教科书用网络把它读出来（当然需要通过光 电，电声的信号转换）；开始网络说的话像婴儿学语那样发 出“巴、巴、巴”的声响；但经过B－P算法长时间的训练 竟能正确读出英语课本中 90％的词汇． 从此用神经网络来识别语言和图象形成一个新的热潮。
x
0
神经元的传递函数
(2) S型传递函数
f(x) 1 1e
x
f(x)
2 1 e x
1
f (x) 1.0 0
1 e x 1 e x
f (x) 1.0 0.5 0 x
x
-1.0
• S型函数是一个有最大输出值的非线性函数，其输出值是在某个 范围内连续取值的。以它为传递函数的神经元也具有饱和特性。
(d)输入-输出函数
神经元的人工模型
人工神经元的工作过程
对于某个处理单元（神经元）来说，假设来自其他处理单元 （神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权 值为Wi, i=0,1,…,n-1, 。那么本处理单元（神经元）的输入为
wx
i i 0
n 1
i
而处理单元的输出为
y f ( wixi )
二、人工神经网络的生物学基础
突触是神经元之间相互连接的接口部分，即一个神经元的神经 末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢 尾端。突触是轴突的终端。 神经元的功能特性 （1）时空整合功能。 （2）神经元的动态极化性。 （3）兴奋与抑制状态。 （4）结构的可塑性。 （5）脉冲与电位信号的转换。 （6）突触延期和不应期。 （7）学习、遗忘和疲劳。
人工神经网络模型
网络拓扑结构类型 ——层次型结构
单 纯 层 次 型 结 构
u
y
人工神经网络模型
网络拓扑结构类型 ——层次型结构
输 出 层 到 输 入 层 有 连 接

人工神经网络模型
网络拓扑结构类型 ——层次型结构
层 内 有 连 接 层 次 型 结 构
y
人工神经网络模型
网络拓扑结构类型 ——互连型结构
〇
神经网络学习
神经网络能够通过对样本的学习训练，
不断改变网络的连接权值以及拓扑结构， 以使网络的输出不断地接近期望的输出。 这一过程称为神经网络的学习或训练，其 本质是可变权值的动态调整。
神经网络学习
神经网络的学习类型： •Βιβλιοθήκη Baidu导师学习(有监督学习)
•无导师学习(无监督学习) •死记式学习
神经网络学习
•
图1飞蠓的触角长和翼长
一、引例
• 思路：作一直线将两类飞蠓分开
• 例如；取 A ＝（ 1.44 ， 2.10 ）和 B ＝ (1.10 ， 1.16) ， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中X表示触角长；y表示翼长．
• 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
网络拓扑结构类型层次型结构层次型结构单纯纯层次型结构人工神经网络模型uy网络拓扑结构类型层次型结构层次型结构输出层到输入层有连接人工神经网络模型?网络拓扑结构类型层次型结构层次型结构层内有有连接层次型结构人工神经网络模型网络拓扑结构类型互连型结构互连型结构人工神经网络模型全互连型结构网络拓扑结构类型互连型结构互连型结构局部互互连型网络结构人工神经网络模型网络信息流向类型前馈型网络人工神经网络模型网络信息流向类型反馈馈型网络人工神经网络模型神经网络学习神经网络能够通过对样本的学习训练不断改变网络的连接权值以及拓扑结构以使网络的输出不断地接近期望的输出
第六章 人工神经元计算方法
一、引例 二、人工神经网络的生物学基础 三、人工神经网络概述 四、反向传播模型及其学习算法 五、应用举例
一、引例
• 1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两 类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角 长，数据如下： • • • • • • • • • 翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
生物神经元在结构上由：
细胞体(Cell body)
树突(Dendrite)
轴突(Axon)
突触(Synapse)
四部分组成。用来完成神经
元间信息的接收、传递和处
理。
二、人工神经网络的生物学基础
生物神经元的信息处理机理
神经元间信息的产生、传递和处理是一种电化学活动。
信息的传递与接收
二、人工神经网络的生物学基础
神经元的人工模型
人工神经网络的组成与结构
人工神经网络的组成
人工神经网络（简称ANN）是由大量处理单元经广泛互连而组 成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单 元我们把它称作人工神经元。 人工神经网络（ANN）可看成是以人工神经元为节点，用有向 加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物 神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧
式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联 权重。f称为激发函数或传递函数，它决定节点（神经元）的输出。
i 0
n 1
神经元的传递函数
(1)阈值型传递函数
f(x )=
f (x) 1.0
1 0
x≥0 x＜0
阈值型函数又称阶跃函 数，它表示激活值σ和其 输出f(σ )之间的关系。阈 值型函数为激发函数的 神经元是一种最简单的 人工神经元。
人工神经网络是集脑科学、神经心理学和信息科学 等多学科的交叉研究领域，是近年来高科技领域的一个 研究热点。它的研究目标是通过研究人脑的组成机理和 思维方式，探索人类智能的奥秘，进而通过模拟人脑的 结构和工作模式，使机器具有类似人类的智能。它已在 模式识别、机器学习、专家系统等多个方面得到应用， 成为人工智能研究中的活跃领域。
• 哪一分类直线才是正确的呢？ • 因此如何来确定这个判别直线是一个值得研究的 问题．一般地讲，应该充分利用已知的数据信息 来确定判别直线．
一、引例
• 再如，如下的情形已经不能用分类直线的办法：
• 新思路： 将问题看作一个系统，飞蠓的数据作为 输入，飞蠓的类型作为输出，研究输入与输出的 关系。
二、人工神经网络的生物学基础
的权值表示相互连接的两个人工神经元间相互作用的强弱。
神经元的人工模型
x1 ┆ xi ┆ xn
(a)多输入单输出
oj
x1 w1j ┆wij xi ┆wnj xn
(b)输入加权
oj
x1 w1j ┆wij xI ┆wnj xn
oj ∑
x1 w1j ┆ wij xI ┆ wnj xn
oj ∑ f
(c)输入加权求和
0
xc
x
神经元的传递函数
(4) 概率型转移函数
P(1)
1 1e
x/T
温度参数
人工神经元－信息处理单元


i
f ( xi )
人工神经元－信息处理单元


i
f ( xi )
信息输入
人工神经元－信息处理单元


i
f ( xi )
信息传播与处理：加权求和
人工神经元－信息处理单元


W j f (W j X ) X
T
wij f (W j T X ) xi wij [ d j - sgn(W jT X )] xi
wij ( d j -o j ) f ( net j ) xi
wij ( d j -W j T X ) xi
W j [ d j - sgn (W j T X )] X
神经元的传递函数
(3) 分段线性转移函数
0 f(x)= cx 1 x≤0 0 ＜ x≤ xc xc＜ x
f (x) 1.0
线性分段函数可以看作是一种最简单 的非线性函数，它的特点是将函数的 值域限制在一定的范围内，其输入、 输出之间在一定范围内满足线性关系， 一直延续到输出为最大域值为止。但 当达到最大值后，输出就不再增大。
表 2.1 常用学习规则一览表
学习规则 Hebbian Perceptron Delta Widrow-Hoff 相关 Winner-takeall Outstar 权值调整 向量式 元素式 权 值 初始化 0 任意 任意 任意 0 随机、归 一化 0 学习方式 无导师 有导师 有导师 有导师 有导师 无导师 有导师 转移函数 任意 二进制 连续 任意 任意 连续 连续
一、引例
• 分类结果 ： (1.24 ， 1.80) ， (1.28 ， 1.84) 属于 Af 类； (1.40，2.04）属于 Apf类．
图2 分类直线图
一、引例
•缺陷：根据什么原则确定分类直线？
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类
网络。
按连接突触性质分：一阶线性关联网络和高阶非线
性关联网络。
人工神经网络的基本特点
（1）可处理非线性
（2）并行结构．对神经网络中的每一个神经元来说；其 运算都是同样的．这样的结构最便于计算机并行处理． （ 3 ）具有学习和记忆能力．一个神经网络可以通过训练 学习判别事物；学习某一种规律或规则．神经网络可以 用于联想记忆． （4）对数据的可容性大．在神经网络中可以同时使用量化 数据和质量数据（如好、中、差、及格、不及格等）． （5）神经网络可以用大规模集成电路来实现．如美国用 256 个神经元组成的神经网络组成硬件用于识别手写体的邮政编 码． (6) 容错特性。
• 人类大脑大约包含有1.41011个神经元，每 个神经元与大约103～105个其它神经元相 连接，构成一个极为庞大而复杂的网络， 即生物神经网络。
二、人工神经网络的生物学基础
神经生理学和神经
解剖学的研究结果表明，
神经元是脑组织的基本
单元，是神经系统结构 与功能的单位。
二、人工神经网络的生物学基础
二、人工神经网络的生物学基础 生物神经网络
由多个生物神经元以确定方式和拓扑结构相互连接即形 成生物神经网络。 生物神经网络的功能不是单个神经元信息处理功能的简 单叠加。
神经元之间的突触连接方式和连接强度不同并且具有可
塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理 能力。
三、人工神经网络概述
人工神经元 模拟 生物神经元 人工神经网络 模拟 生物神经网络
人工神经网络研究的兴起与发展
• 人工神经网络的研究经历了不少的曲折，大体上可分为四 个阶段: 产生时期(20世纪50年代中期之前) 高潮时期(20世纪50年代中期到20世纪60年代末期) 低潮时期(20世纪60年代末到20世纪80年代初期) 蓬勃发展时期(20世纪80年代以后)
信息的整合
空间整合：同一时刻产生的刺激所引起的 膜电位变化，大致等于各单独刺激引起的 膜电位变化的代数和。
时间整合：各输入脉冲抵达神经元的时间 先后不一样。总的突触后膜电位为一段时 间内的累积。
二、人工神经网络的生物学基础
信息输入
信息传播与处理
信息传播与处理（整合）
信息传播与处理结果：兴奋与抑制
信息输出