人工神经网络概述

三、ANN连接模型
❖ 前馈型网络
x1
w
W’
z1
x2
z2
…… xn
输入层
…
…
隐藏层
zm 输出层
三、ANN连接模型
❖ 前馈型网络
输入/输出：二值（0,1）或连续值
权值：可正可负
权值矩阵： w11 w12 w13 w14
w
' 11
w
21
w 22
w 23
w
24
Leabharlann Baidu
w
' 21
w 31 w 32 w 33 w 34
第七章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
' 2
' 2
)
❖ 计算输出与应有输出之误差
❖ 反向传播，逐层修正权值，使误差减小
❖ 重复以上步骤，直至整个训练集误差最小。
总结 ANN的学习算法
学习 无 有导 导师 师 二 二 连 连进 进 续 续制 制 值 值值 值A H H B-RoePb网 p网 T、 bfiK、 e网lod统 ho计 n网 en网
第8章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
一、生物神经网的构成
树突（Dendrite）
胞体(Soma)
轴突（Axon）
突触（Synapse ）
x1 w1
二、MP模型
x2 w2
F
y
…
xn wn
x in1wixi y F(x) F(in1wixi ) F特性函数
二、MP模型
❖ 线性函数 y=kx+c
y
c x
o
二、MP模型
❖ 阈值函数
y 10
x x
θ
二、MP模型
❖ S形函数（Sigmoid Function）
y
y
1 1 ex
x 0
二、MP模型
考虑偏置与阈值，神经元模型
x1 w1
x2 w2 … xn wn
F s
y
yF ( in 1w ixi)S
机不能解决XOR问题，ANN进入低潮
二、人工神经网络的历史
❖ 过渡期（1970’s） 低潮中，许多学者深入研究ANN理论、模型。 MIT的Marr提出视觉模型 Boston Univ的Grossbery全面研究ANN理论，提
出ART1，ART2，ART3自适应谐振理论模型。 甘利俊一 ANN的数学理论 Fuknshima 神经认知网络理论 芬兰的Kohonen 自组织联想记忆
w
41
w 42
w 43
w
44
w
w
' 31
' 41
学习的过程——不断修改权值的过程
w
' 12
w
' 22
w w
' 32
' 42
三、ANN连接模型
❖ 反馈型网络
x1 x2
…… xn
输入层
w
W
’
…
…
隐藏层
z1 z2
zm 输出层
三、ANN连接模型
❖ 反馈型网络
层间反馈——非线性动力系统 层内反馈——横向抑制、竞争 Hopfield网是单层节点全互连的反馈网
连接主义认为： 智能活动的基本元素是神经元； 智能活动的过程是大量的相联结的神经元的 并行作用的过程。
二、人工神经网络的历史
❖ 早期阶段（～1960’s）
1943 McCulloch和Pitts 提出神经元的数学模型（MP模型 ）
1949 Hebb 提出权重加强的学习机理 1957 Rosenblatt 感知机（perceptron）有认知学习功能 1969 Mingsky 专著“perceptron” 证明线性（单层）感知
…
…
第8章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
8.3 ANN的学习算法
ANN的学习算法可分为 ❖ 有导师学习 ❖ 无导师学习
自学习、自组织
一、Hebb学习规则
两个细胞同时兴奋，则它们之间连接（权） 应加强。
w i jw i( j n 1 ) w i( j n ) y iy j 属于无导师学习
缺图案也可识别 1988 AT&T Bell lab 120*120元件的ANN 1989 三菱 光学ANN芯片，32个神经元识别26个字母
1989 日立 5“硅片集成576个神经元 1990 Bell Lab 黄庭钰 数字光学处理器 1990 IBM AS400 提供ANN仿真开发环境 1992 SGI 将ANN用于航天飞机控制臂 ANN已在专家系统、智能控制等领域广泛应用
人工神经网络概述
第8章 人工神经网络
8.1 人工神经网络概述 8.2 神经元模型 8.3 ANN的学习算法 8.4 应用举例
一、人工神经网络的提出
AI研究的两大学派： ❖ 符号主义——用计算机从外特性上模仿人脑
宏观的功能 ❖ 连接主义——在微观内部结构上模仿人脑的
神经
一、人工神经网络的提出
符号主义认为： 智能活动的基本元素是符号； 智能活动的过程是符号处理的过程。
二、反向传播算法
(Back-Propagation, B-P算法)
（有导师学习）
用于前馈网络
❖ 从训练范例集中取一训练时，输入网络
❖ 正向传播求输出
Y1
F
(
3 i 1
w
i1
xi
S1
1 )
Y4
F(
3 i 1
w
i
4
xi
S4
4)
Z1
F
(
4 j1
w
' j1
y
j
S1'
1' )
Z2
F(
4 j1
w
' j2
yj
S
二、人工神经网络的历史
❖ 高潮（1980～）
1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模 型），用单层ANN解决了TSP问题
1987.6 ICNN（International Conference on NN）召开 1987 加州理工 Abn－mostafa，Psaitis 2D联想存储输入残