智能计算导论

a(0)
递归网络（Recurrent Network）
初始条件 递归层
p
S×1
W1
S×S
+
n(t+1)
S×1
a(t+1)
S×1
D
a(t)
S× 1
1
b1
S×1
a 1 = satlins Wa 0 + b = satlins Wp + b
a 2 = satlins Wa 1 + b
建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上
人工神经网络的历史
第二高潮期（1983~1990）
1984年， J. Hopfield设计研制了后来被人们称为
Hopfield网的电路。较好地解决了著名的TSP问 题，找到了最佳解的近似解，引起了较大的轰动。 1985年，圣地牙哥加州大学的Hinton、 Rumelhart等人所在的并行分布处理（PDP）小 组的研究者在Hopfield网络中引入了随机机制， 提出所谓的Boltzmann机。
人工神经网络的历史
第一高潮期（1950~1968）
以Marvin Minsky，Frank Rosenblatt，Bernard
Widrow 等为代表人物 ，代表作是单级感知器 （Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。 许多部门都开始大批地投入此项研究，希望尽 快占领制高点。
人工神经网络的别名
人工神经系统（ANS）
神经网络（NN） 自适应网（Adaptive Networks） 联接主义（Connectionism） 神经计算机（Neurocomputer）
人工神经网络的历史
萌芽期（20世纪40年代）
人工神经网络的研究最早可以追溯到人类开始
研究自己的智能的时期。 1943年，心理学家 McCulloch和数学家 Pitts 建立 了著名的阈值加权和模型，简称为M-P模型。发 表 于 数 学 生 物 物 理 学 会 刊 《Bulletin of Methematical Biophysics》 1949年，心理学家D. O. Hebb提出神经元之间突 触联系是可变的假说——Hebb学习律。
Linear Transfer Function
a 1 n 0 -1
a b p -b/w 0
f（n）= k×n + c
传输函数(对数-S型函数)
Log-Sigmoid Transfer Function
a 1 n 0
-b/w 0 a 1 p
传输函数(对数-S型函数)
Log-Sigmoid Transfer Function
逻辑斯特函数（Logistic Function）
f(n)= 1/(1+exp(-d×n)) 函数的饱和值为0和1 压缩函数（Squashing Function） f(n)=g+h/(1+exp(-d×n)) g，h，d为常数，函数的饱和值为g和g+h S形函数有较好的增益控制
传输函数总结
a 1 max( n) a 0 其它
Poslin
竞争函数
C
Compet
多输入神经元
输入 p1 p2 pR w1,1 多输入神经元
输入 p
多输入神经元

w1,R b 1
n
f
a
R×1
W
+ n
1×1
a
1
b
1×1
f
1×1
简化符号
a = f (Wp + b)
传输函数作用的实例
P=[1,2]T
名称 输入/输出关系
a 0 n 0 a 1 n 0
图标
Matlab函数 Hardlim Hardlims Pureline Satlin
硬极限函数 对称极限函数 线性函数 饱和线性函数
a 1 n 0 a 1 n 0
an
n0 a 0 a n 0 n 1 a 1 n 1
激活函数(传递函数)
激活函数 —— 执行对该神经元所获得的网
络输入的变换，也可以称为激励函数、活 化函数，传递函数等：
O=f(net)
单输入人工神经元
输入 通用神经元
p
w

b 1
n
f
a
净输入
a = f (w p + b)
神经元输出 传输函数 权值 输入 偏置(值)
传输函数(硬极限传输函数)
橘子=[黄色,扁球]＝[1，0.5]
橘子
0
y=kx+b
外形 y=-0.25x+0.75 y=kx+b -1<x’<1, 0.5<y<1
一个说明性实例
a p1 w1,1 1 a n b 0 1
2+b>0 n=Wp+b -2<b<0.5 -0.5+b<0

p2 w1,2
n
W＝[－1，1] p＝[－1，1] p＝[1，0.5]
输入
p1 p2 p3 w1,1
S个神经元的层

b1 1
n1
f
a1

b2 1
n2
f
a2
pR
wS,R

bS 1
nS
f
aS
神经元的层简化模型
输入
S× R
S个神经元的层 p
R×1
W
+ n
S×1
a
1
b
S×1

f
S
S×1
w1,1 w 2,1 W wS ,1
w1, 2 w2, 2 wS , 2
n1 S
f
1
a1S w2S2,S1

b2S2 1
n2S2
f
2 2 2 aS

w3S3,S2 b3S3 1
n3S3
f
3 3 3 aS
p
a1=f 1(W1p+b1)
a2=f 2(W2p+b2)
a3=f 3(W3p+b3)
多层神经网络（3层）简化表示
输入 第1层 第2层
第3层
p
R×1
W1
S1×R
a1
S1×1
W2
S2×S1
a2
S2×1
W3
S3×S2
a3
S3×1
+
n1
S1×1
f1
+
n2
S2×1
f2
+
n3
S3×1
f3
1
b1
S1×1
b2
S2×1
b3
S3×1
隐含层
输出层
a3=f 3(W 3f 2(W2f 1(W 1p+b1) +b2) +b3)
多层神经网络讨论
多层网络的功能强于单层网络 网络结构的确定：
输入个数
输出个数 隐含神经元数
传输(节点)函数
网络层数：2－3层 神经网络权值
递归网络－构造块
•延时模块(Delays)
u(t)
D
a(0)
a(t)
a(t)=u(t-1)
•积分模块( Integrators)
u(t) a(0) a(t)
a(t )
t u ( ) d 0
多层神经网络（3层）
输入
1 p1 w 1,1
第1层
第2层
第3层

b1 1 1
n1 1
f1
a11 w21,1

b21 1
n21
f
2
a21 w31,1

b31 1
n31
f
3
a31
p2 p3

b1 2 1
n12
f
1
a12

b22 1
n22f2源自a22b32 1
n32
f
3
a32
pR
w1S1,R

b1S1 1
人工神经网络的历史
第二高潮期（1983~1990）
1986 年，并行分布处理小组的 Rumelhart 等研究
者重新独立地提出多层网络的学习算法 —BP 算 法，较好地解决了多层网络的学习问题。 1988年，RBF神经网络 90年代早期，vapnik提出SVM 国内首届神经网络大会是1990年12月在北京举行 的
（构件）。 人工神经元模型应该具有生物神经元的 基本特性。
人工神经元模型
人工神经元的基本构成
x1 w1 x2 w2 … xn wn
∑
net=XW
人工神经元模拟生物神经元的一阶特性
输入：X=（x1，x2，…，xn） 联接权：W=（w1，w2，…，wn）T 网络输入： net=∑xiwi 向量形式： net=XW
生物神经系统
生物神经系统
生物神经系统
生物神经元

生物神经元组成：神经细胞被称为生物神 经元。神经元主要由三个部分组成：细胞 体、轴突。 细胞体：由细胞核、细胞质与细胞膜等组 成。它是神经元的新陈代谢中心，同时还 用于接收并处理对其它神经元传递过来的 信息。 轴突：由细胞体向外伸出的最长的一条分
一个说明性实例
p2
W
cos 1 k1k 2
2 1 k12 1 k 2
b=-1 1 n<0
k1=-1 k2=1
n>0