神经网络

23
Class 1 Subnetwork Class 2 Subnetwork Class 3 Subnetwork
Final Network
Integrate Subnetwork Modules Links to be grown Links with values preserved
Final Training Phase
• ANN可以用电子线路来实现，也可以用计算机程序 来模拟。
2
二、人工神经网络的特点
➢大规模并行分布处理 大量简单的处理单元连接起来，形成大规模并行分 布
系统，不是简单的以网络拓扑的空间来代替时间复杂性
➢神经网络本质上是大规模非线性动力学系统；其计算 本质上可表示为系统状态映射或变换。原理上ANN可 以充分逼近任意复杂的非线性关系
18
Dimensions of a Neural Network
Neural Network Architectures 前馈网络( Feedforward Networks )
神经元分层组织，信息流从输入层到输出层，每一层的神经元只接 受前一层神经元的输入。
Input nodes: receive input from the environment Output nodes: send signals to the environment Hidden nodes: no direct interaction to the environment
Recurrent network with hidden layer
Recurrent network
without hidden layer
21
Dimensions of a Neural Network
特点
• 连接可形成任意拓扑形态. 有复杂的动力学行为
有系统内部状态 系统可呈不稳定、振荡或 混沌状态 • 一般对称连接 (wij = wji) • 可时延 • 训练较难 • 更有生理基础
---学习记忆的基础
时空整合性 时间整合：不同时间的神经刺激冲动在同一突触上整合 空间整合：同一时间中不同突触处膜电位整合
延时和不应期:遗忘和疲劳
相邻的两次冲动之间需要一个时间间隔,其间，不传递神经冲动
9
from BNN to ANN
Modeling biological neuron
生物神经元是一个多输入，单输出的信息处理单元，单输出可以被分
后两种方式是人工神经网络的工作方式。
•在学习/训练期间，人工神经网络以CAM方式工作→权矩阵,又被称为网络
的 长期存储器（Long Term Memory，LTM）。
•网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期 存储（Short Term Memory， STM）
5
四、from BNN to ANN
• Sigmoid function – S-shaped – Continuous and everywhere differentiable – Rotationally symmetric about some point – Asymptotically approach saturation points
12
from BNN to ANN
X0 =-1
w0
w0 = θ
x1
w1
Input
values x2
w2
u
Summing function
Activation function
f(u)
Output y
xm
wm
weights
• Bias 可以等效为一个权，对应一个外加的固定输入
m
u w j x j j0
neuron: 104~ 105 • High degree of parallel computation • Distributed representations
6
from BNN to ANN
biological neuron
cell body
axon terminal
nucleus
axon
第二章
Introduction of Artificial Neural Network
1
一、概述
• ANN是由大量简单的处理单元（神经元，neurons） 互联而成的并行分布式系统。它不是人脑的真实描 述，是对人脑简单的抽象和模拟，反映人脑的基本 特征。
• ANN建立在神经科学、数学、物理学、计算机科学 学科研究的基础上，是一种新的计算机制和模型 它可以解决一些传统算法或传统计算机所难于解 决的问题。
反馈神经网络是一种反馈动 力学系统，它需要工作一段 时间才能达到稳定。 Hopfield神经网络是反馈网 络中最简单且应用广泛的模 型，它具有联想记忆 （ Content 一 Addressible Memory ， CAM ） 的 功 能 ， 如 果 将 Lyapunov 函 数 定 义 为 寻 优 函 数 ， Hopfie1d 神 经网络还可以用来解决快速 寻优问题。
weights
θ
x1
w1
x2
w2
Input
values
u
Summing function
Activation
function
Output
f(u)
y
y f u
xm
wm
m
u w jxj
input/output：
j1
Binary {0, 1}
Bipolar {-1, 1}
Continuous
13
from BNN to ANN
Activation functions for units
• Step (threshold) function
f
u
1 0
u0 u0
+1
0
Step function
• Sign function
f
u
1 1
u0 u0
+1
u -1
Sign function
14
from BNN toayer. • There is no internal state other than the weights
从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单 而易于编程；
从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处 理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点 看，缺乏丰富的动力学行为。
I
24
六、Neural Network Learning
学习是体现人工神经网络智能特性的主要标志，离开了学 习算法，人工神经网络就失去了自适应、自组织和自学习的 能力。
枝为多个并行输出（具有相同输出值），以便输入到多个其它神经
元。
每个神经元仅进行局部的信息处理：
对所有输入信号用synapse加权求和
用激励函数对加权和进行处理并输出
10
from BNN to ANN
Artificial Neural Network
11
from BNN to ANN
Artificial Neuron Model Bias（threshhold)
synapse
Dendrite
Dendrite ofanother neyron
树突（Dentrite）: 输入端 轴突（Axon） ：信息传导，其端部的神经末梢（terminals）为输出端
7
from BNN to ANN
突触（Synapse）: 轴突（输出）和树突（输入）接口 通过此突触，一个神经元的输出神经脉冲信号传输到另一个
大部分前馈网络的分类能力和模式识别能力一般都强于反馈网络，典 型的前馈网络有感知器网络、BP 网络等。
20
Dimensions of a Neural Network
反馈网络(Recurrent Networks ) :
at least one feedback loop with or without hidden layer
+1
f(u) +1
u
f
u
1
1
exp
u
0,1
反映了不应期的饱和特性
改变α可改变函数斜率，即改变
激励特性，这对收敛性有一定影
-1
响
Hyperbolic tangent Function f (u) tanh( u)
15
from BNN to ANN
• Gaussian function
– Bell-shaped (radial basis)
Single layer
Multiple layer
19
Dimensions of a Neural Network
特点： • Links are unidirectional, and there are no cycles, i.e., the
network is a directed acyclic graph (DAG). • Units are arranged in layers, and each unit is linked only
神经元 每个细胞有 10∽3 个1突04 触
8
from BNN to ANN
突触间隙处进行量子化学或电化学反映，实现D/A转换 电脉冲→神经化学物质→膜电位变化
兴奋型和抑制型（excitatory or inhibitory）
--- 有膜电位阈值决定 可塑性：突触的信息传输特性是可变的，即可强可弱，可正可负
3
人工神经网络的特点
➢神经网络的存储和计算合二为一，浑然一体。