神经网络

17
五、Dimensions of a Neural Network
一个神经网络的性能主要取决于以下三方面
neuron model: 神经网络的信息处理单元 architecture: 一组单元和连接拓扑 learning algorithm: 用训练样本来调整权重，使得
神经网络能学会解决问题的知 识和经验
23
Class 1 Subnetwork Class 2 Subnetwork Class 3 Subnetwork
Final Network
Integrate Subnetwork Modules Links to be grown Links with values preserved
Final Training Phase
12
from BNN to ANN
X0 =-1
w0
w0 = θ
x1
w1
Input
values x2
w2
u
Summing function
Activation function
f(u)
Output y
xm
wm
weights
• Bias 可以等效为一个权，对应一个外加的固定输入
m
u w j x j j0
to units in the next layer. • There is no internal state other than the weights
从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单 而易于编程；
从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处 理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点 看，缺乏丰富的动力学行为。
4
人工神经网络的特点
➢ 存储与映射
1、RAM方式（Random Access Memory） –随机访问方式是将地址映射到数据。
2、CAM方式（Content Addressable Memory） –内容寻址方式是将数据映射到存储器地址。
3、AM方式（Associative Memory） –联想存储方式是将数据映射到数据。
• Sigmoid function – S-shaped – Continuous and everywhere differentiable – Rotationally symmetric about some point – Asymptotically approach saturation points
---学习记忆的基础
时空整合性 时间整合：不同时间的神经刺激冲动在同一突触上整合 空间整合：同一时间中不同突触处膜电位整合
延时和不应期:遗忘和疲劳
相邻的两次冲动之间需要一个时间间隔,其间，不传递神经冲动
9
from BNN to ANN
Modeling biological neuron
生物神经元是一个多输入，单输出的信息处理单元，单输出可以被分
大部分前馈网络的分类能力和模式识别能力一般都强于反馈网络，典 型的前馈网络有感知器网络、BP 网络等。
20
Dimensions of a Neural Network
反馈网络(Recurrent Networks ) :
at least one feedback loop with or without hidden layer
神经网络分类：
– 连续型和离散型；确定型和随机型 – 前馈型（feedforward network）和反馈型
（recurrent network）； – 有教师学习（supervised learning）和无教师学习
（unsupervised learning） – 一阶线性关联网络和高阶非线性关联网络
第二章
Introduction of Artificial Neural Network
1
一、概述
• ANN是由大量简单的处理单元（神经元，neurons） 互联而成的并行分布式系统。它不是人脑的真实描 述，是对人脑简单的抽象和模拟，反映人脑的基本 特征。
• ANN建立在神经科学、数学、物理学、计算机科学 学科研究的基础上，是一种新的计算机制和模型 它可以解决一些传统算法或传统计算机所难于解 决的问题。
3
人工神经网络的特点
➢神经网络的存储和计算合二为一，浑然一体。
➢很强的鲁棒性和容错性： 对不完全信息的处理 处理系统本身的不完全性
➢自学习，自适应 ANN通过卓越的学习能力和过程，从环境中获取知识和
经 验，因此有很强的自适应能力, 这是ANN最重要的特点。 ➢N对on比-a数lg字o计rit算hm机i的c；离n散on计-p算r和og精ra确m计m算in，g;神经计算是模拟 计算,不精确计算， ➢ 善于联想，形象思维、类比、直觉等计算——右脑功能
weights
θ
x1
w1
x2
w2
Input
values
u
Summing function
Activation
function
Output
f(u)
y
y f u
xm
wm
m
u w jxj
input/output：
j1
Binary {0, 1}
Bipolar {-1, 1}
Continuous
神经元 每个细胞有 10∽3 个1突04 触
8
from BNN to ANN
突触间隙处进行量子化学或电化学反映，实现D/A转换 电脉冲→神经化学物质→膜电位变化
兴奋型和抑制型（excitatory or inhibitory）
--- 有膜电位阈值决定 可塑性：突触的信息传输特性是可变的，即可强可弱，可正可负
13
from BNN to ANN
Activation functions for units
• Step (threshold) function
f
u
1 0
u0 u0
+1
0
Step function
• Sign function
f
u
1 1
u0 u0
+1
u -1
Sign function
14
from BNN to ANN
反馈神经网络是一种反馈动 力学系统，它需要工作一段 时间才能达到稳定。 Hopfield神经网络是反馈网 络中最简单且应用广泛的模 型，它具有联想记忆 （ Content 一 Addressible Memory ， CAM ） 的 功 能 ， 如 果 将 Lyapunov 函 数 定 义 为 寻 优 函 数 ， Hopfie1d 神 经网络还可以用来解决快速 寻优问题。
Recurrent network with hidden layer
Recurrent network
without hidden layer
21
Dimensions of a Neural Network
特点
• 连接可形成任意拓扑形态. 有复杂的动力学行为
有系统内部状态 系统可呈不稳定、振荡或 混沌状态 • 一般对称连接 (wij = wji) • 可时延 • 训练较难 • 更有生理基础
Single layer
Multiple layer
19
Dimensions of a Neural Network
特点： • Links are unidirectional, and there are no cycles, i.e., the
network is a directed acyclic graph (DAG). • Units are arranged in layers, and each unit is linked only
synapse
Dendrite
Dendrite ofanother neyron
树突（Dentrite）: 输入端 轴突（Axon） ：信息传导，其端部的神经末梢（terminals）为输出端
7
from BNN to ANN
突触（Synapse）: 轴突（输出）和树突（输入）接口 通过此突触，一个神经元的输出神经脉冲信号传输到另一个
枝为多个并行输出（具有相同输出值），以便输入到多个其它神经
元。
每个神经元仅进行局部的信息处理：
对所有输入信号用synapse加权求和
用激励函数对加权和进行处理并输出
10
from BNN to ANN
Artificial Neural Network
11
from BNN to ANN
Artificial Neuron Model Bias（threshhold)
neuron: 104~ 105 • High degree of parallel computation • Distributed representations
6
from BNN to ANN
biological neuron
cell body
axon terminal
nucleus
axon
18
Dimensions of a Neural Network
Neural Network Architectures 前馈网络( Feedforward Networks )
神经元分层组织，信息流从输入层到输出层，每一层的神经元只接 受前一层神经元的输入。
Input nodes: receive input from the environment Output nodes: send signals to the environment Hidden nodes: no direct interaction to the environment
• ANN可以用电子线路来实现，也可以用计算机程序 来模拟。
2
二、人工神经网络的特点
➢大规模并行分布处理 大量简单的处理单元连接起来，形成大规模并行分 布
系统，不是简单的以网络拓扑的空间来代替时间复杂性
➢神经网络本质上是大规模非线性动力学系统；其计算 本质上可表示为系统状态映射或变换。原理上ANN可 以充分逼近任意复杂的非线性关系
后两种方式是人工神经网络的工作方式。
•在学习/训练期间，人工神经网络以CAM方式工作→权矩阵,又被称为网络
的 长期存储器（Long Term Memory，LTM）。
•网络在正常工作阶段是以AM方式工作的；神经元的状态表示的模式为短期 存储（Short Term Memory， STM）
5
四、from BNN to ANN
+1
f(u) +1
u
f
u
1
1
exp
u
0,1
反映了不应期的饱和特性
改变α可改变函数斜率，即改变
激励特性，这对收敛性有一定影
-1
响
Hyperbolic tangent Function f (u) tanh( u)
15
from BNN to ANN
• Gaussian function
– Bell-shaped (radial basis)
I
24
六、Neural Network Learning
学习是体现人工神经网络智能特性的主要标志，离开了学 习算法，人工神经网络就失去了自适应、自组织和自学习的 能力。
• Stochastic function
1 With probability P(u)
f u 1 With probability 1-P(u)
P(u)
1百度文库
1 e xp(
u)
T
where T is pseudotemparature T 0, reduced to deterministic form
BNN
人类大脑皮层大约 有100亿个神经元
Biological Neural Systems • Neuron switching time : > 103secs
（Computer takes 1010 secs） • Number of neurons in the human
brain:~ 1011 • Connections (synapses) per
– Continuous
– f(u) asymptotically approaches 0 (or some constant) when |u | is large
– Single maximum (when u = )
– Example:
Gaussian function
16
from BNN to ANN
22
Dimensions of a Neural Network
Modular nets
Consists of several modules, each of which is a neural net for a particular sub-problem
Sparse connections between modules