王永骥人工神经网络原理、应用.

2018/9/20 研究生论坛讲座 15
a) 大脑处理信息的特点





分布存储与冗余性：记忆在大量元中，每个元存 在许多信息的部分内容，信息在神经网络中的记 忆反映在神经元间的突触连接强度上(weights）; 并行处理：NN既是处理器又是存储器（并行处理 不同于并行机）; 信息处理与存储合一：每个元兼有二者功能; 可塑性与自组织性：可塑性是学习记忆的基础; 鲁棒性：高连接度导致一定的误差和噪声不会使 网络性能恶化。是智能演化的重要因素。
研究生论坛讲座
33
b)三角波函数
生物学背景：
视觉，听觉等 类神经细胞的
区域性非线性 用的线性近似
2018/9/20
研究生论坛讲座
34
1.2.2 人工神经网络的构成

基本模型 连接的几种基本形式
前向网络（feed-forward Networks）
回归网络（recurrent Networks） 互联网络（全互连与局部互连） 也可是以上几种形式的组合
2018/9/20 研究生论坛讲座 14
1.1.3 人脑神经网络
脑神经系统主要组成部分 大脑皮层由许多功能区组成（运动、听觉、 视觉等） 神经元群 其区域性结构：遗传 其功能：后天对环境的适应于学习得来 （自组织特性Self-Organization） 子功能模块的并行关系 a) 大脑处理信息的特点 b) 生物学研究成果
...
... ...
...
输入层
输出层
隐含层
图2.4 多层前向神经网络结构
研究生论坛讲座 49
2018/9/20
Matlab形式
Nnd11nf.m 描述输出与加权系数的关系 nndemos（chap11 demo1）network function
2018/9/20 研究生论坛讲座 50
BP学习算法（加权值的修改方法
人工神经网络原理、应用 及发展趋势
王永骥 华中科技大学控制系
纲要
1. 人工神经网络原理 2. 人工神经网络优势 3. 人工神经网络的应用 4. 人工神经网络研究趋势 5. 结束语
2018/9/20
研究生论坛讲座
2
1. 人工神经网络原理
人之所以有智能，是因为大脑中存在一个
1000亿个神经元构成的生物神经网络; 生物神经网络十分复杂，具有高度智能; 人们力图抓住主要特点，构成人工神经网 络，形成具有一定智能能力的信息处理工 具。
25
几种常用的作用函数
(1)、阀值型（硬限制型)
(2)、线性型
(3)、S型函数（Sigmoid） (4)、辐射基函数
2018/9/20 研究生论坛讲座 26
(1)、阀值型（硬限制型）
1 A f (W * P b) 0 W *P b 0 W *P b 0
生物学背景： 神经细胞的
研究生论坛讲座 35
2018/9/20
人工神经网络种类
1). 前馈型 感知器、线性网络（ADALINE), BP网络 RBF 网络， 2). 反馈型 Hopfield 网络 3). 竞争型 ART ， SOFM等
2018/9/20 研究生论坛讲座 36
前向网络

结构图
2018/9/20
研究生论坛讲座
2018/9/20 研究生论坛讲座 18
1.2 人工神经网络
研究大脑的目的： a）揭示功能造福人类 b）构造ANN用于工程及其他领域 （生物神经网络的模型化：ANN） BNN modeling ANN ANN非BNN模型，而是对结构及功能大大 简化后保留主要特性的某种抽象与模型。

2018/9/20 研究生论坛讲座 19
神经元模型（1）

神经元是人工神经网络的基本处理单元， 它一般是一个多输入/多输出的非线性 元件。神经元输出除受输入信号的影响 之外，同时也受到神经元内部其他因素 的影响，所以在人工神经元的建模中， 常常还加有一个额外输入信号，称为偏 差（bais），有时也称为阀值或门限值。
2018/9/20
研究生论坛讲座
j F yi y j
2018/9/20 研究生论坛讲座 47
ij ji
c) 相近学习规则
ij i ij
使
ij i
ART SOFM 自组织竞争用此规则
2018/9/20
研究生论坛讲座
48
BP网络模型
BP网络模型如图2.4所示:
生物学背景：
神经细胞的
非线性比例作 用（单向）
2018/9/20
研究生论坛讲座
31
b)双曲正切 y=tanh(n)
生物学背景：
神经细胞的
非线性比例作 用（全方位）
2018/9/20
研究生论坛讲座
32
（4）辐射基函数
a) 高斯函数
生物学背景：
视觉，听觉等 类神经细胞的
区域性非线性 用
2018/9/20
w2ki ki a1i b2ki ki w1ij ij p j bli ij
2018/9/20 研究生论坛讲座 51
BP网络训练的几种模式
1) 批处理模式(batch mode)
训练过程以所有样本为一个epoch。训练时计 算出所有样本的整体误差后，加权系数才调整。 matlab 函数 trainb，非直接调用，用 net.trainFcn说明 即，每一次输入样本j时，计算该样本j对应的误差 ej和相应的权值修正量 dwj，但不进行权值修改， 而是等到全部样本输入完毕后，计算所有样本 累计对应的权值修正量, dw(k)=∑dwj 进行一次权值修正。 本方法适用于离线计算。
突触传递信息特点
(1) 时延性 : （0.3~1ms） (2) 综合性 ： 时间与空间的累加 (3) 类型： 兴奋与抑制 (4) 脉冲与电位转换: （D/A功能） (5) 速度： 1~150m/s (6) 不应期（死区）： 3~5ms (7) 不可逆性（单向） (8) 可塑性 : 强度可变 ,有学习功能 脉冲
2018/9/20
研究生论坛讲座
21
1.2.1 人工神经元模型
BNN 信息传递过程 为 MISO 系 统, 信号为脉冲，当脉冲到达突触前 膜时，前膜释放化学物质，结果在 突触后产生突触后电位，其大小与 脉冲密度有关（时间总合效应）。 各通道都对电位产生影响（空 间总合效应）。
研究生论坛讲座 22
2018/9/20
10
What are (artificial) neural networks?
It is a network with interactions, in attempt to mimicking the brain • UNITs: artificial neuron (linear or nonlinear input-output unit), small numbers, a few hundreds
37
前来自百度文库网络特点
1). 神经元分层排列，可又多层 2). 层间无连接
3). 方向由入到出
感知网络（perceptron即为此） 应用最为广泛
2018/9/20
研究生论坛讲座 38
全反馈结构图
2018/9/20 研究生论坛讲座 39
Inner RNN结构图
2018/9/20
研究生论坛讲座
40
• INTERACTIONs: simply by weights, how strong a neuron affects others • STRUCTUREs: could be feedforward, feedback or recurrent
11
It is still far too naive, and the development of the field relies on all of us 研究生论坛讲座 2018/9/20
兴奋与抑制；
单极性
2018/9/20
研究生论坛讲座
27
1 A f (W * P b) 1
W *P b 0 W *P b 0
生物学背景： 神经细胞的
兴奋与抑制：
双极性
2018/9/20
研究生论坛讲座
28
(2)、线性型 a) 全线性
A f (W * P b) W * P b

生物学背景： 神经细胞的
比例作用（全 方位）
2018/9/20
研究生论坛讲座
29
b) 正线性
0 A f (W * P b) n W *P b 0 W *P b 0
生物学背景： 神经细胞的
线性比例作用 （单方向）
2018/9/20
研究生论坛讲座
30
(3)、S型函数（Sigmoid） a) 对数正切 y=1/(e-n+1)
2018/9/20
研究生论坛讲座
45
学习规则
1）直接设计计算 e.g. Hopfield 作优化计算 2）学习得到,即通过训练(training)
2018/9/20
研究生论坛讲座
46
常用学习规则
a) Hebb学习
ij i j
D.Hebb1949年提出：两元同时兴奋，则突触 连接加强 b)δ学习规则 误差校正规则 梯度方法 （BP即为其中一种）
2018/9/20
研究生论坛讲座
3
1.1 神经系统 的复杂性
2018/9/20
研究生论坛讲座
4
2018/9/20
研究生论坛讲座
5
2018/9/20
研究生论坛讲座
6
2018/9/20
研究生论坛讲座
7
2018/9/20
研究生论坛讲座
8
2018/9/20
研究生论坛讲座
9
2018/9/20
研究生论坛讲座
2018/9/20
研究生论坛讲座
43
ANN研究中的核心问题 How to determine the weights(加权系数)
学习规则简介
2018/9/20
研究生论坛讲座
44
关于学习问题
学习：实例学习 举一反三的能力 机器学习: 从数据中归纳出规律,进行预测或 者对其性质作出判断 神经网络—启发式学习 支持向量机---统计学习理论
2018/9/20
研究生论坛讲座
16
b) BNN研究成果
H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼 鱼电器特性 得到四个变量的非线性微分 方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g. 自激振荡 chaos. 多重稳定性等
2018/9/20
研究生论坛讲座
1.1.2 生物神经元
人的大脑由1012个神经元构成，神经元互相连 接成神经网络 神经元组成：细胞体为主体 1873年, 意大利 Cajai 银渗透法 发现Golgi 体 神经元功能：刺激、兴奋、传导、效应 形状图 突触传递信息特点
2018/9/20
研究生论坛讲座
12
神经元示意图
2018/9/20 研究生论坛讲座 13
回归网络特点

Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到输入 例： Fukushima网络 Inner recurrent 特点：层间元互相连接

2018/9/20
研究生论坛讲座
41
互联网络

结构图
2018/9/20
研究生论坛讲座
42
互联网络特点

每个元都与其它元相连 例： Hopfield Boltzmann机
23
神经元模型（2）

。
2018/9/20
研究生论坛讲座
24
抽象可得数学表达式：
s
w x
i 1 i
R
i
b
y f ( s)
wi 数值（weights) b 阀值（threshold） f(s) 用函数（activated transfer function）
2018/9/20
研究生论坛讲座
神经网络直观理解
神经网络是一个并行和分布式的信息处理网 络结构，它一般由许多个神经元组成，每 个神经元只有一个输出，它可以连接到很 多其他的神经元，每个神经元输入有多个 连接通道，每个连接通道对应于一个连接 权系数。
2018/9/20
研究生论坛讲座
20
人工神经网络内容
1.2.1 人工神经元模型 （Artificial Neuron model） 1.2.2 人工神经网络的构成 （structure of ANN） 1.2.3 人工神经网络的学习 （learning or training of ANN）
17
H－H方程
dV I CM gKn4 (V VK ) gNa m3h(V VNa ) gl (V Vl ) dt
式中，I为膜电流，V为膜电位相对于静息膜 电位Er的变化，VK, VNa, Vl分别为钾离子、 钠离子和氯离子与其他离子形成的相对电 位。CM为单位面积的膜电容，gk,gNa,gl 分 别为钾离子、钠离子通道和漏电流通道的 电导。