5.第五章_神经网络

也就是数据在神经元之间的流动方向是单 向的，没有循环。
这种网络而在分类过程中数据只能向前传
送，直到到达输出层，层间没有向后的反 馈信号，因此被称为前馈网络。
后向传播是在多层前馈神经网络上学习的。
10
什么是反馈式神经网络？
反馈式神经网络是指数据在神经元之间的流动方
向是双向关系，神经元会输出到其他所有的神经 元，也会接收其他神经元的输出成为输入。
11
什么是自组织网络 ( SOM ,SelfOrganizing Neural Networks )
自组织神经网络是一种无监督学习网络。它通
过自动寻找样本中的内在规律和本质属性，自 组织、自适应地改变网络参数与结构。
12
什么是层？
类神经网络的分为输入层、输出层和隐藏
层，三层连结形成一个神经网络。
（neuron）、层（layer）和网络（network） 三个部份所组成。
整个类神经网络包含一系列基本的神经元，
通过权重（weight）相互连接。
这些单元以层的方式组织，每一层的每个
神经元和前一层、后一层的神经元连接。
6
后向传播神经网络
神经元
输入层
7
隐藏层 (可多层)
输出层 (决策层)
什么是后向传播？
23
+1
0
S 函数
24
4、分段线性启动函数
1, I j 1 f I j I j , 0 I j 1 0, I j 0
+1
0
分段线性函数
25
5、高斯启动函数
f I j e

I2 j V
钟型曲线（bell-shaped curve），输出值 在0和1之间，其中，I j 是均值，V是函数事 先定义的方差。
27
神经网络学习就是不断调整权重的过程。 训练之前，必须将数据集分为训练数据集
和测试数据集，将权重指定给第一层的神 经元。
大多数软件包使用向后传播方法(Back
propagation)，任何一种后向传播算法的 最重要部分都是使用误差度量来调整权重。
28
六、权重和偏置的调整
后向传播神经网络通过更新权重和偏置使得 网络预测的误差达到最小。具体步骤如下：
第五章 类神经网络
1
什么是类神经网络
类神经网络（Neural Network，NN）类似人类神经
结构，是“一种基于脑与神经系统研究，所启发的 信息处理技术”。它具有人脑功能基本特性：学习、 记忆和归纳。 神经网络中的几个术语：
树突(Dendrites)：神经元中负责把神经脉冲传递至细胞体
前向传播：在前向传播过程中，神经网络中的
8
所有突触的权重都是固定不变的。
什么是前馈神经网络：
不同的信息流向导致不同类型的网络，可区分
为”前馈神经网络”（feed forward neural network）和”反馈式神经网络”（feedback neural network）。
9
前馈神经网络是指信息只朝一个方向流动，
总输入信号：I j wij Oi j
i
1 转换输出信号：O j = I 1+e j
神经元4：
总输入信号：I 4 wi 4Oi 4 1*0.2 0*0.4 1*(0.5) 0.4 0.7
i
转换输出信号：O4 =
1 1 0.332 I4 0.7 1+e 1+e
杂性，以能够模拟复杂的非线性关系。
隐藏层的多少要适当，过多容易过度拟合。
一层加权神经元的网络称单层感知器，多
层加权神经元的网络称多层感知器 （multi-layer perceptrons）。
14
神经网络的形式：
一个 输出 元的 两层 神经 网络
15
一 个输 出元 的三 层神 经网 络
3
2016/9/13
Vj
y
4
2016/9/13
神经网络的特点：
类神经网络和回归分析不同，没有任何假
设的概率分布，是模式识别和误差最小化 的过程，在每一次经验中提取和学习信息。
类神经网络可以处理连续型和类别型的数
据，对数据进行预测。
神经网络是有监督学习。
5
二、类神经网络的架构
类神经网络主要结构是由神经元
四、启动函数f(•)类型
1、线性启动函数：
f I j I j
启动函数就是负责将神经元接受的输入脉冲总和， 转换成输出脉冲，但是人类神经在处理外部刺激时， 输出信号是有极限的，否则可能会因为输出信号过 强而造成对神经元的伤害。
因此，类神经网络在选取启动函数时，不能够使 用传统的线性函数，通常来说会选择兼具正向收敛 与负向收敛的函数。
的神经纤维。 神经核(soma)：神经元的中央处理部位。 轴突(Axon)：神经元中负责把神经脉冲从细胞体往外传递 的神经纤维。 突触(Synapse)：神经元之间的连结机制。
2
类神经网络，类似人类神经元结构。 神经元的主要功能是接受刺激和传递信息。神经元通 过传入神经接受来自体内外环境变化的刺激信息，并 对这些信息加以分析、综合和储存，再经过传出神经 把指令传到所支配的器官和组织，产生调节和控制效 应。
i 4 5
0.105
转换输出信号：O6 = 1 1 0.474 I6 0.105 1+e 1+e
34
4、此时，输出值0.474与真值1不一致，我们可以计 算神经元6的误差项。Errorj =Oj (1 Oj )(Tj Oj ) Errork 神经元6的误差项：
Error6 =O6 (1 O6 )(T6 O6 ) 0.474(1 0.474)(1 0.474) 0.1311
1
+1
0

-1 阶梯函数 对称阶梯函数
22
3.Sigmoid（或称S型）启动函数
f
I
j
1 I j 1 e
Sigmoid启动函数输出值界于-1和1，或 是0和1之间，是单调递增函数，函数型 数有许多种，最常用的是Logistic函数。
式中α是正常数（一般为零），Sigmoid 启动函数是最常用启动函数，非线性函 数，但是易于微分和了解。
神经元5：
总输入信号：I5 wi 5Oi 5 1*(0.3) 0*0.1 1*0.2 0.2 0.1
i
பைடு நூலகம்
转换输出信号：O5 =
33
1 1 0.525 I5 0.1 1+e 1+e
3、根据隐藏层输出信号，计算输入层神经元的 输出信号。 神经元6
总输入信号：I 6 wi 6Oi 6 0.332*(0.3) 0.525*( 0.2) 0.1
20
2.阶梯（step）启动函数的一般形式：
f I j ,Ij 0 ,Ij 0
阶梯启动函数又称阈值（threshold）启动 函数。当 1, 0 时，得到
1 f I j 0 , Ij 0 , Ij 0
21
当 1, 1 时，得到对称阶梯函数。即： 1, I j 0 f I j 1, I j 0
j * Errorj
24
* j j j
* w25 0.1 0.9(0.0065) *0 0.1 * w34 0.5 0.9(0.0087) *1 0.492 * w35 0.2 0.9(0.0065) *1 0.206
学习速率：通常是介于 * w 0～1之间，当其数值越大， 46 0.3 0.9(0.1311) *0.332 0.339 每次权数的修正量就越大。 w* 0.2 0.9(0.1311) *0.525 0.138 56 不能太小或太大。经验设 * 4 0.4 0.9(0.0087) 0.392 置为1/t，t为迭代次数。 * 目前调整权重的方法是 5 0.2 0.9(0.0065) 0.206 一种最陡坡降法。 6* 0.1 0.9(0.1311) 0.218 36
通过输入节点将输入变量加以标准化，标
准化后的变量数值落在0和1之间，或者是-1 和1之间。
将网络权重初始值设定为0（或随机产生）。
通过各节点的函数，估计数据的目标变量 值。
29
比较实际值和估计值之间的误差，并根据
误差值重新调整各权重和偏置。
重新执行第二步骤，反复执行，一直到实
际值和估计值之间的误差值最小，此时才 停止学习，此时获得最佳权重。
30
举例说明权重和偏置的调整过程
31
1、首先利用随机的方式，产生各神经元
间的权重，以及隐藏层与输出层神经元的 偏置。
w14 0.2 w15 -0.3
θ4 -0.4
w24 0.4
θ5 0.2
w25 0.1
θ6 0.1
w34 -0.5
w35 0.2
w46 -0.3
w56 -0.2
32
2、根据输入信号，计算各隐藏层神经元的输出信号 ，假设输入的样本是(X1,X2,X3,Y)=(1,0,1,1)。
16
多个输出元的三层神经网络
17
三、神经元的结构
一个神经元 j，有阈值，从上一层连接的
神经元得到n个输入变量X，每个输入变 量附加一个链接权重w。
输入变量将依照不同权重加以合并（一般
是加权总和），链接成组合函数 （combination function），组合函数的值 称为电位（potential）；然后，启动（转 换、激活、赋活)函数（activation function） 将电位转换成输出信号。
Error4 =O4 (1 O4 ) Errori w4i 0.332(1 0.332)*0.1311*( 0.3)
i
5、将此误差项反馈至隐藏层，此时可以计算隐藏层 神经元误差值。 Errorj =Oj (1 Oj ) Errork wjk k 神经元4误差项：
0.0087
Error5 =O5 (1 O5 ) Errork w5k 0.525(1 0.525)*0.1311*( 0.2)
k
神经元5误差项：
0.0065
35
6、最后根据神经元误差项，更新各神经元的权重以 及偏置，假设学习速率为0.9。 * w14 0.2 0.9(0.0087) *1 0.208 wij * Errorj Oi * w15 0.3 0.9(0.0065) *1 0.294 * wij wij wij w* 0.4 0.9(0.0087) *0 0.4
后向传播是一种按误差逆传播算法训练的多层
前馈网络的学习算法。这个神经网络包括输入 层、隐藏层和输出层。
这种学习算法下的神经网络是一组连接的输入/
输出单元，其中每个连接都与一个权相连。它 的学习规则是使用最速下降法，按照误差纠正 规则反向传播来不断调整网络的权值和阈值， 使网络的误差平方和最小，从而使得能够预测 输入样本的正确类标号。
26
五、类神经网络的训练
类神经网络学习前，必须建立出一个训练样本
（training pattern）使类神经网络在学习的过程 中有一个参考，训练样本的建立来自于实际系 统输入与输出或是以往的经验。
例如：洗衣机洗净衣服的时间，与衣服的质料、数量、
肮脏的程度有关，因此我们必须先针对不同质料、数 量、肮脏的程度的衣服统计出洗衣所需的时间，建立 训练样本。不同衣服的质料、数量、肮脏程度就是类 神经网络的输入，而洗衣所需的时间则为类神经网络 的目标值（target），也就是类神经网络的参考输出。
输入层只从外部环境接收信息，该层的每
个神经元相当于自变量，不完成任何计算， 只为下一层传递信息。
输出层生成最终结果，为网络送给外部系
统的结果值。
13
隐藏层介于输入层和输出层之间，这些层
完全用于分析，其函数联系输入层变量和 输出层变量，使其更拟合(fit)资料。
隐藏层的功能主要是增加类神经网络的复
18
xi
o1
o2
w1j w2j
j
Ij
n
f(Ij)
n表示变量的个数
Oj
：
： on
Oi表示第i个输入值(X)
Wij表示第j个神经元的
wnj
I j wij oi j
i 1
第i个输入值的权重
19
j 是第j个神经元的偏置（偏差）：偏差有增大 或者减小激活函数的净输入的作用，取决于该偏 差是负值还是正值。 I j 表示第j个神经元的输入值(组合函数)。 f（•）是神经元的启动（激活或赋活）函数 Oj=f(Ij)是第j个神经元的输出值(Y)。