5.第五章 神经网络

i 4 5
0.105
转换输出信号：O6 = 1 1 0.474 I6 0.105 1+e 1+e
34
4、此时，输出值0.474与真值1不一致，我们可以计 算神经元6的误差项。Errorj =Oj (1 Oj )(Tj Oj ) Errork 神经元6的误差项：
Error6 =O6 (1 O6 )(T6 O6 ) 0.474(1 0.474)(1 0.474) 0.1311
16
多个输出元的三层神经网络
17
三、神经元的结构
一个神经元 j，有阈值，从上一层连接的
神经元得到n个输入变量X，每个输入变 量附加一个链接权重w。
输入变量将依照不同权重加以合并（一般
是加权总和），链接成组合函数 （combination function），组合函数的值 称为电位（potential）；然后，启动（转 换、激活、赋活)函数（activation function） 将电位转换成输出信号。
11
什么是自组织网络 ( SOM ,SelfOrganizing Neural Networks )
自组织神经网络是一种无监督学习网络。它通
过自动寻找样本中的内在规律和本质属性，自 组织、自适应地改变网络参数与结构。
12
什么是层？
类神经网络的分为输入层、输出层和隐藏
层，三层连结形成一个神经网络。
总输入信号：I j wij Oi j
i
1 转换输出信号：O j = I 1+e j
神经元4：
总输入信号：I 4 wi 4Oi 4 1*0.2 0*0.4 1*(0.5) 0.4 0.7
i
转换输出信号：O4 =
1 1 0.332 I4 0.7 1+e 1+e
输入层只从外部环境接收信息，该层的每
个神经元相当于自变量，不完成任何计算， 只为下一层传递信息。
输出层生成最终结果，为网络送给外部系
统的结果值。
13
隐藏层介于输入层和输出层之间，这些层
完全用于分析，其函数联系输入层变量和 输出层变量，使其更拟合(fit)资料。
隐藏层的功能主要是增加类神经网络的复
通过输入节点将输入变量加以标准化，标
准化后的变量数值落在0和1之间，或者是-1 和1之间。
将网络权重初始值设定为0（或随机产生）。
通过各节点的函数，估计数据的目标变量 值。
29
比较实际值和估计值之间的误差，并根据
误差值重新调整各权重和偏置。
重新执行第二步骤，反复执行，一直到实
际值和估计值之间的误差值最小，此时才 停止学习，此时获得最佳权重。
后向传播是一种按误差逆传播算法训练的多层
前馈网络的学习算法。这个神经网络包括输入 层、隐藏层和输出层。
这种学习算法下的神经网络是一组连接的输入/
输出单元，其中每个连接都与一个权相连。它 的学习规则是使用最速下降法，按照误差纠正 规则反向传播来不断调整网络的权值和阈值， 使网络的误差平方和最小，从而使得能够预测 输入样本的正确类标号。
Error4 =O4 (1 O4 ) Errori w4i 0.332(1 0.332)*0.1311*( 0.3)
i
5、将此误差项反馈至隐藏层，此时可以计算隐藏层 神经元误差值。 Errorj =Oj (1 Oj ) Errork wjk k 神经元4误差项：
0.0087
j * Errorj
24
* j j j
* w25 0.1 0.9(0.0065) *0 0.1 * w34 0.5 0.9(0.0087) *1 0.492 * w35 0.2 0.9(0.0065) *1 0.206
学习速率：通常是介于 * w46 0.3 0.9(0.1311) *0.332 0.339 0～1之间，当其数值越大， 每次权数的修正量就越大。 w* 0.2 0.9(0.1311) *0.525 0.138 56 不能太小或太大。经验设 * 4 0.4 0.9(0.0087) 0.392 置为1/t，t为迭代次数。 * 目前调整权重的方法是 5 0.2 0.9(0.0065) 0.206 一种最陡坡降法。 6* 0.1 0.9(0.1311) 0.218 36
1
+1
0

-1 阶梯函数 对称阶梯函数
22
3.Sigmoid（或称S型）启动函数
f
I
j
1 I j 1 e
Sigmoid启动函数输出值界于-1和1，或 是0和1之间，是单调递增函数，函数型 数有许多种，最常用的是Logistic函数。
式中α是正常数（一般为零），Sigmoid 启动函数是最常用启动函数，非线性函 数，但是易于微分和了解。
23
+1
0
S 函数
24
4、分段线性启动函数
1, I j 1 f I j I j , 0 I j 1 0, I j 0
+1
0
分段线性函数
25
5、高斯启动函数
f I j e

I2 j V
钟型曲线（bell-shaped curve），输出值 在0和1之间，其中，I j 是均值，V是函数事 先定义的方差。
的神经纤维。 神经核(soma)：神经元的中央处理部位。 轴突(Axon)：神经元中负责把神经脉冲从细胞体往外传递 的神经纤维。 突触(Synapse)：神经元之间的连结机制。
2
类神经网络，类似人类神经元结构。 神经元的主要功能是接受刺激和传递信息。神经元通 过传入神经接受来自体内外环境变化的刺激信息，并 对这些信息加以分析、综合和储存，再经过传出神经 把指令传到所支配的器官和组织，产生调节和控制效 应。
第五章 类神经网络
1
什么是类神经网络
类神经网络（Neural Network，NN）类似人类神经
结构，是“一种基于脑与神经系统研究，所启发的 信息处理技术”。它具有人脑功能基本特性：学习、 记忆和归纳。 神经网络中的几个术语：
树突(Dendrites)：神经元中负责把神经脉冲传递至细胞体
（neuron）、层（layer）和网络（network） 三个部份所组成。
整个类神经网络包含一系列基本的神经元，
通过权重（weight）相互连接。
这些单元以层的方式组织，每一层的每个
神经元和前一层、后一层的神经元连接。
6
后向传播神经网络
神经元
输入层
7
隐藏层 (可多层)
输出层 (决策层)
什么是后向传播？
杂性，以能够模拟复杂的非线性关系。
隐藏层的多少要适当，过多容易过度拟合。
一层加权神经元的网络称单层感知器，多
层加权神经元的网络称多层感知器 （multi-layer perceptrons）。
14
神经网络的形式：
一个 输出 元的 两层 神经 网络
15
一 个输 出元 的三 层神 经网 络
18
xi
o1
o2
w1j w2j
j
Ij
n
f(Ij)
n表示变量的个数
Oj
：
： on
Oi表示第i个输入值(X)
Wij表示第j个神经元的
wnj
I j wij oi j
i 1
第i个输入值的权重
ห้องสมุดไป่ตู้
19
j 是第j个神经元的偏置（偏差）：偏差有增大 或者减小激活函数的净输入的作用，取决于该偏 差是负值还是正值。 I j 表示第j个神经元的输入值(组合函数)。 f（•）是神经元的启动（激活或赋活）函数 Oj=f(Ij)是第j个神经元的输出值(Y)。
27
神经网络学习就是不断调整权重的过程。 训练之前，必须将数据集分为训练数据集
和测试数据集，将权重指定给第一层的神 经元。
大多数软件包使用向后传播方法(Back
propagation)，任何一种后向传播算法的 最重要部分都是使用误差度量来调整权重。
28
六、权重和偏置的调整
后向传播神经网络通过更新权重和偏置使得 网络预测的误差达到最小。具体步骤如下：
四、启动函数f(•)类型
1、线性启动函数：
f I j I j
启动函数就是负责将神经元接受的输入脉冲总和， 转换成输出脉冲，但是人类神经在处理外部刺激时， 输出信号是有极限的，否则可能会因为输出信号过 强而造成对神经元的伤害。
因此，类神经网络在选取启动函数时，不能够使 用传统的线性函数，通常来说会选择兼具正向收敛 与负向收敛的函数。
26
五、类神经网络的训练
类神经网络学习前，必须建立出一个训练样本
（training pattern）使类神经网络在学习的过程 中有一个参考，训练样本的建立来自于实际系 统输入与输出或是以往的经验。
例如：洗衣机洗净衣服的时间，与衣服的质料、数量、
肮脏的程度有关，因此我们必须先针对不同质料、数 量、肮脏的程度的衣服统计出洗衣所需的时间，建立 训练样本。不同衣服的质料、数量、肮脏程度就是类 神经网络的输入，而洗衣所需的时间则为类神经网络 的目标值（target），也就是类神经网络的参考输出。
Error5 =O5 (1 O5 ) Errork w5k 0.525(1 0.525)*0.1311*( 0.2)
k
神经元5误差项：
0.0065
35
6、最后根据神经元误差项，更新各神经元的权重以 及偏置，假设学习速率为0.9。 * w14 0.2 0.9(0.0087) *1 0.208 wij * Errorj Oi * w15 0.3 0.9(0.0065) *1 0.294 * wij wij wij w* 0.4 0.9(0.0087) *0 0.4