BP神经网络分类

tk a2k
(1.3.1) (1.3.2)
1.3学习规划
算法的下一阶是反向传播的敏感性值，在开始反向传播 前需要先求传输函数的导数对于f1为对数S型激活函数：
f1
n
1
1 e
n
f1'
n
0
en 1
1 en 2
en 1 en
2f1 nΒιβλιοθήκη f1(n)1.3学习规划
对于f2为线性激活函数：
1.1BP神经网络介绍
BP算法分为两个部分： 第一部分（正向传播过程）输入信息从输入层经 隐层逐层计算各单元的输出值 第二部分（反向传播过程）输出 误差逐层向前计算出隐层各单元 的误差，并用此误差修正前层权 值，最终使误差减小到可接受的 范围。具体步骤如下：
1.1BP神经网络介绍
1.从训练集中取出某一样本，把信息输入网络中。 2.通过各节点间的连接情况正向逐层处理后，得到神经 网络的实际输出。 3.计算网络实际输出与期望输出的误差。 4.将误差逐层反向回传至之前各层，并按一定原则将误 差信号加载到连接权值上，使整个神经网络的连接权 值向误差减小的方向转化。 5、对训练集中每一个输入—输出样本对重复以上步骤， 直到整个训练样本集的误差减小到符合要求为止。
2.BP网络的激活函数必须是处处可微的，因此它不能采 用二值型的阀值函数{0，1}或符号函数{－1，1}
3.BP网络经常使用的是S型传输函数（如logsig函数）， 其输出值将会限制在较小的范围（0,1）内，线性传输 函数则可以取任意值
1.3学习规则
对于图1的BP神经网络，设K为迭代次数，则每层权值 和阈值的修正按下式进行：
f2' n n' 1
根据式：（1.3.1）或（1.3.2）和各层的传输函数，可求 出第K次迭代的误差曲面的梯度g（k）=∂E(K)/∂x(k), 代入x（k+1）=x(k)-αg(k),便可逐次修正其权值和阈 值，并使总的误差减小的方向变化，直到所要求的误 差性能为止。
1.4网络程序设计
蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓 虫（Af与Apf）进行鉴别，依据的资料是触角和翅膀的 长度，已经测得了9 支Af和6 支Apf 的数据如下：
Af: (1.24,1.27)，(1.36,1.74) ，(1.38,1.64) ，(1.38,1.82) ， (1.38,1.90) ，(1.40,1.70) ，(1.48,1.82) ，(1.54,1.82) ， (1.56,2.08).
Apf: (1.14,1.82)，(1.18,1.96) ，(1.20,1.86) ，(1.26,2.00) ， (1.28,2.00) ，(1.30,1.96).
1.4程序设计
现在的问题是： 1.根据如上资料，如何制定一种方法，正确地区分两类蠓虫。
2.对触角和翼长分别为(1.24,1.80) ，(1.28,1.84) ，(1.40,2.04) 的3 个 标本，用所得到的方法加以识别。
3.设Af是宝贵的传粉益虫，Apf 是某疾病的载体，是否应该修改分 类方法。
BP（Back Propagation）算法又称为误差反向传播算 法，是人工神经网络中的一种监督式的学习算法。
BP神经网络算法基本的结构由非线性变化单元组成， 具有很强的非线性映射能力。而且网络的中间层数、 各层的处理单元数及网络的学习系数等参数可根据 具体情况设定，灵活性很大，在优化、信号处理与 模式识别、智能控制、故障诊断等许多领域都有着 广泛的应用前景。
1.1BP神经网络介绍
在人工神经网络的实际应用中，BP网络广泛应 用于函数逼近、模式识别/分类、数据压缩等， 80%~90%的人工神经网络模型是采用BP网络或 它的变化形式。
BP网络也是前馈型神经网络的核心部分，体现 了人工神经网络最精华的部分。
主要思想是从后向前（反向）逐层传播输出层的 误差，以间接计算出隐层误差。故称为误差反向 传播算法
1.2BP神经网络模型
BP网络一般为多层神经网络，由BP神经元构成的二层 网络（如下图所示：两层BP神经网络模型），BP网络 的信息从输入层流向输出层，因此是一种多层前馈神
经网络。
一个具有输入和隐含层的神经网络模型结构（图1）
1.2BP神经网络模型
1.BP网络具有一层或多层隐含层，除了在多层网络上与 其他的模型有不同外，其主要差别也表现在激活函数上。
1.1 BP网络介绍 1.2 BP网络模型 1.3 学习规划 1.4 网络程序设计
1.1BP神经网络介绍
人工神经网络（Artificial Neural Networks，ANN）系 统是 20 世纪 40 年代后出现的。它是由众多的神经 元可调的连接权值连接而成，具有大规模并行处理、 分布式信息存储、良好的自组织自学习能力等特点。
1.4程序设计
clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; %9行2列的数据，代表9
xk1 xk ak gk
式中，x（K）为第K次迭代各层之间的链接权向量或阈 向量；g（k）=∂E(K)/∂x(k)为第K次迭代的神经网络输 出误差对各权值或阈值的梯度向量；负号表示梯度的 反方向，即梯度的最速下降方向；a（k）为学习效率， 一般为常数;E(K)为第K次迭代的网络输出的总误差性 能函数，BP网络误差性能函数的默认值为均方误差。
信息的正向传递
隐含层中第i个神经元的输出
r
a1i f1( w1ij p j b1i ), i 1, 2, , s1 j 1
输出层第k个神经元的输出
s1
a2k f2 ( w2ki a1i b2k ), k 1, 2, , s2 i 1
定义误差函数
1 s2
2
E(w, B) 2 k1
1.3学习规则
当一个样本（设第P个样本）输入网络，并产生输出时， 均方误差应为各输出单元误差平方之和，即
当所有样本都输入一次后，总误差为
1.3学习规则
假设输入为P，输入神经元有r个，隐含层内有s1个神经 元，激活函数为F1，输出层内有s2个神经元，对应的激 活函数为F2，输出为A，目标矢量为T
1.3学习规则