人工神经网络----蠕虫的分类问题

蠓虫的分类问题摘要本文根据已知的测量数据（9 支Af的数据和 6 支Apf的数据）制定一种分类方法，类别是已经给定的（Af或Apf），采用了人工神经网络中的多层前馈网络模型。

首先，根据人工神经元模型与前馈网络的结合建立一个多层网络模型；接着，利用向后传播算法求得一组恰当的权值，使网络具有特定的分类功能；同时为了求得向后传播算法中实际输出与理想输出的差异的极小点与极小值，使用了迭代算法中的最速下降法。

(得到的结果是什么?)关键词：人工神经元模型多层前馈网络向后传播算法最速下降法一、问题重述两种蠓虫Af和Apf已由生物学家W.L.Grogon和W.W.Wirth（1981）根据它们的触角长度、翅膀长度加以区分. 现测得6只Apf和9只Af的触长、翅膀长的问题一：如何根据以上数据，制定一种方法正确区分两种蠓虫？(需要用结果,即正确率去说明你所使用的方法的正确性,并在摘要中写出来)问题二：用问题一采用的方法的方法对触长、翅长分别为()()()1.24,1.80,1.28,1.84,1.40,2.04的3个样本进行识别。

(需要在结果中体现,即给出你的结论,并在摘要中写出来)二、问题分析本问题要求根据已知资料（9 支Af的数据和 6 支Apf的数据）制定一种分类方法，类别是已经给定的（Af或Apf）。

今后，我们将9 支Af及6 支Apf的数据集合称之为学习样本。

问题一：基于已知的资料可以建立多层前馈网络模型对蠕虫进行分类，利用已知的测量数据该模型可以进行学习过程，得到一组恰当的权值，使网络具有特定的分类功能；问题二：可以利用问题一建立的多层前馈网络模型对给定的3个样本进行分类。

三、符号说明s ：表示一个确定的已知样品标号s i O :当第s 个样品的原始数据输入网络时，相应的输出单元状态 s j H :当第s 个样品的原始数据输入网络时，相应的隐单元状态s k I :当第s 个样品的原始数据输入网络时，相应的输入单元状态 ij w :从中间层到输出层的权jk w ：从输入层到中间层的权四、模型的建立与求解4.1模型的建立4.1.1人工神经元模型图1 表示出了作为人工神经网络（artificial neural network ，以下简称 NN ）的基本单元的神经元模型，它有三个基本要素：图1 神经元模型 （i ）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。

（ii ）一个求和单元，用于求取各输入信号的加权和（线性组合）。

（iii ）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在（0,1）或（-1，1）之间）。

此外还有一个阈值k θ（或偏置k k b θ=-）。

以上作用可分别以数学式表达出来：1,,()pk kj j k k k k k j u w x v u y v θϕ===-=∑式中12,,p x x x 为输入信号，12,,k k kp w w w 为神经元k 权值，k u 为线性组合结果，k θ为阈值，()ϕ⋅为激活函数，k y 为神经元k 的输出。

若把输入的维数增加一维，则可把阈值k θ包括进去。

例如 1,()pk kj j k k j v w x y u ϕ===∑此处增加了一个新的连接，其输入为01(+1)x =-或,权值为0k k w θ=(或k b ) ，如图2 所示。

图2 神经元模型激活函数()ϕ⋅可以有以下几种: （i ）阈值函数1,0()(1)0,0v v v ϕ≥⎧=⎨<⎩即阶梯函数。

这时相应的输出k y 为1,00,0k k k v y v ≥⎧=⎨<⎩其中1pk kj j k j v w x θ==-∑ ，常称此种神经元为M P -模型。

（ii ）分段线性函数1,11()(1),11(2)20,1v v v v v ϕ≥⎧⎪⎪=+-<<⎨⎪≤-⎪⎩它类似于一个放大系数为 1 的非线性放大器，当工作于线性区时它是一个线性组合器放大系数趋于无穷大时变成一个阈值单元。

（iii ）sigmoid 函数 最常用的函数形式为1()(3)1exp()x x ϕα=+-参数0α>可控制其斜率。

另一种常用的是双曲正切函数1exp()()tanh (4)21exp()v v v v ϕ--⎛⎫==⎪+-⎝⎭这类函数具有平滑和渐近性，并保持单调性。

双曲正弦函数: sinh 2x x e e x --=;双曲余弦函数: cosh 2x xe e x -+=;双曲正切函数: tanh x x x x e e x e e ---=+;双曲余切函数: coth x xx x e e x e e--+=-;4.1.2 网络结构及工作方式除单元特性外，网络的拓扑结构也是NN 的一个重要特性。

从连接方式看 NN 主要有两种。

（i ）前馈型网络各神经元接受前一层的输入，并输出给下一层，没有反馈。

结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。

通常前馈网络可分为不同的层，第i 层的输入只与第1i - 层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。

（ii ）反馈型网络所有结点都是计算单元，同时也可接受输入，并向外界输出。

NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算元状态变化，以达到某种稳定状态。

从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。

反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。

4.1.3多层前馈网络图3 多层前馈网络为解决上述问题，考虑一个其结构如图3 所示的人工神经网络，激活函数由1()1exp()x x ϕα=+-来决定。

图中最下面单元，即由• 所示的一层称为输入层，用以输入已知测量值。

在本问题中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。

中间一层称为处理层或隐单元层，单元个数适当选取，在本问题中，取三个就足够了。

最上面一层称为输出层，在本问题中只包含二个单元，用以输出与每一组输入数据相对应的分类信息．任何一个中间层单元接受所有输入单元传来的信号，并把处理后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入与输出单元之间也没有直接联接。

这样，除了神经元的形式定义外，我们又给出了网络结构，其中只有中间层及输出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工。

在蠓虫分类问题中，1,2,,15s =分别表示学习样本中的15 个样品；当将第 s 个样品的原始数据输入网络时，相应的输出单元状态为(1,2)s i O i =，隐单元状态为(1,2,3)s j H j =，输入单元取值为(1,2)s k I k =。

如果ij w ，jk w 均已给定，那么，对应于任何一组确定的输入()12,s s I I ，网络中所有单元的取值不难确定。

事实上，对样品s 而言，隐单元j 的输入是21(5)s sjjk k k h w I ==∑相应的输出状态是21()()(6)s s s jjjk k k H h w I ϕϕ===∑由此，输出单元i 所接收到的迭加信号是332111()(7)s s s iij jij jk k j j k h w H w w I ϕ=====∑∑∑网络的最终输出是332111()()(())(8)s s s s iiij jij jk k j j k O h w H w w I ϕϕϕϕ======∑∑∑这里，没有考虑阈值，正如前面已经说明的那样，这一点是无关紧要的。

还应指出的是，对于任何一组确定的输入，输出是所有权}{,ij jk w w 的函数。

如果我们能够选定一组适当的权值}{,ij jk w w ，使得对应于学习样本中任何一组Af 样品的输入()12,s sI I ，输出()12,(1,0)s s O O =，对应于Apf 的输入数据，输出为()0,1 那么蠓虫分类问题实际上就解决了。

因为，对于任何一个未知类别的样品，只要将其触角及翅膀长度输入网络，视其输出模式靠近()0,1 亦或()1,0 ，就可能判断其归属。

当然，有可能出现介于中间无法判断的情况。

现在的问题是，如何找到一组适当的权值，实现上面所设想的网络功能。

4.1.4向后传播算法如前所述，我们希望对应于学习样本中 Af 样品的输出是()1,0，对应于 Apf 的输出是()0,1，这样的输出称之为理想输出。

实际上要精确地作到这一点是不可能的，只能希望实际输出尽可能地接近理想输出。

为清楚起见，把对应于样品s 的理想输出记为{}s i T ，那么21522,1111()()()(9)22s s ss i i ii i s i s E W T O TO ===-=-∑∑∑度量了在一组给定的权下，实际输出与理想输出的差异，由此，寻找一组恰当的权的问题，自然地归结为求适当W 的值，使()E W 达到极小的问题。

这里，()()111213212223111221223132,,,,,,,,,,,TW w w w ww w w w w w w w =。

将式（8 ）代入（9 ），有322,111()[(())](10)2ss i ij jk k i s j k E W T w w I ϕϕ===-∑∑∑易知，对每一个变量ij w 或jk w 而言，这是一个连续可微的非线性函数，为了求得其极小点与极小值，最为方便的就是使用最速下降法。

4.1.5最速下降法最速下降法是一种迭代算法，为求出()E W 的（局部）极小，它从一个任取的初始点0W 出发，()()0000000000000111213212223111221223132,,,,,,,,,,,TW w w w w w w w w w w w w =计算在0W点的负梯度方向0111213212223111221223132(),,,,,,,,,,,TW W E E E E E E E E E E E E E W w w w w w w w w w w w w =⎛⎫∂∂∂∂∂∂∂∂∂∂∂∂-∇=- ⎪∂∂∂∂∂∂∂∂∂∂∂∂⎝⎭,这是函数在该点下降最快的方向；只要0()0E W ∇≠，就可沿该方向移动一小段距离，达到一个新的点100()W W E W η=-∇,η是一个参数，只要η足够小，定能保证10()()E W E W <。

不断重复这一过程，一定能达到()E W 的一个（局部）极小点。