人工神经网络原理_分类及应用

=
1 2
l
[dk
k =1
−
∑ ∑ m
f ( wjk y j )]2
j=0
∂E 可得： ∂y j
l
= − (dk
k =1
− ok ) f'(netk )wjk
（１１）
将以上结果代入式（８），并应用式（５）：
f
(x)
=
1
1 + e−
x
，得到：
δ
o k
=
(dk
− ok )ok (1− ok
（１）网络误差与权值调整
输出误差Ｅ定义：
∑ E
=
1 2
(d
−
O)2
=
1 2
l k =1
(dk
−
ok
)2
（６）
∑ ∑ ∑ E
=
1 2
l
[dk
k =1
−
f (net k )]2
=
1 2
l
[dk
k =1
−
m
f ( wjk y j )]2
j=0
（７）
2 神经网络模型及训练 2.1 生物神经元模型
人脑是自然界所造就的高级动物，人的思维是由人脑来完成 的，而 思 维 则 是 人 类 智 能 的 集 中 体 现 。人 脑 的 皮 层 中 包 含 １００亿个 神经元、６ ０ 万亿个神经突触， 以及他们的连接体。神 经 系 统 的 基 本 结 构 和 功 能 单 位 就 是 神 经 细 胞 ， 即 神 经 元 ， 它 主 要 由 细 胞 体 、树 突 、 轴突和突触组成。人类的神经元具备以下几个基本功能特性： 时空 整合功能；神经元的动态极化性；兴奋与抑制状态；结构的可塑性； 脉 冲 与 电 位 信 号 的 转 换 ； 突 触 延 期 和 不 延 期 ； 学 习 、遗 忘 和 疲 劳 ； 神 经网络是由大量的神经元单元相互连接而构成的网络系统。 2. 2 人工神经网络模型
科技资讯 ２０１４ ＮＯ．０３
ＳＣＩＥＮＣＥ ＆ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
∆vij
= −η
∂E ∂vij
ｉ＝０，１，２，…，ｎ；ｊ＝１，２，…，ｍ （１０）
式中负号表示梯度下降，常数η∈（０，１）表示比例系数。在全部
推导过程中，对输出层有ｊ＝０，１，２，…，ｍ；ｋ＝１，２，…，ｌ，对隐层有
学 术 论 坛
（３）输出层输出向量：Ｏ＝（Ｏ１，Ｏ２，…，Ｏｋ，…，Ｏｌ）Ｔ； （４） 期 望 输 出 向 量： ｄ ＝ （ ｄ １，ｄ ２，…， ｄ ｋ，… ，ｄ ｌ）Ｔ； （５）输入层到隐层之间的权值矩阵：Ｖ＝（Ｖ１，Ｖ２，…，Ｖｊ，…，Ｖｍ）； （６）隐层到输出层之间的权值矩阵：Ｗ＝（Ｗ１，Ｗ２，…，Ｗｋ，…，Ｗｌ）。 ＢＰ神经网络就是通过构建上述变量来完成网络的描述。
1 神经网络简介 人工神经网络（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＡＮＮ），亦称神经
网络（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＮＮ），是一种应用类似于大脑神经突触连 接结构进行信息处理的数学模型，它是在人类对自身大脑组织结 合和思维机制的认识理解基础之上模拟出来的，它是根植于神经 科 学 、数 学 、统 计 学 、物 理 学 、计 算 机 科 学 以 及 工 程 科 学 的 一 门 技 术。心理学家Ｍｃｃｕｌｌｏｃｈ，数学家Ｐｉｔｔｓ在２０世纪４０年代第一次提出了 神经网络模型，从此开创了神经科学理论的研究时代，此后半个世 纪神经网络技术蓬勃发展。神经网络是一种计算模型， 由大量的神 经元个体节点和其间相互连接的加权值共同组成，每个节点都代 表一种运算，称为激励函数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）。每两个相互连接 的节点间都代表一个通过该连接信号加权值，称值为权重 （ｗｅｉｇｈｔ），神经网络就是通过这种方式来模拟人类的记忆，网络的 输 出 则 取 决 于 网 络 的 结 构 、网 络 的 连 接 方 式 、权 重 和 激 励 函 数 。而 网络本身通常是对自然界或者人类社会某种算法或函数的逼近， 也 可 能 是 一 种 逻 辑 策 略 的 表 达 。神 经 网 络 的 构 筑 理 念 是 受 到 生 物 的 神 经 网 络 运 作 启 发 而 产 生 的 。人 工 神 经 网 络 则 是 把 对 生 物 神 经 网络的认识与数学统计模型向结合， 借助数学统计工具来实现。另 一方面在人工智能学的人工感知领域，我们通过数学统计学的方 法，使神经网络能够具备类似于人的决定能力和简单的判断能力， 这种方法是对传统逻辑学演算的进一步延伸。
我们来看看三层ＢＰ神经网络模型的数学表达，首先我们来确 定途中各个参数所代表的涵义：
（１）输入向量：Ｘ＝（ｘ１，ｘ２，…，ｘｉ，…，ｘｎ）Ｔ； （２）隐层输出向量：Ｙ＝（ｙ１，ｙ２，…，ｙｊ，…，ｙｍ）Ｔ；
240 科技资讯 Ｓ Ｃ Ｉ Ｅ Ｎ Ｃ Ｅ ＆ Ｔ Ｅ Ｃ Ｈ Ｎ Ｏ Ｌ Ｏ Ｇ Ｙ Ｉ Ｎ Ｆ Ｏ Ｒ Ｍ Ａ Ｔ Ｉ Ｏ Ｎ
) （１２）
科技资讯 ２０１４ ＮＯ．０３ ＳＣＩＥＮＣＥ ＆ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ 人工神经网络原理、分类及应用
学 术 论 坛
王磊 (东莞职业技术学院教育技术中心 广东东莞 5 23 8 08 )
摘 要：本文就人工神经网络的原理进行了介绍，对于人工神经网络技术进行了分类，对各类神经网络工作原理进行了阐述，并以ＢＰ神经
网络为例， 对其工作原理利用数学推导方式进行了重现， 深刻揭示了神经网络的工作流程和细节。
关键词： 神经网络 Ｂ Ｐ 网络
中图分类号：ＴＰ３
文献标识码：Ａ
文章编号：１６７２－３７９１（２０１４）０１（ｃ）－０２４０－０２
神经网络是一门发展十分迅速的交叉学科，它是由大量的处 理 单 元 组 成 非 线 性 的 大 规 模 自 适 应 动 力 系 统 。神 经 网 络 具 有 分 布 式 存 储 、并 行 处 理 、高 容 错 能 力 以 及 良 好 的 自 学 习 、自 适 应 、联 想 等 特 点 。该 模 型 对 于 拟 合 现 实 复 杂 世 界 有 着 重 要 的 实 用 价 值 。
人工神经网络，使通过模仿生物神经网络的行为特征，进行分 布式并行信息处理的数学模型。这种网络依靠系统的复杂度， 通过 调整内部大量节点之间相互连接的关系，从而达到信息处理的目 的。人工神经网络具有自学习和自适应的能力， 可以通过预先提供 的一批相互对应的输入输出数据，分析两者的内在关系和规律，最 终通过这些规律形成一个复杂的非线性系统函数，这种学习分析 过 程 被 称 作“ 训 练 ”。神 经 元 的 每 一 个 输 入 连 接 都 有 突 触 连 接 强 度 ， 用一个连接权值来表示，即将产生的信号通过连接强度放大，每一 个 输 入 量 都 对 应 有 一 个 相 关 联 的 权 重 。处 理 单 元 将 经 过 权 重 的 输 入量化，然后相加求得加权值之和，计算出输出量，这个输出量是 权重和的函数，一般称此函数为传递函数。 2.3 神经网络的训练
ｉ＝０，１，２，…，ｎ；ｊ＝１，２，…，ｍ
（２）ＢＰ算法推导
对于输出层，式（９）可写为：
∆w jk
=
−η
∂E ∂w jk
=
−η
∂E ∂net k
∂net k ∂w jk
（８）对隐层，式（９）可写为：
∑ ∆vij
= −η
∂E ∂vij
= −η
∂E ∂net j
∂net j ∂vij
（１０），对于隐层，利用式（７）： E
我们从上至下，从输出层开始看ＢＰ网络的工作原理，对于输出
层：
ok = f (netk ) ｋ＝１，２，…，ｌ （１）
m
∑ netk = wjk y j ｋ＝１，２，…，ｌ （２） j=0
对于隐层： y j = f (net j ) ｊ＝１，２，…，ｍ （３）
3 BP 神经网络 目前应用最为广泛的网络，具有多层网络结构，可以由一个或
者多个隐含层。ＢＰ网络采用Ｗｉｄｒｏｗ —Ｈｏｆｆ学习算法和非线性传递 函数，典型的ＢＰ网络采用的是梯度下降算法，也就是Ｗｉｄｒｏｗ— Ｈｏｆｆ算法所规定的。ＢＰ，即Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ，就是指为非线性多 层 网 络 训 练 中 梯 度 计 算 是 采 用 信 号 正 向 传 播 、误 差 反 向 传 播 的 方 式 。通 过 采 用 非 线 性 传 递 函 数 ， Ｂ Ｐ 网 络 能 够 以 仁 义 的 精 度 逼 近 任 何 非线性函数，由于采用隐含中间层的结构，ＢＰ网络能够提取出更 高阶的统计性质，尤其是当输入规模庞大时，网络能够提取高阶统 计性质的能力就显得非常重要了，结合本文的课题，将采用ＢＰ神 经网络及其改进算法进行组合集成实验，用以解决财务预警的实 际问题，在后面的章节会采用相关实验证明组合集成的ＢＰ神经网 络的优势。
在这一步的基础上，进一步展开至输入层：
∑ ∑ ∑ ∑ ∑ E
=
1 2
l
{d k
k =1
−
m
f [ wjk f (net j )]}2
j =0
=
1 2
l
{dk
k =1
−
m
f [ wjk
j =0
n
f ( vij xi )]}2 （８）
i=0
∆wjk
=
−η
∂E ∂w jk
ｊ＝０，１，２，…，ｍ；ｋ＝１，２，…，ｌ （９）
5 竞争神经网络 竞争神经网络的特点是它的各个神经元之间是相互竞争的关
系，众多神经元之间相互竞争以决定胜出者，或胜神经元决定哪一 种原模型最能代表输入模式。
6 反馈神经网络 ＢＰ神经网络（Ｆｒｅｄｒｉｃ Ｍ．Ｈａｍ Ｉｖｉｃａ Ｋｏｓｔａｎｉｃ Ｐｒｉｎｃｉｐｌｅｓ ｏｆ
Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ ｆｏｒ Ｓｃｉｅｎｃｅ—Ｅｎｇｉｎｅｅｒｉｎｇ ２００７）ＢＰ神经网络具 有ｓｉｇｍｏｉｄ隐含层以及线性输出层，具有很强的映射能力，本节我们 对Ｂ Ｐ 网 络 神 经 元 和 网 络 结 构 进 行 介 绍 。神 经 网 络 方 法 的 具 体 步 骤 是 ： 向 网 络 提 供 训 练 例 子 ， 即 学 习 样 本 ， 包 括 输 入 和 期 望 的 输 出 。确 定 网 络 的 实 际 输 出 和 期 望 输 出 之 间 允 许 的 误 差 。改 变 网 络 中 所 有 连接权值，使网络产生的输出更接近于期望输出，直到满足确定的 允 许 误 差 。下 图 给 出 了 一 个 具 有 Ｎ 个 输 入 的 基 本 的 Ｂ Ｐ 神 经 元 模 型 结构。途中每一个输入都被赋予一定的权值， 与偏差求和和后形成 神经元传递函数的输入。