神经网络算法的软件应用研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2）线性样本和非线性样本。现举两例说明：OR （逻辑加法）：输入为((0,0),(0,1),(1,0),(1,1)), 期望输出为 (0,1,1,1)，见图 2（a）。XOR（异或运算）：
输入为((0,0),(0,1),(1,0),(1,1)), 期望输出为(0,1,1,0)，见 图 2（b）。非线性样本在最早的感知机模型中遇到了 障碍，因为感知机的两层网络结构不能对非线性样本 进行超平面的划分。
图 4 误差反向传播
层似 乎对 算法 性能 没有 提高），见 图 3 。 BP 算法原理。BP 算法由正向传播和反向传播
两部分组成。在正向传播过程中，输入信息从输入层
经隐层单元处理后，传至输出层。每一层神经元的状
态只影响下一层神经元的状态。如果输出层得不到期 望输出，就反向传播，即把误差信号沿连接路径返回， 并通过修改各层神经元之间的连接权值，使误差信号
（a）样本能够均匀的分布
（b）不存在一个超平面
在超平面的两侧
能将样本区分开
图 2 超平面的划分举例
3）非线性样本转化为线性样本。一个超平面不
收稿日期：2011- 04- 14；修回日期：2011- 09- 10 作者简介：白 鹏（1979-），男，山西太原人，在读工程硕士，研究方向：计算机软件开发。
△Wij = αSi*Sj. . 1.2 神经网络的几何意义与样本
1）神经网络的几何意义。N个神经元（j =1..n）对 神经元 i 的总输入 Ii为：Ii = ΣWijxj- θi 令 I = 0，得到一个 几何上的超平面。从几何角度看，一个神经元代表一 个超平面。超平面将解空间分为 3 部分：平面本身、平 面上部、平面下部，神经元起到分类的作用。
1）MP 模型。每个神经元的状态由 MP 方程决定， Ui =（f (ΣTij*Vj)- θi）. 其意义是每个神经元的状态是由一 定强度（权值 Tij）的外界刺激（输入 Vj）累加后经过细 胞体加工（激励函数 f (x)）产生一个输出。神经元的模 型，见图 1。
图 1 神经元的模型
2）联想学习。Hebb 定理：神经元 i 和神经元 j 之 间，同时处于兴奋状态，则他们间的连接应该加强，即
·2 01·
第 1 期（总第 125期）
机械 管理 开发
能划分非线性样本，多个超平面划分就可以了。可以 认为，神经网络能够确定超平面对样本空间划分，样本 越丰富，划分空间越均匀，预测就越准确。反之，样本 越少，而问题很复杂的话（超平面很多），就会越难划分 空间。 2 BP 网络算法 2.1 BP 网络模型
节点：hn 个 source，1个 target。
2012年 2 月
图 3 BP 网络模型
BP 网 络（BackPropa gation Network）意为 反 向
传播网络，BP 网络是一种
三层模型。在输入层和输 出层之间加入了一层叫做 隐 层（Hidden Neurons）。 一般只取一个隐层（多隐
人工神经网络（Artificial Neural Network- ANN）是 对人脑最简单的一种抽象和模拟，是模仿人的大脑神 经系统信息处理功能的一个智能化系统，也是人们进 一步解开人脑思维奥秘的有力工具。智能是指对环境 的适应和自我调整能力，人工神经网络是有智能的。 预测作为决策的前提和基础，对最终决策方案的选择 具有至关重要的作用。 1 神经网络的观念介绍 1.1 神经网络的模型与内涵
最小。
网络训练的目 的是找到一组权值，使 E 极小化。
LMS算法用梯度下降法，即权重的增量正比于误差的
负导数：
ΔT li =
-
ηE T li
.
Δw ij
=
-
η'
E w ij
.
用误差修正输出层和隐节点的权值，误差反向传
播，见图 4。 2.2 BP 网络的 OO 抽象
抽象实体，建立类，见图 5。
Neuron - - > 神 经 元 节 点 ，见 图 6。 成 员 ：Set<
Link>:source 连接该节点的 Link；成员：Set<Link>:tar get 该节点伸出去的Link；成员：double：data 该节点 的状态值，隐节点的状态值是中间结果，输入节点的
data 是输入样本，输出节点的 data 是样本的预测输出
值。输入层节点：0 个 source ，hn 个 target（hn 为隐节 点个数）。隐层节点：in 个 source，out 个 targe；输出层
第 1 期（总第 125期） No.1（SUM No.125）
机械 管理 开发 MECHANICAL MANAGEMENT AND DEVELOPMENT
2012年 2 月 Feb.2012
神经网络算法的软件应用研究 Nhomakorabea白鹏（太原理工大学 计算机科学与技术学院，山西 太原 030024） 摘 要：BackPropagation 神经网络是重 要的人工神经网络，有强大的非线 性映射、自学 习、泛化容 错能力，并 能充分 考虑主观因素，具有启发式搜索的 特点。主要介绍 BP 网络算法用 JAVA语言的实 现方式及其在预测股票价 格方面 的应用。 关键词：神经网络；人工神经网络；预测 中图分类号：TP391.9 文献标识码：A 文章编号：1003- 773X（2012）01- 0201- 03
神经网络的学习可分为有导师学习和无导师学 习。有导师学习是指基于知识系统，在实际的学习过 程中，需要通过给定的输入输出数据，所进行的一种学 习方式。无导师学习是指通过系统自身的学习，来达 到期望的学习结果，所进行的一种学习。该学习不需 要老师为系统提供各种精确的输入输出信息和有关知 识，而只需提供系统所期望达到的目标和结果。
0 引言 从第一台计算机发明以来，以计算机为中心的信
息处理技术得到迅速发展，然而，计算机在处理一些人 工智能的问题时遇到很大困难。一个人很容易辨认出 他人的脸庞，而计算机却很难做到。这是因为传统的 信息处理，都有精确的模型做指导，而人工智能却没 有，很难为计算机编写明确的指令或程序。大脑是由 生物神经元构成的巨型网络，本质上不同于计算机，是 一种大规模的秉性处理系统，它有学习、联想、记忆、综 合等能力，并有巧妙的信息处理方法。神经元不仅是 组成大脑的基本单元，而且是大脑进行信息处理的基 本单元。
输入为((0,0),(0,1),(1,0),(1,1)), 期望输出为(0,1,1,0)，见 图 2（b）。非线性样本在最早的感知机模型中遇到了 障碍，因为感知机的两层网络结构不能对非线性样本 进行超平面的划分。
图 4 误差反向传播
层似 乎对 算法 性能 没有 提高），见 图 3 。 BP 算法原理。BP 算法由正向传播和反向传播
两部分组成。在正向传播过程中，输入信息从输入层
经隐层单元处理后，传至输出层。每一层神经元的状
态只影响下一层神经元的状态。如果输出层得不到期 望输出，就反向传播，即把误差信号沿连接路径返回， 并通过修改各层神经元之间的连接权值，使误差信号
（a）样本能够均匀的分布
（b）不存在一个超平面
在超平面的两侧
能将样本区分开
图 2 超平面的划分举例
3）非线性样本转化为线性样本。一个超平面不
收稿日期：2011- 04- 14；修回日期：2011- 09- 10 作者简介：白 鹏（1979-），男，山西太原人，在读工程硕士，研究方向：计算机软件开发。
△Wij = αSi*Sj. . 1.2 神经网络的几何意义与样本
1）神经网络的几何意义。N个神经元（j =1..n）对 神经元 i 的总输入 Ii为：Ii = ΣWijxj- θi 令 I = 0，得到一个 几何上的超平面。从几何角度看，一个神经元代表一 个超平面。超平面将解空间分为 3 部分：平面本身、平 面上部、平面下部，神经元起到分类的作用。
1）MP 模型。每个神经元的状态由 MP 方程决定， Ui =（f (ΣTij*Vj)- θi）. 其意义是每个神经元的状态是由一 定强度（权值 Tij）的外界刺激（输入 Vj）累加后经过细 胞体加工（激励函数 f (x)）产生一个输出。神经元的模 型，见图 1。
图 1 神经元的模型
2）联想学习。Hebb 定理：神经元 i 和神经元 j 之 间，同时处于兴奋状态，则他们间的连接应该加强，即
·2 01·
第 1 期（总第 125期）
机械 管理 开发
能划分非线性样本，多个超平面划分就可以了。可以 认为，神经网络能够确定超平面对样本空间划分，样本 越丰富，划分空间越均匀，预测就越准确。反之，样本 越少，而问题很复杂的话（超平面很多），就会越难划分 空间。 2 BP 网络算法 2.1 BP 网络模型
节点：hn 个 source，1个 target。
2012年 2 月
图 3 BP 网络模型
BP 网 络（BackPropa gation Network）意为 反 向
传播网络，BP 网络是一种
三层模型。在输入层和输 出层之间加入了一层叫做 隐 层（Hidden Neurons）。 一般只取一个隐层（多隐
人工神经网络（Artificial Neural Network- ANN）是 对人脑最简单的一种抽象和模拟，是模仿人的大脑神 经系统信息处理功能的一个智能化系统，也是人们进 一步解开人脑思维奥秘的有力工具。智能是指对环境 的适应和自我调整能力，人工神经网络是有智能的。 预测作为决策的前提和基础，对最终决策方案的选择 具有至关重要的作用。 1 神经网络的观念介绍 1.1 神经网络的模型与内涵
最小。
网络训练的目 的是找到一组权值，使 E 极小化。
LMS算法用梯度下降法，即权重的增量正比于误差的
负导数：
ΔT li =
-
ηE T li
.
Δw ij
=
-
η'
E w ij
.
用误差修正输出层和隐节点的权值，误差反向传
播，见图 4。 2.2 BP 网络的 OO 抽象
抽象实体，建立类，见图 5。
Neuron - - > 神 经 元 节 点 ，见 图 6。 成 员 ：Set<
Link>:source 连接该节点的 Link；成员：Set<Link>:tar get 该节点伸出去的Link；成员：double：data 该节点 的状态值，隐节点的状态值是中间结果，输入节点的
data 是输入样本，输出节点的 data 是样本的预测输出
值。输入层节点：0 个 source ，hn 个 target（hn 为隐节 点个数）。隐层节点：in 个 source，out 个 targe；输出层
第 1 期（总第 125期） No.1（SUM No.125）
机械 管理 开发 MECHANICAL MANAGEMENT AND DEVELOPMENT
2012年 2 月 Feb.2012
神经网络算法的软件应用研究 Nhomakorabea白鹏（太原理工大学 计算机科学与技术学院，山西 太原 030024） 摘 要：BackPropagation 神经网络是重 要的人工神经网络，有强大的非线 性映射、自学 习、泛化容 错能力，并 能充分 考虑主观因素，具有启发式搜索的 特点。主要介绍 BP 网络算法用 JAVA语言的实 现方式及其在预测股票价 格方面 的应用。 关键词：神经网络；人工神经网络；预测 中图分类号：TP391.9 文献标识码：A 文章编号：1003- 773X（2012）01- 0201- 03
神经网络的学习可分为有导师学习和无导师学 习。有导师学习是指基于知识系统，在实际的学习过 程中，需要通过给定的输入输出数据，所进行的一种学 习方式。无导师学习是指通过系统自身的学习，来达 到期望的学习结果，所进行的一种学习。该学习不需 要老师为系统提供各种精确的输入输出信息和有关知 识，而只需提供系统所期望达到的目标和结果。
0 引言 从第一台计算机发明以来，以计算机为中心的信
息处理技术得到迅速发展，然而，计算机在处理一些人 工智能的问题时遇到很大困难。一个人很容易辨认出 他人的脸庞，而计算机却很难做到。这是因为传统的 信息处理，都有精确的模型做指导，而人工智能却没 有，很难为计算机编写明确的指令或程序。大脑是由 生物神经元构成的巨型网络，本质上不同于计算机，是 一种大规模的秉性处理系统，它有学习、联想、记忆、综 合等能力，并有巧妙的信息处理方法。神经元不仅是 组成大脑的基本单元，而且是大脑进行信息处理的基 本单元。