BP神经网络在回归分析中的应用研究

Abstract: This paper investigates the BP neural network in the application of regression analysis and predict with examples.Comparing with the general method , the results of the experiment with the BP neural network are more accurate . The BP neural network has a lot of advantages in regression analysis . Key Words : neural networks ; regression analysis ; representation
A study on the BP neural network applied to regression analysis
XIN Daxin , WANG Changyuan , XIAO Feng
( Dept of Compr Sci & Engr , Xi an Inst of Tech , Xi an 710032, China)
1 O ={ 1 +exp[ -(∑ WjiOpi +θ ]} j)
( 1)
式中 , Opi 为模式 P 输至网络节点 j 的输出 ; Wji 为节点 i 到 j 的连结权 ; θ j 为节点 j 的阀值 . 定义网络误差函数为 ε= ε p = 式中 Tpj 期望的输出 . 相应的代价函数为 J =E [ ε ] =E[ ε p] =J p ( 3) 网络的最佳权值为使( 3) 式取得极小值时的解 . 为此 , 利用非线性规则中的梯度下降算法来 求解最佳权值 . 训练集中的每个样本输至网络时 , 网络的权值都要作相应的调整 . 其改变量 为
收稿日期 : 2001 -12 -10 作者简介 : 辛大欣( 1966 ) , 男( 汉族) , 西安工业学院讲师 , 从事神经网络技术研究 .
130 西 安 工 业 学 院 学 报 第 22 卷
用传统的回归分析方法存在以下缺陷 : ( 1) 不管是对一元线性回归还是一元非线性回归 , 首先 , 都要做出散点图 , 根据散点图来 判断回归曲线的类型 . 因此 , 回归出的曲线只能刻画变量之间的大致关系 , 对回归曲线的细 节刻画不足 . 同时 , 基本回归曲线类型很少 , 并且有许多曲线不能化为线性问题进行处理 . 所 以 , 回归出的曲线在一定程度上描述不出变量之间的本质关系 , 误差较大 . ( 2) 多元回归计算量太大 , 随着变量数目的增加 , 计算量剧增 . 并且要相互比较的曲线数 目也剧增 , 选择一条最优回归曲线较难 . 并且 , 选用不同的回归方法 , 对变量取值还有一定程 度的限制 . ( 3) 对多元线性和非线性回归需要较深的数学知识 , 对于某些较复杂的多元回归仍然是 比较困难的事情 .
132 西 安 工 业 学 院 学 报 第 22 卷
因此 , 回归方程为 Y = 117 . 08 +4 . 334X 1 -2 . 857 X 2 -2 . 186X 3 下面使用神经网络来拟合此四个变量的关系 . 网络的拓扑结构为 : 输入层 3 个神经元 , 分别 代表 X 1 , X 2 , X 3 ; 输出层为 1 个神经元 , 代表 Y ; 两个隐含层各 5 个神经元 . 用表 1 的样本进 行训练 , 结果如表 1 中所示 . 同时 , 表 1 中也给出了用传统一元线性即上面回归方程的回归 结果 .
2 ( Tpj -Opj) 2
( 2)
第 2 期 辛大欣等 : BP 神经网络在回归分析中的 应用研究 131
ε p Wji = w ji 式中 η 为学习速率 . 从而有 Wji = η δ pj · Opj 其中 δ pj 为 j 节点的误差信号 . 对输出层节点 j , 有 δ Tpj -Opj ) Opj( 1 - Opj) pj =( 对隐含层节点 j , 有 δ pj = 1 -Opj ) Opj pkWkj( ∑δ
[2 ]
.
一种不太严格的构造证明是基于这样的定理 : 所有连续函数可以用简单凸函数来叠加 表示 . 比如在用积分法去逼近连续函数 , 经常用距形或梯形去叠加 . 通过构造含有一个隐含 层前馈神经网络能够产 生一维上这样 的凸函数 , 对于更高维来说 , 用两个 隐含层就 足够 了[ 5] . BP 学习算法 , 是对多层网络进行研究而提出的一种有效监督学习算法 . 该算法基于最 小均方差准则 , 由计算正向输出和误差反向传播组成 . 通过由比较网络的实际输出与期望输 出来不断地调节网络权值 , 直至收敛为止[ 6 , 7] . 网络中每个节点的输入输出存在如下非线性 关系
[ 5 , 8]
2 应用研究实例
2. 1 多元线性回归分析实例 表 1 的数据是对 20 个病人身体中某几种化学物质进行测量取得的 . 其中 Y 的含量的多
[ 6] 少与某一类疾病有关 . X 1 , X 2 , X 3 表示另外几种物质的含量 , 他们与 Y 的含量多少有关 .
由于多变量之间的关系已不能简单地靠看散点图来确定他们之间的大致关系 , 假如我 们已经知道 X 1 , X 2 , X 3 与 Y 之间存在线性关系 , 即 Y = β0 +β1 Xk 1 +β2 X k2 +β3 X k 3 类似于一元线回归方法 , 记 Q( β0 , β1 , β2 , β3)= Y ∑( -β0 -β1 X k1 -β2 X k 2 -β3 X k3) 求 Q / β0 , Q/ β1 , Q/ β2 , Q/ β3 , 并令其都等于零 , 可得正规方程组 , 求解出 β0 , β1 , β2 , β3 . 经过用正规方程求解 , 得出 β0 =117 . 08 , β1 = 4. 334 , β2 =2. 857 , β3 =2. 186 .
BP 神经网络在回归分析中的应用研究
辛大欣 , 王长元 , 肖 峰
( 西安工业学院 计算机科学 与工程系 , 陕西 西安 710032) 摘 要 : 通过实例比较 , 分 析了神经网络在回归分析和预测中的应 用 . 与 传统的回归 方法相比 在 某些方面有一定的 优势 . 关键词 : 神经网络 ; 回归分 析 ; 拟合 中图号 : O212 . 1 文献标识码 : A 文章编号 : 1000-5714( 2002) 02 -0129-07
1 神经网络百度文库归分析原理
神经网络有逼近非线性函数的能力 , 它是基于 Kolmogorov 映射网络存在理论 . 在神经网 络中最广泛应用的信息处理运算是数学映射 , 给定一个输入向量 X , 网络应该产生一个输出 向量 Y =Χ ( X) , 网络的基本特征是从复杂的高维数据中提取和识别必要的参数 . Kolmogorov 理论认为[ 4] , 只要处理单元是一个输入变量的任意连续递增函数或是几个变量的总和 , 则一 个输入向量 X 可以映射成任意输出函数 Y =Χ ( X) . 1989 年 Robert Hecht_ Nirlson 证明了对于任何在闭区间内的一个连续函数都可以用一个 隐层的 BP 网络来逼近 . 因而一个三层的 BP 网络可以完成任意的 N 维到 M 维的映照
表 1 多元线 性回归分析实例数据及结果 受实验者 物质 X 1 物质 X 2 物质 X 3 物质 Y 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 19 . 5 24 . 7 30 . 7 29 . 8 19 . 1 25 . 6 31 . 4 27 . 9 22 . 1 25 . 5 31 . 1 30 . 4 18 . 7 19 . 7 14 . 6 29 . 5 27 . 7 30 . 2 22 . 7 25 . 2 43 . 1 49 . 8 51 . 9 54 . 3 42 . 2 53 . 9 58 . 5 52 . 1 49 . 9 53 . 5 56 . 6 56 . 7 46 . 5 44 . 2 42 . 7 54 . 4 55 . 3 58 . 6 48 . 2 51 . 0 29 . 1 28 . 2 37 . 0 31 . 1 30 . 9 23 . 7 27 . 6 30 . 6 23 . 2 24 . 8 30 . 0 28 . 3 23 . 0 28 . 6 21 . 3 30 . 1 25 . 7 24 . 6 27 . 1 27 . 5 11 . 9 22 . 8 18 . 7 20 . 1 12 . 9 21 . 7 27 . 1 25 . 4 21 . 3 19 . 3 25 . 4 27 . 2 11 . 7 17 . 8 12 . 8 23 . 9 22 . 6 25 . 4 14 . 8 21 . 1 线性回 归回归结果 14 . 8 20 . 2 20 . 9 23 . 1 11 . 8 22 . 2 25 . 7 22 . 3 19 . 6 20 . 5 24 . 6 25 . 0 15 . 0 13 . 7 11 . 8 23 . 7 22 . 9 26 . 7 18 . 5 20 . 5 神经网络回归结果 14 . 4 20 . 4 18 . 5 24 . 1 13 . 0 22 . 1 25 . 8 22 . 9 18 . 0 20 . 7 25 . 3 25 . 3 13 . 4 14 . 0 12 . 5 23 . 4 23 . 3 25 . 7 17 . 5 20 . 8
( 4)
( 5)
( 6) ( 7)
式中 , δ Wkj 为节点 j 到其上一层节点 k 的连接权 . pk 为 j 节点上一层节点 k 的误差 ; 从以上公式可以得出 , 通过误差反向传播 , 调整权值 , 最终的输出就会接近所要求得期 望值 . 这个过程称为训练 . 当达到所要求的误差时 , 就认为网络已经能在某种程度上能近似 表示输入与输出的关系 . 也就是说 , 用含有两个隐含层的神经网络能拟合许多任意复杂的连续函数 . 回归分析的 实质就是在抽样数据的基础上进行曲线拟合 . 如果对训练好的网络输入新的数据 , 输出的结 果就是对此曲线新的点结果的预测 . 所以 , 用神经网络可以进行有关的曲线回归分析 , 也可 以用已回归好即训练好的结果去预测新的样本 . 由于 BP 神经网络的训练的不确定性 , 有时 容易陷入局部极小点 . 根据许多学者的研究 , 为了加速收敛和防止震荡 , 可在权的修正公式 中附加动量项 . 该方法是为每个权值调节量加上一项正比例于前次权变化的值 , 这就要 求调节完成后 , 要把该调节量记住 , 以便在下面的权的调节中使用 . 在本文的研究中 , 权的调 节公式为 Wji( new)= Wji ( old)+η×δ j ×Oji +α ×[ ΔWji( old) ] 其中 , α 称为动量系数或惯性系数 . ( 8)
第 22 卷 第 2 期 西 安 工 业 学 院 学 报 Vol. 22 No. 2 2002 年 6 月 JOURNAL OF XI AN INSTITUTE OF TECHNOLOGY June 2002
人工神经网络是基于人类大脑的结构和功能而建立起来的新的研究和应用领域 . 她在 模式识别 、 优化等方面显示出了许多优秀的特征 . 如容错性 、 分布式记忆等 . 使其能够摆脱传 统方法和技术的约束 , 对很多现实问题人工神经网络可大显身手[ 1 , 2] . 人工神经网络是一种 简单的系统处理方法 , 但它有很强的自动调节能力 . 它通过调整其内部联接权向量去匹配输 入输出之响应 . 含有两个隐含层的 BP 神经网络具有拟合多维空间曲面的能力 . 本文据此通 过实例研究了它在回归分析及预测方面的应用 , 分析了传统回归分析方法和神经网络方法 的区别和优势 . 回归分析是一种统计工具 , 它利用两个或两个以上变量之间的关系 , 由一个或几个变量 来预测另一个变量或几个变量 . 回归分析过程就是根据抽样数据 , 用一定的统计方法来求解 变量之间相互关系的过程 , 传统的回归分析方法和步骤可参考文献[ 3] . 回归分析是工程应用和科学实验等领域广泛应用的方法之一 , 主要应用于预测 、描述 、 控制等 .