数学建模之神经网络

神经网络

神经网络不需要做许多假设和和复杂的数学表达式，只用通过学习样本进行训练。

一、BP 神经网络

1.1简介

BP 神经网络由输入层、隐层和输出层三层构成。对于BP 神经网络，网络的性能受局部不准确试验数据的影响很小。所以BP 神经网络有很强的容错性。 缺点：训练时间较长，求得的解可能是局部极小解。

若R 是输入量的个数，il W 是隐层第i 个神经元与输出层第K 个神经元的连接权值，i b 是阈值。则通用神经元模型如下：

...

∑f

将多个神经元模型串起来会得到n 个神经元输出，第i 个神经元输出为

1R

i ik k i k n x b ω==+∑

第i 个神经元经过任意传递函数后得到输出为

()log ()|tan ()|()i i i i i y f n sig n sig n purelin n ==

BP 神经网络的应用

①沼泽草炭土结构特性及模型研究（下载文档） 2.1步骤

①构造建模方案

根据输入与输出关系写出表达式，如三输入，一输出的非线性函数表达式为

(,,)f d q σε=

相对应的BP 神经网络结构为

设j x ，i y ，l o 分别表示BP 网络三层节点的输入节点，隐节点，输出节点。

ij ω表示输入节点和隐节点之间的网络权值，li T 表示隐节点和输出节点之间的网络权值，我们用梯度法对BP 网络的权值进行修正，采用sigmoid 函数。若输出节点期望输出l t ，则有

输入节点至隐节点的公式为： 阈值修正：(1)()i i i j k k θθηδγ''+=+ 误差： (1)i i i l li l

y y T δδ'=-∑

权值修正: (1)()ij ij i j k k ωωηδγ''+=+ 隐节点至输出节点的公式为：

若有p 个样本数，n 个输出节点数，则一个样本的误差为()(k)1||,n

k k l l l e t o ==-∑控

制误差范围是1,p

k k E e ζ==<∑

阈值修正：(1)()l l l k k θθηδ''+=+

权值修正：(1)(),(li li l i T k T k y k ηδ+=+为迭代次数） 误差：()(1)l l l l l t o o o δ=-⋅⋅- 输出节点的计算公式为：

隐节点的输出：()i ij j i j

y f x ωθ=-∑，其中j x 为输入节点的输入，ij ω为连接

权值，i θ为节点阈值。

输出节点的输出：()l ij i l i

o f T y θ=-∑，其中ij T 为连接权值，l θ为节点阈值。

②BP 算法参数优化

一般选取初始权值的范围为：（-1，+1），

用in,out 分别表示输入层，输出层的节点数，s 表示样本训总数，则隐含节点

数的大约取值：hide =程序框图如下：

④改进BP 神经网络

针对BP 可能出现局部最小解的问题，我问用带动量因子算法对BP 算法学习过程进行改进。方法是在BP 算法的基础上往每个权值的变化上再加一项正比于前次权值变化的值，同时由方向传播来产生新的传播变化。

用K ，c 分别表示训练次数和动量因子，c 一般取0.95左右，则权值调节为：

(1)(1)()ij i j ij w k c p c w k ηδ+=-+

(1)(1)()i i i b k c c b k ηδ+=-+

二、RBF 神经网络

RBF 神经网络是一种三层前向网络，首先用径向基函数作为隐含层节点的“基”构成隐含层空间，对输入矢量进行一次性变化，将低维的模式输入映射到高维空间内，然后通过对隐含层接点输出的加权求和得到输出。RBF 网络结构如下

2.1 RBF 网络的应用

①广州铁路枢纽运货量预测（下载文档）

②沼泽草炭土结构特性及模型研究（下载文档） 2.2步骤

（1）用K 均值聚算类算法计算基函数中心 ①聚类中心(1,2,,)i d i m =的初始化，一般用最初的m 个训练样本作为i d 的

值。

②按照最近邻规则将样本集合分组，即将(1,2,,)t x t n =分到中心是i d 的输入

样本聚类集合(1,2,

,)i i m θ=中，所以有t i x θ∈且min ||||i t i d x d =-。

③将聚类中心重新调整，用i m 表示i θ的输入样本数，计算i θ中样本的平均值，即聚类中心1t i

i t

x i

d x m θ

∈

=

∑。 若聚类中心有变化则重复以上步骤，否则进入下一步。得到RBF 网络最终基

函数中心。

（2）方差的计算

选取高斯函数为径向基函数，用max d 表示选取中心间的最大距离，则方差为

1,2,,i i m σ=

=

（3）最小二乘法计算权值

用k d 表示相对于输入k x 的期望，k y 表示网络的计算输出，一般误差准则是平方误差最小，即

211

1min ()2n J

kj kj k j E d y ===-∑∑

由于基函数的参数i c 和σ已经确定，误差E 只是权重的函数，要使E 达到最小，则有

()()2211111exp 02n

J

I

M ij

kj kj km im k j i m ij E y d x c w σ====∂⎧⎫

⎡⎤=-⨯--=⎨⎬⎢⎥∂⎣⎦⎩⎭

∑∑∑∑ 将上式写成矩阵形式AW=C,求解此线性方程组即得到w 。

例题：广州铁路枢纽运货量预测

根据表1预测广州铁路枢纽的货运量

表1 1995--2006年广州铁路枢纽货运量

解：（1）预测目标及时间序列的转换