基于BP的神经网络变量筛选

i 1
j 1
（3-3）
输出层第 k 个节点的输出 ok：
q
q
M

ok (netk ) ( wki yi ak ) wki ( wij x j i ) ak
i 1
i1
j 1

（2）误差的反向传播过程
（3-4）
误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差
梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。
对于每一个样本 p 的二次型误差准则函数为 Ep：
E p

1 2
L k 1
(Tk
ok )2
（3-5）
系统对 P 个训练样本的总误差准则函数为：
E

1 2
P p 1
L
(Tkp
k 1
okp )2
（3-6）
根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含
1
a1
x1


…
…
…
输
入 变
xj
量
xM
i

wij
wki
…
q

…
输入层
隐含层
…
ak
aL
输出层
o1
输 出
ok 变
量
oL
图 2-1 BP 网络结构 图中： x j 表示输入层第 j 个节点的输入，j=1,…,M； wij 表示隐含层第 i 个节点到输入层第 j 个节点之间的权值； i 表示隐含层第 i 个节点的阈值； (x) 表示隐含层的激励函数；
(Tk p ok p ) ' netk yi
p1 k 1
PL
ak
(Tk p ok p ) ' netk
p1 k 1
PL
wij
(Tkp okp ) ' netk wki (neti ) x j
p1 k 1
论文题目 学生姓名
基于 BP 的神经网络变量筛选 xxx
所在学院
信息工程学院
专业及学号
MZ13659
完成日期
2013 年 12 月 27 日
基于 BP 的神经网络变量筛选
摘要 BP（Back Propagation）网络是 1986 年由 Rumelhart 和 McCelland 为首的科学家小组 提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模 型之一。BP 网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这 种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网 络的权值和阈值，使网络的误差平方和最小。BP 神经网络模型拓扑结构包括输入层 （input）、隐层(hide layer)和输出层(output layer)。本文是用 matlab 来仿真一个基于 BP 的神经网络变量筛选的实例，这个例子无论是对于初学 matlab 还是对于神经网络的人来 说，都是十分经典的。
PL
i
(Tkp okp ) ' netk wki (neti )
p1 k 1
（3-11）
（3-12） （3-13） （3-14） （3-15） （3-16）
（3-17） （3-18） （3-19） （3-20）
4
开始
批量输入学习样本并且对输 入和输出量进行归一化处理

E yi
yi neti
neti wij
（3-10）
3
隐含层阈值调整公式：
i

E i

E neti
neti i

E yi
yi neti
neti i
又因为：
E
ok
PL

(Tk p ok p )
p1 k 1
net k wki
隐含层第 i 个节点的输出 yi：
（3-1）
2
M
yi (neti ) ( wij x j i ) j 1
（3-2）
输出层第 k 个节点的输入 netk：
q
q
M
netk wki yi ak wki ( wij x j i ) ak
i 1
ok net k
net k wki
（3-8）
输出层阈值调整公式：
ak

E ak
E netk
netk ak

E ok
ok netk
netk ak
（3-9）
隐含层权值调整公式：
wij

E wij

E neti
neti wij
1945 年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计 算机时代的开始。1948 年，他在研究工作中比较了人脑结构与存储程序式计算机的根本 区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机 技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计 算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算 机联系在一起的，但他也是人工神经网络研究的先驱之一。
关键词：BP 神经网络，变量筛选，matlab 仿真
1
目录
摘 要...........................................................................................................................................1 目 录...........................................................................................................................................2 ⒈ BP神经网络的发展历史......................................................................................................1 ⒉ 基本BP算法公式推导..........................................................................................................2 ⒊基本BP算法的缺陷................................................................................................................ 5 ⒋ BP算法的改进......................................................................................................................6
另外，在 60 年代初期，Widrow 提出了自适应线性元件网络，这是一种连续取值的 线性加权求和阈值网络。后来，在此基础上发展了非线性多wk.baidu.com自适应网络。当时，这些 工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。
1
2. 基本 BP 算法公式推导
基本 BP 算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出 时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。
参数初始化：最大训练次数，学习精度，隐节点 数，初始权值、阈值，初始学习速率等
计算各层的输入和输出值 Yes
2
1. BP 神经网络的发展历史
人工神经网络早期的研究工作应追溯至上世纪 40 年代。下面以时间顺序，以著名的 人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。
1943 年，心理学家 W·Mcculloch 和数理逻辑学家 W·Pitts 在分析、总结神经元基 本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领 域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。

yi
，
netk ak

1
，
neti wij

xj
，
neti i
1
E
yi
P

p 1
L
(Tkp okp )
k 1
'(netk ) wki
yi neti
(neti )
所以最后得到以下公式：
ok netk

'(netk )
PL
wki
50 年代末，F·Rosenblatt 设计制作了“感知机”，它是一种多层的神经网络。这项 工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿 效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研 究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研 究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以 解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视； 其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制 作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可 能的；另外，在 1968 年一本名为《感知机》的著作中指出线性感知机功能是有限的， 它不能解决如异或这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论 点促使大批研究人员对于人工神经网络的前景失去信心。60 年代末期，人工神经网络的 研究进入了低潮。
⒋1 附加动量法.................................................................................................................6 ⒋2 自适应学习速率.........................................................................................................7 ⒋3 动量-自适应学习速率调整算法........................................................................................ 7 ⒌ 案例--基于BP的神经网络变量筛选................................................................................... 7 ⒌1 matlab程序实现............................................................................................................. 8 ⒌2 matlab仿真结果............................................................................................................. 11 ⒍实验小结...............................................................................................................................12
层权值的修正量Δwij，隐含层阈值的修正量 i 。
wki

E wki
ak ；

E ak
wij ；

E wij
i ；

E i
（3-7）
输出层权值调整公式：
wki
E wki
E net k
net k wki
E ok
wki 表示输出层第 k 个节点到隐含层第 i 个节点之间的权值，i=1,…,q； ak 表示输出层第 k 个节点的阈值,k=1,…,L； x 表示输出层的激励函数；
ok 表示输出层第 k 个节点的输出。
（1）信号的前向传播过程 隐含层第 i 个节点的输入 neti：
M
neti wij x j i j 1