基于Matlab的BP神经网络结构与函数逼近能力的关系分析

嵌入式与单片机
参数相对较少的情况下具有极快的收敛速度, 同 时此方法 结合了梯度下降法和牛顿法的优点, 稳定性等方 面的性能 更优良, 因此本 文采用 t rain lm ( LM ) 算法 函数 对网 络进 行训练。 隐含层的神经元数 目选 择往往 需要 根据经 验和 多次 实验来确 定, 若隐 单元数 目太多会 致使学 习时间过 长、 误 差不一定 最佳, 也 会导致 容错性差、 不能识 别以前没 有看 到的样本, 可以根据以下公式选择最佳隐单元的数目。 ( 1) n1 = n + m + a, 其中, m 为输出神经元 数; n 为 输入单元数, a 为[ 1, 10] 之间的常数; ( 2) n1 = log 2 n, 其中 n 为输入单元数。
网络的结构和学习过程 , 并介绍利用 M atlab 人工神经网络工具箱设计 BP 网络的步骤 , 在此基础 上设计了 BP 网络以 验证其 函数逼近能力 , 仿真结果说明了 BP 网络具有很强的函数逼近能 力 。 并分析 BP 网络结构 和函数逼 近能力的关 系 , 得出 网络 的结构直接影响网络对函数的逼近能力和效果 。 关键词 : 人工神经网络 ; BP 网络 ; 函数逼 近 ; M atlab 中图分类号 : T P389 文献标识码 : B 文章编号 : 1004 - 373X ( 2007) 24 - 088 - 03
户不用编写复杂的算法程序, 只要在命令行设置 好相关函 数和参数, 就能完成神经网络的训练仿真。
1 1. 1
BP 人工神经网络
人工神经元结构 人工神经元是人工神经网络的基本处理单 元, 他相当 于一个多输入单 输出的 非线性 阈值 器件。图 1 是人 工神 经元的结构模型, 图 1 中 X = [ x 1 , x 2 , , x n ] 是 神经元的
参 考 文 献
[ 1] 周开利 , 康耀 红 . 神经 网路 模型 及其 M at lab 仿真 程序 设计 [ M ] . 北京 : 清华大学出版社 , 2005. [ 2] 刘皓 . BP 网络 的 M atlab 实现 及应 用研 究 [ J] . 现代 电子 技 术 , 2006, 29( 2) : 49 - 51. [ 3] 吴正茂 , 罗健 . 利用 BP 神经 网络 实现函 数逼 近 [ J] . 长 江工 程职业技术学院学报 , 2005( 2) : 50 - 52. [ 4] 高隽 . 人工 神经网 络原 理及仿 真实 例 [ M ] . 北京 : 机械 工业 出版社 , 2003. [ 5] 飞思 科技 产 品研 发 中心 . 神经 网 络 理 论与 M atlab 7 实 现 [ M ] . 北京 : 电子工业出版社 , 2005. [ 6] 柴月君 , 杨万麟 . 基于 BP 网 络和支持 向量 机的雷 达高 分辨 距离像识别 [ J] . 现代电子技术 , 2006, 29( 13) : 15 - 17. [ 7] 刘浩 , 白振兴 . BP 网 络的 M atlab 实 现及应 用研究 [ J] . 现代 电子技术 , 2006, 29( 2) : 49 - 51, 54. [ 8] 张望 , 常青 , 喻 小虎 . 应 用 T EXT IO 和 M AT L AB 进行 复杂 图 4 仿真图 2 数字系统仿真 [ J] . 国外电子元器件 , 2006, ( 1) : 4 - 7.
3. 2
隐含层层数与逼近精度的关系
仿真结果如图 3( a) ~ ( h) 所示, y( 0) 为训练后 x = 0 时
y 的值。 当隐含层为单层时神经元个数 设为 3; 当隐含层为 两层时隐含层第 1 层神经元个数设为 2, 第 2 层设为 1。图 中曲线( : ) 为网络训 练前的输出 值, 曲线( . ) 为网络 训练后
图 3 仿真图 1
89
计算机应用
罗玉春等 : 基于 Mat lab 的 BP 神经网络结构与函数逼近能力的关系分析 3. 2. 2 BP 网络隐含层为 2 层 由仿真结果可以 得出: 对 于不同 的非 线性 函数, 增加 BP 网络隐含 层 的数 目并 不 一定 意 味着 能 够改 善 逼近 的 效果。 单隐含层神经元个数与逼近精度的关系 不同 i 时 单隐含 层神经 元个 数改变 时的仿 真结 果如 图 4( a) ~ ( l) 所示。图中曲线( : ) 为 网络训练前 的输出值, 曲线( . ) 为网络训练后的输出值, 曲线( - ) 为目标值。 N为 3. 3
图 2 三层 BP 网络结构
的输出值, 曲 线 ( - ) 为 目 标值。网 络 的 最大 训 练 步 长为 8 000, 误差性能目标值为 0. 01, 显示的间隔次数为 25。
2 BP 网络的 Matlab 设计步骤
( 1) 网络的生成。其主要根据样本数 据和具体应用要 求来决定网络的拓扑结构、 网络 的层数、 输入层、 隐含 层和 输出层的神经元个数、 各层的传递函数、 训练算法函数等。 ( 2) 网络的初始化。在生成网络的 同时可根据缺 省的 参数对网络各层的权值和阀值自动进 行初始化, 也可 以根 据不同需求, 由用户对网络各层的权值 和阀值的初始 化函 数重新定义, 并使用初始化函数对网络进行初始化。 ( 3) 网络的训练。即根据提供的 样本数据 对 输 入向 量 - 目标向量 和预先设置的训练函数对网络进行训练。 ( 4) 网络的 仿真。根 据测 试数 据对 已经 训练 好的 网 络进行仿真计算。仿真图如图 3, 图 4 所示。
Analysis of Relation between the Structure of BP Feed -forward Neural Network and Precision of Function Proximate Based on Matlab
L U O Y uchun, DU H ongji, CU I Fangfang
( Po w er Engineering Colleg e, N anjing U niversity o f Science & T echno logy , N anjing , 210094, China)
Abstract: A rtif icial N eural N et wo rk is a no nlinear dynamic mat hematic model and can be applied to model no nlinear sy s tem, class identification and functio n appr ox imation. In t his paper , the structur e and learning pro cess of BP feed - for war d neur al netw or k are presented. T he paper intr oduces t he appr oach to design a BP feed - for war d neur al netw or k using M atlab/ neur al netw or k toolbox , based o n the netw or k ver ify the abilit y of functio n appr ox imation. T he result sho ws that BP feed - forw ard neural netw o rk has a str ong ability to appr ox imate function. T he paper also analyzes the r elatio n betw een the str uctur e of BP feed - fo rw ard neural netw or k and pr ecision of functio n appr ox imate, educing that the structur e BP feed fo rw ard neural netwo rk directly affect s the appr ox imate ability and effect. Keywords: A N N; BP neural netw or k; function appro x imate; M at lab
隐含层神经元个数, y( 0) 为训练后 x = 0 时 y 的值。 由仿真结果可以 得到: 对 于不同 的非 线性 函数, 并非 隐含层神经元的个数越多, 网络的逼近精度就越好。
4
结
语
利用 M atlab 的神经网 络工 具箱 建模, 避免 了计 算机 编程语言的复杂工作, 且语言简单, 调试方便, 程 序运行效 率极高。 通过对问题的仿真验证了 BP 网络具有很强的非线性 函数逼近能力, 网络的拓扑结构直接影响网络对 函数的逼 近能力和效果, 隐单元的数目与问题的要求、 输入/ 输出单 元的数目有关。 在实际应用中, 应根据具体问题选择一个合 适的网络 结构和训 练函数, 可以通 过误差对 比, 确定 最佳的隐 单元 的数目, 实现对非线性函数进行有效的逼近。
分为 2 个阶段: 第一个阶段是输入已知学习样本 向量, 通过设置 的网 络结构和前一次迭代的权值和阈值, 从 网络的输入层 经隐 含层逐层处理, 并传向输出层, 逐次算出各层节点的输出。 第二个阶段是对权值和阈值进行 修改, 根据输出 节点 的实际输出与期望输出的 误差 ( 误差大于 要求的 精度) , 将误差信号沿原来的连接通道作反向 传播, 逐次修改 网络 各层权值与阈值使误差减小。重复上 述过程, 直至网 络的 输出误差逐渐 减小 到 允许 的精 度, 或 达 到 预定 的 学习 次 数。图 2 是一个 3 层 BP 网络结构示意图。
人工神经网络( A rtificial N eural N et work, A NN ) 是由 大量神经元互相连 接而组 成的复 杂网 络系统, 具有感 知、 记忆、 学习 和联想等 功能, 能 模仿人脑 处理信 息的物理 过 程, 具有大规模并行模拟处理、 分布式 存储信息、 非线 性动 力学和网 络全局作 用, 以及 很强的自 适应、 自 学习和容 错 能力等一些特点, 因此成为一种强大的 非线性信息处 理工 具。在人工神经网络的实际应用中, 80% ~ 90% 的人 工神 经 网 路 模 型 采 用 基 于 误 差 反 向 传 播 算 法 ( Error Back Propagat ion, BP 算法) 的多层 前向 神经网 络( 即 BP 网 络) 或他的变化形式。BP 是前 馈网 络的核 心部 分, 体 现了 人 工神经网 络最为精 华的部 分, 广泛应 用于函 数逼近、 模式 识别/ 分类、 数据压缩等。 M at lab 是一种 功能 强 大的 软件, 他 是 集通 用 科学 计 算、 绘图、 系 统建模和 程序语 言设计为 一体的 高效科学 计 算软件, 使用方便、 功能强 大。M at lab 人 工神经 网络工 具 箱( Neural N et work T oolb ox ) 提供 了丰 富的网 络学习 和 训练函数, 为神经网 络的仿 真分析提 供了极 大的方便, 用