BP神经网络的几种改进方法

BP神经网络的几种改进方法
发展趋势:
人工神经网络正向模拟人类认知的道路上更加深入发展,与 模糊系统、遗传算法、进化机制等结合，形成计算智能，成 为人工智能的一个重要方向，将在实际应用中得到发展。 随着神经网络理论研究的深入以及网络计算能力的不断提 高, 神经网络的应用领域将会不断扩大, 应用水平将会不断提 高, 最终达到神经网络系统可用来帮人做事的目的, 这也是神 经网络研究的最终目标。
BP神经网络的几种改进方法
2.网络初始参数归一化处理
由于输入样本属于不同量纲，故对所有的输入样本，( 如： 网络初始数据)进行归一化处理并使之转化到[0,1]之间。 这里利用比例压缩法，具体公式为：
训练完成后，将最终得到的数据进行还原处理；其公式为
BP神经网络的几种改进方法
3.隐含层节点数选择方法的改进
状态,尤其下降趋势明显时, 则说明此时学习率可以按一定比 例增大.
BP神经网络的几种改进方法
与其他优化算法的结合:
遗传算法、利用混沌运动遍历的特点的混沌算法、模拟退 火算法 其中与遗传算法结合的论文相对较多,两者算法特性存在 明显互补性，前者利用梯度下降法，使权值向它的误差函 数负梯度方向进行调整， 以实现最快减少误差，局部微调 性强，但容易陷于局部最优点。后者主要特点是群体搜索 策略和群体中个体之间的信息交换，搜索不依赖于梯度信 息，算法鲁棒性强，不易陷于局部最优，但是收敛到全局 最优解所需的时间可能很长
优化网络学习结构的参数来提高训练速度的方法。 如 ：误差函数修正法、激励函数选取法等
BP神经网络的几种改进方法
一些具体改进方法:
1.修正BP算法的误差函数和激励函数
等效误差分量和的大小和正负的变化对收敛速度存在影 响,修正误差函数可以定义为：
激励函数也是BP算法中影响收敛的重要因素，激励函数 的选取影响着BP算法的收敛速度
BP神经网络的几种改进方法
研一队:张之武 2010年6月8日
BP神经网络的几种改进方法
B P网络存在的问题 :
1.对初始权值的选取很敏感 2.网络隐含层节点数选择的盲目性 3.收敛速度慢容易陷入局部极小而无法得到全局最优解 4.泛化能力较差
BP神经网络的几种改进方法
主要的改进策略:
隐含层的神经元数可用以下公式计算：
式中k为隐含层节点数，n为输入层节点数，m为输 出 层节点数，公式计算值需要用四舍五入法进行取整，在 考虑上述公式和比较仿真的效果后确定隐含层的节点数。
BP神经网络的几种改进方法
4.改进的BP网络学习率
其中0.0001 ≦ λ≦0.001,此算法认为,如果网络误差处于下降
谢谢大家!
▪ 1.算法自身的改变 ▪ 2.与其他优化算法的结合
wenku.baidu.com
BP神经网络的几种改进方法
提高BP网络收敛速度的方法归纳为三类：
优化网络学习率的变化方式来提高训练速度的方法。 如：动量项法、自适应学习率法、共轭梯度法、牛顿 迭代法等
优化网络初始参数方式来提高训练速度的方法。如： 对输入初始参数和网络连接权重参数进行归一化等