基于BP神经网络的函数拟合

基于BP神经网络的函数拟合

摘要：随着科学技术的飞速发展，人工神经网络也迅速发展，它更是智能领域中的重要组成部分，现在它已经被广泛的应用到了数据处理、模式识别、机器控制、专家系统等多个领域之中，并且在预测领域得到了更深入的发展。BP神经网络是人工智能网络中的一个典型算法，而且它本身具有很强的非线性映射能力，解决一些非线性问题更是它最突出的一环。BP神经网络不止这-个优点，它的网络拓扑结构简单，而且具有较高的误差精度，并且它易于用编权实现，而它还具有很强的可操作性，等等。因此，BP神经网络的应用更加广泛，成为智能领域中的最重要的算法之一。

本文就BP神经网络的基本原理进行论述，并且利用BP神经网络进行二元函数拟合，对相关数据误差进行分析，并讨论如何在拟合过程中选择合适的激励函数，以使得拟合函数逼近真实函数，最后，对函数拟合的相关知识进行总结。

关键词：模式识别；BP神经网络；函数拟合；激励函数

第一章绪论

1.1 人工神经网络研究意义

人工神经网络[1]是为了进行信息处理而建立的一种数学模型，它之所以被称为神经网络是因为这一数学模型所应用的结构是一种类似大脑神经突触的联接结构。在很多领域，例如工程界、学术界等，通常称其为类神经网络，在更多的时候他们也简称其为“神经网络”。神经网络这一数学模型是由数据庞大的“神经”节点进行互联形成的一个结构，它也是一种运算模型。在这个模型中的每一个神经元节点都代表了一种特定的输出函数我们把这个特定的函数称作激励函数(activation function)[2],有时也称之为转换函数。每两个人工神经元节点之间的连接都会对通过的信息进行加权处理，对于这种加权处现，我们称它们为连接权系数或直接称它为权重（weight)，这一操作间接的模拟了神经网络的记忆功能。网络的输出并不是固定不变的，它会根据网络的连接权系数、连接方式以及激励函数的不同而发生变化。

它的理念是受到了一定的启发而形成的，生物的动作、思想是在生物（人或其他动物）神经网络的运作下产生的，这也为人工神经网络的产生提供了支持。一般来讲，人工神经网络是对学习方法（Leaning Method)进行优化的算法，在网络中应用的学习方法一般均是基于数学统计学建立起来的，也就是说，它的优化有很大-部分来自于数学统计学，因此我们可以把人工神经网络看作是数学统计学的一个实际应用。一方面我们可以通过统计学的一些标准的数学方法来得到大量的局部结构空间，这些空间均能用函数来表达；在另一个方面，特别是在人工感知领域，它是人工智能学的一个分支，我们可以为其做一系列的决策方面的问题，它是通过数学统计学的方法来完成这一任务的。综上所述，人工神经网络在应用了数学统计学方面的一些方法后，它便有了一定的判断能力和决定能力，这一现象与人的思维很是相似，它的优势明显强于正式的逻辑学推理演算。

人工神经网络具有很多分支，比如BP (Back Propagation)神经网络[3]、遗传算法等，其中最为典型的神经网络是BP神经网络，BP神经网络的优点非常多其中最为重要的优点是它具有自学习和自适应的特性，而且BP网络还具有鲁棒

性和泛化性，这使得它在很多领域得到了广泛地应用，例如函数逼近、模式识别[4]、图像处理、预测等领域。

人工神经网络特别适用于某些特定的领域，那些领域具有这样的特点：首先一点它缺乏一定的精确计算公式然而拥有着丰富的问题求解经验和数据。相反地，如果需要应用精确数学汁算，而且需要表达全部或本分的计算过程并且无法获得样本数据，这样的任务用神经网络来解决是不合适的。结合上面的问题，能够并且适合用神经网络来解决的问题必须具有以下几个特点: (1)这个问题拥有大量的实例或者能够产生大量合适的实例；(2)问题的规律和算法难于表达或不确定；（3)这一问题涉及到集合与集合间的映射关系；(4)该问题存在很多数据种类和数据量。

1.2人工神经网络研究现状

数学家W. Pitts和心理学家W. McCulloch在1943年进行合作，他们从数理逻辑角度出发，提出了一个MP模型，这一模型是神经元和神经网络最早的数学模型，这为神经网络的发展揭开了序幕。

人工神经网络在经过半个多世纪的发展，现已逐渐形成一种成熟的理论并且得到了广泛的应用。目前，人工神经网络已成为一门涉及多种学科和领域的新兴的前沿交叉学科，比如计算机科学、智能控制、信息科学、脑神经科学和人工智能等，不仅如此，他还得到广大学者的高度关注并对其进行更为深入的研究。以McCelland和Rumelhart为首的科学家小组在1986年时首先提出了BP(Back Propagation)神经网络这一概念。这一概念提出以后，BP神经网络开始了它自己的发展过程，有高潮，有低谷，直到现在才趋向于稳定。BP神经网络是一种多层的前馈网络而且它的学习算法是一种误差逆向传播算法。BP神经网络是神经网络领域中目前被应用最广的模型之一，其更是能实现映射变换的前馈网络中最常用的网络之一。BP神经网络使用的修正算法是典型的误差反传算法，这一算法的使用使神经网络具有了学习和记忆能力。而且BP神经网络在理论上能够逼近任意的连续非线性函数：一个简单的三层BP神经网络便可以实现任意一个从n维到m维的映射,而且其思路清晰、易于编程、结构简单、精度较高、可操作性强，所以它在众多领域中得到了极为广泛地应用。但是BP神经网络本身存在

着许多不足和缺点，如其容易陷于局部收敛、可能出现瘫痪现象等，这些缺点使得BP算法并不能在实际应用中处处得到胜任。正因为这些缺点与不足，在祌经网络飞速发展的这些年中，很多学者对BP神经网络进行了更为深入的研究和改进，他们提许多改进版的BP算法，如附加动量法、L—M算法等等，对BP算法进行改进的这些算法很显然成为这些年中有关BP神经网络研究的主要成果。

第二章 人工神经网络基本理论

2.1 人工神经网络的基本概念

2.1.1 人工神经元的基本描述

人工神经网络所应用的工作原理以及网络结构，它们基本上都是从大脑的一 些特性上反映过来的，比如活动规律和组织结构（大脑神经元网络）。通过对人脑的神经网络研究逐渐形成了人工神经网络，人工神经网络沿袭了人脑神经网络的一部分生物功能，即其记忆和学习功能。

图1 生物神经元结构图

2.1.2 人工神经元的数学模型[5]

人工神经元是人工神经网络的基本组成单位，也是网络中处理信息的域基本单元。人工神经元在数学领域相当于一个多对一的非线性映射，它的数学模型可以用图2来进行描述。

图2 人工神经元的数学模型

其中，j s 为输入值，阈值为 ，()f 为传速函数，j y 为输出值，中间椭圆为神经元。

图2所表示的是一个人工神经元的数学模型，由图2和图2可以看出，人工