神经网络理论概述教材

上海大学2015～2016学年秋季学期研究生课程考试

文献阅读报告

课程名称：《模式识别》课程编号： 08SB69004 题目: 神经网络理论概述以及实现

研究生姓名: 张三学号: 1111111

论文评语:

成绩: 任课教师: 1111111 评阅日期:

神经网络理论概述以及实现

2016-01-12

摘要: 由于其强大的学习能力，人工神经网络己经成为研究模式识别如人脸辨识、字符识别、车牌识别(LPR)、语音识别和信号处理等分类问题的重要工具。研究证明，神经网络的性能主要取决于三个因素:首先是用于训练神经网络的样本的特征选择方法，采用合适的特征选择模型，寻找最佳的神经网络优化算法。本文主要讲述BP神经网络、RBF神经网络、Hopfield离散型神经网络和Hopfield连续型神经网络。本文给出了这四种神经网络的思想步骤，并且举例子用代码认证。

关键字：神经网络,分类器, 模式识别, 拟合仿真

Overview of neural network theory and the realization Abstract: Artificial neural network (ANN) has been an important tool to investigate classification problems such as face recognition, character recognition, license plate recognition (LPR), speech, and signal processing due to strong learning ability. Many researchers agree that the performance of a neural network depends strongly on three factors: feature selection method for the training datasets, optimization algorithm for the neural network. This article focuses on the BP neural network, RBF neural network, Hopfield discrete Hopfield continuous neural networks and neural networks.This paper presents the idea step four neural networks, and examples given code certification.

Key words:Neural network, Classifier,Pattern Recognition,Fitting Simulation

目录

1. 绪论 (3)

1.1神经网络的概述 (3)

1.2论文的构成 (3)

2.神经网络的分类理论 (4)

2.1分类理论及实现过程 (4)

2.1.1 分类的定义 (4)

2.1.2 分类的实现过程 (4)

2.1.3 几种主要的分类方法及特性 (5)

2.2基于神经网络的分类理论 (6)

2.2.1 神经网络特征 (6)

2.2.2 神经网络分类方法 (7)

2.3本章小结 (8)

3. 四种神经网络的实现 (9)

3.1 BP神经网络 (9)

3.2 神经网络RBF (14)

3.3 hopfield神经网络 (18)

3.3.1 原理简介： (18)

3.3.2 离散型Hopfield (19)

3.3.3 连续Hopfield神经网络 (21)

4 结束语 (24)

参考文献： (25)

附录一 (26)

附录二 (31)

1. 绪论

1.1神经网络的概述

人工神经网络(Artificial Neural Networks，简写为ANNs)是由大量类似于生物神经元的处理单元相互连接而成的非线性复杂网络系统。它是用一定的简单的数学模型来对生物神经网络结构进行描述，并在一定的算法指导下，使其能够在某种程度上模拟生物神经网络所具有的智能行为，解决传统算法所不能胜任的智能信息处理的问题。它是巨量信息并行处理和大规模并行计算的基础，神经网络既是高度非线性动力学系统，又是自组织自适应系统，可用来描述认知、决策和控制的智能行为。

1.2论文的构成

论文撰写的过程是从理论上由浅入深地研究，再对理论进行验证的过程。本文共分四章，具体章节安排如下:

第一章是绪论，主要阐述了神经网络的定义以及内容以及构成。

第二章是神经网络的分类理论主要讲述分类的定义、分类的实现过程。神经网络的特点，神经网络的分类方法。最后对第二章进行总结。

第三章讲述四种神经网络的实现，主要讲述BP神经网络、RBF神经网络、离散型Hopfield神经网络、连续型神经网络。最后有代码实现这四个神经网络。

第四章是总结讲述本文的不足以及各种神经网络的优缺点。

第五章参考文献，附录一和附录二

2.神经网络的分类理论

2.1分类理论及实现过程

2.1.1 分类的定义

分类(Classification)是一种重要的模式识别和数据挖掘技术，其作用是根据数据集的点，找出描述并区分数据类或概念的模型或函数(我们一般称之为分类器)，以便能够使用该模型或函数预测类标记未知的对象类，导出模型是基于对训练数据集(即其类标记己知的数据对象)的分析。实现分类的关键步骤有两个，一是根据己知类别的训练数据集，训练并构造一个分类器，用于描述预定的数据类集或概念集;二是使用所获得的模型函数，对未知对象进行分类。

2.1.2 分类的实现过程

分类的实现一般具有以下三个过程:

一、数据的预处理。

进行数据预处理的目的在于按照分类的要求对数据集进行优化，以保证分类的准确性和有效性，数据的预处理可能包含以下若干步骤:

(1)数据清理。减少或消除数据中存在的系统噪声或随机噪声，删除数据集中存在的明显错误的数据，以及对空缺的数据进行处理。

(2)数据的相关性分析。需要分类的数据集中可能存在一些属性，与分类任务不相关。如果在分类过程中包含这些属性可能会减慢甚至误导学习过程，影响分类结果的准确性。进行数据相关性分析的目的就是去除这些不相关或冗余的属性。

(3)数据变换。数据集中某些连续的数据需要离散化，定性的数据需要定量化。

(4)数据归约。分类过程中有些数据需要按照比例进行缩放，也叫做数据的归一化。

二、分类器的建立。

构造分类器的过程分为训练阶段和测试阶段。一般的实现分类的过程中，需要将数据集分成两部分，一部分用于分类器的训练，另一部分则用于分类器的测试。在训练阶段，使用一定的规则或算法对训练数据集中各属性数据进行学习，由于预先知道每个训练样本的类别属性值，所以该过程也称为有导师的学习;在测试阶段，使用测试数据集对该分类器的分类准确性进行评估。将测试数据集输入到分类器中进行分类，用得出的预测类与己知的目标进行匹配，如果相同，则表明分类成功。

三、分类器的运用。