数据挖掘结课论文_袁博

数据挖掘课程论文

题目：数据挖掘中神经网络方法综述

学号：*******

*名：**

专业：工业工程

目录

一、引言 (3)

（一）数据挖掘的定义 (3)

（二）神经网络简述 (3)

二、神经网络技术基础理论 (3)

（一）神经元节点模型 (3)

（二）神经网络的拓扑结构 (4)

（三）神经网络学习算法 (4)

（四）典型神经网络模型 (5)

三、基于神经网络的数据挖掘过程 (6)

（一）数据准备 (6)

（二）规则提取 (7)

（三）规则评估 (8)

四、总结 (8)

一、引言

（一）数据挖掘的定义

关于数据挖掘的定义很多，其中被广泛接受的定义是：数据挖掘是一个从不完整的、不明确的、大量的并且包含噪声，具有很大随机性的实际应用数据中，提取出隐含其中、事先未被人们获知、却潜在有用的知识或模式的过程。该定义包含了一下几个含义：（1）数据源必须为大量的、真实的并且包含噪声的；（2）挖掘到的新知识必须为用户需求的、感兴趣的；（3）挖掘到的知识为易理解的、可接受的、有效并且可运用的；（4）挖掘出的知识并不要求适用于所有领域，可以仅支持某个特定的应用发现问题。[1]这个定义准确的叙述了数据挖掘的作用，即对海量、杂乱无章的数据进行处理和分析，并发现隐藏在这些数据中的有用的知识，为决策提供支持。

（二）神经网络简述

神经网络是模拟人类的形象直觉思维，在生物神经网络研究的基础上，根据生物神经元和神经网络的特点，通过简化、归纳，提炼总结出来的一类并行处理网络，利用其非线性映射的思想和并行处理的方法，用神经网络本身的结构来表达输入和输出的关联知识。[2]起初，神经网络在数据挖掘中的应用并未被看好，其主要原因是神经网络具有结构复杂、可解释性差、训练时间长等缺陷。但其对噪声数据的高承受能力和低错误率的优点，以及各种网络训练算法的陆续提出与优化，尤其是各种网络剪枝算法和规则提取算法的不断提出与完善，使得神经网络在数据挖掘中的应用越来越为广大使用者所青睐。

二、神经网络技术基础理论

（一）神经元节点模型

生物神经元，也成神经细胞，是构成神经系统的基本单元。生物神经元主要由细胞体、树突和轴突构成。人们将生物神经元抽象化，建立了一种人工神经元模型。

(1) 连接权

连接权对应于生物神经元的突触，各个人工神经元之间的连接强度由连接权的权值表示，权值正表示激活，为负表示抑制。

(2) 求和单元

求和单元用于求和各输入信号的加权和（线性组合）。

(3) 激活函数

激活函数起非线性映射作业，并将人工神经元输出幅度限制在一定范围内，一般限制在(0,1)或者( − 1,1)之间。

（二）神经网络的拓扑结构

人工神经网络（Artificial Neural Networks，ANN）是由大量人工神经元广泛互联而成的，它可以用来模拟神经系统的结构和功能。人工神经网络可以看成是以人工神经元为节点，用有向加权弧连接起来的有向图。根据连接方式，ANN 主要分为两大类：

(1)前馈型网络

前馈型网络是静态非线性映射，通过简单非线性处理的复合映射可获得复杂的非线性处理能力。网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，且同层中的神经元之间无连接。

(2) 反馈型网络

反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，神经元的输出可以反馈至同层或者前层神经元。因此，信号能够正向和反向流通。

（三）神经网络学习算法

下面介绍神经网络中最基本的几种学习算法：

(1) Hebb 型学习

Hebb 型学习的出发点是 Hebb 学习规则，即如果神经网络中某一神经元同另一直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度将得到加强。该学习方式可用如下表示：

(2) 误差修正学习

误差修正学习是一种有导师的学习过程，其基本思想是利用神经网络的期望输出与实际之间的偏差作为连接权值调整的参考，并最终减少这种偏差。最基本

的误差修正规则规定：连接权值的变化与神经元希望输出和实际输出之差成正比。该规则的连接权的计算公式如下所示：

(3) 竞争型学习

竞争型学习是指网络中某一组神经元相互竞争对外界刺激模式响应的权力，在竞争中获胜的神经元，其连接权会向着对这一刺激模式竞争更为有利的方向发展。竞争型学习是一种典型的无导师学习，学习时只需要给定一个输入模式集作为训练集，网络自行组织训练模式，并将其分成不同类型。[3]

(4)随机型学习

随机型学习的基本思想是结合随机过程、概率和能量（函数）等概念来调整网络的变量，从而使网络的目标函数达到最大（或最小）。网络的变量可以是连接权，也可以是神经元的状态[4]。

（四）典型神经网络模型

自1957年美国学者F.Rosenblatt于第一届人工智能会议上展示他构造的第一个人工神经网络模型—MP 模型以来，据统计到目前为止，已提出的神经网络模型有上百种之多。前馈型网络，以 BP（Back Propagation）模型、函数型网络为代表，用于分类、预测和模式识别等方面；反馈型网络，以 Hopfield 离散模型和连续模型为代表，常用于联想记忆和优化计算；自组织型网络，以 Kohonen 和ART 模型为代表，常用于聚类和模式识别。

(1) BP 误差反向传播网络，是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。BP 神经网络是需要有教师的训练。

(2) Hopfield 网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络，并且需要对称连接。

(3) Kohonen 自组织神经网络，也称为自组织特征映射网络 SOM。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以“墨西哥帽”形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特