数据挖掘与知识发现(70--神经网络)

┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊第7章人工神经网络（补充）人工神经网络ANN（Artificial Neural Network）是反映人脑结构及功能的一种数学模型，它是由大量的简单处理单元经广泛并行互连形成的一种网络系统。

用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为。

它是对人脑系统的简化、抽象和模拟，具有人脑功能的许多特征。

目前，人工神经网络已在模式分类、机器视觉、机器听觉、智能计算、机器人控制、信号处理、组合优化问题求解、联想记忆、编码理论、医学诊断、金融决策、数据挖掘等领域得到广泛应用。

7.1 生物神经元网络概念神经生理学家和神经解剖学家早已证明，人类的思维是通过人脑完成的。

神经元是组成人脑的最基本单元，人脑神经元大约有1110～1210个（约为1000～10000亿个）。

神经元主要是由细胞体、树突和轴突三部分组成，是一种根须状的蔓延物。

神经元的中心有一闭点，称为细胞体，它能对接收到的信息进行处理。

细胞周围的纤维有两类：轴突是较长的神经纤维，是发出信息的；树突的纤维较短，分支也很多，是接收信息的。

一个神经元的轴突末端与另一个神经元的树突之间密切接触，传递神经元冲动的地方称为突触。

突触的冲动传递是有方向性的，不同的突触进行的冲动传递效果不一样，有的使后一种神经元发生兴奋，有的使它受到抑制。

每个神经元可有10～10000个突触。

这表明大脑是一个广泛连接的复杂网络系统。

神经元的数学模型如下图所示：图1 神经元数学模型┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊从信息处理的功能看，神经元具有如下性质：●多输入单输出；●突触兼有兴奋和抑制两种性能；●可时间加权和空间加权；●可产生脉冲；●脉冲进行传递；●非线性（有阈值）。

7.2 人工神经元模型人工神经元是对生物神经元的抽象和模拟。

所谓抽象是从数学角度而言，模拟是从其结构和功能角度而言的。

1943年，由心理学家McCulloch和数学家Pitts根据生物神经元的功能和结构，提出了一种将神经元看作二进制阈值元件的简单模型，即M-P模型，如图2所示。

图2 M-P神经元模型图2中，nxxx,,,21表示某一神经元的n个输入；iω表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神经元的输出。

显然人工神经元是一个多输入，单输出的非线性器件。

它的输入为∑=-=niiix1θωσ（7-1）它的输出为)()(1∑=-==niiixffyθωσ（7-2）其中，()f称为神经元功能函数或作用函数，表示神经元输入与输出之间的关系。

一般，不同的功能函数，对应不同的神经元模型。

常见的激励函数有：（1）阈值函数（Threshold Function）⎩⎨⎧≥=o t h e r w i s eiff,0,1)(σσ该函数也称为阶跃函数。

神经元输出1或0，反映了神经元的兴奋和抑制。

此外，符号函数也常称为神经元的激励函数。

┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊⎩⎨⎧<-≥=,1,1)s g n(σσσifif（2）分段线性函数（Piecewise-Linear Functionat）⎪⎩⎪⎨⎧≥<<--≤-=1,111,1,1)(σσσσvf该函数在[-1，1]线性区内的放大系数是一致的，这种激励函数可看作是非线性放大器的近似。

其两种特殊形式为●若在执行中，保持线性区域而使其不进入饱和状态，则会产生线性组合器；●若线性区域的放大倍数无限大，则分段函数简化为阈值函数。

（3）S函数（Sigmoid Function）此函数是人工神经网络中最常用的激励函数。

S函数的定义为)e x p(11)(σσaf-+=其中，a为Sigmoid函数的斜率参数，通过改变参数a，会获得不同的S函数。

当a趋于无穷大时，此函数转为阈值函数。

但S函数对应[0，1]连续区域，而阈值函数只是0和1两点。

此外，S函数可微的，而阈值函数不可微。

S函数也可用双曲正切函数来表示：)t a n h()(σσ=f其所对应的负值具有分析价值。

（4）高斯型函数在径向基神经网络中，神经元的输入输出关系用高斯型函数表示：))(21e x p(()22∑--=jjjixfωσ式中，2iσ为第i个神经元的标准化参数。

7.3 感知器的学习算法和LMS的学习算法7.3.1 感知器的学习算法感知器模型是由美国学者罗森勃拉特于1957年为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络。

┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊感知器模型是一种具有分层结构的前向神经网络模型。

它可分为单层、两层及多层结构。

是基于迭代的思想，通常是采用纠错学习规则的学习算法。

它和M-P模型很相似，当输入信息的加权和大于或等于阈值时，输出为1，否则输出为0或-1。

与M-P模型的不同之处是神经元之间的连接权iω是可变的，这种可变性就保证了感知器具有学习的能力。

如图3所示。

图3 感知器模型感知器的学习算法为①初始化将权值向量和域值赋予较小的非零随机值，初始迭代次数t=0;②由给定的学习实例（样本）),(*kkyX的输入向量),,,,1(21nkkkkxxxX=，以及权值分布))(,),(,()(1twtwtWnθ-=，计算感知器的输出：))(()(∑==niikikxtwfty，θ-=w这里，⎪⎪⎩⎪⎪⎨⎧<--≥-=∑∑==niikiniikikxtwxtwty11)(1)(1)(θθ③若)()(*tyytekkk-=小于给定的ε，则说明当前样本输出正确，不必更新权值，否则修改权值分布)(tW为)1(+tWikkkiixtyytwtw))(()()1(*-+=+η式中，η为学习率。

④1+=tt，取下一个实例，转至②，直到所有的样本输出都有*kkyy=为止。

说明W已经收敛于稳定的权值分布，则学习过程终止。

或者迭代次数t达到初始设定的最大迭代次数maxt。

注：上述感知器学习算法，只有在样本线性可分时，学习过程才会经有限步迭代而收敛。

┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊7.3.2 LMS的学习算法LMS算法是由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的，由于其容易实现而很快得到了广泛应用，成为自适应滤波的标准算法。

设)(ne为在时刻n时的误差信号：)()()()(nWnXndne T-=（7-3）其中，)(nd为期望输出；)](,),(),(,1[)(21nxnxnxnXm=为输入向量，或称训练样本；)](,),(),(),([)(21nwnwnwnbnWm=为权值向量；)(nb为偏差；n为迭代次数。

采用“瞬时”值均方误差作为代价函数：)(21)(2neWE=（7-4）对式（7-3）、（7-4）两边求关于权值向量W的导数可得WneneWWE∂∂=∂∂)()()()()(nXWne-=∂∂于是得)()()(nenXWWE-=∂∂（7-5）为使误差尽快减小，令权值沿着误差函数梯度方向改变，即)()()(nenXWWEWηη=∂∂-=∆（7-6）这样，就得到了LMS算法调整突触权值的公式：)()()()]()([)]()()()[()()()()()1(ndnXnWnXnXInWnXndnXnWnenXnWnWTTηηηη+-=-+=+=+（7-7）这里，η是学习速率因子，I为单位矩阵。

LMS算法的步骤如下：第一步：设置变量和参量)](,),(),(,1[)(21nxnxnxnXm=为输入向量，或称训练样本；)](,),(),(),([)(21nwnwnwnbnWm=为权值向量；)(nb为偏差；┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊)(nd为期望输出；)(ny为实际输出；η为学习速率因子；n为迭代次数。

第二步：初始化赋给)0(jW各一个较小的随机非零值，0=n。

第三步：对于一组输入样本)](,),(),(,1[)(21nxnxnxnXm=和对应的期望输出d，计算：)()()()(nWnXndne T-=)()()()1(nenXnWnWη+=+第四步：判断ε<-+|)()1(|nWnW（ε是设置的值），是否满足条件或n达到设定的最大迭代次数，若满足算法结束；若不满足将n值增加1，转到第三步重新执行。

示例参见P33《高隽编，人工神经网络原理及仿真实例，机械工业出版社，2003》7.4 前向神经网络模型及其学习算法一般的前向神经网络模型包括一个输入层、一个输出层和若干隐单元。

隐单元可以分层也可以不分层。

若分层，则称为多层前向网络。

网络的输入、输出神经元其激励函数一般取为线性函数，而隐单元则为非线性函数。

常见的前向神经网络有BP神经网络和RBF径向基神经网络。

7.4.1 多层前向神经网络的误差反向传播BP模型结构及算法BP网络模型是1985年由美国加州大学的鲁梅尔哈特（Rumelhart）和麦克菜兰（Meclelland）在研究并行分布式信息处理方法，探索人类认知微结构的过程中提出的网络模型。

从结构上看，BP网络是典型的多层网络，它不仅有输入层节点、输出层节点，而且有一层或多层隐含节点。

层与层之间多采用全互连方式，但同一层节点之间不存在相互连接。

其结构如图4所示。

从形式上看，BP网络和感知器十分相似，但它们之间存在着重要差别：●在多层感知器结构中，只有一层之间的连接权可调，而其它各层的连接权是固定的；BP网络则不同，它的每一层之间的连接权都是可调的；●感知器结构中的处理单元呈线性输入/输出关系，其单元状态为二进制的0┊┊┊┊┊┊┊┊┊┊┊┊┊装┊┊┊┊┊订┊┊┊┊┊线┊┊┊┊┊┊┊┊┊┊┊┊┊和1；而BP网络除输入层处理单元外，其他层的处理均为非线性输入/输出关系，即要求这些处理单元的特征函数应该是可微的，通常采用S型函数xexf-+=11)(图4 一个三层的BP网络结构BP网络的学习过程是由正向传播和误差反向传播组成的。

当给定网络的一组输入模式（样本）时，BP网络将依次对这组输入模式中的每个输入模式按如下方式进行学习：●把输入模式从输入层传到隐含层单元，经隐含层单元逐层处理后，产生一个输出模式传至输出层，这一过程称为正向传播；●如果经正向传播在输出层没有得到所期望的输出模式，则转为误差反向传播过程，即把误差信号按原连接路径返回，并通过修改各层神经元的连接权值，使误差信号为最小；●重复正向传播和反向传播过程，直至得到所期望的输出模式为止。

注：①网络学习（训练）过程需要正向传播和反向传播，但当网络一旦经过训练用于问题求解时，就不需要再进行反向传播；②从网络学习的角度看，信息在BP网络中的传播是双向的，但并不意味着网络的层与层之间的连接也是双向的。