智能信息处理 人工神经网络总结

第1讲：神经网络信息处理方法

人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统

人工神经网络特点：1．大规模并行处理2．分布式存储3．自适应(学习)过程

人工神经网络的基本要素：神经元功能函数、神经元之间的连接形式和网络的学习(训练)。

1.神经元功能函数

神经元在输入信号作用下产生输出信号的规律由神经元功能函数f （Activation Function）给出，也称激活函数，或称转移函数，这是神经元模型的外特性。

2 神经元之间的连接形式

*前向网络(前馈网络)

网络可以分为若干“层”，各层按信号传输先后顺序依次排列，第i层的神经元只接受第(i-1)层神经元给出的信号，各神经元之间没有反馈。======前馈型网络可用一有向无环路图表示.

*反馈网络

典型的反馈型神经网络每个节点都表示一个计算单元，同时接受外加输入和其它各节点的反馈输入，每个节点也都直接向外部输出。

Hopfield网络即属此种类型。在某些反馈网络中，各神经元除接受外加输入与其它各节点反馈输入之外，还包括自身反馈。有时，反馈型神经网络也可表示为一张完全的无向图.

3. 人工神经网络的学习(训练)

Hebb 有例子，δ学习规则，感知器学习，Hidrow_Hoff,胜者为王

第2讲：BP神经网络模型

BP神经网络其基本思想是：

学习过程由信号的正向传播与误差的反向传播两个过程组成。

正向传播时，输入样本从输入层传入，经隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出（教师信号）不符，则转向误差的反向传播阶段。

误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。

这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。

BP神经网络的缺陷:

第3讲： CMAC小脑神经网络

CMAC：Cerebellar Model Articulation Controller[1-2]，简称CMAC。CMAC。CMAC网络是仿照小脑控制肢体运动的原理而建立的神经网络模型。小脑指挥运动时具有不假思索地作出条件反射迅速响应的特点，这种条件反射式响应是一种迅速联想。

CMAC网络三个特点：

(1)作为一种具有联想功能的神经网络，它的联想具有局部推广（或称泛化）能力，因此相似的输入将产生相似的输出，远离的输入将产生独立的输出；

(2)对于网络的每一个输出，只有很少的神经元所对应的权值对其有影响，哪些神经元对输出有影响则有输入决定；

(3)CMAC的每个神经元的输入输出是一种线性关系，但其总体上可看做一种表达非线性映射的表格系统。（由于CMAC网络的学习只在线性映射部分，因此可采用简单的δ算法，其收敛速度比BP算法快得多，且不存在局部极小问题。CMAC最初主要用来求解机械手的关节运动，其后进一步用于机械人控制、模式识别、信号处理以及自适应控制等领域。）

第4讲： SOM神经网络