智能信息处理人工神经网络总结

第1讲：神经网络信息处理方法

人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统

人工神经网络特点：1．大规模并行处理2．分布式存储3．自适应(学习)过程

人工神经网络的基本要素：神经元功能函数、神经元之间的连接形式和网络的学习(训练)。

1.神经元功能函数

神经元在输入信号作用下产生输出信号的规律由神经元功能函数f （Activation Function）给出，也称激活函数，或称转移函数，这是神经元模型的外特性。

2 神经元之间的连接形式

*前向网络(前馈网络)

网络可以分为若干“层”，各层按信号传输先后顺序依次排列，第i层的神经元只接受第(i-1)层神经元给出的信号，各神经元之间没有反馈。======前馈型网络可用一有向无环路图表示.

*反馈网络

典型的反馈型神经网络每个节点都表示一个计算单元，同时接受外加输入和其它各节点的反馈输入，每个节点也都直接向外部输出。

Hopfield网络即属此种类型。在某些反馈网络中，各神经元除接受外加输入与其它各节点反馈输入之外，还包括自身反馈。有时，反馈型神经网络也可表示为一张完全的无向图.

3. 人工神经网络的学习(训练)

Hebb 有例子，δ学习规则，感知器学习，Hidrow_Hoff,胜者为王

第2讲：BP神经网络模型

BP神经网络其基本思想是：

学习过程由信号的正向传播与误差的反向传播两个过程组成。

正向传播时，输入样本从输入层传入，经隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出（教师信号）不符，则转向误差的反向传播阶段。

误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。

这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。

BP神经网络的缺陷:

第3讲： CMAC小脑神经网络

CMAC：Cerebellar Model Articulation Controller[1-2]，简称CMAC。CMAC。CMAC网络是仿照小脑控制肢体运动的原理而建立的神经网络模型。小脑指挥运动时具有不假思索地作出条件反射迅速响应的特点，这种条件反射式响应是一种迅速联想。

CMAC网络三个特点：

(1)作为一种具有联想功能的神经网络，它的联想具有局部推广（或称泛化）能力，因此相似的输入将产生相似的输出，远离的输入将产生独立的输出；

(2)对于网络的每一个输出，只有很少的神经元所对应的权值对其有影响，哪些

神经元对输出有影响则有输入决定；

(3)CMAC的每个神经元的输入输出是一种线性关系，但其总体上可看做一种表达非线性映射的表格系统。（由于CMAC网络的学习只在线性映射部分，因此可采

用简单的δ算法，其收敛速度比BP算法快得多，且不存在局部极小问题。CMAC 最初主要用来求解机械手的关节运动，其后进一步用于机械人控制、模式识别、信号处理以及自适应控制等领域。）

第4讲： SOM神经网络

第5讲反馈型Hopfield神经网络

Hopfield网络按网络输入和输出的数字形式不同可分为离散型和连续型两种网络,即：

①离散型Hopfield神经网络——DHNN(Discrete Hopfield Neural Network)；

②连续型Hopfield神经网络——CHNN(Continues Hopfield Neural Network)。

1.DHNN结构离散型

它是一种单层全反馈网络,共有个神经元。每个神经元都通过连接权接收所有其

它神经元输出反馈来的信息，其目的是为了让任一神经元的输出能接受所有神经元输出的控制,从而使各神经元能相互制约。其结构如图3-1所示。

第6讲 :信息融合技术

BP神经网络应用多层激励函数

第7讲: DS信息融合技术

PPT 6页左右例子

第8讲：线性PCA信息处理方法

主元分析PCA(Principal Components Analysis）：是统计学中分析数据的一种有效的方法，其目的是在数据空间中找一组向量尽可能地解释数据方差，通过一个特殊的向量矩阵，将数据从高维空间投影到低维空间，降维后保存数据的主要信息，从而使数据更易于处理。、

第11讲：信号预测模型

GM（1.1）

第12讲智能计算

遗传算法步骤：

1）选择编码策略，把参数转换成串；编码策略有二进制编码和实数编码等，若采用二进制码表示实数，每个二进制位即为一基因，

2）定义串的适应度函数；适应度函数是目标函数的映射，它包含了对优化问题所需的信息。

3）设置遗传算法的控制参数(群体规模N，交叉概率P c，变异概率P m等)，随机产生N个串构成群体；

4）计算群体中每个串的适应度，串解码所得的解越好，则适应度值越高；

5）从群体中复制两个串，串适应度越高，则被复制的概率越大；

6）在串上随机选择一个位置，以交叉概率P c对两个串进行交叉操作；

7）对两个串中的基因位以变异概率P m进行翻转；8）转至5)直至复制N个串；9）转至4)重复进行，直到解满足性能指标或规定的进化代数。

以上遗传操作过程描述了最简单的进化模型。步骤1)和步骤2)是实际应用中的关键。步骤5)至步骤7)进行三种基本遗传操作，复制实施了适者生存的原则，交叉的作用是组合父代中有价值的信息，产生新的后代，以实现高效搜索，变异的作用是保持群体中基因的多样性。