人工神经网络基础_ANN课件 第八章

脉冲神经网络大体上可以和传统的人工神经网络一样 被用在信息处理中，而且脉冲神经网络可以对一个虚 拟昆虫寻找食物的问题建模，而不需要环境的先验知 识；并且，由于它更加接近现实的性能，使它可以用 来学习生物神经系统的工作，电生理学的脉冲和脉冲 神经网络在电脑上的模拟输出相比，决定了拓扑学和 生物神经学的假说的可能性。
SNN使用脉冲，这是一种发生在时间点上的离散事件，而非 常见的连续值。每个峰值由代表生物过程的微分方程表示出 来，其中最重要的是神经元的膜电位。本质上，一旦神经元 达到了某一电位，脉冲就会出现，随后达到电位的神经元会 被重置。
对此，最常见的模型是 Integrate-And-Fire（LIF）模型。此 外，SNN 通常是稀疏连接的，并会利用特殊的网络拓扑。
绝大多数SNN论文或者是理论的，或者在一个简单的全连接第 二代网络之中展示性能。
脉冲耦合神经网络（Pulse Coupled Neural Network， PCNN）与脉冲神经网络 （Spiking Neuron Networks， SNN) 容易混淆。脉冲耦合神经网络(PCNN)可以看做 是脉冲神经网络(SNN)的一种，而脉冲神经网络(SNN) 是更广泛的分类。两者其实无明显差异，都是基于脉 冲编码（spike coding)。
在脉冲神经网络中，神经元的当前激活水平（被建模成某 种微分方程）通常被认为是当前状态，一个输入脉冲会使 当前这个值升高，持续一段时间，然后逐渐衰退。出现了 很多编码方式把这些输出脉冲序列解释为一个实际的数字 ，这些编码方式会同时考虑到脉冲频率和脉冲间隔时间。
借助于神经科学的研究，人们可以精确的建立基于脉冲产 生时间神经网络模型。这种新型的神经网络采用脉冲编码 (spike coding)，通过获得脉冲发生的精确时间，这种新型 的神经网络可以进行获得更多的信息和更强的计算能力。
在实践中脉冲神经网络和已被证明的理论之间还存在 一个主要的不同点。脉冲神经网络已被证明在神经科 学系统中有作用，而在工程学中利用脉冲神经网络中发 现的脉冲编码，这些网络根据储备池计算的原则，但是现实 中，大规模的脉冲神经网络计算由于所需计算资源多而产能 小被限制了，造成了只有很少的大规模脉冲神经网络被用来 解决复杂的计算问题，而这些之前都是由第二代神经网络解 决的。
从信息论的观点来看，找到一种可以解释脉冲，也就是动作 电位的模型是个问题。所以，神经科学的一个基本问题就是 确定神经元是否通过时间编码来交流。时间编码表明单一的 神经元可以取代上百个S型隐藏层节点。
Alan Lloyd Hodgkin, Andrew Huxley.
A quantitative description of membrane current and its application to conduction and excitation in Nerve. The Journal of Physiology, 1952, 117(4): 500-544
动态神经网络中的神经元不是在每一次迭代传播中都被激活 （而在典型的多层感知机网络中却是），而是在它的膜电位 达到某一个特定值才被激活。当一个神经元被激活，它会产 生一个信号传递给其他神经元，提高或降低其膜电位。
弥合神经科学和机器学习之间的差距，使用最拟合生物神经 元机制的模型来进行计算。脉冲神经网络与目前流行的神经 网络和机器学习方法有着根本上的不同。
PCA
时空编码 双通道相乘调制
脉冲耦合 阈值动态改变 存在不应期
平均点火率神经元
时间编码 无
一般非脉冲耦合 一般阈值不变 不存在不应期
在脉冲神经网络中，神经元传递的是一个个脉冲，每 个神经元有一个membrane voltage，一个神经元接受输 入脉冲，导致membrane voltage变化（inhibitory neurons 和excitatory neurons分别起反向和正向作用），当神经 元的membrane voltage达到一个阈值时，便发送一个脉 冲，这个脉冲再向后传递。
由于脉冲神经网络传递的是一个个脉冲，它们组成了 一个脉冲序列，单个脉冲之间的时间间隔不一定，脉 冲序列中蕴含了temporal information，这是传统的人工 神经网络所不能表达的。
Alan Lloyd Hodgkin和Andrew Huxley在1952年提出了第一个 脉冲神经网络模型，这个模型描述了动作电位是怎样产生并 传播的。但是，脉冲并不是在神经元之间直接传播的，它需 要在突触间隙间交换一种叫“神经递质”的化学物质。这种 生物体的复杂性和可变性导致了许多不同的神经元模型。
第二代神经网络模型中难以加入时间，脉冲神经网络（特备
当算法定义为离散时间时）相当容易观察其动力学特征。很
难建立一个具有稳定行为的模型来实现一个特定功能。
总的来说，脉冲神经网络有更强的生物学基础，潜在的 能力更强大，但尚待开发:
一方面，它们是当前神经网络的天然继承者；但是另一方面，
对大多数任务来说它们还远不是实践工具。目前在实时图像 和音频处理中有一些 SNN 实际应用，但相关文献仍然很少。
第八章 脉冲神经网络
脉冲神经网络（Spiking Neuron Networks，SNN) 经常被誉为 第三代人工神经网络。实现了更高级的生物神经模拟水平。 其模拟神经元更加接近实际，除了神经元和突触状态之外， 它把时间信息的影响也考虑其中。
第一代神经网络是感知器，它是一个简单的神经元模型并且只能处理二进制数 据。第二代神经网络包括比较广泛，包括应用较多的BP神经网络。但是从本 质来讲，这些神经网络都是基于神经脉冲的频率进行编码( rate coded）。
但是脉冲神经网络暂时并没有找到一个完美的训练算法，尤 其是需要训练深层网络的时候。
需要开发一种高效的监督学习方法。这是一项艰巨的任务， 因为它涉及到，给定这些网络的生物现实主义，确定人类大 脑如何学习。
而传统人工神经网络借助统计与优化等数学工具得到充分发 展，训练得到的效果目前比脉冲神经网络要更好。