过程神经元与过程神经网络模型

过程神经元与过程神经网络模型

1 过程神经元的定义

过程神经元是由过程输入信号加权，时间、空间二维聚合和阈值激励输出等四部分运算组成。与传统神经元M-P 模型不同之处在于过程神经元的输入和连接权都可以是时变函数，过程神经元增加了一个对于时间的聚合算子，从而其聚合运算既包含对输入信号的空间加权聚集，亦有对时间过程效应的累积。过程神经元模型的结构如图3.1所示。

图3.1 过程神经元一般模型

图3.1中，)(),...,(),(21t x t x t x n 为过程神经元的时变输入函数；)(),...,(),(21t w t w t w n 为相

应的连接权函数；)(⋅K 为过程神经元的聚合核函数；f (·)为激励函数，可取线性函数、Sigmoid

函数、Gauss 型函数等等。

按照空间聚合与时间聚合顺序的不同，过程神经元可分为两类基本数学描述模型，其输入与输出之间的关系分别为：

模型Ⅰ：

)))))(,)(((((θ-=∑⎰t X t W K f y （3.1）

其中，)(t X 为输入函数向量，)(t W 为相应的连接权函数向量，y 为输出，θ为激活阈限，“∑”表示某种空间聚合运算（例如，加权和），“∫”表示某种时间聚合运算（例如，对t 积分）。

式（3.1）表示的过程神经元对外部时变输入信号先进行时间加权聚合，即先分别考虑各个时变输入信号对系统输出的加权时间累积效应，然后再考虑这些时间累积效应的空间聚合作用，最后通过激励函数的计算输出结果。其结构如图3.2所示。

图3.2 过程神经元模型Ⅰ

模型Ⅱ：

y

(1t x (2t x (t x n

y

(1t x (2t x (t x n

)))))(,)(((((θ-=⎰∑t X t W K f y （3.2）

式（3.2）表示的过程神经元先进行空间加权聚集，即先考虑在同一时间点上多输入时变因素的空间聚合作用，然后再考虑空间聚合结果的时间累积效应。其结构如图3.3所示。这类过程神经元在实际中更为常用。

图3.3 过程神经元模型Ⅱ

值得注意：f 、K 、∑和∫可选各种算子，而且不一定可交换。因此，模型Ⅰ和模型Ⅱ并不等价。

例如：设 ∑= 加权和，∫＝积分，f =sign ，v u v u K *=),(，则式（3.1）为 )))))()((((θ-*=∑⎰dt t X t W sign y （3.3） 式（3.2）为

⎰∑-*=)))()((((θdt t X t W sign y （3.4） 进一步，可将过程神经元推广为输入输出都是时变过程函数的情况，例如： ∑⎰-=τ

θτ))))(),((((()(t X t W K f y （3.5）

或

⎰∑-=τ

θτ))))(),(((()(t X t W K f y （3.6）

其中⎰τ

是一个依赖于τ的时间聚合算子，例如，在时间区间],0[τ或],[ττk -之间的积分。

这种过程神经元可用来建立具有多隐层的复杂过程神经元网络。

为表示问题方便，下面将式（3.1）和（3.2）中的空间聚合算子用“⊕”表示，时间(过

程)聚合算子用“⊗”表示，则图3.2表示的过程神经元输入输出之间的关系可描述为 ))())()(((θ-⋅⊗⊕=K t X t W f y

(3.7)

图3.3表示的过程神经元输入输出之间的关系为

))())()(((θ-⋅⊕⊗=K t X t W f y

(3.8)

例如，

∑==

⊕n

i i i

t x t w

t X t W 1

)()()()(

(3.9)

⎰

=

⋅⊗T

t t K t A K t A 0

d )()()()( (3.10)

y

(1t x (2t x (t x n

其中，],0[T 为时变信号输入过程区间，)(⋅K 为],0[T 上的一个可积函数，或更一般地设)

(⋅K 为一个一元泛函，定义

))(()()(t A K K t A =⋅⊗ (3.11)

一般假设权函数)(t W ))(),...,(),((21t w t w t w n =和时间聚合核函数（泛函）)(⋅K 均为连续的，实际系统大多如此。由式（3.7~3.11）描述的过程神经元，其内部运算由加权乘、积分、累加和以及激励函数组成，称之为狭义过程神经元。

其实，加权聚合算子“⊕”和“⊗”还可以取其它一些形式的运算，例如用max 和min ，或T –算子和S –算子来构成“⊕”；“⊗”可取褶积、含变参积分等，激励函数f 也可以是任何形式的有界函数。由式（3.7, 3.8, 3.11）描述的过程神经元称为广义过程神经元。

过程神经元对不同实际问题的适应性和信息处理能力主要取决于时、空聚合算子的形式。过程神经元通过对训练集中样本的学习，可以对输入的时变信号特征产生过程性记忆，过程模式特征的提取和记忆以及对时变系统输入输出之间的映射关系反映在过程神经元的连接权函数上，因此它具有对时变模式的直接分类能力和类似于复合函数的函数映射能力。

多聚合过程神经元

其实，过程神经元的输入和输出函数并不一定仅仅依赖于时间，还可以依赖于其它多种因素，例如，某一实际系统的输入与空间位置),,(z y x 和时间t 有关，其输出是这些因素累积共同作用的结果，如泥石流的形成，土地砂化程度等，这时系统的输入函数形式应为),,,(t z y x u i （n i ,...,2,1=）

，即多因素过程函数。如果用神经元网络对该系统进行仿真建模，则神经元在对输入信息进行加工时，要对各变量和变量中的各种因素进行空间聚合和过程聚合，因此可将过程神经元扩展为多聚合过程神经元。

多聚合过程神经元的输入其一般形式为),...,,(21P i t t t x ，n i ,...,2,1=，],0[p p T t ∈

),...,2,1(P p =，其中p T 可以为0；输入通道的权函数为多元函数),...,,(21P i t t t w 。聚合算

子可为一般的线性或非线性泛函算子，例如空间聚合算子可以取多因素空间加权和运算，多元过程聚合算子可以取例如多元多重积分、或其它多元代数运算等形式。作为特殊情况，多聚合过程神经元可以仅有过程聚合或仅有空间聚合。多聚合过程神经元的一般模型如图3.4所示。

y

x 1(t 1,..,t p ) x 2(t 1,..,t p )

x n (t 1,..,t p )