神经网络及其控制

第一章 神经网络计算

§1-1神经元模型 一、概述

神经网络的特点

1. 定义：用于模拟人脑神经元活动过程，包括对信息的加工、处理、存贮和搜索过程。

2. 特点

（1） 信息分布式存贮

（2） 信息的并行处理与推理 （3） 信息的自组织、自学习 二、神经元的模型特征

神经元——多输入单输出的信息处理单元

膜电位——细胞内部和外部具有不同的电位，当外部电位为零时，内部电位称为膜电位。 ωi >0 —— 兴奋性神经元的突触 ωi <0 —— 抑制性

ωi =0 —— 第i 个输入信号对该神经元不起任何作用 神经元具有以下特征：

1. 时空整合功能： （1） 空间总和：

定量描述为：整个神经元的膜电位（状态变化）与输入信号与其权重的线性组合：

1

n

i i i x ω=∑ 是线性相关的

（2） 时间总和：不同时刻的输入信息对神经元的影响会重叠，加起来，同时起作

用。

（3） 时空整合： 根据空间和时间总和，神经元对不同时刻和不同部位的输入进

行处理，该过程称之为时空整合作用。 定量描述为：设第i 个输入信号t 时间后对膜电位的影响为ωi （t ′(t)）,则在t 时刻，神经元膜电位的变化与下式有关：

1

()()n

t

i i i t t x t dt ω-∞

=-∑⎰

’’’ （1—1）

式中

()i x t ’——第i 个输入在时间t ′时的输入信号

2

阈值特性

神经元的输入输出之间为非线性，如图1—2所示：

图1—2 阈值特性

即：

_0y u y u θθ

⎧⎪

>==⎨<⎪⎩

θ——阈值

3. 不应期

θ本身是随着兴奋程度的变化而变化。

绝对不应期——当θ—>∞时，无论输入信号多强大，也不会有输出信号。 4. 突触结合的可塑性：即权重ωi 是实时变化的。

二、 神经模型

入

图1—3 神经元模型

输入处理：

1

n

i K K

k u I ω==⋅∑ (1—2)

活化处理：()(,)i i i i x t F u x = （1—3）

输出处理：

()()i i i o t f x = （1—4）

式中，f i （）——输出函数，根据不同模型而定。

介绍三种典型的神经元模型： 1. 阈值单元模型（MP 模型）

MP 模型——处理0和1二值离散信息的阈值单元模型。 MP 模型的数学表达式为：

11()()0()n

ij j i

i ij j i j ij j i x y x x ωθωθωθ=≥⎧⎪=

-=⎨<⎪⎩

∑兴奋抑制 ()•——阶跃函数

2. 准线性单元模型

特点：输入和输出均为连续值。（BP 网络） 神经元i 的总输入为：

1

n

i

ij j i j x x ωθ==-∑ （1—6）

输出为：

1

()1exp()i i i i i y f x x θ==

+-+

（1—7）

3. 概率神经元模型：

特点：输入信号采用0与1的二值离散信息，并把神经元的兴奋与抑制以概率表示。 神经元的总输入为

1

n

i

ij j i j x x ωθ==-∑ （1—8）

有

i x 到输出i y 的概率分布为：

1

(1)1exp(/)i i P y x T ==

+- (1—9)

式中：T ——网络温度的函数

应用：用于Boltzman 神经网络。

三、 基于控制观点的神经元模型

其主要功能由下列三部分完成： 1. 加权加法器---空间总和，即：

1

1

()()()n M

i ij i ik k i

k k t a y t b u t υω===++∑∑ （1—10）

j

i ω——常数，其作用是控制神经元保持某一状态。

2. SISO 线性动态系统---时间总和：

SISO 线性系统对于单位脉冲函数的响应就完成了时间总和，该响应为卷积分：

(')(')'t

i i x h t t v t dt -∞

=-⎰ （1—12）

式中，h （t ）函数常选用下列五种形式：

1

0 ()

001 (1)()():()1

001 (2)()()

10

11

(3)()()

1

11

(4)()()

(5)()()()

t

T

a t

a

sT

h t t H s

t

h t H s

t S

h t e H s

T Ts

h t e H s

a a s a

h t t T H s e

δ

δ

-

-•

-

==⎫

⎪<

⎧⎪

==

⎨⎪≥

⎩

⎪

⎪

⎬==

+⎪

⎪==⎪

+⎪

⎪=-=⎭

传递函数

附：δ函数是用于处理许多集中于一点或一瞬时常，例如，点电荷，点热源，窄脉冲，集中力等现象，它可用以下三种形式来定义：

2

1sin

()lim()()lim()lim

wt t G t t t

t wt

ξ

ξξω

ξ

δδδ

ξ

->∞->->∞

===

+

π

图a 图b 图c

图a