神经网络模型构成

人工神经网络模型构成

人工神经网络简介

人工神经网络（artificial neural network, ANN ）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激，其反应又从输出端传到相联的其它神经元，输入和输出之间的变换关系一般是非线性的。神经网络是由若干简单（通常是自适应的）元件及其层次组织，以大规模并行连接方式构造而成的网络，按照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神经网络，对输入信号有功能强大的反应和处理能力。

若干神经元连接成网络，其中的一个神经元可以接受多个输入信号，按照一定的规则转换为输出信号。由于神经网络中神经元间复杂的连接关系和各神经元传递信号的非线性方式，输入和输出信号间可以构建出各种各样的关系，因此可以用来作为黑箱模型，表达那些用机理模型还无法精确描述、但输入和输出之间确实有客观的、确定性的或模糊性的规律。因此，人工神经网络作为经验模型的一种，在化工生产、研究和开发中得到了越来越多的用途。

神经网络模型构成

模拟生物神经元的人工神经元的结构如图3－13所示。当神经元j 有多个输入x i (i =1,2,…,m )和单个输出y j 时，输入和输出的关系可表示为

⎪⎩

⎪⎨⎧

=-=∑

=)

(1

j j j

m

i i ij j s f y x w s θ （3－82） 其中θ j 为阈值，w ij 为从神经元i 到神经元j 的连接权重因子，f ( )为传递函数，或称激励函数。

有时为了方便，（3－82）的第一式也可统一写成

∑

==m i i ij i x w s 0

（3－83）

其中，w 0j ＝－θ j ，x 0＝1。

图3－13 人工神经元（感知器）示意图

传递函数f (x )可以选择线性函数，但通常选用非线性函数，常见到的有： （1）阶跃函数：

符号函数： ⎩⎨⎧<≥=0,00,1)(x x x f ， ⎩⎨⎧<-≥=0

,10,

1)(x x x f （3－84）

（2）Sigmoid （S 型）函数：

Sigmoid 函数：

)

exp(11

)(x x f -+=

（3－85）

双曲正切函数：

x

x x

x e e e e x x f --+-==)tanh()(

（3－86）

⎪⎩⎪

⎨⎧<≥+=0,

00,1)(22x x x x x f

（3－87）

（3）高斯型函数：

⎪⎪⎭

⎫ ⎝⎛--=∑j ji j i w x f 2

2

)(21

exp )(σx

（3－88）

函数关系的示意图如图3－14。其中阶跃函数多用于离散型的神经网络，S 型函数常用于连续型的神经网络，而高斯型函数则用于径向基神经网络（radial basis function NN ）。

图3－14 几种简单的传递函数

人工神经网络模型是由大量神经元构成的网络。按连接的方式，可将神经网络分为前向网络和有反馈网络两类；当然也可以构造除更复杂的组合网络。最简单的神经网络是前向神经网络(back-propagation neural network, BP)和径向神经网络(radial basis function, RBF)，信号仅沿输入到输出的方向流动，没有信号的反馈。更复杂的神经网络中神经元的连接方式更复杂，容许信号反馈，因而网络的功能更加强大。

按神经元传递函数的性质可分为决定性神经网络和随机性神经网络两类（图3－15）。

神经网络模型已在化学和化工领域中得到许多应用（表3－8）。

a.前向网络

b. 有反馈网络

图3－15 神经网络的分类

最常见的神经网络是前向神经网络。这里简介普通的两种。第一种是BP神经网络，或误差逆传播神经网络（back-propagation neural network）。它是单向传播的多层前向神经网络（见图3－16）：第一层是输入节点，最后一层是输出节点，其间有一层或多层隐含层节点，各层内的节点间无连接，信息仅单方向流动。

图3－16误差逆传播神

经网络（BP神经网络）

关于BP网络已经证明了下面两个基本定理：

定理3－2（Kolmogrov定理）：给定任一连续函数f:[0,1]n→R m，f可以用一个三层前向神经网络实现，第一层即输入层有n个神经元，中间层有2n+1个神经元，第三层即输出层有m个神经元。

定理3－3：给定任意ε >0，对于任意的L2型连续函数f:[0,1]n→R m，存在一个三层BP 网络，它可以在任意ε 平方误差精度内逼近f。

径向基神经网络（RBF，radial basis function NN）。由三层组成（图3－17），输入层仅传送数据到隐含层节点，中间的隐含层节点即RBF节点为常见的高斯核函数那样的辐射状

作用函数构成，而输出层通常由简单的线性函数构成。

隐含层节点的高斯核函数将对输入数据向量x=(x1,x2, …,x i…,x m)产生响应，输入数据靠近高斯核函数的中央w j=(w1,w2, …,w i…,w m)j范围时，节点j将产生较大的输出。

定理3－4：给定任意ε >0，对于任意的L2型连续函数f:[0,1]n→R m，存在一个径向基神经网络，它可以在任意ε 平方误差精度内逼近f。

图3－17 径向基神经网

络

姓名：田垅

学号：10720926