自动化专业英语王树青第三版6.2

6. 2采用神经网络解决问题

242页

6.2.1神经网络是什么

罗伯特Hecht Nielsen定义神经网络：一个计算系统由一些简单的，高度互 联的处理单元组其处理信息由外部输入的动态响应来体现。

把它定义成视角，考虑串行计算机，这是一个单一的中央处理器，可以解决数 据和指令存储在内存的位置。处理器获取一条指令所需的任何数据，指令并将结 果保存在一个特定的记忆内存中.换句话说，一切都发生在一个确定的序列操 作。相比之下，神经网络既不是顺序甚至一定确定的。它是由许多简单的处理元 素，通常做多一点的加权和的所有输入。而不是执行一系列指令，一个神经网络的 回答中平行的输入给它，最终结果由一个整体的网络后，已经到了一个状态稳态 条件下，输入数据集之间的关联模式和相应的输出或目标价值观。最后网络可以 用于预测结果从新的输入数据。

62.2 神经网络是如何工作的

神经网络技术来自当前研究哺乳动物的大脑，特别是大脑皮层。神经网络模 拟人脑的方式处理一个不完整的和令人费解的信息集合。考虑一个孩子如何学会 识别形状和颜色使用不同的固体形状组成的一个玩具(三角形、方形、圆形、等 等)和颜色可以插入一盒只有通过相应形状的洞和颜色。孩子们通过不断努力适 应固体物质通过这些漏洞学习并通过不断的尝试学习识别形状和颜色。最终孩子 们认识了形状和颜色，他们可以做到通过目视找到匹配孔的物体。同样，神经网 络通过不断努力学习来匹配输入的数据到相应的输出目标值。经过大量的数据实 验，学习迭代，网络创造了一个可以用来预测新的输入条件的内部模型。正如孩 子最终学会识别形状和颜色，神经网络也是识别相关对应的输入和输出之间的模 式的过程。

243页

神经网络的学习可以分为有监督的和无监督的，有监督的学习意味着在学习 (训练）期间，网络会提供一些信息来辨别正确答案应该是什么，然后神经网络 以此判别输入是否正确，并且知道如何应用它特有的学习法则来调整自己，这与 小孩学习识别不同物体的形状和颜色的过程是相似的，相反的，无监督的学习意 味着没有这些正确的答案，且不能确切地知道正确的输出应该是什么，例如，试 想一个婴儿是如何学习控制眼睛的注意力，这对一个刚出生的婴儿来说是不可能 的，但是在短短的几天中，在没有或者很少外界帮助下，这个婴儿就会对物体和 形状产生视觉刺激。对一个输入模块来说没有或有很少正确答案信息，无监督的 神经网络的学习过程就是与之相似的。

对于不同的应用的来说，不同类型的学习方法显得很重要，对于化工问题，采用有监督学习方法就可以。

神经网络可以对复杂的非线性关系进行学习，即使输入信息是噪声信号或模 糊值。神经网络在连续语音识别、模式识别、噪声数据分类、非线性特征提取、目标预测、过程建模方面具有很强的优势。神经网络技术的这些优点使它很好的 用于解决化学加工业中的问题。

6. 2. 3学习过程

如图6. 2.1所示，神经网络由很多互联的处理单元或神经元构成。每一个处 理单元接收一个输入Xi,每个输入附带一个权值Wi。根据所有输入的加权总和，处理单元估算出一个输出信号Y。如图6. 2. 2所示，当一个神经元活动或处理时 发生以下四个步骤。

244页

1这些信号的加权求和计算

2通过函数变换计算总和

3计算出的总和的函数变换，虽然不总是这样，但正常情况下是由固定的神 经网络来构建。

4转换后的结果发送给其他神经元

在一个神经元的学习过程是什么？学习意味着神经元可能改变其输入输出 对环境反应的行为。因为转移函数通常是固定的，唯一使神经元的输出因输入环 境的变化而变化的方法是通过改变神经元的加权输入。因此，在网络中的神经元 中要学习通过改变输入的权重和网络的内部模型是体现在所有这些权重的设置 上。虽然有几种神经网络的配置，但是其中特殊的一个名为“反向传播网络”广 泛应用于化学领域中。

6. 2. 4反向传播神经网络

反向传播网络一般由至少厂个层次初级层次的神经元组成，一个输入层、一 个中间层(有时被称为一个隐藏层)，和一个输出层。网络是以种一层完全连接到下一层的方式来构建。换句话说，在输入层的每个神经元将它的输出传到中间层 的神经元，而且在中间层的每个神经元层又将其输出传送到输出层中的每个神经 元，基于问题的复杂性和输入信息的大小，所有在中间层的神经元会进行分类。然而，对于给定的一定量的输入，如果中间层太大，它可能不会发展成一个可用的 模式。另一方面，若中间层太小，会大大增加训练网络所需的迭代次数。

输出流。反向传播网络，使用一组随机加权的互联首选模式呈现给网络。输 入层会接收这种模式并将其传递给中间层的每个神经元。每个神经元会通过以下 方式计算出输出信号或运动状态。首先，总的输出量Ij是由输入的信号乘以随机 的权值。

245页

该加权求和函数使用称为神经元激发函数的/(;〇函数来转化。它确定一个特定大小的输入信号在神经元中的输出结果。对于反向传播神经网络和应用于大多数化学工程的激发函 数，该激发函数是S形函数。S形激发函数，如图6.2.3,是连续的，S形，单调增加，并 且输入接近时都有一个渐近的输出定值。通常S型激发函数的上限被设定为十1,下限 为0或-1。只要是S型的激发函数，不论是具体的曲线陡度，还是实际计算它的具体函数是 什么都不太重要了。该曲线的特性会影响个体的神经元精度，但整体网络将不受影响

以下将S形曲线表示为的函数，加权输入到神经元，被广泛使用的函数模型是：X.=/(/.)=l/[l+^+r))

其中，T是一个简单的阈值，X是输入。该函数将输入信号变换成中间层神经元的输入，这 反过来，用于输出中间层的输入信号。整个网络中，这些输出被当作输入值，输入到输出层。激活被计算用于从所述中间层和所述S形函数使用的信号的每个输出层神经。这些激活输 出网络。

误差反向传播。将正向传播所计算的输出与期望或目标输出值对比。其差值（或误差）成为修改权值的依据：通常需要多次迭代来达到目标输出。最广泛使用的误差反向传播法的 原理是“delta学习规则”。通过迭代使输出神经元的实际输出和目标值之间的平均平方误差最小化，这是通过首次计算每个神经元的输出层上‘误差梯度’$来完成的：

Sj=X j(l-X j)(Tj-X j)

其中，7；是输出神经元j的实际输出值，通过计算先前层误差的权和确定隐藏层的误差梯度: sj=xja-x j)YJksk w,

其中k是先前层中的神经元。因此，错误被向后移动一层。相同的过程被递归地应用，直至 输入层。这种向后传播误差的这一过程被称为向后误差流动。这些误差梯度之后用于更新网

络权系数

246页

W ji(n + l) = W ji(n) + A W ji(n)

式中n代表指标的迭代次数，々是学习速率，表示了梯度下降搜索中的步长。通

常动量项决定了前一时刻的重量变化对后一刻的变化的影响，也可以用来改善收 敛性。第n次迭代后的重量是：