第四章2-常用故障诊断算法(人工神经网络)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
元及其互连方法决定的。
x1
xn
j
wj1 ： ： wjn
f(_)
yj
如图所示，神经元单元由多个输入xi，i=1,2,...,n和一个输出y 组成。中间状态由输入信号的权和表示，而输出为：
y j (t ) f ( wij xi j )
i 1 n
式中，j为神经元单元的偏置（阈值），wji为连接权系数 （对于激发状态，取正值，对于抑制状态，取负值），n为输入 信号数目， yj为神经元输出，t为时间，f(＿)为输出变换函数。
6
4.1.1 人工神经网络研究的进展（3）
4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地 提出多层网络的学习算法——BP算法，较好地解决了多层网络的 学习问题。（Paker1982和Werbos1974年）。 国内首届神经网络大会是1990年12月在北京举行的。 存在问题： 应用面还不够宽 结果不够精确 存在可信度的问题 对策： 开发现有模型的应用，并在应用中根据实际运行情况对模型、算 法加以改造，以提高网络的训练速度和运行的准确度。 充分发挥两种技术各自的优势是一个有效方法。 希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
输出层
19
输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏 层神经元的个数的决定了网络拓扑 增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网 络精度和表达能力。 BP网一般都选用二级（3层）网络。因为可以证明如果BP网络 中隐层单元可以根据需要自由设定，那么一个三层网络可以 实现以任意精度近似任意连续函数。
（2）按极小化误差的方式调整权矩阵。
1 m （3）网络关于第p个样本的误差测度： E p ( y pj O pj ) 2 j 1 （4）网络关于整个样本集的误差测度： E E p
p
Байду номын сангаас22
输出层权的调整
ANp
wpq wpq
第L-1层 第L层
ANq
w pq w pq w pq w pq q O p f n' (netq )( y q Oq )O p Oq (1 Oq ) ( y q Oq )O p
在线监测与故障诊断
Online Monitoring and Fault Diagnosis
倪建军 博士 河海大学常州校区
1
第四章 常用故障诊断算法 The algorithms of fault diagnosis
2
本章主要内容及重要知识点
主要内容：
专家系统
人工神经网络
支持向量机 模糊推理
的情况，此函数的形式为：
f i ( w ji x j i )
j 1 n
13
人工神经网络的结构基本上分为两类：递归（反馈） 网络和前馈网络。
（１）递归网络
在递归网络中，多个神经元互 连以组织一个互连神经网络，如图 所示。有些神经元的输出被反馈至 同层或前层神经元。因此，信号能 够从正向和反向流通。Hopfield网 络，Elmman网络和Jordan网络是递 归网络有代表性的例子。递归网络 又叫做反馈网络。
14
（2）前馈网络
前馈网络具有递阶分层结构，由一些同层神经元间不存在 互连的层级组成。从输入层至输出层的信号通过单向连接流通； 神经元从一层连接至下一层，不存在同层神经元间的连接，如图 所示。 图中，实线指明实际 信号流通而虚线表示反向 传播。前馈网络例子有多 层感知器(MLP)、学习矢 量量化(LVQ)网络、小脑模 型联接控制(CMAC)网络和 数据处理方法(GMDH)网 络等。
神经网络的学习可分为有教师学习与无教师学习两类。 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用 这种不精确性，比较自然地实现模式的自动分类。具有很强的普化 （Generalization）能力与抽象能力。 具有一般非线性动力系统的共性，即不可预测性、耗散性、高维性、 不可逆性、广泛连接性和自适应性等等。
以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人 物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人 们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地 投入此项研究，希望尽快占领制高点。 “异或”运算不可表示。 二十世纪70年代和80年代早期的研究结果。 认识规律：认识——实践——再认识
11
为用连续型的函数表达神经元的非线性变换能力，常采 用s型函数，如下图所示。
f(ui) 1
0
ui
-1
1 f (ui ) 1 eui
e ui e ui f ( u i ) ui e e ui
其中，第一个函数为常规的s型函数，其输出均为正值； 第二个函数为双曲正切函数，其输出值可为正或负 。
7
再认识与应用（1991~）
人工神经网络的特点
具有大规模并行协同处理能力。
每一个神经元的功能和结构都很简单，但是由大量神经元构成的整 体却具有很强的处理能力。
具有较强的容错能力和联想能力。
单个神经元或者连接对网络整体功能的影响都比较微小。 在神经网络中，信息的存储与处理是合二为一的。信息的分布存储 提供容错功能–由于信息被分布存放在几乎整个网络中。所以当其 中的某一个点或者某几个点被破坏时信息仍然可以被存取。
16
（２）无师学习 无师学习算法不需要知道期望输出。在训练过程中， 只要向神经网络提供输入模式，神经网络就能够自动地适 应连接权，以便按相似特征把输入模式分组聚集。无师学 习算法的例子包括Kohonen算法和Carpenter-Grossberg自适 应谐振理论（ART)等。 （３）强化学习 如前所述，强化（增强）学习是有师学习的特例。它 不需要老师给出目标输出。强化学习算法采用一个“评论 员”来评价与给定输入相对应的神经网络输出的优度（质 量因数）。强化学习算法的一个例子是遗传算法（GA）。
12
2、人工神经网络的基本特性和结构
人工神经网络由神经元模型构成；这种由许多神经元 组成的信息处理网络具有并行分布结构。每个神经元具有 单一输出，并且能够与其它神经元连接；存在许多（多重） 输出连接方法，每种连接方法对应一个连接权系数。严格 地说，人工神经网络是一种具有下列特性的有向图： (1) 对于每个节点i存在一个状态变量； (2) 从节点j至节点i，存在一个连接权系统数； (3) 对于每个节点i，存在一个阈值i； (4) 对于每个节点i，定义一个变换函数fi；对于最一般
17
4.1.3 人工神经网的典型模型及其算法
迄今为止，已经开发和应用了30多种人工神经网络模型。 在这里，我们对一些典型网络模型及其算法进行介绍。
1、反向传播(BP)模型 2、 Hopfield网络（自学） 3、自适应共振理论(ART)模型（自学）
18
1、反向传播(BP)模型
网络拓扑结构
输入层
隐藏层
故障树
本章重点：
各类故障诊断算法的原理及仿真。
3
4.2 人工神经网络
在广义上，神经网络可以泛指生物神经网络，也可 以指人工神经网络。 所谓人工神经网络（Artificial Neural Network）是指 模拟人脑神经系统的结构和功能，运用大量的处理 部件，由人工方式建立起来的网络系统。 人脑是ANN的原型，ANN是对人脑神经系统的模拟。 在人工智能领域中，在不引起混淆的情况下，神经 网络一般都指的是ANN。
4
4.1.1 人工神经网络研究的进展
萌芽期（20世纪40年代）
1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加 权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》。 1949年，心理学家D. O.Hebb提出神经元之间突触联系是可变的假 说——Hebb学习律。
8
具有较强的学习能力。
是大规模自组织、自适应的非线性动力系统。
物理符号系统和人工神经网络系统的差别 项目 处理方式 执行方式 动作 存储 物理符号系统 逻辑运算 串行 离散 局部集中 人工神经网络 模拟运算 并行 连续 全局分布
9
4.1.2 人工神经网的结构
1、神经元及其特性
神经网络的结构是由基本处理单
21
BP算法训练过程概述
样本：(输入向量，理想输出向量)
权初始化：“小随机数”与饱和状态；“不同”的权值保证网络 可以学。
1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op：Op=FL(…(F2(F1(XpW(1))W(2))…)W(L)) 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差；
ANp
wpq
wpm
…
qm
ANm
第k-2层
第k-1层
第k层
24
隐藏层权的调整
δpk-1的值和δ1k，δ2k，…，δmk有关。不妨认为δpk-1 ： 通过权wp1对δ1k做出贡献， 通过权wp2对δ2k做出贡献，
神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出（s型函数）： O=f(net)=1/(1+exp(-net)) f ’(net)= exp(-net)/(1+exp(-net))2=O-O2=O(1-O)
20
网络的构成
BP算法基本思想
样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 逐一根据样本集中的样本(Xk,Yk)计算出实际输出Ok及其误差E1， 然后对各层神经元的权值W(1)，W(2)，…，W(L)各做一次调整， 重复这个循环，直到∑Ep<ε（所有样本的误差之和）。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的 直接前导层的误差，再用输出层前导层误差估计更前一层的误 差。如此获得所有其它各层的误差估计，并用这些估计实现对 权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相 反的方向逐级向输入端传递的过程。
其中，是学习因子。 BP算法应用的不是基本的δ学习，而是一种扩展的δ学习规则。 但是对于所有的δ学习规则而言，某神经元的权值修正量都正 比于该神经元的输出误差和输入。 BP算法输出层对误差调整为f’(net)(y-o)。
23
隐藏层权的调整
1k
wp1
ANh AN1
…
qk
ANq
whp
pk-1
5
第一高潮期（1950~1968）
反思期（1969~1982）
4.1.1 人工神经网络研究的进展（2）
第二高潮期（1983~1990） 1）1982年，J.Hopfield提出循环网络。
–用Lyapunov函数作为网络性能判定的能量函数，建 立ANN稳定性的判别依据 –阐明了ANN与动力学的关系 –用非线性动力学的方法来研究ANN的特性 –指出信息被存放在网络中神经元的联接上
15
3、人工神经网络的主要学习算法
神经网络主要通过指导式（有师）学习算法和非指导 式（无师）学习算法。此外，还存在第三种学习算法，即 强化学习算法；可把它看做有师学习的一种特例。
（1）有师学习
有师学习算法能够根据期望的和实际的网络输出（对 应于给定输入）间的差来调整神经元间连接的强度或权。 因此，有师学习需要有个老师或导师来提供期望或目标输 出信号。有师学习算法的例子包括Delta规则、广义Delta规 则或反向传播算法以及LVQ算法等。
2）1984年，J.Hopfield设计研制了后来被人们称为Hopfield 网的电路。较好地解决了著名的TSP问题，找到了最佳解的 近似解，引起了较大的轰动。 3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所 在的并行分布处理（PDP）小组的研究者在Hopfield网络中 引入了随机机制，提出所谓的Boltzmann机。
10
函数 f( _ )表达了神经元的输入输出特性。 往往采用0和1二
值函数或Ｓ形函数。 一种二值函数可由下式表示：
1, yi 0,
其图像如图所示。
ui 0 ui 0
如果把阈值θi看作为一个特殊的权值，则可改写为:
yi f ( w ji x j )
j 0
n
其中，w0i＝-θi，x0＝1
x1
xn
j
wj1 ： ： wjn
f(_)
yj
如图所示，神经元单元由多个输入xi，i=1,2,...,n和一个输出y 组成。中间状态由输入信号的权和表示，而输出为：
y j (t ) f ( wij xi j )
i 1 n
式中，j为神经元单元的偏置（阈值），wji为连接权系数 （对于激发状态，取正值，对于抑制状态，取负值），n为输入 信号数目， yj为神经元输出，t为时间，f(＿)为输出变换函数。
6
4.1.1 人工神经网络研究的进展（3）
4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地 提出多层网络的学习算法——BP算法，较好地解决了多层网络的 学习问题。（Paker1982和Werbos1974年）。 国内首届神经网络大会是1990年12月在北京举行的。 存在问题： 应用面还不够宽 结果不够精确 存在可信度的问题 对策： 开发现有模型的应用，并在应用中根据实际运行情况对模型、算 法加以改造，以提高网络的训练速度和运行的准确度。 充分发挥两种技术各自的优势是一个有效方法。 希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。
输出层
19
输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏 层神经元的个数的决定了网络拓扑 增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网 络精度和表达能力。 BP网一般都选用二级（3层）网络。因为可以证明如果BP网络 中隐层单元可以根据需要自由设定，那么一个三层网络可以 实现以任意精度近似任意连续函数。
（2）按极小化误差的方式调整权矩阵。
1 m （3）网络关于第p个样本的误差测度： E p ( y pj O pj ) 2 j 1 （4）网络关于整个样本集的误差测度： E E p
p
Байду номын сангаас22
输出层权的调整
ANp
wpq wpq
第L-1层 第L层
ANq
w pq w pq w pq w pq q O p f n' (netq )( y q Oq )O p Oq (1 Oq ) ( y q Oq )O p
在线监测与故障诊断
Online Monitoring and Fault Diagnosis
倪建军 博士 河海大学常州校区
1
第四章 常用故障诊断算法 The algorithms of fault diagnosis
2
本章主要内容及重要知识点
主要内容：
专家系统
人工神经网络
支持向量机 模糊推理
的情况，此函数的形式为：
f i ( w ji x j i )
j 1 n
13
人工神经网络的结构基本上分为两类：递归（反馈） 网络和前馈网络。
（１）递归网络
在递归网络中，多个神经元互 连以组织一个互连神经网络，如图 所示。有些神经元的输出被反馈至 同层或前层神经元。因此，信号能 够从正向和反向流通。Hopfield网 络，Elmman网络和Jordan网络是递 归网络有代表性的例子。递归网络 又叫做反馈网络。
14
（2）前馈网络
前馈网络具有递阶分层结构，由一些同层神经元间不存在 互连的层级组成。从输入层至输出层的信号通过单向连接流通； 神经元从一层连接至下一层，不存在同层神经元间的连接，如图 所示。 图中，实线指明实际 信号流通而虚线表示反向 传播。前馈网络例子有多 层感知器(MLP)、学习矢 量量化(LVQ)网络、小脑模 型联接控制(CMAC)网络和 数据处理方法(GMDH)网 络等。
神经网络的学习可分为有教师学习与无教师学习两类。 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用 这种不精确性，比较自然地实现模式的自动分类。具有很强的普化 （Generalization）能力与抽象能力。 具有一般非线性动力系统的共性，即不可预测性、耗散性、高维性、 不可逆性、广泛连接性和自适应性等等。
以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人 物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人 们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地 投入此项研究，希望尽快占领制高点。 “异或”运算不可表示。 二十世纪70年代和80年代早期的研究结果。 认识规律：认识——实践——再认识
11
为用连续型的函数表达神经元的非线性变换能力，常采 用s型函数，如下图所示。
f(ui) 1
0
ui
-1
1 f (ui ) 1 eui
e ui e ui f ( u i ) ui e e ui
其中，第一个函数为常规的s型函数，其输出均为正值； 第二个函数为双曲正切函数，其输出值可为正或负 。
7
再认识与应用（1991~）
人工神经网络的特点
具有大规模并行协同处理能力。
每一个神经元的功能和结构都很简单，但是由大量神经元构成的整 体却具有很强的处理能力。
具有较强的容错能力和联想能力。
单个神经元或者连接对网络整体功能的影响都比较微小。 在神经网络中，信息的存储与处理是合二为一的。信息的分布存储 提供容错功能–由于信息被分布存放在几乎整个网络中。所以当其 中的某一个点或者某几个点被破坏时信息仍然可以被存取。
16
（２）无师学习 无师学习算法不需要知道期望输出。在训练过程中， 只要向神经网络提供输入模式，神经网络就能够自动地适 应连接权，以便按相似特征把输入模式分组聚集。无师学 习算法的例子包括Kohonen算法和Carpenter-Grossberg自适 应谐振理论（ART)等。 （３）强化学习 如前所述，强化（增强）学习是有师学习的特例。它 不需要老师给出目标输出。强化学习算法采用一个“评论 员”来评价与给定输入相对应的神经网络输出的优度（质 量因数）。强化学习算法的一个例子是遗传算法（GA）。
12
2、人工神经网络的基本特性和结构
人工神经网络由神经元模型构成；这种由许多神经元 组成的信息处理网络具有并行分布结构。每个神经元具有 单一输出，并且能够与其它神经元连接；存在许多（多重） 输出连接方法，每种连接方法对应一个连接权系数。严格 地说，人工神经网络是一种具有下列特性的有向图： (1) 对于每个节点i存在一个状态变量； (2) 从节点j至节点i，存在一个连接权系统数； (3) 对于每个节点i，存在一个阈值i； (4) 对于每个节点i，定义一个变换函数fi；对于最一般
17
4.1.3 人工神经网的典型模型及其算法
迄今为止，已经开发和应用了30多种人工神经网络模型。 在这里，我们对一些典型网络模型及其算法进行介绍。
1、反向传播(BP)模型 2、 Hopfield网络（自学） 3、自适应共振理论(ART)模型（自学）
18
1、反向传播(BP)模型
网络拓扑结构
输入层
隐藏层
故障树
本章重点：
各类故障诊断算法的原理及仿真。
3
4.2 人工神经网络
在广义上，神经网络可以泛指生物神经网络，也可 以指人工神经网络。 所谓人工神经网络（Artificial Neural Network）是指 模拟人脑神经系统的结构和功能，运用大量的处理 部件，由人工方式建立起来的网络系统。 人脑是ANN的原型，ANN是对人脑神经系统的模拟。 在人工智能领域中，在不引起混淆的情况下，神经 网络一般都指的是ANN。
4
4.1.1 人工神经网络研究的进展
萌芽期（20世纪40年代）
1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加 权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》。 1949年，心理学家D. O.Hebb提出神经元之间突触联系是可变的假 说——Hebb学习律。
8
具有较强的学习能力。
是大规模自组织、自适应的非线性动力系统。
物理符号系统和人工神经网络系统的差别 项目 处理方式 执行方式 动作 存储 物理符号系统 逻辑运算 串行 离散 局部集中 人工神经网络 模拟运算 并行 连续 全局分布
9
4.1.2 人工神经网的结构
1、神经元及其特性
神经网络的结构是由基本处理单
21
BP算法训练过程概述
样本：(输入向量，理想输出向量)
权初始化：“小随机数”与饱和状态；“不同”的权值保证网络 可以学。
1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op：Op=FL(…(F2(F1(XpW(1))W(2))…)W(L)) 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差；
ANp
wpq
wpm
…
qm
ANm
第k-2层
第k-1层
第k层
24
隐藏层权的调整
δpk-1的值和δ1k，δ2k，…，δmk有关。不妨认为δpk-1 ： 通过权wp1对δ1k做出贡献， 通过权wp2对δ2k做出贡献，
神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出（s型函数）： O=f(net)=1/(1+exp(-net)) f ’(net)= exp(-net)/(1+exp(-net))2=O-O2=O(1-O)
20
网络的构成
BP算法基本思想
样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 逐一根据样本集中的样本(Xk,Yk)计算出实际输出Ok及其误差E1， 然后对各层神经元的权值W(1)，W(2)，…，W(L)各做一次调整， 重复这个循环，直到∑Ep<ε（所有样本的误差之和）。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的 直接前导层的误差，再用输出层前导层误差估计更前一层的误 差。如此获得所有其它各层的误差估计，并用这些估计实现对 权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相 反的方向逐级向输入端传递的过程。
其中，是学习因子。 BP算法应用的不是基本的δ学习，而是一种扩展的δ学习规则。 但是对于所有的δ学习规则而言，某神经元的权值修正量都正 比于该神经元的输出误差和输入。 BP算法输出层对误差调整为f’(net)(y-o)。
23
隐藏层权的调整
1k
wp1
ANh AN1
…
qk
ANq
whp
pk-1
5
第一高潮期（1950~1968）
反思期（1969~1982）
4.1.1 人工神经网络研究的进展（2）
第二高潮期（1983~1990） 1）1982年，J.Hopfield提出循环网络。
–用Lyapunov函数作为网络性能判定的能量函数，建 立ANN稳定性的判别依据 –阐明了ANN与动力学的关系 –用非线性动力学的方法来研究ANN的特性 –指出信息被存放在网络中神经元的联接上
15
3、人工神经网络的主要学习算法
神经网络主要通过指导式（有师）学习算法和非指导 式（无师）学习算法。此外，还存在第三种学习算法，即 强化学习算法；可把它看做有师学习的一种特例。
（1）有师学习
有师学习算法能够根据期望的和实际的网络输出（对 应于给定输入）间的差来调整神经元间连接的强度或权。 因此，有师学习需要有个老师或导师来提供期望或目标输 出信号。有师学习算法的例子包括Delta规则、广义Delta规 则或反向传播算法以及LVQ算法等。
2）1984年，J.Hopfield设计研制了后来被人们称为Hopfield 网的电路。较好地解决了著名的TSP问题，找到了最佳解的 近似解，引起了较大的轰动。 3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所 在的并行分布处理（PDP）小组的研究者在Hopfield网络中 引入了随机机制，提出所谓的Boltzmann机。
10
函数 f( _ )表达了神经元的输入输出特性。 往往采用0和1二
值函数或Ｓ形函数。 一种二值函数可由下式表示：
1, yi 0,
其图像如图所示。
ui 0 ui 0
如果把阈值θi看作为一个特殊的权值，则可改写为:
yi f ( w ji x j )
j 0
n
其中，w0i＝-θi，x0＝1