模糊神经网络讲义

模糊神经网络（备课笔记）
预备知识
复杂的东西是难以精确化的，这使得人们所需要的精确性和问题的复杂性间形成了尖锐的矛盾。

正如模糊数学的创始人L.A.Zadeh(查德)教授（美国加利福尼亚大学）所说：“当系统的复杂性增加时，我们使它精确化的能力将减小。

直到达到一个阈值，一旦超越它，复杂性和精确性将相互排斥。

”这就是著名的“互克性原理”。

该原理告诉我们，复杂性越高，有意义的精确化能力就越低；而复杂性意味着因素众多，以致人们往往不可能同时考察所有因素，只能把研究对象适当简化或抽象成模型，即抓住其中的主要部分而忽略掉次要部分。

当在一个被压缩了的低维因素空间考虑问题时，即使本来是明确的概念，也会变得模糊起来。

或者某些抽象简化模型本身就带有概念的不清晰，如“光滑铰链”这个力学模型，什么叫“光滑”、什么叫“粗糙”就没有一个明确的定义，客观上两者之间没有绝对分明的界限；主观上，决策者对此类非程序化决策做出判断时，主要是根据他的经验、能力和直观感觉等模糊概念进行决策的。

或者判断一个人的好坏，本来有很多因素，比如人品、性格、相貌等，现在简化改成一个综合评价：好、坏、一般等，都是根据个人爱好或者个人经验等模糊概念进行判断的。

在科学发展的今天，尤其在工程研究和设计领域中，这些模糊性问题就无法回避了，要求对数据进行定量分析，那如何对其进行定量分析呢？
1965年，Zadeh教授发表一篇论文“模糊集合”（Fuzzy sets），所谓模糊集合就是指边界不清的集合。

提出用“隶属函数”（menbership function）这一概念来描述现象差异中的中间过渡，突破了德国人Cantor创立的古典集合论中属于或不属于的绝对关系，标志着模糊数学的诞生。

Zadeh认为应该重新把模糊性和精确性统一在一起，因为在现实生活中复杂事物要绝对精确是不可能的，实际上只是把所谓的不准确程度降低到了无关重要的程度。

他这篇论文第一次引人注目地提出了模糊性问题，给出了模糊概念的定量表示法，标志着模糊数学的诞生。

模糊数学是使模糊现象定量化的应用数学分支学科。

由于它突破了传统数学绝不允许模棱两可的约束，使那些与数学毫不相关的学科都可能用定量化和数学化加以描述和处理，从而显示其强大的生命力。

在模糊评价中，最基本和使用最多的是隶属度和隶属函数。

隶属度表示元素u属于模糊集合U的程度；也就是对模糊集合的判断是用元素对此集合的从属程度大小来表达的。

模糊系统
模糊逻辑控制系统，简称模糊控制系统或模糊系统，是一种基于模糊数学理论的新型控制方法。

模糊控制由于模仿人对复杂事物的抽象思维方式，利用模糊信息处理对被控对象执行控制。

所以，它不需要知道系统的精确数学模型。

对不确定的非线性的系统来说是一种有效的控制途径。

但是，模糊控制对信息的简单模糊化导致系统的控制精度下降。

为了提高精度，往往要在模糊化时增加模糊量的个数，或者，增大控制规则集。

这样会使控制规则搜索范围的扩大、搜索时间增加、降低了决策的速度，则影响了动态过程的品质。

因此，隶属函数和控制规则的优化是提高品质的关键，在本质上，是对模糊控制中的知识进行正确性校正。

一般地说，模糊系统是指那些与模糊概念和模糊逻辑有直接关系的系统，主要由模糊化接口、知识库、模糊推理机、反模糊化接口四部分组成。

1、模糊化（Fuzzification），输入变量模糊化，即把确定的输入转化成为由隶属度描述的模糊集。

模糊化接口主要将检测输入变量的精确值根据其模糊度划分和隶属度函数转换成合适的语言值(即模糊值)。

模糊划分尚未有一种确定的唯一的方法。

它是根据经验而进行划分的。

对于一个论域而言，模糊度的划分过少，很明显语言变量就会粗糙，这样对于一个控制系统来说，其控制质量就产生不良影响。

如果划分的模糊集过多，则变量的检测和控制精度就越高，但是形成的控制规则就会过多，进行模糊推理就会占用大量的处理时间和过程;在采用模糊关系运算时，也会产生庞大的关系矩阵，从而关系运算就变得麻烦，产生的控制表也会庞大而占据较多内存。

一般情况下为了尽量减少模糊规则数，可对于检测和控制精度要求高的变量划分多(例如5一7个)的模糊度，反之则划分少(例如3个)的模糊度。

当完成变量的模糊度划分后，需定义变量各模糊集的隶属函数。

每个划分的梯形隶属度函数如图：
2、知识库（knowledge base）
知识库中存贮着有关模糊控制器的一切知识，包含了具体应用领域中的知识和要求的控制目标，它们决定着模糊控制器的性能，是模糊控制器的核心。

例如数据库、规则库等等。

（1）此数据库不是计算机软件中数据库的概念，它存贮着有关模糊化、模糊推理、解模糊的一切知识，如模糊化中的输入变量各模糊集合的隶属函数定义，以及模糊推理算法，反模糊化算法，输出变量各模糊集合的隶属函数定义等。

（2）模糊规则库是由若干模糊推理规则组成的，模糊控制规则是根据人的思维方式对一个被控系统执行控制而总结出来的带有模糊性的控制规则。

如专家经验等。

3、模糊推理机（Fuzzy Inference Engine）
模糊推理机的功用在于：根据模糊逻辑法则把模糊规则库中的模糊“if-then”规则转换成某种映射。

模糊推理，这是模糊控制器的核心，模拟人基于模糊概念的推理能力。

4. 反模糊化（defuzzification），清晰化，即把输出的模糊量转化为实际用于控制的清晰量。

神经网络(Neural Network,简称NN)是由众多简单的神经元连接而成的网络。

尽管每
个神经元结构、功能都不复杂,但网络的整体动态行为极为复杂,可组成高度非线性动力学
系统,从而可表达许多复杂的物理系统。

神经网络的研究从上世纪40年代初开始,目前,在
世界范围已形成了研究神经网络前所未有的热潮。

它已在控制、模式识别、图像和视频信号处理、金融证券、人工智能、军事、计算机视觉、优化计算、自适应滤波和A/D变换等方面获得了应用。

模糊系统(Fuzzy System,简称FS)是仿效人的模糊逻辑思维方法设计的系统,方法本身明确地说明了系统在工作过程中允许数值量的不精确性存在。

模糊数学自1965年诞生至今已
有40多年的历史,它在理论上还处于不断发展和完善中。

它是用精确的数学理论研究人类思维的模糊性,其最基本的概念是隶属度。

用隶属度来描述某一对象或称为元素属于某一论域者称为集合的程度,这样既能准确描述人类思维中的模糊性,又能被计算机理解。

目前,它已广泛应用于计算机科学、自动控制、系统工程、环保、机械、管理科学、思维科学、社会科学等领域。

模糊系统与神经网络的区别与联系
(1)从知识的表达方式来看
☐模糊系统可以表达人的经验性知识，便于理解，而神经网络只能描述大量数据之间的复杂函数关系，难于理解。

(2)从知识的存储方式来看
☐模糊系统将知识存在规则集中，神经网络将知识存在权系数中，都具有分布存储的特点。

(3)从知识的运用方式来看
☐模糊系统和神经网络都具有并行处理的特点，模糊系统同时激活的规则不多，计算量小，而神经网络涉及的神经元很多，计算量大
(4)从知识的获取方式来看
☐模糊系统的规则靠专家提供或设计，难于自动获取．而神经网络的权系数可由输入输出样本中学习，无需人来设置。

因此将两者结合起来，在处理大规模的模糊应用问题方面将表现出优良的效果。

模糊集理论和神经网络虽都属于仿效生物体信息处理机制以获得柔性信息处理功能的理论,但两者所用的研究方法不同。

神经网络着眼于大脑的微观网络结构,通过学习、自组织化和非线性动力学理论形成并行分析方法,可处理语言化的模式信息,而模糊集理论则着眼于可用语言和概念作为代表大脑的宏观功能,按人为引入的隶属度函数,逻辑处理包含有模糊性的语言信息。

模糊逻辑具有模拟人脑抽象思维的特点,而神经网络具有模拟人脑形象思维的特点,对二者结合将有助于从抽象和形象思维两方面模拟人脑的思维特点,是目前实现智能控制的重要形式。

目前,FS和NN的结合主要有模糊神经网络和神经模糊系统。

神经模糊系统是以NN为主,结合模糊集理论。

它将NN作为实现FS模型的工具,即在NN的框架下实现FS或其一部分功能。

神经模糊系统虽具有一些自己所具有而NN不具备的特性,但它没有跳出NN的框架。

神经模糊系统从结构上来看,一般是四层或五层的前向神经网络。

模糊神经网络是神经网络的模糊化。

即以模糊集、模糊逻辑为主,结合NN方法,利用NN 的自组织性,达到柔性信息处理的目的。

目前,FS理论和NN结合主要应用于商业及经济估算、自动检测和监视、机器人及自动控制、计算机视觉、专家系统、语音处理、优化问题、医疗应用等方面,并可推广到工程、科技、信息技术和经济等领域。

模糊神经网络
进入20世纪80年代以后，模糊理论体系得到逐步完善，模糊技术在工业控制应用中取得巨大成功，特别是神经网络研究热潮的再一次兴起，许多人很自然地把目光投向模糊逻辑系统与神经网络的结合这一重要方向。

在20世纪80年代末至90年代初，模糊逻辑系统与神经网络融合问题开始真正引起学术界的关注。

近年来，这两类方法日趋融合，已成为智能控制方法。

人工神经网络按其运行过程中信息流向可以分为前向网络和反馈型网络两大类。

前向网络通过许多具有简单处理能力的神经元的相互组合使整个网络具有复杂的非线性逼近能力，反馈型网络通过网络神经元状态的变迁最终稳定于平衡状态，得到联想存储或优化计算的结果。

感知器、自适应线性元件和BP网络等属于前向网络，而Hopfield网络则属于反馈型网
络。

按学习方式神经网络又可分为有监督学习、无监督学习和强化学习三类。

有监督学习需要包含已知输入和输出的样本训练集，学习系统根据已知输出与实际输出之间的差值来调节系统参数。

在无监督学习中，学习系统完全按照数据的某些统计规律来调节自身结构和参数，是一种自组织的过程。

强化学习介于前两种学习方式之间，外界环境对系统输出结果只给出评价信息(奖或惩)而不给出正确答案，学习系统通过强化那些受奖的动作来改善自身性能。

神经网络具有非线性映射能力、学习能力、并行处理能力和容错能力，模糊逻辑具有处理不确定性的能力，二者在复杂工业对象的建模和控制领域已经得到了广泛的应用。

目前，单纯使用神经网络控制技术的研究有停滞不前的趋势。

究其原因，除了神经网络本身的问题(如泛化能力不能够达到控制系统鲁棒性的要求)之外，最主要的原因就是神经网络的黑箱式的知识表达方式使其不能够利用先验知识进行学习。

同时，模糊逻辑的应用也遇到了模糊规则难于确定的问题。

模糊神经网络（Fuzzy Neural Network，FNN）即结合了模糊逻辑与神经网络的优点，避免了二者的缺点，既可以具有模糊逻辑的不确定信息处理能力，又可以有神经网络的自学习能力，因此在控制领域有很广泛的应用前景。

可进行模糊信息处理的神经网络，称其为模糊神经网络。

它们通常是一类由大量模糊的或非模糊的神经元相互联结构成的网络系统。

FNN除具有一般神经网络的性质和特点外，还具有一些特殊性质。

比如，由于采用了模糊数学中的计算方法，使一些处理单元的计算变得较为简便，从而使信息处理的速度加快;也由于采用了模糊化的运行机制，这使得系统的容错能力得到加强。

但最主要的是，模糊神经网络扩大了系统处理信息的范围，使系统可同时处理确定性信息和非确定性信息；同时，它也大大增强了系统处理信息的手段，使系统处理信息的方法变得更加灵活。

模糊神经网络有多种类型，与一般神经网络相类似，通常，将其分为前向型模糊神经网络和反馈型模糊神经网络两大类。

最常见的模糊推理系统有3类:纯模糊逻辑系统、高木关野(Takagi-Sugeno)型和迈达尼(Mamdani)型.由于纯模糊逻辑系统的输入和输出均为模糊集合,而现实世界大多数工程系统的输入与输出都是精确的,因此纯模糊逻辑系统不能直接应用于实际工程中.为解决这一问题,有关学者在纯模糊逻辑系统的基础上提出了具有模糊产生器和模糊消除器的Mamdani型模糊推理系统,而日本学者Takagi和Sugeno则提出了模糊规则的后项结论为精确值的模糊逻辑系统,称为Sugeno型模糊逻辑系统.
应用Mamdani型的模糊推理系统,每一条规则推理后得到的输出是变量的分布隶属度函数或离散的模糊集合.在将多条规则的结果合成以后,对每一个输出变量模糊集合都需要进行解模糊化处理,以得到实际问题期望的输出.
Sugeno模糊模型也称TSK模糊模型,旨在开发从给定的输入输出数据集产生模糊规则的系统化方法.Sugeno型模糊推理将去模糊化也结合到模糊推理中,其输出为精确量.这是由Sugeno模糊规则的形式所决定的.在Sugeno型模糊规则的后件部分讲述储量表示为输入量的线性组合。

Sugeno型模糊推理算法是最常用的模糊推理算法.Sugeno型模糊推理算法与Mamdani 型类似,其中,输入量模糊化和模糊逻辑运算过程完全相同,主要差别在于输出隶属函数的形式。

Mamdani型模糊推理,由于其规则的形式符合人们思维和语言表达的习惯,因而能够方便地表达人类的知识,但存在计算复杂、不利于数学分析的缺点;而Sugeno型模糊推理则具有计算简单,利于数学分析的优点,易于与PID控制方法以及优化、自适应方法结合,是具有优化与自适应能力的控制器或模糊建模工具,是基于样本的模糊建模中最常选用的方法.。

——【Mamdani与Sugeno型模糊推理的应用研究】
模糊推理系统通常可以分为三类：纯模糊逻辑系统、高木-关野(Takagi-Sugeno)型模糊系统和Mamdani型模糊逻辑系统。

1、纯模糊逻辑系统仅由模糊规则库和模糊推理机组成，其输入输出均为模糊集合，而现实世界大多数工程系统的输入和输出都是精确值，因此纯模糊逻辑系统不能直接应用于实际工程中。

为解决这一问题，有关学者在纯模糊逻辑系统的基础上提出了具有模糊产生器和模糊消除器的Mamdani型模糊逻辑系统，日本学者高木(Takagi)和关野(Sugeno)则提出了模糊规则的后项结论为精确值的模糊系统，称为高木－关野型模糊逻辑系统。

2、高木－关野型（T-S）模糊逻辑系统输入是模糊值，输出则为精确值。

此系统有两个输入x和y，一个输出f，规则库由如下两条规则组成：
其中:A和B为前提规则中的模糊数，f为结论中的精确数。

通常f(x，y)为x和y的多项式。

当f(x，y)为一阶多项式时，模型称为一阶T-S模糊模型。

图中，输入向量为 [x ，y]，权重1ω和2ω通常由前提中的隶属函数μ值乘积得来，输出f 为各规则输出的加权平均，1ω和2ω为各权重在总权重中的比例。

3、在Mamdani 型模糊逻辑系统中，模糊规则的前件和后件均为模糊语言值，它实质上是在纯模糊逻辑系统的输入和输出部分分别添加模糊产生器和模糊消除器，结构如图所示。

该系统的输入与输出均为精确量，因而可以直接在实际工程中应用。

由于其应用的广泛性，又称为模糊系统的标准模型。

模糊产生器的作用是将一个确定的点映射为输入空间的一个模糊集合，也称模糊化。

模糊化通常通过两种方法，一种方法是查表，另一种方法是通过隶属度函数计算。

前者主要用于论域为离散的，且元素个数有限的情况。

后者可用于论域连续的情况，且便于计算。

模糊消除器的作用是将输出空间的一个模糊集合映射为一个确定的点，又称为解模糊化。

模糊控制器的基本类型有两种:一种是Mamdani 型,另一种是Takagi_Sugno 型,简称T_S 型。

从结构上来讲,它们的主要区别在于模糊控制规则的后件部分。

Mamdani 型控制器的模糊控制规则利用模糊集合作为后件。

T_S 型控制器的模糊控制规则的后件是前件语言变量值的函数,选取适当的函数形式,后件可表示为前件精确量的线性集合形式,从而有利于信息的系统化表示和运算。

目前,T_S 型模糊控制器的应用还比较少,主要原因在于传统的T_S 型模糊控制器控制规则的后件参数太多,难以确定。

自适应模糊神经推理系统
人工神经网络有较强的自学习和自适应能力，但它类似一个黑箱，缺少透明度，不能很好地表达人脑的推理功能，而模糊系统本身没有自适应能力，限制了其应用。

自适应模糊神经推理系统(Adaptive Neuro-Fuzzy Inference System)也称为基于网络的自适应模糊推理系统(Adaptive Network-based Fuzzy Inference System)，简称ANFIS ，1993年由学者Jang Roger 提出。

它融合了神经网络的学习机制和模糊系统的语言推理能力等优点，弥补各自不足，属于神经模糊系统的一种。

同其他神经模糊系统相比，ANFIS 具有便捷高效的特点，因而已被收入了MATLAB 的模糊逻辑工具箱，并已在多个领域得到了成功应用。

典型的ANFIS 的结构如下图所示，
为了实现T-S 模糊模型的学习过程，一般将其转化为一个自适应网络，即自适应模糊神经推理系统，如图。

该自适应网络是一个多层前馈网络，其中的方形节点需要进行参数学习。

（第一层为输入变量的隶属函数层）
1() 1,2i i A O x i μ==
或 1
() 1,2i i B O y i μ==
其中x ，y 是节点i 的输入，i A 、i B 是模糊集。

1i O 就是i A 、i B 的隶属函数值，表示x 、y 属于i A 、i B 的程度。

隶属度函数i A μ和i B μ的形状完全由一些参数确定，这些参数称为
前件参数。

（第二层为规则的强度释放层） 2() () 1,2i i i i A B O x y i ωμμ==⨯=
每个节点的输出代表该条规则的可信度。

（第三层为所有规则强度的归一化）
312/() 1,2i i i O i
ωωωω==+=
（第四层计算模糊规则的输出，这一层的每个节点i 为自适应节点，其输
出为：）
4() 1,2i i i i i i i O f p x q y r i ωω==++=
这里i ω为第三层的输出，{,,}i i i p q r 为该节点的参数集，称为后件参数。

第五层为一个固定节点，计算所有输入信号的总输出：
5/ 1,2i i i i i i O f f i ωωω===∑∑∑
给定前件参数后，自适应模糊神经推理系统的输出可以表示成后件参数的线性组合： 51122
111111222222 =()()()()()()i O f f x p y q r x p y q r ωωωωωωωω=++++++
因此ANFIS 可以通过BP 算法或BP 算法和最小二乘估计法的混合算法来进行学习，来调整系统的前件和后件参数。

在混合算法中，前向阶段计算到第四层，然后用LSE 辨识后件参数。

反向阶段误差信号反向传递，用BP 法更新前件参数。

当前件参数固定时，用LSE 法辨识的后件参数是最优的。

采用混合法可以减少BP 法的搜索空间尺度，从而提高ANFIS 的训练速度。

（在网络的的前向学习过程中，采用n 组训练数据的输入值，求得参数,,i i i p q r 值及输出值5i O ，n 个5i O 值按最小二乘法原则计算计算值与训练数据原期望误差值，并将此误差值反向传回，按最大梯度法修正前提参数，在改变这些参数的过程中不断实现对隶属函数图形
的修改，以期在设定的循环过程中达到输出误差值最小的目的。

）
自适应网络模糊推理系统实现了模糊逻辑推理与神经网络的结合，因而这种结构形式同时具有模糊逻辑易于表达人类知识和神经网络的分布式信息存储及学习能力的优点，是智能学科的重要发展，为工程信息的处理提供了新的有效方法。

经过学习的网络，对于同一样本集中的非训练样本(测试样本或工作样本)，仍能给出正确的输入——输出关系的能力称为系统的泛化能力(generalization capability)。

模糊神经系统的输入变量个数、每个输入变量的隶属函数个数、训练次数以及训练精度等与模糊神经系统的泛化能力之间的关系如下：
(1)并不是模糊神经系统的输入变量个数越多，其学习能力、泛化能力就越好;
(2)不同的输入变量组合对模糊神经系统的学习能力、泛化能力影响挺大的;
(3)并不是模糊神经系统中每个输入变量的隶属函数个数越多、模糊规则数越多，其学习能力、泛化能力就越好;
(4)从整个趋势看，模糊神经系统训练次数越多，其学习能力就越好，但模糊神经系统的泛化能力却是先变好，到一定程度之后，泛化能力就开始变差;
(5)训练数据对的输入顺序，或是重新训练或是交换输入变量的位置，对模糊神经系统的学习能力、泛化能力没有影响;
(6)并不是训练样本个数越多模糊神经系统的泛化能力就越好，并且训练样本个数不同，出现最小检验误差时的训练次数也不同;
(8)训练样本的选择对模糊神经系统的泛化能力影响很大。

因此，在选择训练样本时，训练样本的覆盖面要尽量大一些，并且要尽量均匀地分布在被建模系统的整个工作区间;
(9)并不是模糊神经系统的训练误差越小即学习能力越好，其泛化能力就越好。

模糊神经系统的检验误差先是随着训练误差的降低而降低，当检验误差下降到它的最小值之后，训练误差继续下降，检验误差反而开始上升。

总之，只有当模糊神经系统具有适度的复杂性时，才具有较好的泛化能力，才能获得最佳辨识结果。

当模糊神经系统的输入变量个数过少、每个输入变量的隶属少、训练次数过少时，其规则数和参数数目过少，则不能够完全表达训练样本中包含的系统输入/输出关系，此时训练精度较低，检验误差也较大，即“欠拟合”，减弱“泛化”能力。

反之，当模糊神经系统的输入变量个数过多、每个输入变量的隶属函数个数过多、训练次数过多时，其规则数和参数数目过多，虽然可以提高训练精度，但过分地学习了训练集中的样本，使得模糊神经系统描述输入/输出关系过于复杂，使得样本点之间的曲面非线性过强，从而造成检验样本的误差过大，造成“过拟合”，同样会使“泛化”能力减弱，使模糊神经模型的精度降低，并且增长了训练时间。

因此，对于各个被建模系统，要根据其性能要求，来选取模糊神经系统的最佳输入变量组合。

在选择训练样本数据时，训练样本的覆盖面要尽量大一些，并且要尽量均匀地分布在被建模系统的整个工作区间。

对于训练一个已确定结构的模糊神经模型，要选择适量的训练样本数据量，才能得到具有较好泛化能力的模糊神经模型。

Choose the FIS model parameter optimization method: backpropagation or a mixture of backpropagation and least squares (hybrid method)
ANFISEDIT界面。