神经网络内模控制

目录
摘要 (I)
Abstract (II)
1绪论 (1)
1.1选题背景和意义 (1)
1.2国内外同类研究或同类设计的概况综述 (1)
1.3立题依据 (3)
1.4本文所做的主要工作 (3)
2神经网络的基本原理 (5)
2.1人工神经元模型 (5)
2.2神经网络的学习方式和学习规则 (6)
2.3神经网络的特点 (7)
3基于神经网络的内模控制系统 (8)
3.1内模控制的简介 (8)
3.2内模控制的发展现状 (8)
3.3内模控制的基本原理 (8)
3.5线性内模控制器的设计 (9)
3.6神经非线性内模控制 (11)
4基于BP神经网络的内模控制 (14)
4.1BP神经网络 (14)
4.1.1BP神经网络的结构 (14)
4.1.2BP神经网络的算法 (15)
4.2基于BP网络的内模控制仿真研究 (20)
4.1.1BP网络的算法流程 (20)
4.2.2神经网络模型结构和算法 (21)
4.3具体对象的仿真 (22)
4.3.1线性系统的内模控制 (22)
4.3.2非线性系统的内模控制 (24)
参考文献 (28)
致谢.......................................................................................................................................错误！未定义书签。

附录A. (30)
附录B (34)
基于神经网络的非线性内模控制
摘要
本毕业设计主要研究了基于神经网络的非线性内模控制系统。

内模控制从其诞生开始就因为结构简单、参数调节灵活等优点表现出了强大的生命力，并且得到了广泛的应用。

神经网络内模控制融合了内模控制鲁棒性（指在不确定因素存在情况下，系统保持其原有性质的能力）、抗干扰能力强的优点和神经网络自适应控制的优点，受到了自动控制理论界的普遍关注。

本文主要针对基于神经网络的线性与非线性内模控制展开研究，探测其鲁棒性，抗干扰能力，以及跟踪逼近各种信号的能力。

我们将研究基于BP神经网络内模控制的辨识，建立对象模型及其逆模型，并且完成系统模型的建立，以MATLAB为工具，对系统进行仿真实验与研究。

关键字：神经网络、内模控制、非线性系统、Matlab
Neural network based nonlinear internal model control
Abstract
The main graduation neural network based nonlinear internal model control system.Internal model control from the start because of the birth of simple structure,flexible regulation,etc.parameters showed a strong vitality,and has been widely used.Neural network internal model control combines the robustness of internal model control(defined as the presence of uncertainty,the system's ability to maintain its original nature), anti-interference ability of the advantages and the advantages of neural network adaptive control,by automatic control theory community's attention.
In this paper,based on neural networks for linear and nonlinear internal model control of a study to detect its robustness,noise immunity,and tracking for a variety of signals.We will study the BP neural network based on identification of internal model control,the establishment of the object model and the inverse model,and to complete the system model to MATLAB as a tool for the system simulation and research.
Keywords:neural networks,internal model control,nonlinear system,Matlab
1绪论
1.1选题背景和意义
在人工神经网络的研究成果的基础上，并且与控制系统理论相结合，从而发展出了神经网络控制理论，它已经成为了自动控制领域的前沿学科之一。

神经网络采用类似人脑的功能，它不仅在结构上是并行的，而且其处理问题方式也是并行的，诊断信息输入之后可以很快地传递到神经元进行处理，提高了计算速度，非常适合处理大量的并行信息。

神经网络本身具有很强的自适应能力。

系统在知识表示和组织、诊断求解策略与实施等方面可根据生存环境自适应自组织到自完善。

再次，具有很强的自学习能力。

神经网络是一种变结构系统，神经元连接形式的多样性和连接强度的可塑性，使其对环境的适应能力和对外界事物的学习能力非常强。

在1943年，麦卡洛克和皮茨首次提出了脑模型，其最初动机在于模仿生物的神经系统。

随着超大规模集成电路(VLS1)、光电子学和计算机技术的发展，人工神经网络己引起更为广泛的注意。

近年来，基于神经元控制的理论和机理已获得进一步的开发和应用。

在神经网络理论研究方面，主要进展有Boltzmann机理论研究、细胞网络的提出及其分析等。

从总的方面讲，一般将神经网络分位四种类型：前馈型、反馈型、自组织型与随机型。

内模控制方法是Garcia和Morari于1982年首先正式提出，以其简单、跟踪调节性能好、鲁棒性强、能消除不可测干扰等优点，为控制理论界和工程界所重视。

1989年Morari 透彻研究了内模控制的神经网络也引入到内模控制中。

神经网络内模控制是一种自适应的非线性控制。

它一般由神经网络内模控制器和神经网络模型构成，神经网络模型当作系统的内部模型，并向神经网络内模控制器提供被控对象的相关信息。

系统的正向模型作为对象的相似模型和真实对象并联，它们的输出差值作为反馈信号。

该反馈信号又经过前向通道的滤波器及控制器进行处理。

控制器直接与系统的逆有关，通过引入滤波器来提高系统的鲁棒性。

1.2国内外同类研究或同类设计的概况综述
神经网络控制是人工智能应用的一个重要分支领域，它是一种基本上不依赖模型的控制方法,它对于那些具有不确定性或高度非线性的控制对象比较适用,并且具有比较强的
环境适应和学习功能,它是智能控制的一个重要分支。

对于自动控制来说,神经网络有具有
自适应功能，泛化功能，非线性映射功，高度并行处理功能等几方面优势，这使得神经网络成为当今一个非常热门的学科,在电力，化工，机械等行业应用广泛，并取得了较好的控制效果。

神经网络发展至今已有半个多世纪，概括起来经历了三个阶段：20世纪40-60年代的发展初期；70年代的研究低潮期；80年代，神经网络的理论研究取得了突破性的进展。

本文主要研究的神经网络内模控制是一种自适应的非线性控制。

它一般包括神经网络控制器和神经网络模型，它在线辨识被控对象的模型，并且向神经网络控制器提供被控对象的梯度信息。

控制器直接与系统的逆模型有关，通过引入滤波器来提高系统的鲁棒性。

神经网络内模控制融合了内模控制鲁棒性、抗干扰能力强的优点和神经网络自适应控制的优点，受到了自动控制理论界的普遍关注。

将神经网络用于控制领域，已取得如下几方面进展:1)基于神经网络的系统辨识2)神经网络控制器3)神经网络与其他算法相结合4)优化计算5)控制系统的故障诊断。

当前，已经比较成熟的神经网络控制模型有神经自校正控制，神经PID控制，神经内模控制等等。

本文主要介绍的基于神经网络的非线性系统内模控制。

内模控制最早在化工领域得到成功应用，后又推广到伺服系统的控制，陈庆伟等针对某伺服系统，采用双口控制实现了高阶无静差伺服跟踪；张景岗将内模控制应用于快响应电机控制等等。

神经网络内模控制系统如下图所示。

图中的神经辨识器用来充分逼近被控对象的动态模型，即正模型。

神经网络控制器不是直接学习被控对象的逆模型，而是间接地学习被控对象的逆动态特性。

图1-1神经网络内模控制器结构
在神经网络内模控制系统中，神经辨识器作为被控对象的近似模型与实际对象共同工作，将它们的差值作为反馈，同期望的给定值之差经滤波器处理后，送给神经网络控制器（逆模型），经过多次训练，它将间接地学习对象的逆向特性。

逐渐将误差减小至趋近于零。

1.3立题依据
对于人工神经网络，网络的信息处理是由神经元间的相互作用来实现，知识与信息的存贮表现为网络元件互相联结分布的物理联系，网络的学习和训练决定于各神经元连接权系数的动态调整过程。

人工神经网络作为一种新型的信息描述和处理方式，广泛应用在控制领域，其在控制领域的吸引力主要表现在以下几方面：
1)可以充分的跟踪各种繁琐的非线性系统；
2)可以较好的逼近和学习复杂的不确知系统的动态性能；
3)可以定量定性的修改权值阈值，使得系统具有良好的鲁棒性和抗干扰能力。

4)采取了并行的分布方法，提高运算的速度。

这些特点表明了人工神经网络在非线性问题上的潜力与优势。

复杂非线性时变系统的控制器的设计，控制精度的提高，一直是控制领域研究人员所致力解决的问题。

神经网络作为一种的机器学习技术，在系统建模与控制方面都得到了广泛的研究和应用。

尤其是将神经网络技术与现有的传统控制技术相结合，做到优势互补，对于改进控制系统的设计，提高控制系统的精度具有很好的效果。

本设计要求将神经网络与内模控制技术相结合，建立非线性系统的神经网络内模控制系统，对于工科类学生而言，能够很好的结合理论与实际应用，提高主动学习、动手分析、设计和解决问题的综合能力，对于其今后踏上工作岗位，胜任各种工作任务也是一次很好的锻炼。

1.4本文所做的主要工作
本设计主要研究基于基于神经网络的非线性系统内模控制技术。

掌握神经网络原理与神经网络控制技术的应用，掌握内模控制技术的原理，建立某非线性系统的神经网络内模模型与内模控制器，对内模模型精度与控制器的控制效果进行仿真验证，满足一定的性能指标要求。

1)掌握神经网络原理与神经网络控制技术；
2)调研神经网络控制技术的需求与发展；
3)基于BP神经网络内模控制的辨识，训练神经网络，建立对象模型及其逆模型；
4)完成系统模型的建立，以MATLAB为工具，对系统进行仿真实验与研究；最后是结论与展望,本部分总结了本论文的成果和不足，提出以后应该注意和改进的地方，为以后的研究指明方向。

2神经网络的基本原理
人工神经网络是一个并行、分布式处理结构，它由处理单元及称为联接的无向信号通道互联而成。

这些处理单元（PE-Processing Element ）具有局部内存，并可以完成局部操作。

每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元信号，信号大小不因分支的多少而变化。

2.1人工神经元模型人脑神经元是组成人脑神经系统的最基本单元，对人脑神经元进行抽象化后得到一种人工神经元。

同样的，人工神经元也是人工神经网络的基本单元。

图2-1人工神经元结构图
i y :神经元i 的输出，它可以与其他多个神经元通过权值连接
i x :神经元i 的输入
ij w :神经元的连接权值
i θ:神经元i 的阈值
()i f u :神经元i 的非线性输出函数。

该神经元的输出i y ，可用下式描述:
1,()n
i ij j i i i j u w x y f u θ==-=∑。

常用的激励函数][∙f 有：线性函数、分段线性函数、阶跃函数、
符号函数、Sigmoid 函数、双曲正切函数等。

人工神经网络有以下三个要素：
1)连接强度由各连接线上的权值表示，正的权值表示激励作用，负的权值表示抑制作用；
2)一个求和单元，用于求取各输入信息的加权和；
3)一个非线性激励函数，起非线性映射作用，并限制神经元输出幅度在一定范围内（一般在[0,1]或[-1,+1]之间）。

2.2神经网络的学习方式和学习规则
学习是神经网络的主要特征与能力之一。

学习规则就是修正神经元之间连接强度或加权系数的算法，使获得的知识结构适应周围环境的变化。

在学习过程中，执行学习规则，
修正加权系数。

1.神经网络的学习方式主要分为有导师学习、无导师学习和再励学习三种:
①有导师的学习:在学习过程中，网络把实际的输出与期望的输出进行比较来调整连接权值。

期望输出又称为导师信号，我们用它作为评测学习的参照。

②无导师的学习:没有期望输出信号提供给予网络，网络依据它所特有的学习规则调整连接权值。

这时候，将学习标准藏于其内部。

③再励学习:它把学习过程看成测探评价，学习机选择一个动作作用于环境之后，使环境的状态改变，并产生一个再励信号反馈至学习机。

学习机依据再励信号与环境的当前状态选择下一个动作作用于环境，选择的原则是使受到的奖励的可能性增大。

2.神经网络通常采用的学习规则有：
①误差纠正学习规则
令()k y n 是输入()k x n 时神经元k 在n 时刻的实际输出，()k d n 表示应有的输出(可由训练样本给出)，则误差信号可写为:
()()()k k k e n d n y n =-(2-8)
误差纠正学习的最终目的是使某一基于()k e n 的目标函数达到要求，以使网络中每一输出单元的实际输出在某种统计意义上逼近应有输出。

一旦选定了目标函数形式，误差纠正学习就变成了一个典型的最优化问题，最常用的目标函数是均方误差判据，定义为误差平方和的均值:
()212k k J E e n ⎡⎤=⎢⎥⎣⎦
∑(2-9)
其中E 为期望算子。

上式的前提是被学习的过程是平稳的，具体方法可用最优梯度下降法。

直接用J 作为目标函数时需要知道整个过程的统计特性，为解决这一问题，通常用J 在时刻n 的瞬时值代替J ，即:
()21k k
E e n =∑(2-10)
问题变为求E 对权值w 的极小值，据梯度下降法可得:()()
kj k j w e n x n η∆=(2-11)其中η为学习步长，这就是通常所说的误差纠正学习规则。

②Hebb 学习规则
由神经心理学家Hebb 提出的学习规则可归纳为“当某一突触连接两端的神经元同时处于激活状态(或同为抑制)时，该连接的强度应增加，反之应减弱”用数学方式可描述为:
()()
kj k j w y n y n η∆=(2-12)
由于kj w ∆与(),()k j y n y n 的相关成比例，有时称为相关学习规则。

2.3神经网络的特点人工神经网络是人类在对大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络，是理论化的人脑神经网络的数学模型。

它之所以受到广泛研究与应用，是因为它吸取了生物神经网络的许多优点，因而有其固有的特性。

神经网络是人脑的某种抽象、简化和模拟，反映了人脑功能的若干基本特性：
1)神经网络信息处理决定于处理单元间的互相影响，同时含有并行处理的特性。

2)知识和信息的储存，由处理单元间的物理关系来体现。

3)神经网络的认知学习与辨识，有单元连接权值之间的动态演示决定。

3基于神经网络的内模控制系统
3.1内模控制的简介传统的控制理论建立在受控系统数学模型已知的条件下。

但在实际的生产生活中，控制过程常常具有非线性确定性，想要建立精准的数学模型非常困难，并且其结构也非常的复杂，难以实现有效的控制。

随着科学技术的不断发展，人们对不确定系统实行自动控制的要求越来越高，使得现代控制理论的局限性日益明显，理论和实践的差异越来越大。

为了克服这种理论和实践之间的不协调，从上个世纪70年代以来，人们除了加强对生产过程的建模、系统辨识、自适应控制的研究外，开始打破传统思想的束缚，试图面向工业过程的特点，寻找对模型要求低，在线计算方便，控制效果好的算法。

内模控制就是在这种背景下应运而生。

3.2内模控制的发展现状本文主要研究基于神经网络的内模控制系统。

它充分利用神经网络的函数逼近效果，在非线性系统建模这个难题上取得了突破性的进展，受到了业内人士的欢迎。

1982年Garcia 和Morari 提出的内模控制具有结构简单，性能良好的优点，1986年Economou 等将其推广到非线性系统，为非线性系统控制提供了有效的方法。

神经网络、模糊控制等智能控制理论和方法的引入为非线性内模控制的研究开辟了新的途径。

3.3内模控制的基本原理1.内模系统的基本结构
内模系统的基本结构如图3-1所示，由对象P 、对象的内部模型^
P 和内模控制器D 组成，v 是扰动。

由于P 在闭环控制系统内部，因此称其为内模控制。

由图可得到误差e 、控制量u 、输出y 、反馈量1e 的Z 变换：
1()()()
E z R z E z =-()()()
U z D z E z =()()()()Y z v z P z U z =+
^1()()[()()]()
E z v z P z P z U z =+-式中，()R z 是输入信号r 的Z
变换。

图3-1内模控制基本结构
由上式可推出反馈量、控制量、输出量间关系的Z 变换式：
^^^^()
()[()()]()1()[()()]
()()
1()()()()1()[()()]1()[()()]D z U z R z v z v z D z P z P z D z P z D z P z R z v z D z P z P z D z P z P z =-++--=
++-+-稳定性：当()P z =^()P z 时，闭环系统稳定的充要条件是控制器和系统都稳定。

推论：内模
控制不能直接适用于开环不稳定的受控对象；对于开环稳定的对象，系统在下列条件下充分稳定：控制器本身必须是稳定的。

3.5线性内模控制器设计1.线性的内模控制器的构建
线性受控对象的传递函数的通用表达式为下式：
^^^()()()d P z P z P z z -+-=（3-5）
式中，^
()P z +表示在对象系统模型上最小的相位部分
^()P z -：单位圆上和圆外的所有零点；d ：表示时延阶数，1d ≥内模控制器的构建可以分为以下两个步骤分别进行：
1）设计稳定内模控制器
为了保证系统的稳定运行，内模控制器要求性能稳定并且可以实现。

所以，不可以取值^()P z -,第一次应该取
^()1/()D z P z +=(3-6)
2）设计滤波器
由于内部模型的失配和扰动的存在0d ≠，因此我们决定设计滤波器来消除这些干扰。

这时候，就算是内模控制器和受控对象模型全部稳定，闭环系统仍有不稳定的可能性。

所以我们在反馈通道上设置()f F z 滤波器保持其稳定，同时可以保持它的无静差特性，图3-3。

另外，滤波器可可以增强系统的抗干扰能力和鲁棒性，这样可以调整系统的动态响应。

图3-3的内模控制的结构，闭环特性方程改为：
^1()()[()()]0f D z F z P z P z -+-=（3-7)
选取()f F z 的参数与结构，这样可以让特征方程（3-7）的所有跟都落在Z 平面圆中。

一般地，()f F z 取一阶形式：
11(),011f
f f f F z z ααα--=<<-（3-8）为满足“无静差特性”的条件，取
^1111
(1),011(1)f
f f F z P ααα---=<<-（3-9）
这时候，可以在输入过程通道上面加入滤波器()i F z ,来减少突加设定值的影响，可以发挥平滑噪声的作用，改善系统的动态响应，用以增强系统的抗干扰能力和鲁棒性。

若i f F F F ==，f αα=，图3-2的结构图成为以下图3-3形式。

由此，我们可以看出获得受控对象的模型和逆模型是实现系统内模控制的重点，而且获得逆模型是非线性系统的困难之处。

图3-2含有输入和反馈滤波器的内模控制的结构
图3-3内模控制结构
3.6神经非线性内模控制
神经非线性内模控制的结构如3-3图所示，其中受控对象为是非线性。

已证明，非线性内模控制原理与线性的基本相同。

神经非线性内模控制指的是由神经网络来实现内部模型^P 和内模控制器D 。

设P 是SISO 稳定并且可逆的含有d 阶时延的非线性系统，见式
()[(-1),...,(-),(-),...,(-)]y k g y k y k n u k d u k m =（3-10）
或
()[(1),...,(),(),...,()]y k d g y k d y k n d u k u k m +=+--+-（3-11）
式中，,u y 是系统的输入和输出。

1)P 的模型^
P
P 的模型^P 由神经辩识器采用串-并联结构实现
()[(1),...,(),(),...,();]y k Ng y k y k n u k d u k d m W =-----（3-12）
2)神经内模控制器设计
可逆且具有d 阶时延的非线性系统P ，其逆模型称为d 阶时延逆1
^d P -，对应于（3-10）、（3-11），由串-并联结构神经网络实现1^d P -：
^1()[(),(1),...,(),(1),...,();]u k d Ng y k y k y k n u k d u k d m V --=------（3-13）或
^1(k)=[(),(1),...,(),(1),...,();]u Ng y k d y k d y k d n u k u k m V -++-+---（3-14）
内模控制器D 取P 的逆模型1^d P -，此时D 的输入是滤波器F 的输出g ，则将
^()()g k y k d =+（3-15）
代入，内模控制器D 为:
()[(),(1),...,(),(1),...,();]u k N g k g k g k n u k u k m V =----(3-16）
3)滤波器设计:
1
1()1F z z α
α--=-4)系统分析
若在理想情况下，1d D P -=，则d D P z -= ，且^P P =，图所示非线性内模控制结构的闭环Z 传递函数为：
1()1()()1d d Y z F z z z R z z αα----==-（3-17）
系统相当于开环。

滤波器()F z 的输出为：
11g()(1)(1)()(1)(1)[()()]
(1)(1){[()()](1)}
k g k e k g k r k e k g k r k e k g k ααααα=-+-=-+--=-+----
将式代入上式得，^1()(1)(1){[()()](1)}
g k g k r k e k y k d α=-+---+-滤波器()F z 的输出Z 变换为：
1^111(){[()()]()}1d G z R z E z z Y z z α---=---式中，
1^()d z Y z -表示1d -步前对象输出的预报值，从而实现对时延对象的补偿。

根据上面的知识，初步掌握了神经网络的基本原理，以及基于神经网络的内模控制系统的结构参数的设计和功能实现，下面，我们将以具体的神经网络算法来进行内模控制的仿真。

4基于BP神经网络的内模控制
本节我们将研究基于BP神经网络的内模控制方法，BP网络模型经过训练能够一次性的构建受控对象的内部模型和内模控制器，从而免去了分别建立网络的复杂。

4.1BP神经网络
BP（Back Propagation）网络是1986年由Rumelhart和McCekkand为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。

它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP神经网络模型拓扑结构包括输入层（Input）、隐层(Hide layer)和输出层(Output layer)。

4.1.1BP神经网络的结构
图4-1BP网络结构图
,x o为网络的输入和输出，每个神经元用一个节点表示，网络包含一个输出层和一个输入层，隐含层可以是一层也可以是多层。

图中i表示输入层神经元，j表示隐层神经元，k表示输出层神经元。

已经证明BP网络能逼近任意非线性函数，在各个领域中有广泛的应用。

BP网络中采用梯度下降法，即在网络学习过程中，使网络的输出与期望输出的误差边向后传播边修正连接权值，以使其误差均方值最小。

学习算法有正向传播和反向传播组成，在正向传播中，输入信号从输入层经过隐层传向输出层，若输出层得到期望的输出，学习结束，否则，转至反向传播。

反向传播算法是将误差信号按照原链路反向计算，由梯度下
降法调整各层神经元的权值，使误差信号最小。

这两部分是相继连续反复进行的，直到误差满足要求。

4.1.2BP 神经网络的算法BP 神经网络的算法主要可以分为两部分，一是前向传播算法，就是已知网络的输入和活化函数求各层的输出；二是反向传播算法，即如果输出不满足要求就不断修正权值。

1)BP 神经网络的前向传播算法
设某BP 神经网络具有m 个输入、q 个隐含节点、r 个输出的三层结构，则BP 神经网络的输入为：
()1,2.....,x j j m =(4-1)
输入层节点的的输出为：
(1) ()1,2.....,j o x j j m ==（4-2)
隐含层第i 个神经元的输入:
(2)(2)(1)()1,2......,m j i ij j o net t w o i q ===∑(4-3)
输出可表达为：
2(2)()(())1,2......,i i o t g net t i q ==(4-4)
其中()2ij w 为输入层到隐层加权系数；上标（1）、（2）、（3）分别代表输入层、隐含层、输出层，()g 为隐层活化函数，这里取为Sigmoid 活化函数。

1()1x g x e -=
+(4-5）输出层的第k 个神经元的总输入为：
(3)(2)(3)0()()q k ik i i net t t w o ==∑k=1,2,.....,r （4-6）
输出层的第k 个神经元的总输出为
(3)
(3)()(())k k t f net t o =k=1,2,.....,r （4-7）
式中，(3)ik w ：为隐层到输出层加权系数，()f 为输出活化函数。

以上工作在神经网络工作时，就可以完成了一次前向传播的计算。

2)BP 网络的反向传播计算
假设，人工神经网络的理想输出为k d ，在前向计算中，若实际输出k o 与理想输出k d 不一致，就要求其把误差信息从输出的一端反向传送回去，在传播过程当中，对权系值进行不断的调整，当输出层神经元得到k d 时，方可停止。

我们选取下式作为目标函数，以达到修正加权系数：
221111()22m m k k k k k E d o e ===-=∑∑（4-8）
将误差E 作为最快调整的方向，就是让加权系数按照E 的负梯度方向进行修正。

根据梯度下降法可知，神经元j 到神经元i 的t+1次权系的修正为：
()()()()
()1ij ij ij ij ij E t w t w t w w t w t η∂+=+∆=-∂（4-9）
由式（4-8）可知，因此
()()()()()()
.i ij i ij E t E t net t w t net t w t ∂∂∂=∂∂∂（4-10）而其中的
()()i ij j j net t w t I =∑（4-11）
其中的j I 表示节点i 的第j 个输入。

所以
()()()()()ij j i j
j ij ij w t I net t I w t w t ∂∂==∂∂∑（4-12）
将（4-12）代入式（4-10），可以得到：
()()()()()()()().i j ij i ij i E t E t E t net t I w t net t w t net t ∂∂∂∂==∂∂∂∂（4-13）令i i E
net σ∂=∂（4-14）
式中i σ为第i 个节点的状态i net 对E 的灵敏度。

由式(4-13)和式（4-14）可以得到：
.j i ij
E I w σ∂=∂（4-15）
以下分两种情况计算i δ：
1)若i 为输出层节点，即i =k 由式(4-13)和（4-14）可得''.()()()i i k k k k k k i i i
E E o d o f net e f net net o net σσ∂∂∂==
==-=-∂∂∂（4-16）所以可得：()
()()()()()'.()i k k j ij i ij E t E t net t e f net I ∂∂∂==-∂∂∂（4-17）
此时ij w 应该按照下列公式进行调整：
()()()
()()'1().ij ij j ij k k ij E t w t w t w t e f net I w t ηη∂+=-=+∂（4-18）
式中η为学习速率。

2)若i 不为输出层神经元，即i k ≠此时式（4-14）为
()()'.()i i i i i i i
E k E o E g net net k o net o σ∂∂∂∂===∂∂∂∂（4-19）
其中。