人工神经网络技术

神经网络的学习
②无导师学习 无导师学习包括强化学习和无监督学习。强化学习是 模仿生物在“试探—评价”的环境中获得知识，改进行动 方案以适应环境的特点，具有向环境学习已增长知识的能 力。在无监督学习中没有外部导师或评价系统来统观学习 过程，而是提供一个关于网络学习表示方法质量的测量尺 度，根据该尺度将网络的自由参数最优化。一旦网络与输 入数据的统计规律性达成一致，就能够形成内部表示方法 来为输入特征编码，并由此自动得出新的类别。
BP网络与BP学习算法
BP学习过程可以描述如下： ①工作信号正向传播：输入信号从输入层经隐单元，传向输 出层，在输出端产生输出信号，这是工作信号的正向传播。 在信号向前传递过程中网络的权值是固定不变的，每一层 神经元的状态只影响下一层神经元的状态。如果在输出层 不能得到期望的输出，则转入误差信号反向传播。 ②误差信号反向传播，网络的实际输出与期望输出之间差值 即为误差信号，误差信号由输出端开始逐层反向传播，这 是误差信号的反向传播。在误差信号反向传播的过程中， 网络的权值由误差反馈进行调节。通过权值的不断修正使 网络的实际输出更接近期望输出。
[21]金以葱，《过程控制》，1998. 1，清华大学出版社出版 [22]严太山，《神经网络BP算法及其在工业测量中的应用》2001，广西 师 范大学硕士学位论文 [23]Zheng-she liu.QR methods of 0(N) Complexeity in Adaptive Parameter Estimating[J].IEEE Trans. on Signal Proeessing, 2005, 156-159. [24]Texas Instrument s.TMS320x281x Boot ROM Reference Guide (Rev.B) [M].SPRU095, 2003. [25] Texas Instruments.C28x IQ-Math Library仁M].SPRC078, 2003. [26]张文修.遗传算法的数学基础[M].西安:西安交通大学出版社，2000. [27] Z.米凯利维兹.演化程序一遗传算法和数据编码的结合「M].北京:科 学出版社，2000. [28]玄光男.遗传算发与工程设计「M].北京:科学出版社，2006. [29]Beaufay F. Transform-domain adaptive filters:An analytical approach[J].IEEE Trans. Signal Processing, 2005, 43 (2):422一425. [30]Marcello L. R. De Campos. A new Quasi-Newton adaptive filtering algorithm[J].IEEE Trans. on Circuits and Systems-II Analog and Digital Signal Processing, 2002, 44(11):924一928.
人工神经网络概述
人工神经网络是一种模拟人神经网络行为特征，进行分布 式并行信息处理的算法数学模型。这种网络依靠系统的复 杂程度，通过调整内部大量节点之间相互连接的关系，从 而达到处理信息的目的。人工神经网络具有自学习和自适 应的能力，可以通过预先提供的一批相互对应的输入和输 出数据，分析掌握两者之间潜在的规律，最终根据这些规 律，用新的输入数据来推算输出结果。
1 f ( x) 1 e ax
其中 a 为S型函数的斜率参数，通过改变参数 a，可以得到 不同斜率下的S型函数。
神经网络的学习
学习功能是神经网络最主要的特征之一，神经网络的学习 也称为训练，指的是通过神经网络所在环境的刺激作用调 整神经网络的自由参数，使神经网络以一种新的方式对外 部环境做出反应的一个过程。能够从环境中学习和在学习 中提高自身性能是神经网络的最有意义的性质。 学习算法是指针对学习问题的明确规则集合。学习类型是 由参数变化发生的形式决定的，不同的学习算法对神经元 权值调整的表达式有所不同。没有一种独特的学习算法用 于设计所有的神经网络。选择或设计学习算法时还需要考 虑神经网络的结构即神经网络与外界环境相连的形式。
I x
i j ij j
x1
i1
i 2
MP模型的数学表达式为：
y f ( x )
i j ij j i
x2
...
xj
ij

i
(.)
yi
...
xN
f 式中， i 为阀值，(.) 是激励
iN
函数。
神经网络基本数学模型
激励函数 f (.) 可取不同的函数，它可以是线性的，也可以是 非线性的。常用的基本激励函数有以下三种； ①阀值函数
神经网络工具箱
神经网络工具箱是在MATLAB环境下所开发出来的众多工 具箱之一，它是以人工神经网络理论为基础，用MATLAB 语言构造出典型神经网络的激活函数，如S型、线性、竞 争层、饱和线性等激活函数，使设计者对所选定网络输出 的计算变成对激活函数的调用。另外，根据各种典型的网 络学习算法，加上网络的训练过程，用MATLAB编写出各 种网络设计与训练的子程序，网络的设计者则可以根据自 己的需要去调用工具箱中有关神经网络的设计学习程序， 使自己能够从繁琐的编程中解脱出来，集中精力去思考和 解决所关注的问题。
神经网络工具箱
②导入训练样本数据 在工作空间或文件中生成所需的数据，然后点击Import按 钮将数据导入。
神经网络工具箱
③创建神经网络 在图形窗口主界面中 点击“New Network”， 进入创建神经网络界 面。在该界面中进行 对神经网络的名称、 类型、结构和训练函 数等参数的设置。
神经网络工具箱
神经网络工具箱
在MATLAB的命令窗口键入“nntool”命令，即可进入下图 所示的图形用户窗口界面（GUI）。
神经网络工具箱
示例 利用神经网络工具箱设计一个三层BP网络，使其以较高 的精度逼近余弦曲线。基本过程如下： ①定义神经网络的训练样本数据（输入矢量和目标矢量） %训练样本集：200个[-1,+1]区间随机数 x=rands(1,200); %与x对应的目标矢量，即与x对应的真实余弦值 y=cos(pi*x); %建立样本数据文件 save data x y;
神经网络基本数学模型
经过对生物神经元的长期广泛研究，1943年美国心理学 家麦卡洛克（W.McCulloch）和数理学家皮茨（W.Pitts） 根据生物神经元生物电和生物化学的运行机理提出神经元 的数学模型，即著名的MP模型。 一个典型的人工神经元MP模型如图所示。
x1
i1
i 2
x2
...
④网络的初始化 在神经网络创建完成之后，网络的权值和阀值已自动进行 了初始化。在网络结构显示界面中，可直接点击Weights 标签，对当前网络进行权和阀值参数的显示和编辑。
神经网络工具箱
⑤神经网络的训练 在网络结构显示界面中点击Train标签进入网络训练界面。
神经网络工具箱
⑥仿真（网络的检验） 在网络结构显示界面中点击Simulate进入仿真界面。定义 检验样本数据t：t=-1:0.02:1;
人工神经网络技术
内容
人工神经网络概述
神经网络基本数学模型
神经网络的学习 BP网络与BP学习算法
神经网络工具箱
人工神经网络概述
人工神经网络（Artificial Neural Network, ANN），也称为 神经网络（Neural Network, NN），是由大量处理单元广 泛互联而成的网络，是对人脑的抽象、简化和模拟，反映 人脑的基本特征。人工神经网络的研究是从人脑的生理结 构出发来研究人的智能行为，模拟人脑信息处理的功能。 它是植根于神经系统、数学、统计学、物理学、计算机科 学及工程等学科的一种技术。
xj
ij

i
(.)
yi
...
xN
iN
神经网络基本数学模型
对于网络中的第i个神经元，接受多个其他神经元的输入信 号 x j ( j 1,2, N ) ，各连接强度以实系数 ij 表示，即第j个神 经元对第i个神经元作用的权值。利用某种运算把输入信号 的作用结合起来，给出他们的总效果，称为净输入，以 I i 表示，净输入的表达式有多种类型，最简单的一种形式是 线性加权求和，即：
[12]邱忠文《玻璃器皿模具号的计算机视觉识别》广西师范大学硕士学 位论文，2000年 [13]孙增沂等《智能控制理论与技术》，1997.4清华大学出版社广西科 学技术出版社 [14]王科俊、王克成著《神经网络建模、预报与控制》，1996年12月第1 版，哈尔滨工业大学出版社 [15]庄镇泉、王煦法、王东‘生编著《神经网络与神经计算机》，1992 年12月第1版，科学出版社 [16]袁曾任编著，《人工神经元网络及其应用》，1999年10月第1版，清 华大学出版社 [17]曾洛亚，《模糊神经网络的应用与研究》，2000年，广西师范大学 硕士学位论文 [18]丛爽编著，《面向MATLAB工具箱的神经网络理论与应用》，1998年 11月第1版，中国科学技术大学出版社 [19]徐勇、荆涛等译，《神经网络模式识别及其实现》，1999年6月第， 子工业出版社版 [20]徐庐生主编，《微机神经网络》，19%年10月第1版，中国医药科技 出版社
参考文献
[1]孙增沂、张再兴、邓志东 《智能控制理论与技术》，1997.4 清华 大学出版社 [2]杨汝清等《智能控制工程》2001上海交通大学出版社 [3]刘金琨《先进PID控制及其Matlab仿真》2003.1，电子工业出版社 [4]张义忠、冯振声《基于神经网络的复杂电子装备故障诊断系统的仿真 研究》，第17卷第4期，2000年7月:39-42，计算机仿真 [5]袁曾任编著《人工神经元网络及其应用》，清华大学出版社，1999年 10月第1版 [6] R.C.Eberhart and R.VJ. bobbins, Newal Network Pc tools, Academic Press,1990 [7]张立明著，《人工神经网络的模型及其应用》，1993年7月第1版，复 旦大学出版社版 [8]王强，《工业产品的计算机视觉识别与检测算法研究》，2000年，北 京航空航天大学博士学位论文， [9]中国科技大学生物医学工程跨系委员会编《神经网络及其应用》， 1992 中国科技大学出版社 [10]《人工神经网络原理一入门与应用》，1995年10月第1版，北京航空 航天大学出版社 [11]罗晓曙编著《人工神经网络理论与应用》广西师范大学出版社
1，若x 0 f ( x) 0，若x 0
该函数通常称为阶跃函数。此外，符号函数Sgn（t）也常 常作为神经元的激励函数。 ②分段线性函数
1，若x 1 f ( x) x，若 1 x 1 1，若x 1
神经网络基本数学模型
③S型函数 S型函数即Sigmoid函数。它是人工神经网络中最常用的 激励函数。S型函数定义如下：
神经网络的学习
神经网络的学习方式可分为两类：有导师学习和无导师学 习。 ①有导师学习 有导师学习又称为有监督学习，在ቤተ መጻሕፍቲ ባይዱ习时需要给出导 师信号或称为期望输出。神经网络对外部环境是未知的， 但可以将导师看做对外部环境的了解，由输入-输出样本 集合来表示。导师信号或期望响应代表了神经网络执行情 况的最佳效果，即对于网络输入调整网络参数，使得网络 输出逼近导师信号或期望输出。
BP网络与BP学习算法
BP网络是一种前向多层网络，是基于误差反向传播算法 的有导师网络。BP网络通常有一个或多个隐层，隐层中 的神经元均采用S型激活函数，输出层神经元采用线性传 递函数。
x1
x2 … xn 输入层 隐藏层 输出层 … … …
o1
o2
…
…
… om
BP网络与BP学习算法
BP算法是一种有导师的学习算法，这种算法通常采用梯度 下降法。BP算法解决了多层前向网络的学习问题，促进了 神经网络的发展。 如图所示为多层前向网络的一部分，其中有两种信号，一 是实线表示的工作信号，工作信号正向传播；二是用虚线 表示的误差信号，误差信号反向传播。
神经网络工具箱
⑦训练结果和数据导出 在图形用户窗口主界面点击Export按钮，弹出如图所示结 果导出界面。
神经网络工具箱
在命令行键入如下命令可以得到如图所示的逼近曲线。 Plot（bpnet_outputs_sim）
以上仿真结果表明，一个隐含层仅有10个神经元的BP网络 就可以很好的拟合一个余弦函数。