人工神经网络_matlab工具箱
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
net.b：各层的偏移。Net.b{1}表示第1隐层 个节点的偏移…
net.trainParam.epochs：最大训练步数。不过 当误差准则满足时，即使没达到此步数也停 止训练。缺省为100。
net.trainParam.goad：网络误差准则，当误差 小于此准则时停止训练，缺省为0。
net.trainFcn：训练算法。缺省为 ’trainlm’， 即Levenberg-Marquardt算法。还可使用 ‘traingdx’，即带动量的梯度下降算 法；’traincgf’，即共轭梯度法。
Y=sim(net,X);
net是函数newff建立的数据对象。 X为n*m的矩阵, n为输入变量个数, m为样
本数(即把每个样本是一个行向量)。 Y为k*m的矩阵, k为数出变量个数。
2 人工神经网络(ANN)简介
2.1 人工神经网络(ANN)的研究内容
（1）理论研究：ANN模型及其学习算法，试图从 数学上描述ANN的动力学过程，建立相应的ANN模 型，在该模型的基础上，对于给定的学习样本，找 出一种能以较快的速度和较高的精度调整神经元间 互连权值，使系统达到稳定状态，满足学习要求的 算法。
数据融合的能力：神经网络可以同时处理定量 信息和定性信息，因此它可以利用传统的工程 技术（数值运算）和人工智能技术（符号处 理）。
多变量系统：神经网络的输入和输出变量的数 目是任意的，对单变量系统与多变量系统提供 了一种通用的描述方式，不必考虑各子系统间 的解耦问题。
3.2 BP网络输入/输出变量的确定
其它可看matlab帮助:help->contents-> Neural
Network Toobox-> Network Object Reference;
help(net.trainFcn)
help newff
Caution: trainlm is the default training function because it is very fast, but it requires a lot of memory to run. If you get an "out-ofmemory" error when training try doing one of these:
(2) 训练样本数必须多于网络模型的连接权 数，一般为2~10倍，否则，样本必须分成几 部分并采用“轮流训练”的方法才可能得到 可靠的神经网络模型。
3.6 BP网络的训练算法
由于BP网络采用误差反传算法，其实质是一个无 约束的非线性最优化计算过程，在网络结构较大时 不仅计算时间长，而且很容易限入局部极小点而得 不到最优结果。
预处理的数据训练完成后，网络输出的结 果要进行反变换才能得到实际值。
3.4 BP网络隐层数的确定
一般认为，增加隐层数可以降低网络误差（也有文 献认为不一定能有效降低），提高精度，但也使网 络复杂化，从而增加了网络的训练时间和出现“过 拟合”的倾向。
Hornik等早已证明：若输入层和输出层采用线性转 换函数，隐层采用Sigmoid转换函数，则含一个隐层 的网MLP络能够以任意精度逼近任何有理函数。显 然，这是一个存在性结论。在设计BP网络时可参考 这一点，应优先考虑3层BP网络(即有1个隐层+输入 层输出层)。一般地，靠增加隐层节点数来获得较低 的误差，其训练效果要比增加隐层数更容易实现。
1.2 网络数据对象net的属性
net.IW：来自输入层的加权矩阵。BP网络 只用net.IW{1},表示各个输入变量对第1层各 节点的加权矩阵。
net.LW：来自中间层的加权向量。 BP网络 用net.IW{2,1}表示第1隐层个节点向下一层 个节点的加权矩阵； net.IW{3,2}表示第2隐 层向下一层的加权矩阵…
确定隐层节点数的最基本原则是：在满足 精度要求的前提下取尽可能紧凑的结 构，即取尽可能少的隐层节点数。
研究表明，隐层节点数不仅与输入/输出层 的节点数有关，更与需解决的问题的复杂程 度和转换函数的型式以及样本数据的特性等 因素有关。
在确定隐层节点数时必须满足下列条件：
(1)隐层节点数必须小于N-1（其中N为训练 样本数），否则，网络模型的系统误差与训 练样本的特性无关而趋于零，即建立的网络 模型没有泛化能力，也没有任何实用价值。 同理可推得：输入层的节点数（变量数）必 须小于N-1。
（2）实现技术的研究：探讨利用电子、光学、生 物等技术实现神经计算机的途径。
（3）应用的研究：探讨如何应用ANN解决实际问 题，如模式识别、故障检测、智能机器人等。
2.2 ANN研究的目的和意义
(1)通过揭示物理平面与认知平面之间的映射，了解 它们相互联系和相互作用的机理，从而揭示思维的本 质，探索智能的本源。
一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才 能显示出其优越性。尤其对问题的机理不甚了解或 不能用数学模型表示的系统,如故障诊断、特征提取 和预测等问题,ANN往往是最有利的工具。另一方面, ANN对处理大量原始数据而不能用规则或公式描述 的问题, 表现出极大的灵活性和自适应性。
3.3 BP网络数据的预处理
由于BP神经网络的隐层一般采用Sigmoid 转换函数，为提高训练速度和灵敏性以及 有效避开Sigmoid函数的饱和区(即输入值 若大于1，则取为1)，一般要求输入数据的 值在0~1之间(每个数都除于最大值)。
如果输出层节点也采用Sigmoid转换函数， 输出变量也必须作相应的预处理，为保证 建立的模型具有一定的外推能力，最好使 数据预处理后的输出变量的值在0.2~0.8之 间。
目前虽已有改进BP法、遗传算法（GA） 和模拟退火算法等多种优化方法用于BP网络
的训练(这些方法从原理上讲可通过调整某些参数 求得全局极小点)，但在应用中，这些参数的调整 往往因问题不同而异，较难求得全局极小点。
这些方法中应用最广的是增加了冲量（动量）项的 改进BP算法。
3.7 BP网络的学习率和冲量系数的选择
网络结构
w1=net.IW{1};
∑
f
w11 b1
∑
f
w12 b2
x
w13 ∑
f
w14 b3
∑
f
w15 b4
∑
f
b5
w2=net.LW{2};
b1=net.b{1};
w21
b2=net.b{2}; a = tansig(w1*x0 + b1
w22 y = tansig(w2*a + b2)
w23 ∑
net.trainParam.epochs=100; net.trainParam.goad=0.000001;
net = train(net,x,y); x1=0:0.1:10; y1=sim(net,x1); figure; plot(x,y,'.');hold on; plot(x1,y1,'r');
学习率η影响系统学习过程的稳定性。大的学习 率可能使网络权值每一次的修正量过大，甚至会 导致权值在修正过程中超出某个误差的极小值呈 不规则跳跃而不收敛；但过小的学习率导致学习 时间过长，不过能保证收敛于某个极小值。所以， 一般倾向选取较小的学习率以保证学习过程的收 敛性（稳定性），通常在0.01~0.8之间。
xm,xM分别为列向量(行数为变量个数)，分别 存储每个变量的最小值和最大值。
[h1,…,hk]表示网络各层的节点数, 一共有k层. {f1,…,fk}表示各层使用的传输函数，默认
为’tansig’，即Sigmoid函数。还可使用函 数’purelin’，即f(x)=x。 其它可看matlab帮助: help newff
本数(即把每个样本是一个列向量)。 Y为k*m的矩阵, k为数出变量个数。 tr返回训练的跟踪信息, tr.epochs为训练
步数, tr.perf为各步目标函数的值。 Y1和E返回网络最终的输出和误差。 训练结束后可以用plotperf(tr)来绘制目标
值随着训练步数变化的曲线。
1.4 网络的泛化(预测)
对于没有隐层的神经网络模型，实际上就是一个线 性或非线性（取决于输出层采用线性或非线性转换
函数型式）回归模型。
3.5 BP网络隐层节点数的确定
在BP 网络中，隐层节点数的选择非常重要， 它不仅对建立的神经网络模型的性能影响很 大，而且是训练时出现“过拟合”的直接原 因，但是目前理论上还没有一种科学的和普 遍的确定方法。
– Slow trainlm training, but reduce memory requirements by setting net.trainParam.mem_reduc to 2 or more.Baidu Nhomakorabea(See help trainlm.)
– Use trainbfg, which is slower but more memoryefficient than trainlm.
模式识别讲义
第5章 人工神经网络
— matlab神经网络工具箱
黄可坤
嘉应学院
主要内容
0 引例:神经网络函数拟合(预测) 1 matlab神经网络工具箱 2 人工神经网络(ANN)简介 3 前馈神经网络(BP网络) 4 实例：多元神经网络预测 5 实验：神经网络分类
0 引例:神经网络函数拟合(预测)
3 前馈神经网络(BP网络)
3.1 前馈神经网络(BP网络)的特点
非线性映照能力：神经网络能以任意精度逼 近任何非线性连续函数。在建模过程中的许 多问题正是具有高度的非线性。
并行分布处理方式：在神经网络中信息是分 布储存和并行处理的，这使它具有很强的容 错性和很快的处理速度。
自学习和自适应能力：神经网络在训练时，能 从输入、输出的数据中提取出规律性的知识， 记忆于网络的权值中，并具有泛化能力，即将 这组权值应用于一般情形的能力。神经网络的 学习也可以在线进行。
BP网络的输入变量即为待分析系统的内生 变量（影响因子或自变量）数，一般根据专 业知识确定。若输入变量较多，一般可通过 主成份分析方法压减输入变量，也可根据剔 除某一变量引起的系统误差与原系统误差的 比值的大小来压减输入变量。
输出变量即为系统待分析的外生变量（系统 性能指标或因变量），可以是一个，也可以 是多个。一般将一个具有多个输出的网络模 型转化为多个具有一个输出的网络模型效果 会更好，训练也更方便。
试构造合适的神经网络模型拟合如下数据点,并预测x=10的值:
x 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 y 0 0.43 0.69 0.74 0.61 0.36 0.08 -0.17 -0.34 -0.4
x 5 5.5 6 6.5 7 7.5 8 8.5 9 9.5 y -0.35 -0.23 -0.08 0.06 0.16 0.21 0.2 0.15 0.07 -0.01
(2)争取构造出尽可能与人脑具有相似功能的计算机， 即ANN计算机。
(3)研究仿照脑神经系统的人工神经网络，将在模式 识别、组合优化和决策判断等方面取得传统计算机所 难以达到的效果。
2.3 人工神经网络研究的局限性
（1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。
matlab代码
x=0:0.5:9.5; y=[0, 0.43, 0.69, 0.74, 0.61, 0.36, 0.08, -0.17, -0.34, -0.4, -0.35, -
0.23, -0.08, 0.06, 0.16, 0.21, 0.2, 0.15, 0.07,-0.01]; net = newff([0,9.5],[5, 1]);
– Use trainrp, which is slower but more memoryefficient than trainbfg.
1.3 网络的训练
[net,tr,Y1,E]=train(net,X,Y);
net是函数newff建立的数据对象。 X为n*m的矩阵, n为输入变量个数, m为样
f
y b
w24
Sigmoid函数
w25
f
(x)
1 1
e 2 x e 2 x
y = f(w21*f(w11*x+b1) + …+ w25*f(w15*x+b5)+ b )
1 matlab神经网络工具箱
1.1 网络数据对象的建立
net=newff([xm,xM],[h1,…,hk],{f1,…,fk});
net.trainParam.epochs：最大训练步数。不过 当误差准则满足时，即使没达到此步数也停 止训练。缺省为100。
net.trainParam.goad：网络误差准则，当误差 小于此准则时停止训练，缺省为0。
net.trainFcn：训练算法。缺省为 ’trainlm’， 即Levenberg-Marquardt算法。还可使用 ‘traingdx’，即带动量的梯度下降算 法；’traincgf’，即共轭梯度法。
Y=sim(net,X);
net是函数newff建立的数据对象。 X为n*m的矩阵, n为输入变量个数, m为样
本数(即把每个样本是一个行向量)。 Y为k*m的矩阵, k为数出变量个数。
2 人工神经网络(ANN)简介
2.1 人工神经网络(ANN)的研究内容
（1）理论研究：ANN模型及其学习算法，试图从 数学上描述ANN的动力学过程，建立相应的ANN模 型，在该模型的基础上，对于给定的学习样本，找 出一种能以较快的速度和较高的精度调整神经元间 互连权值，使系统达到稳定状态，满足学习要求的 算法。
数据融合的能力：神经网络可以同时处理定量 信息和定性信息，因此它可以利用传统的工程 技术（数值运算）和人工智能技术（符号处 理）。
多变量系统：神经网络的输入和输出变量的数 目是任意的，对单变量系统与多变量系统提供 了一种通用的描述方式，不必考虑各子系统间 的解耦问题。
3.2 BP网络输入/输出变量的确定
其它可看matlab帮助:help->contents-> Neural
Network Toobox-> Network Object Reference;
help(net.trainFcn)
help newff
Caution: trainlm is the default training function because it is very fast, but it requires a lot of memory to run. If you get an "out-ofmemory" error when training try doing one of these:
(2) 训练样本数必须多于网络模型的连接权 数，一般为2~10倍，否则，样本必须分成几 部分并采用“轮流训练”的方法才可能得到 可靠的神经网络模型。
3.6 BP网络的训练算法
由于BP网络采用误差反传算法，其实质是一个无 约束的非线性最优化计算过程，在网络结构较大时 不仅计算时间长，而且很容易限入局部极小点而得 不到最优结果。
预处理的数据训练完成后，网络输出的结 果要进行反变换才能得到实际值。
3.4 BP网络隐层数的确定
一般认为，增加隐层数可以降低网络误差（也有文 献认为不一定能有效降低），提高精度，但也使网 络复杂化，从而增加了网络的训练时间和出现“过 拟合”的倾向。
Hornik等早已证明：若输入层和输出层采用线性转 换函数，隐层采用Sigmoid转换函数，则含一个隐层 的网MLP络能够以任意精度逼近任何有理函数。显 然，这是一个存在性结论。在设计BP网络时可参考 这一点，应优先考虑3层BP网络(即有1个隐层+输入 层输出层)。一般地，靠增加隐层节点数来获得较低 的误差，其训练效果要比增加隐层数更容易实现。
1.2 网络数据对象net的属性
net.IW：来自输入层的加权矩阵。BP网络 只用net.IW{1},表示各个输入变量对第1层各 节点的加权矩阵。
net.LW：来自中间层的加权向量。 BP网络 用net.IW{2,1}表示第1隐层个节点向下一层 个节点的加权矩阵； net.IW{3,2}表示第2隐 层向下一层的加权矩阵…
确定隐层节点数的最基本原则是：在满足 精度要求的前提下取尽可能紧凑的结 构，即取尽可能少的隐层节点数。
研究表明，隐层节点数不仅与输入/输出层 的节点数有关，更与需解决的问题的复杂程 度和转换函数的型式以及样本数据的特性等 因素有关。
在确定隐层节点数时必须满足下列条件：
(1)隐层节点数必须小于N-1（其中N为训练 样本数），否则，网络模型的系统误差与训 练样本的特性无关而趋于零，即建立的网络 模型没有泛化能力，也没有任何实用价值。 同理可推得：输入层的节点数（变量数）必 须小于N-1。
（2）实现技术的研究：探讨利用电子、光学、生 物等技术实现神经计算机的途径。
（3）应用的研究：探讨如何应用ANN解决实际问 题，如模式识别、故障检测、智能机器人等。
2.2 ANN研究的目的和意义
(1)通过揭示物理平面与认知平面之间的映射，了解 它们相互联系和相互作用的机理，从而揭示思维的本 质，探索智能的本源。
一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才 能显示出其优越性。尤其对问题的机理不甚了解或 不能用数学模型表示的系统,如故障诊断、特征提取 和预测等问题,ANN往往是最有利的工具。另一方面, ANN对处理大量原始数据而不能用规则或公式描述 的问题, 表现出极大的灵活性和自适应性。
3.3 BP网络数据的预处理
由于BP神经网络的隐层一般采用Sigmoid 转换函数，为提高训练速度和灵敏性以及 有效避开Sigmoid函数的饱和区(即输入值 若大于1，则取为1)，一般要求输入数据的 值在0~1之间(每个数都除于最大值)。
如果输出层节点也采用Sigmoid转换函数， 输出变量也必须作相应的预处理，为保证 建立的模型具有一定的外推能力，最好使 数据预处理后的输出变量的值在0.2~0.8之 间。
目前虽已有改进BP法、遗传算法（GA） 和模拟退火算法等多种优化方法用于BP网络
的训练(这些方法从原理上讲可通过调整某些参数 求得全局极小点)，但在应用中，这些参数的调整 往往因问题不同而异，较难求得全局极小点。
这些方法中应用最广的是增加了冲量（动量）项的 改进BP算法。
3.7 BP网络的学习率和冲量系数的选择
网络结构
w1=net.IW{1};
∑
f
w11 b1
∑
f
w12 b2
x
w13 ∑
f
w14 b3
∑
f
w15 b4
∑
f
b5
w2=net.LW{2};
b1=net.b{1};
w21
b2=net.b{2}; a = tansig(w1*x0 + b1
w22 y = tansig(w2*a + b2)
w23 ∑
net.trainParam.epochs=100; net.trainParam.goad=0.000001;
net = train(net,x,y); x1=0:0.1:10; y1=sim(net,x1); figure; plot(x,y,'.');hold on; plot(x1,y1,'r');
学习率η影响系统学习过程的稳定性。大的学习 率可能使网络权值每一次的修正量过大，甚至会 导致权值在修正过程中超出某个误差的极小值呈 不规则跳跃而不收敛；但过小的学习率导致学习 时间过长，不过能保证收敛于某个极小值。所以， 一般倾向选取较小的学习率以保证学习过程的收 敛性（稳定性），通常在0.01~0.8之间。
xm,xM分别为列向量(行数为变量个数)，分别 存储每个变量的最小值和最大值。
[h1,…,hk]表示网络各层的节点数, 一共有k层. {f1,…,fk}表示各层使用的传输函数，默认
为’tansig’，即Sigmoid函数。还可使用函 数’purelin’，即f(x)=x。 其它可看matlab帮助: help newff
本数(即把每个样本是一个列向量)。 Y为k*m的矩阵, k为数出变量个数。 tr返回训练的跟踪信息, tr.epochs为训练
步数, tr.perf为各步目标函数的值。 Y1和E返回网络最终的输出和误差。 训练结束后可以用plotperf(tr)来绘制目标
值随着训练步数变化的曲线。
1.4 网络的泛化(预测)
对于没有隐层的神经网络模型，实际上就是一个线 性或非线性（取决于输出层采用线性或非线性转换
函数型式）回归模型。
3.5 BP网络隐层节点数的确定
在BP 网络中，隐层节点数的选择非常重要， 它不仅对建立的神经网络模型的性能影响很 大，而且是训练时出现“过拟合”的直接原 因，但是目前理论上还没有一种科学的和普 遍的确定方法。
– Slow trainlm training, but reduce memory requirements by setting net.trainParam.mem_reduc to 2 or more.Baidu Nhomakorabea(See help trainlm.)
– Use trainbfg, which is slower but more memoryefficient than trainlm.
模式识别讲义
第5章 人工神经网络
— matlab神经网络工具箱
黄可坤
嘉应学院
主要内容
0 引例:神经网络函数拟合(预测) 1 matlab神经网络工具箱 2 人工神经网络(ANN)简介 3 前馈神经网络(BP网络) 4 实例：多元神经网络预测 5 实验：神经网络分类
0 引例:神经网络函数拟合(预测)
3 前馈神经网络(BP网络)
3.1 前馈神经网络(BP网络)的特点
非线性映照能力：神经网络能以任意精度逼 近任何非线性连续函数。在建模过程中的许 多问题正是具有高度的非线性。
并行分布处理方式：在神经网络中信息是分 布储存和并行处理的，这使它具有很强的容 错性和很快的处理速度。
自学习和自适应能力：神经网络在训练时，能 从输入、输出的数据中提取出规律性的知识， 记忆于网络的权值中，并具有泛化能力，即将 这组权值应用于一般情形的能力。神经网络的 学习也可以在线进行。
BP网络的输入变量即为待分析系统的内生 变量（影响因子或自变量）数，一般根据专 业知识确定。若输入变量较多，一般可通过 主成份分析方法压减输入变量，也可根据剔 除某一变量引起的系统误差与原系统误差的 比值的大小来压减输入变量。
输出变量即为系统待分析的外生变量（系统 性能指标或因变量），可以是一个，也可以 是多个。一般将一个具有多个输出的网络模 型转化为多个具有一个输出的网络模型效果 会更好，训练也更方便。
试构造合适的神经网络模型拟合如下数据点,并预测x=10的值:
x 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 y 0 0.43 0.69 0.74 0.61 0.36 0.08 -0.17 -0.34 -0.4
x 5 5.5 6 6.5 7 7.5 8 8.5 9 9.5 y -0.35 -0.23 -0.08 0.06 0.16 0.21 0.2 0.15 0.07 -0.01
(2)争取构造出尽可能与人脑具有相似功能的计算机， 即ANN计算机。
(3)研究仿照脑神经系统的人工神经网络，将在模式 识别、组合优化和决策判断等方面取得传统计算机所 难以达到的效果。
2.3 人工神经网络研究的局限性
（1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。
matlab代码
x=0:0.5:9.5; y=[0, 0.43, 0.69, 0.74, 0.61, 0.36, 0.08, -0.17, -0.34, -0.4, -0.35, -
0.23, -0.08, 0.06, 0.16, 0.21, 0.2, 0.15, 0.07,-0.01]; net = newff([0,9.5],[5, 1]);
– Use trainrp, which is slower but more memoryefficient than trainbfg.
1.3 网络的训练
[net,tr,Y1,E]=train(net,X,Y);
net是函数newff建立的数据对象。 X为n*m的矩阵, n为输入变量个数, m为样
f
y b
w24
Sigmoid函数
w25
f
(x)
1 1
e 2 x e 2 x
y = f(w21*f(w11*x+b1) + …+ w25*f(w15*x+b5)+ b )
1 matlab神经网络工具箱
1.1 网络数据对象的建立
net=newff([xm,xM],[h1,…,hk],{f1,…,fk});