BP神经网络matlab实现的基本步骤
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
%例子： x1 = [Biblioteka Baidu 2 4; 1 1 1; 3 2 2; 0 0 0] [y1,PS] = mapminmax(x1,0,1)% 归化到 [0,1]，若不填，则默认为[-1,1]
%还原： x1_again = mapminmax('reverse',y1,PS)
4、mapstd()将数据归一化到(0,1)，是 6.5 中**std 系列的替代函数
归一化是为了加快训练网络的收敛性，具体做法是：
1 把数变为（0，1）之间的小数 主要是为了数据处理方便提出来的，把数据映射到 0～1 范围之内处理，更加便捷快速，应 该归到数字信号处理范畴之内。
2 把有量纲表达式变为无量纲表达式 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成 为纯量 比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 + jωL/R) ，复数部分变成了纯数量了， 没有量纲。另外，微波之中也就是电路分析、信号系统、电磁波传输等，有很多运算都可以 如此处理，既保证了运算的便捷，又能凸现出物理量的本质含义。
每次结果不一样问题
因为每次初始化网络时都是随机的，而且训练终止时的误差也不完全相同，结果训练后的权 植和阀也不完全相同（大致是一样的），所以每次训练后的结果也略有不同。 找到比较好的结果后，用命令 save filen_ame net_name 保存网络，可使预测的结果不会变化， 在需要的调用时用命令 load filename 载入。
2、prestd、poststd、trastd 归化数据到(0,1) 用法与 1 差不多。详细可以 help prestd。
上述两种方法是可以相互转化的，比如，第一种归化后的数据为 p，则(1+p)./2 的结果就是 第二种了
3、mapminmax()将数据归一化到(-1,1)，是 6.5 中**mnmx 系列的替换函数 该函数同时可以执行归一化、反归一化和归一化其他数据的功能，具体看帮助和后面的实例
神经网络归一化方法：
由于采集的各数据单位不一致，因而须对数据进行[-1,1]归一化处理，归一化方法主要有如 下几种，供大家参考： 1、线性函数转换，表达式如下：
代码:
y=(x-MinValue)/(MaxValue-MinValue)
说明：x、y 分别为转换前、后的值，MaxValue、MinValue 分别为样本的最大值和最小值。 2、对数函数转换，表达式如下：
如何查看和保存结果
训练好的权值、阈值的输出方法是： 输入到隐层权值：
代码:
w1=net.iw{1,1}
隐层阈值：
代码:
theta1=net.b{1}
隐层到输出层权值：
代码:
w2=net.lw{2,1};
输出层阈值：
代码:
theta2=net.b{2}
训练好的 BP 神经网络保存：
代码:
%保存 save file_name net_name%Matlab 自动将网络保存为 mat 数据文件，下次使用 时可以直接载入 %载入 load file_name
mathworksnnet 的新手册里面似乎没有介绍 dividverc 这个函数了，但增加了新的函数来完成
上述功能，并返回标号（手头没装新版本 Neural Network Toolbox Version 6.0 (R2008a)）， 看 guide 大概是这个意思(有新版本的，可以试一下，这个函数是不是这个意思)：
1. 内部函数 premnmx、postmnmx、tramnmx，将数据归一化到(-1,1) premnmx 的语法格式是
代码:
[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)
其中 P，T 分别为原始输入和输出数据，minp 和 maxp 分别为 P 中的最小值和最大值。mint 和 maxt 分别为 T 的最小值和最大值。
代码:
y=log10(x)
说明：以 10 为底的对数函数转换。 3、反余切函数转换，表达式如下：
代码:
y=atan(x)*2/PI
matlab 中归一化的实现：
matlab 中的归一化处理有五种方法，只会其中一种就可以了，我喜欢用第 4 种，因为习惯和 方便
注意：第一组和第二组归一化函数在 Matlab7.0 以上已遗弃，他们的用法相似，pre**是归一 化，post**是反归一化，tram**是使用同样的设置归一化另外一组数据
1、数据归一化 2、数据分类，主要包括打乱数据顺序，抽取正常训练用数据、变量数据、测试数据 3、建立神经网络，包括设置多少层网络（一般 3 层以内既可以，每层的节点数（具体节点 数，尚无科学的模型和公式方法确定，可采用试凑法，但输出层的节点数应和需要输出的量 个数相等），设置隐含层的传输函数等。关于网络具体建立使用方法，在后几节的例子中将 会说到。 4、指定训练参数进行训练，这步非常重要，在例子中，将详细进行说明 5、完成训练后，就可以调用训练结果，输入测试数据，进行测试 6、数据进行反归一化 7、误差分析、结果预测或分类，作图等
把数据进行打乱，并分类为：训练输入数据、变量数据、测试数据的方法
用百度搜了一下，发现有些方法，但居然很少看到使用 matlab 内部函数直接进行的，其实 matlab 自带的内部函数 dividevec，完全能胜任上述工作，推荐!
但这个存在一个问题是，因为打乱了，最后分析结果的时候，数据重新排列困难，因为丢失 了数据在数组中的位置参数。具体用法可以参见下面 bp 交通预测的例子。
[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t);
%原始数据归一化
net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingdx'); %设置网络,建立相应的 BP 网络 net.trainParam.show=2000; % 训练网络 net.trainParam.lr=0.01;
同理，3 和 4 两种方法是可以相互转化的，比如，第一种归化后的数据为 p，则(1+p)./2 的结 果就是第二种了。
5、自己写归一化函数，这个网上很多，大家可以百度下
输入训练数据的乱序排法，以及分类
注意：dividevec()函数在 7.6 版本还可以使用
把数据重新打乱顺序，进行输入，可以让数据更加具备典型性和更优良的泛化能力！
我们在训练网络时，如果所用的是经过归一化的样本数据，那么以后使用网络时所用的新数 据也应该和样本数据接受相同的预处理，这就要用到 tramnmx，换句话说使用同一个归一化 设置(setting)归一化另外一组数据。如下所示：
代码:
[Pn]=tramnmx(P,minp,maxp)
其中 P 和 Pn 分别为变换前、后的输入数据，maxp 和 minp 分别为 premnmx 函返回的最大值 maxp 和最小值 minp。
代码:
% 归一化数据输入为 p，输出为 t [normInput,ps] = mapminmax(p); [normTarget,ts] = mapminmax(t);
% 反归一化 trainOutput = mapminmax('reverse',normTrainOutput,ts); trainInsect = mapminmax('reverse',trainSamples.T,ts); validateOutput = mapminmax('reverse',normValidateOutput,ts); validateInsect = mapminmax('reverse',validateSamples.T,ts); testOutput = mapminmax('reverse',normTestOutput,ts); testInsect = mapminmax('reverse',testSamples.T,ts);
关于如何找到比较好的结果，进行保存，可以设置误差，在循环中保存，具体使用可以参看 bp 交通预测优化后的例子
P=[。。。];%输入 T=[。。。];%输出 %创建一个新的前向神经网络 net_1=newff(minmax(P),[10,1],,'traingdm')
%当前输入层权值和阈值 inputWeights=net_1.IW inputbias=net_1.b %当前网络层权值和阈值 layerWeights=net_1.LW layerbias=net_1.b p=p1'; t=t1';
数据归一化问题
归一化的意义：
首先说一下，在工程应用领域中，应用 BP 网络的好坏最关键的仍然是输入特征选择和训练 样本集的准备，若样本集代表性差、矛盾样本多、数据归一化存在问题，那么，使用多复杂 的综合算法、多精致的网络结构，建立起来的模型预测效果不会多好。若想取得实际有价值 的应用效果，从最基础的数据整理工作做起吧，会少走弯路的。
[训练数据,变量数据,测试数据,训练数据矩阵的标号,,变量数据标号,测试数据 标号] =divideblock(所有数据,训练数据百分比,变量数据百分比,测试数据百 分比)
其实 dividevec 和后面四个分类函数的区别在于，dividevec 一般直接在 Matlab 代码中调用。
而后面四个函数是通过设置网络的 divideFcn 函数来实现，比如，net.divideFcn='divideblock'， 但不是说不可以在代码中像 dividevec 直接调用
divideblock，divideind，divideint 和 dividerand
上述函数，用法和功能基本相同，只是打乱的方法不一样，分别是 block 方法抽取、按数组 标号自定义抽取、交错索引抽取和随机抽。
下面以 divideblock 为例，讲解其基本用法：
代码:
[trainV,valV,testV,trainInd,valInd,testInd] =divideblock(allV,trainRatio,valRatio,testRatio)
%还原： x1_again = mapminmax('reverse',y1,PS)
4、mapstd()将数据归一化到(0,1)，是 6.5 中**std 系列的替代函数
归一化是为了加快训练网络的收敛性，具体做法是：
1 把数变为（0，1）之间的小数 主要是为了数据处理方便提出来的，把数据映射到 0～1 范围之内处理，更加便捷快速，应 该归到数字信号处理范畴之内。
2 把有量纲表达式变为无量纲表达式 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成 为纯量 比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 + jωL/R) ，复数部分变成了纯数量了， 没有量纲。另外，微波之中也就是电路分析、信号系统、电磁波传输等，有很多运算都可以 如此处理，既保证了运算的便捷，又能凸现出物理量的本质含义。
每次结果不一样问题
因为每次初始化网络时都是随机的，而且训练终止时的误差也不完全相同，结果训练后的权 植和阀也不完全相同（大致是一样的），所以每次训练后的结果也略有不同。 找到比较好的结果后，用命令 save filen_ame net_name 保存网络，可使预测的结果不会变化， 在需要的调用时用命令 load filename 载入。
2、prestd、poststd、trastd 归化数据到(0,1) 用法与 1 差不多。详细可以 help prestd。
上述两种方法是可以相互转化的，比如，第一种归化后的数据为 p，则(1+p)./2 的结果就是 第二种了
3、mapminmax()将数据归一化到(-1,1)，是 6.5 中**mnmx 系列的替换函数 该函数同时可以执行归一化、反归一化和归一化其他数据的功能，具体看帮助和后面的实例
神经网络归一化方法：
由于采集的各数据单位不一致，因而须对数据进行[-1,1]归一化处理，归一化方法主要有如 下几种，供大家参考： 1、线性函数转换，表达式如下：
代码:
y=(x-MinValue)/(MaxValue-MinValue)
说明：x、y 分别为转换前、后的值，MaxValue、MinValue 分别为样本的最大值和最小值。 2、对数函数转换，表达式如下：
如何查看和保存结果
训练好的权值、阈值的输出方法是： 输入到隐层权值：
代码:
w1=net.iw{1,1}
隐层阈值：
代码:
theta1=net.b{1}
隐层到输出层权值：
代码:
w2=net.lw{2,1};
输出层阈值：
代码:
theta2=net.b{2}
训练好的 BP 神经网络保存：
代码:
%保存 save file_name net_name%Matlab 自动将网络保存为 mat 数据文件，下次使用 时可以直接载入 %载入 load file_name
mathworksnnet 的新手册里面似乎没有介绍 dividverc 这个函数了，但增加了新的函数来完成
上述功能，并返回标号（手头没装新版本 Neural Network Toolbox Version 6.0 (R2008a)）， 看 guide 大概是这个意思(有新版本的，可以试一下，这个函数是不是这个意思)：
1. 内部函数 premnmx、postmnmx、tramnmx，将数据归一化到(-1,1) premnmx 的语法格式是
代码:
[Pn,minp,maxp,Tn,mint,maxt]=premnmx(P,T)
其中 P，T 分别为原始输入和输出数据，minp 和 maxp 分别为 P 中的最小值和最大值。mint 和 maxt 分别为 T 的最小值和最大值。
代码:
y=log10(x)
说明：以 10 为底的对数函数转换。 3、反余切函数转换，表达式如下：
代码:
y=atan(x)*2/PI
matlab 中归一化的实现：
matlab 中的归一化处理有五种方法，只会其中一种就可以了，我喜欢用第 4 种，因为习惯和 方便
注意：第一组和第二组归一化函数在 Matlab7.0 以上已遗弃，他们的用法相似，pre**是归一 化，post**是反归一化，tram**是使用同样的设置归一化另外一组数据
1、数据归一化 2、数据分类，主要包括打乱数据顺序，抽取正常训练用数据、变量数据、测试数据 3、建立神经网络，包括设置多少层网络（一般 3 层以内既可以，每层的节点数（具体节点 数，尚无科学的模型和公式方法确定，可采用试凑法，但输出层的节点数应和需要输出的量 个数相等），设置隐含层的传输函数等。关于网络具体建立使用方法，在后几节的例子中将 会说到。 4、指定训练参数进行训练，这步非常重要，在例子中，将详细进行说明 5、完成训练后，就可以调用训练结果，输入测试数据，进行测试 6、数据进行反归一化 7、误差分析、结果预测或分类，作图等
把数据进行打乱，并分类为：训练输入数据、变量数据、测试数据的方法
用百度搜了一下，发现有些方法，但居然很少看到使用 matlab 内部函数直接进行的，其实 matlab 自带的内部函数 dividevec，完全能胜任上述工作，推荐!
但这个存在一个问题是，因为打乱了，最后分析结果的时候，数据重新排列困难，因为丢失 了数据在数组中的位置参数。具体用法可以参见下面 bp 交通预测的例子。
[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t);
%原始数据归一化
net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingdx'); %设置网络,建立相应的 BP 网络 net.trainParam.show=2000; % 训练网络 net.trainParam.lr=0.01;
同理，3 和 4 两种方法是可以相互转化的，比如，第一种归化后的数据为 p，则(1+p)./2 的结 果就是第二种了。
5、自己写归一化函数，这个网上很多，大家可以百度下
输入训练数据的乱序排法，以及分类
注意：dividevec()函数在 7.6 版本还可以使用
把数据重新打乱顺序，进行输入，可以让数据更加具备典型性和更优良的泛化能力！
我们在训练网络时，如果所用的是经过归一化的样本数据，那么以后使用网络时所用的新数 据也应该和样本数据接受相同的预处理，这就要用到 tramnmx，换句话说使用同一个归一化 设置(setting)归一化另外一组数据。如下所示：
代码:
[Pn]=tramnmx(P,minp,maxp)
其中 P 和 Pn 分别为变换前、后的输入数据，maxp 和 minp 分别为 premnmx 函返回的最大值 maxp 和最小值 minp。
代码:
% 归一化数据输入为 p，输出为 t [normInput,ps] = mapminmax(p); [normTarget,ts] = mapminmax(t);
% 反归一化 trainOutput = mapminmax('reverse',normTrainOutput,ts); trainInsect = mapminmax('reverse',trainSamples.T,ts); validateOutput = mapminmax('reverse',normValidateOutput,ts); validateInsect = mapminmax('reverse',validateSamples.T,ts); testOutput = mapminmax('reverse',normTestOutput,ts); testInsect = mapminmax('reverse',testSamples.T,ts);
关于如何找到比较好的结果，进行保存，可以设置误差，在循环中保存，具体使用可以参看 bp 交通预测优化后的例子
P=[。。。];%输入 T=[。。。];%输出 %创建一个新的前向神经网络 net_1=newff(minmax(P),[10,1],,'traingdm')
%当前输入层权值和阈值 inputWeights=net_1.IW inputbias=net_1.b %当前网络层权值和阈值 layerWeights=net_1.LW layerbias=net_1.b p=p1'; t=t1';
数据归一化问题
归一化的意义：
首先说一下，在工程应用领域中，应用 BP 网络的好坏最关键的仍然是输入特征选择和训练 样本集的准备，若样本集代表性差、矛盾样本多、数据归一化存在问题，那么，使用多复杂 的综合算法、多精致的网络结构，建立起来的模型预测效果不会多好。若想取得实际有价值 的应用效果，从最基础的数据整理工作做起吧，会少走弯路的。
[训练数据,变量数据,测试数据,训练数据矩阵的标号,,变量数据标号,测试数据 标号] =divideblock(所有数据,训练数据百分比,变量数据百分比,测试数据百 分比)
其实 dividevec 和后面四个分类函数的区别在于，dividevec 一般直接在 Matlab 代码中调用。
而后面四个函数是通过设置网络的 divideFcn 函数来实现，比如，net.divideFcn='divideblock'， 但不是说不可以在代码中像 dividevec 直接调用
divideblock，divideind，divideint 和 dividerand
上述函数，用法和功能基本相同，只是打乱的方法不一样，分别是 block 方法抽取、按数组 标号自定义抽取、交错索引抽取和随机抽。
下面以 divideblock 为例，讲解其基本用法：
代码:
[trainV,valV,testV,trainInd,valInd,testInd] =divideblock(allV,trainRatio,valRatio,testRatio)