11.第13章 神经网络应用实例

（5）测试。使用创建完成的径向基网络模型对 第1-5份样本进行测试
3.径向基网络预测地下水位
测试结果
4.基于BP网络的个人信贷信用评估
对个人信用的评估方法主要分为定性评估和定量评估两种，前者 主要根据信贷人员的主观判断，后者则根据个人客户的资料，利用评 分卡和信用评分模型等工具进行分析。
本实例采用BP神经网络，以已知用户信息及信用情况为训练样本， 学习得出一个抽象模型，然后对新样本进行评估 ，正确率稳定在70% 以上
4.基于BP网络的个人信贷信用评估
运行脚本credit_class.m 测试20次的平均正确率为74.97%，最低正确率为 73.4%，迭代次数均为3次
5.基于概率神经网络的手写 体数字识别
手写体数字属于光学字符识别（Optical Character Recognition， OCR）的范畴，但分类的分别比光学字符识别少得多，主要只需识 别共10个字符。
第13章 神经网络应用实例
编 者
Outline
1. BP神经网络实现图像压缩 2. Elman网络预测上证股市开盘价 3.径向基网络预测地下水位 4பைடு நூலகம்基于BP网络的个人信贷信用评估 5.基于概率神经网络的手写体数字识别 6.基于概率神经网络的柴油机故障诊断 7.基于自组织特征映射网络的亚洲足球 水平聚类
常见的文件压缩软件如WinZip、WinRAR等采用的是无损压缩，能够完全恢 复原文件内容。多媒体信息具有信息量大、冗余信息多的特点，往往采用有损压 缩技术。
1.根据大面积着色原理，图像必须在一定面积内存在相同或相似的颜色，对 于人眼的观察来说才有意义，否则看到的只是杂乱无章的雪花。因此，图像中相 邻象素间存在相似性，这样就产生了图像的预测编码。 2.由于存在视觉的掩盖效应，因此人眼对于颜色细节往往并不敏感。图像信 息上的微小损失往往是无法感知或可以接受的，这样就提供了广阔的压缩空间 3.数据都存在统计上的冗余，如在某一幅描绘海洋的图像中，蓝颜色出现的 频率可能远高于红颜色，通过去除统计上的冗余同样可以实现压缩。
1. BP神经网络实现图像压缩
采用MATLAB神经网络工具箱的feedforwardnet函数创 建BP网络，并指定训练算法。为了达到较好效果，采用 LM训练法。
保存结果。训练完成后，压缩的结果是每个输入模式对 应的隐含层神经元向量的值，以及网络的权值和阈值。 使用save命令保存为MAT文件
1. BP神经网络实现图像压缩
16 1024
a1 a17 a 2 a18 a3 a19 a a 16 32
4 4
归一化。神经网络的输入样本一般都需要进行归一化处理，这样 更能保证性能的稳定性。归一化可以使用mapminmax函数进行，考 虑到图像数据的特殊性，像素点灰度值为整数，且处于0-255之间， 因此归一化处理统一将数据除以255即可。

1. BP神经网络实现图像压缩
BP神经网络实现图像压缩。依赖BP网络的非线性映射能力进 行数据压缩
JPEG压缩 基于小波变换的图像压缩算法 分形压缩编码 矢量量化压缩编码
采用BP神经网络对灰度图像进行压缩，在保证较好峰值信 噪比（PSNR）的情况下，达到了较高的压缩比。
1. BP神经网络实现图像压缩
1. BP神经网络实现图像压缩
BP神经网络用于压缩 ： 只采用一个隐含层，因此整体构成了一个三层的网络。 把一组输入模式通过少量的隐含层单元映射到一组输出模式，并使输 出模式尽可能等于输入模式。因此，隐含层神经元的值和相应的权值向 量可以输出一个与原输入模式相同的向量。当隐含层的神经元个数较少 时，就意味着隐含层能用更少的数来表现输入模式，而这，实际上就是 压缩 。
1. BP神经网络实现图像压缩
第一层为输入层，中间层为隐含层，网络的映射功能 依赖隐含层实现。输入层到隐含层的变换相当于压缩的编 码过程；而从隐含层到输出层的变换则相当于解码过程
输入层 编码
隐含层 解码
输出层
1. BP神经网络实现图像压缩
输入层和输出层均由M个神经元组成 ，隐含层包 含K个神经元 。网络对数据进行压缩编码，保存在 隐含层，再由隐含层输出到下一层
解压。 使用load命令加载数据文件 数据反归一化
重建
图像反归一化 图像块恢复
运行bp_imageCompress.m进行压缩 bp_imageRecon进行解压
2. Elman网络预测上证股市开盘价
采用Elman神经网络对上证指数开盘价进行预测，效率良好。 选择2005年6月30日至2006年12月1日的上证开盘价进行预测分析。数 据保存在elm_stock.mat文件中，共计337条开盘价格，保存为double 类型的向量中
对所有客户做二分类，只区分好和差两种情况。数据采用德国信 用数据库。德国信用数据库由Hans Hofmann教授整理，包含1000份 客户资料，每位客户包含20条属性，并给出了信用好或差的标注。
4.基于BP网络的个人信贷信用评估
原始数据保存在german.data文件中 ：
经常账户状况 、账户持续时间 、贷款历史状况 、贷 款用途 、贷款数额 。 使用MATLAB实现一个三层的BP神经网络。由于每 个个人用户拥有24个属性，因此输入层包含24个神经元 节点。该问题为针对信用好/差的二分类问题，因此输出 层只包含一个神经元。隐含层的神经元个数与网络性能 有关，需要通过实验确定
y f x1 , x2 , x3 , x4 , x5
3.径向基网络预测地下水位
MATLAB自带的神经网络工具箱提供了newrb函数，可以创建一 个径向基神经网络。 在newrb函数创建的径向基网络中，隐含层的节点个数是不确定 的。函数根据用户设置的误差目标，向网络中不断添加新的隐含 层节点，并调整节点中心、标准差及权值，直到所得到的网络达 到预期的误差要求。 本例就使用newrb函数完成地下水水位的预测。
5.基于概率神经网络的手写 体数字识别
构造分类器——概率神经网络
x1 Ф1 x2 x3
...
f1
y
Ф2
Фi
f10
x14
1000
概率神经网络的判定边界接近于贝叶斯最佳判定面，网络 的计算流程与最大后验概率准则极为类似。
5.基于概率神经网络的手写 体数字识别
数据输入 特征提取 模型训练 测试
（1）数据输入。1000章图像被放在名为digital_pic的子目录中， 其中数字i的第j张图像文件名为i_j.bmp，为三位宽度的整数。
2. Elman网络预测上证股市开盘价
采用过去的股价预测下一期股价，因此相当于一个 时间序列问题，可以用Elman神经网络求解。
xn f xn1 , xn2 , xn N
对于给定的337期开盘价数据，首先将其划分为训练样本和测试 样本。以训练样本为例，抽取 x1 ~ xN 组成第一个样本，其中 x1 , x2 ,L , xN 1 为自变量，xN 为目标函数值；抽取 x2 ~ xN 1 组成第二个样本，其 中 x2 , x3 ,L , xN 为自变量，xN 1为函数值，以此类推，最终形成以 下训练矩阵
预处理
字符分割
选择一个有效的分类器模型 。这 里采用概率神经网络
训练样本 特征提取 训练分类器
测试样本
分类器模型
分类
5.基于概率神经网络的手写 体数字识别
样本采用1000幅64*64的二值图像
特征提取
5.基于概率神经网络的手写 体数字识别
获得了6维统计特征，与8维结构特征 一起构成了一个长度为14的特征向量 ，用该特征向量代表每一幅数字图像
3.径向基网络预测地下水位
地下水系统是一个复杂的非线性、随机系统。建立 微分方程模型需要大量详尽的地下水文地质资料。这些 实测数据往往很难获得。径向基函数网络训练速度快， 具有很强的非线性映射能力，能够实现较高精度的地下 水位预测。 由于预测的值是地下水的水位，因此输出的结果是 一个标量，故输出层的神经元节点个数为1 。 采用了影响水位深度的5个因素作为自变量，分别为 河道流量、气温、饱和差、降水量与蒸发量，形成函数 关系
, b
ij j
y1
y2
y3
yN
图像块划分
归一化
BP网络训练
熵编码
图像块重建
反归一化
BP网络解码
熵解码
1. BP神经网络实现图像压缩
图像块的划分
128 128
...
a1 a 2 a3 a 16 a17 a18 a19 a 32
X1 X2
. . .
Y
X25
输入层 隐藏层 输出层
4.基于BP网络的个人信贷信用评估
读入数据 划分训练/测试样 本 样本数据归一化
显示结果
测试
训练网络
（1）读入数据。 （2）划分训练样本与测试样本。在全部1000份样本中，共有700 份正例（信誉好），300份负例（信誉差）。划分时取前350份正例 和前150份负例作为训练样本，后350份正例和后150份负例作为测 试样本。 （3）样本归一化。使用mapminmax函数对输入样本进行归一化 （4）创建BP神经网络，并完成训练 （5）测试。BP网络输出值并不限定为1或2，而是一个实数，因 此还需要将输出转换为整数。取1.5为阈值，小于该阈值的输出判为 1（信用好），否则判为2（信用差）
（2）特征提取。进行特征提取前进行去噪处理。特征提取的函 数为[Feature,bmp,flag]=getFeature(A)，该函数接受一个64*64二 值矩阵输入，返回的Feature为长度为14的特征向量 （3）模型训练。使用newpnn函数创建概率神经网络 （4）测试部分。测试时，首先使用原有训练数据进行测试，再 对读入的图像添加一定强度的噪声，观察算法的抗干扰性能。
使用概率神经网络作为分类器，对64*64二值图像表示的手写数字 进行分类，所得的分类器对训练样本能够取得100%的正确率，训练 时间短，比BP神经网络快若干个数量级 。
原始图像
5.基于概率神经网络的手写 体数字识别
第一步是对图像进行预处理 其次，将整张图像分割为单个数字 图像，这也是数字识别的难点之一 对其进行特征提取 。
...
原始图像
...
重建图像
...
网络随机地抽取图像中各n*n图像块作为学习模式，使用反向传播 算法进行学习，通过调整网络中神经元之间的连接权值，使训练集图 像的重建误差 E=f-g 的均值达到最小。
...
1. BP神经网络实现图像压缩
x1 x2 x3 xN
编码过程

ji
, bj
hj
解码过程
输入数据 输入层，M个神经元 编码 编码结果 解码 输出层，M个神经元 重建数据 隐含层，K个神经元。K<M
1. BP神经网络实现图像压缩
假设输入图像为像素N*N大小，被细分为多个n*n的 图像块。如果将图像块中每一个像素点与一个输入或输 出神经元相对应
n n...
... ...
n n ...
x2 x1 x3 x2 L L xN 1 xN x N xN 1
xi xi 1 L
2. Elman网络预测上证股市开盘价
xc u y2 x y1
加载数据
构造样本 集
划分训练/ 测试样本
测试
网络训练
创建Elman 网络
2. Elman网络预测上证股市开盘价
定义样本 划分训练/测试样 本 训练样本插值
显示测试结果
测试
创建网络
3.径向基网络预测地下水位
（1）定义样本数据。输入向量定义为5*24的矩阵，目标输出值为1*24行向量 （2）划分训练数据与测试数据。使用第6号至第24号样本训练得出模型 ，再对第1号至第5号样本进行检验。 （3）为充分利用训练样本，对19份训练样本进行二维插值，将样本数量 增加到100份 （4）使用newrb函数创建径向基神经网络。径向基网络需要若干参数， 在这里设置误差容限为1e-8，扩散因子为22，最大神经元个数为101
（1）加载数据。 （2）构造样本集 （3）划分训练、测试样本。将前380份样本作为训练样本，最 后51分样本作为测试样本 （4）创建Elman神经网络。MATLAB神经网络工具箱提供了 newelm与elmannet函数，都可以建立Elman反馈网络。这里采 用elmannet函数，它只需要三个参数，分别指定延迟、隐含层 神经元个数和训练函数。 （5）网络训练。 先归一化再训练。 （6）测试。进行测试时应使用归一化后的数据，得出实际输出 后再将输出结果反归一化为正常的数据。 运行elm_stockpredict.m 改变随机数种子，再次运行