11.第13章 神经网络应用实例解析

4.基于BP网络的个人信贷信用评估
运行脚本credit_class.m 测试20次的平均正确率为74.97%，最低正确率为 73.4%，迭代次数均为3次
5.基于概率神经网络的手写 体数字识别
手写体数字属于光学字符识别（Optical Character Recognition， OCR）的范畴，但分类的分别比光学字符识别少得多，主要只需识 别共10个字符。
y f x1 , x2 , x3 , x4 , x5
3.径向基网络预测地下水位
MATLAB自带的神经网络工具箱提供了newrb函数，可以创建一 个径向基神经网络。 在newrb函数创建的径向基网络中，隐含层的节点个数是不确定 的。函数根据用户设置的误差目标，向网络中不断添加新的隐含 层节点，并调整节点中心、标准差及权值，直到所得到的网络达 到预期的误差要求。 本例就使用newrb函数完成地下水水位的预测。
定义样本 划分训练/测试样 本 训练样本插值
显示测试结果
测试
创建网络
3.径向基网络预测地下水位
（1）定义样本数据。输入向量定义为5*24的矩阵，目标输出值为1*24行向量 （2）划分训练数据与测试数据。使用第6号至第24号样本训练得出模型 ，再对第1号至第5号样本进行检验。 （3）为充分利用训练样本，对19份训练样本进行二维插值，将样本数量 增加到100份 （4）使用newrb函数创建径向基神经网络。径向基网络需要若干参数， 在这里设置误差容限为1e-8，扩散因子为22，最大神经元个数为101
1. BP神经网络实现图像压缩
采用MATLAB神经网络工具箱的feedforwardnet函数创 建BP网络，并指定训练算法。为了达到较好效果，采用 LM训练法。
保存结果。训练完成后，压缩的结果是每个输入模式对 应的隐含层神经元向量的值，以及网络的权值和阈值。 使用save命令保存为MAT文件
1. BP神经网络实现图像压缩
第13章 神经网络应用实例
编 者
Outline
1. BP神经网络实现图像压缩 2. Elman网络预测上证股市开盘价 3.径向基网络预测地下水位 4.基于BP网络的个人信贷信用评估 5.基于概率神经网络的手写体数字识别 6.基于概率神经网络的柴油机故障诊断 7.基于自组织特征映射网络的亚洲足球 水平聚类
2. Elman网络预测上证股市开盘价
采用过去的股价预测下一期股价，因此相当于一个 时间序列问题，可以用Elman神经网络求解。
xn f xn1 , xn2 , xn N
对于给定的337期开盘价数据，首先将其划分为训练样本和测试 样本。以训练样本为例，抽取 x1 ~ xN 组成第一个样本，其中 x1 , x2 ,L , xN 1 为自变量，xN 为目标函数值；抽取 x2 ~ xN 1 组成第二个样本，其 中 x2 , x3 ,L , xN 为自变量，xN 1为函数值，以此类推，最终形成以 下训练矩阵

1. BP神经网络实现图像压缩
BP神经网络实现图像压缩。依赖BP网络的非线性映射能力进 行数据压缩
JPEG压缩 基于小波变换的图像压缩算法 分形压缩编码 矢量量化压缩编码
采用BP神经网络对灰度图像进行压缩，在保证较好峰值信 噪比（PSNR）的情况下，达到了较高的压缩比。
1. BP神经网络实现图像压缩
, b
ij j
y1
y2
y3
yN
图像块划分
归一化
BP网络训练
熵编码
图像块重建
反归一化
BP网络解码
熵解码
1. BP神经网络实现图像压缩
图像块的划分
128 128
...
a1 a 2 a3 a 16 a17 a18 a19 a 32
使用概率神经网络作为分类器，对64*64二值图像表示的手写数字 进行分类，所得的分类器对训练样本能够取得100%的正确率，训练 时间短，比BP神经网络快若干个数量级 。
原始图像
5.基于概率神经网络的手写 体数字识别
第一步是对图像进行预处理 其次，将整张图像分割为单个数字 图像，这也是数字识别的难点之一 对其进行特征提取 。
...
原始图像
...
重建图像
...
网络随机地抽取图像中各n*n图像块作为学习模式，使用反向传播 算法进行学习，通过调整网络中神经元之间的连接权值，使训练集图 像的重建误差 E=f-g 的均值达到最小。
...
1. BP神经网络实现图像压缩
x1 x2 x3 xN
编码过程

ji
, bj
hj
解码过程
常见的文件压缩软件如WinZip、WinRAR等采用的是无损压缩，能够完全恢 复原文件内容。多媒体信息具有信息量大、冗余信息多的特点，往往采用有损压 缩技术。
1.根据大面积着色原理，图像必须在一定面积内存在相同或相似的颜色，对 于人眼的观察来说才有意义，否则看到的只是杂乱无章的雪花。因此，图像中相 邻象素间存在相似性，这样就产生了图像的预测编码。 2.由于存在视觉的掩盖效应，因此人眼对于颜色细节往往并不敏感。图像信 息上的微小损失往往是无法感知或可以接受的，这样就提供了广阔的压缩空间 3.数据都存在统计上的冗余，如在某一幅描绘海洋的图像中，蓝颜色出现的 频率可能远高于红颜色，通过去除统计上的冗余同样可以实现压缩。
（2）特征提取。进行特征提取前进行去噪处理。特征提取的函 数为[Feature,bmp,flag]=getFeature(A)，该函数接受一个64*64二 值矩阵输入，返回的Feature为长度为14的特征向量 （3）模型训练。使用newpnn函数创建概率神经网络 （4）测试部分。测试时，首先使用原有训练数据进行测试，再 对读入的图像添加一定强度的噪声，观察算法的抗干扰性能。
1. BP神经网络实现图像压缩
第一层为输入层，中间层为隐含层，网络的映射功能 依赖隐含层实现。输入层到隐含层的变换相当于压缩的编 码过程；而从隐含层到输出层的变换则相当于解码过程
输入层 编码
隐含层 解码
输出层
1. BP神经网络实现图像压缩
输入层和输出层均由M个神经元组成 ，隐含层包 含K个神经元 。网络对数据进行压缩编码，保存在 隐含层，再由隐含层输出到下一层
16 1024
a1 a17 a 2 a18 a3 a19 a a 16 32
4 4
归一化。神经网络的输入样本一般都需要进行归一化处理，这样 更能保证性能的稳定性。归一化可以使用mapminmax函数进行，考 虑到图像数据的特殊性，像素点灰度值为整数，且处于0-255之间， 因此归一化处理统一将数据除以255即可。
3.径向基网络预测地下水位
地下水系统是一个复杂的非线性、随机系统。建立 微分方程模型需要大量详尽的地下水文地质资料。这些 实测数据往往很难获得。径向基函数网络训练速度快， 具有很强的非线性映射能力，能够实现较高精度的地下 水位预测。 由于预测的值是地下水的水位，因此输出的结果是 一个标量，故输出层的神经元节点个数为1 。 采用了影响水位深度的5个因素作为自变量，分别为 河道流量、气温、饱和差、降水量与蒸发量，形成函数 关系
对所有客户做二分类，只区分好和差两种情况。数据采用德国信 用数据库。德国信用数据库由Hans Hofmann教授整理，包含1000份 客户资料，每位客户包含20条属性，并给出了信用好或差的标注。
4.基于BP网络的个人信贷信用评估
原始数据保存在german.data文件中 ：
经常账户状况 、账户持续时间 、贷款历史状况 、贷 款用途 、贷款数额 。 使用MATLAB实现一个三层的BP神经网络。由于每 个个人用户拥有24个属性，因此输入层包含24个神经元 节点。该问题为针对信用好/差的二分类问题，因此输出 层只包含一个神经元。隐含层的神经元个数与网络性能 有关，需要通过实验确定
（1）加载数据。 （2）构造样本集 （3）划分训练、测试样本。将前380份样本作为训练样本，最 后51分样本作为测试样本 （4）创建Elman神经网络。MATLAB神经网络工具箱提供了 newelm与elmannet函数，都可以建立Elman反馈网络。这里采 用elmannet函数，它只需要三个参数，分别指定延迟、隐含层 神经元个数和训练函数。 （5）网络训练。 先归一化再训练。 （6）测试。进行测试时应使用归一化后的数据，得出实际输出 后再将输出结果反归一化为正常的数据。 运行elm_stockpredict.m 改变随机数种子，再次运行
输入数据 输入层，M个神经元 编码 编码结果 解码 输出层，M个神经元 重建数据 隐含层，K个神经元。K<M
1. BP神经网络实现图像压缩
假设输入图像为像素N*N大小，被细分为多个n*n的 图像块。如果将图像块中每一个像素点与一个输入或输 出神经元相对应
n n...
... ...
n n ...
解压。 使用load命令加载数据文件 数据反归一化
重建
图像反归一化 图像块恢复
运行bp_imageCompress.m进行压缩 bp_imageRecon进行解压
2. Elman网络预测上证股市开盘价
采用Elman神经网络对上证指数开盘价进行预测，效率良好。 选择2005年6月30日至2006年12月1日的上证开盘价进行预测分析。数 据保存在elm_stock.mat文件中，共计337条开盘价格，保存为double 类型的向量中
x2 x1 x3 x2 L L xN 1 xN x N xN 1
xi xi 1 L
2. Elman网络预测上证股市开盘价
xc u y2 x y1
加载数据
构造样本 集
划分训练/ 测试样本
测试
网络训练
创建Elman 网络
2. Elman网络预测上证股市开盘价
预处理
字符分割
选择一个有效的分类器模型 。这 里采用概率神经网络
训练样本 特征提取 训练分类器
测试样本
分类器模型
分类
5.基于概率神经网络的手写 体数字识别
样本采用1000幅64*64的二值图像
特征提取
5.基于概率神经网络的手写 体数字识别
获得了6维统计特征，与8维结构特征 一起构成了一个长度为14的特征向量 ，用该特征向量代表每一幅数字图像
X1 X2
. . .
Y
X25
输入层 隐藏层 输出层
4.基于BP网源自文库的个人信贷信用评估
读入数据 划分训练/测试样 本 样本数据归一化
显示结果
测试
训练网络
（1）读入数据。 （2）划分训练样本与测试样本。在全部1000份样本中，共有700 份正例（信誉好），300份负例（信誉差）。划分时取前350份正例 和前150份负例作为训练样本，后350份正例和后150份负例作为测 试样本。 （3）样本归一化。使用mapminmax函数对输入样本进行归一化 （4）创建BP神经网络，并完成训练 （5）测试。BP网络输出值并不限定为1或2，而是一个实数，因 此还需要将输出转换为整数。取1.5为阈值，小于该阈值的输出判为 1（信用好），否则判为2（信用差）
1. BP神经网络实现图像压缩
BP神经网络用于压缩 ： 只采用一个隐含层，因此整体构成了一个三层的网络。 把一组输入模式通过少量的隐含层单元映射到一组输出模式，并使输 出模式尽可能等于输入模式。因此，隐含层神经元的值和相应的权值向 量可以输出一个与原输入模式相同的向量。当隐含层的神经元个数较少 时，就意味着隐含层能用更少的数来表现输入模式，而这，实际上就是 压缩 。
（5）测试。使用创建完成的径向基网络模型对 第1-5份样本进行测试
3.径向基网络预测地下水位
测试结果
4.基于BP网络的个人信贷信用评估
对个人信用的评估方法主要分为定性评估和定量评估两种，前者 主要根据信贷人员的主观判断，后者则根据个人客户的资料，利用评 分卡和信用评分模型等工具进行分析。
本实例采用BP神经网络，以已知用户信息及信用情况为训练样本， 学习得出一个抽象模型，然后对新样本进行评估 ，正确率稳定在70% 以上
5.基于概率神经网络的手写 体数字识别
构造分类器——概率神经网络
x1 Ф1 x2 x3
...
f1
y
Ф2
Фi
f10
x14
1000
概率神经网络的判定边界接近于贝叶斯最佳判定面，网络 的计算流程与最大后验概率准则极为类似。
5.基于概率神经网络的手写 体数字识别
数据输入 特征提取 模型训练 测试
（1）数据输入。1000章图像被放在名为digital_pic的子目录中， 其中数字i的第j张图像文件名为i_j.bmp，为三位宽度的整数。