PNN神经网络聚类法

目录

摘要 (1)

1概率神经网络 (1)

1.1网络模型 (1)

1.2分类思想 (2)

1.3 PNN分类的优点 (3)

2 PNN网络的构建 (3)

2.1 构建步骤 (3)

2.2 Matlab中的主要代码 (4)

3 Matlab编程及结果分析 (4)

3.1 Matlab中的编程 (4)

3.2 仿真结果分析 (7)

3.3 结论 (10)

4 总结 (11)

参考文献 (12)

PNN神经网络聚类法

摘要

近几年来，对于神经网络的研究越来越普遍，神经网络在我们社会生活中的作用也越来越不可替代，尤其在模式识别的领域里，更是有着举足轻重的作用。

酒是由多种成分按不同的比例构成的，兑酒时需要三种原料（X,Y,Z），现在已测出不同酒中三种原料的含量，本文正是基于PNN神经网络针对酒中X、Y、Z三种含量的不同来对酒进行识别分类。本文首先介绍了PNN神经网络的网络模型以及它对不同的模式进行分类判别的思想，然后针对本文的酒类判别的要求来构建PNN网络，并在Matlab中进行编程仿真，最后对所仿真的结果进行了分析比较，最后找出最优的模式分类。

1概率神经网络

概率神经网络(Probabilistic Neural Networks,PNN)是由D. F. Specht在1990年提出的。主要思想是用贝叶斯决策规则,即错误分类的期望风险最小,在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络,它是以Parzen 窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经网络与经典的概率密度估计原理的优点,与传统的前馈神经网络相比,在模式分类方面尤其具有较为显著的优势。

1.1网络模型

PNN的结构如图1所示,共由四层组成。

图1 概率神经网络结构

概率神经网络PNN 是径向基网络的一个分支,是前馈网络的一种。它是一种有监督的网络的分类器，基于概率统计思想,由Bayes 分类规则构成,采用Parzen 窗函数密度估计方法估算条件概率，进行分类模式识别。

PNN 的结构模型如图，共分四层：输入层、样本层（又称模式层）、求和层和决策层（又称竞争层输出层）。对应网络输入X=[x1,x2,…xm]T ，其输出为Y=[y1,y2,…,yL]T ,输入向量为m ，待匹配的类别数为L 。 1.2分类思想

在PNN 的神经网络模型中，输入层中的神经元数目等于学习样本中输入向量的m ，各神经元是简单的分布单元，直接将输入变量传递给样本层。

样本层的节点数由输入样本和待匹配类别的乘积决定，为m*L 。样本层是将输入节点传来的输入进行加权求和，然后经过一个激活函数运算后，再传给求和层。这里激活函数采用高斯函数，则输出为：

))2/||(||exp(22∑--=i i i c x σθ

式中i c 为径向基函数的中心，i σ表示特性函数第i 个分量对弈的开关参数。些层中每个节点均为RBF 的中心，采用的特性函数为径向基函数—高斯函数，计算未知模式与标准模式间相似度。

求和层各单元只与相应类别的模式单元相连，各单元只依据Parzen 方法求和估计各类的概率，即其条件概率为：

∑=---∏=n

i L T i m m i X X X X n C X P 12

2/]2)()(exp[1)2(1)|(σ

σ 式中i C 为类别，X 为识别样本，i X 为类别i 的模式样本（在概率神经网络中做为权值），m 为向量维数，σ为平滑参数，n 为类i 的模式样本数量。先验概率记为P(X)。

决策层节点数等于待匹配类别数，为L 。根据各类对输入向量概率的估计，采用Bayes 分类规则，选择出具有最小“风险”的类别，即具有最大后验概率的类别，可用下式来表达其决策方法对所有i ,j ≠

))(/()()|(j j i i C P C X P C P C X P

则输出y(X)= i C 。

与其它方法相比较,PNN 不需进行多次充分的计算,就能稳定收敛于Bayes 优化解。在训练模式样本一定的情况下,只需进行平滑因子的调节,网络收敛快。平滑因子值的大小决定了模式样本点之间的影响程度,关系到概率密度分布函数的变化。通常,网络只要求经验地给定一个平滑因子。 1.3 PNN 分类的优点

PNN 是一种可用于模式分类的人工神经网络,其实质是基于贝叶斯最小风险准则发展而来的一种并行算法,相比BP 网络,其主要优点为： (1) 训练速度快；

(2) 在足够训练样本下,总可以保证获得贝叶斯准则下的最优解；

(3) 只考虑样本空间的概率特性,允许增加训练样本而无需重新进行长时间的训练。

2 PNN 网络的构建

2.1 构建步骤

第一步：采集数据；本文采集的是兑酒所需要的三种原料的数据。

第二步：训练网络；选取该厂的30个样本数据作为训练和测试的数据。以其中的20个数据作为训练样本，以1、2、3、4四类酒作为期望输出矢量。训练网络从而得到酒类识别的PNN 网络模型。

第三步：进行网络性能测试；网络训练完成后，10个数据作为测试样本，进行网络性能检验。将各层神经元间的连接权值代回网络中，对训练样本进行回归模拟；当训练样本的期望值输出与PNN 网络的仿真输出完全重合时，这说明网络已训练成功，可用来预测未知样本的类别。

第四步：利用已训练好的网络进行预测；利用已建好的PNN 网络来对未知的20组样本数据进行分类。

2.2 Matlab中的主要代码

用Matlab实现过程的主要源代码如下:

P=[p1,p2,p3,p4,p5,p6,p7]; %输入样本

Tc %类别向量

T=ind2vec(Tc); %转为目标分类向量;

Net=newpnn(P,T,N); %创建一个PNN, SPREAD=N

Y=sim(net,P); %仿真

Yc=vec2ind(Y); %转为类别向量

输出网络训练结束后,输出层各节点和输入模式类的特定关系已确定,因此可用作模式分类器,当输入一个SPREAD值后,网络将对输入自动进行分类。

3 Matlab编程及结果分析

3.1 Matlab中的编程

前30组数据用来学习，利用训练好的PNN网络来对后20组数据进行预测。Matlab中的源程序如下：

clear all;

P=[

2232.43 3077.87 1298.87

1580.1 1752.07 2463.04

1962.4 1594.97 1835.95

1495.18 1957.44 3498.02

1125.17 1594.39 2937.73

24.22 3447.31 2145.01

1269.07 1910.72 2701.97

1802.07 1725.81 1966.35

1817.36 1927.4 2328.79

1860.45 1782.88 1875.13