pNN概率神经网络(基于C语言伪码和Matlab代码)

1 p( x | wi ) Ni


Ni

k 1
1 (2 ) l
l 2
2 x xik exp( ) 2 2
(1-2)
其中， xik 是属于第 wi 类的第 k 个训练样本， l 是样本向量的维数， 是平滑参数，N i 是第 wi 类的训练样本总数。 去掉共有元素，判别函数可简化为：
d
1k
E E E
12 22


p2
2m E pm
1m
E E
(2-4) 第四步：样本层径向基函数的神经元被激活。学习样本与待识别样本被归一化后，通常 取标准差 =0.1的高斯型函数。激活后得到初始概率矩阵：
E11 e 2 2 E 21 P e 2 2 E p1 2 e 2
m
P
1l
S12 S 22 S p2

S1c S 2c S pc
(2-6) 在上式中， S 代表的意思是：将要被识别的样本中，第i个样本属于第j类的初始概率
ij
和。 第六步：计算概率 probij ，即第i个样本属于第j类的概率。
prob
ij

S S
ij c l 1
2 mk
C
mn

B 11 1
m 1
1 n

X
mn
=
1 2n 2 xmn Mm
1n
x11 M1 x21 M2 xm1 Mm
x M x M
12 22

1

2


m
x M x M
x M
m1
C11 C 21 C m1
1n
X X
(2-1)
从样本的矩阵如式（2-1）中可以看出，该矩阵的学习样本有m个，每一个样本的特征 属性有n个。在求归一化因子之前，必须先计算 B 矩阵：

T
B
然后计算：
T
1
n
1
2 1k n
...
2 2k
1
n
x
k 1
x
k 1
x
k 1

p2
2m P pm
1m
P P
(2-5)
第五步：假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k， 则可以在网络的求和层求得各个样本属于各类的初始概率和：
k P1l 1 lk P2l S l 1 k P pl l 1
d 11 d D 21 d p1
d d d
12 22


p2
2n d pn
1n
d d
(2-3)
计算欧式距离：就是需要识别的样本向量，样本层中各个网络节点的中心向量，这两个 向量相应量之间的距离：
E
Gao Fei, Zhao Zhenzhen, Song Yan Abstract: The basic structure model of probabilistic neural network (PNN) is introduced in this paper, as well as the function of the model, the basic learning algorithm. The application of PNN in the field of Vehicle License Plate Recognition is interpreted in details. At the end of the paper,genetic algorithm( GA ) and its application in optimizing the PNN model are mainly focused on. Keywords: PNN; Parzen window estimate method; Genetic Algorithm
{ 读取号码颜色样本；
记录号码颜色样本的颜色，并统计总数 countHM； 读取背景颜色样本； 记录背景颜色样本的颜色，并统计总数 countBJ； w = (long double **)malloc((countBJ+countHM)*sizeof(long double *)); a = (int **)calloc((countBJ+countHM),sizeof(int *)); for(i=0; i<(countBJ+countHM); i++) { w[i]=(long double *)malloc(3*sizeof(long double)); //RBG 三个值 a[i]=(int *)calloc(2,sizeof(int)); } } PNN 神经网络训练伪代码： { FOR 记录到的每一种颜色也就是每个模式层单元 j Xr,b,g = Xr,b,g/ sqrt(Xr*Xr+Xb*Xb+Xg*Xg); //这里归一化时须采用这种方式 w[j][Xr,b,g]= Xr,b,g； IF 颜色属于车牌号码 a[j][1]=1； IF 颜色属于车牌背景 a[j][0]=1; } PNN 神经网络分类算法为代码： { FOR 每一行
E12 e 2 E 22 e 2 2 E p2 e 2 2
2

E1m e 2 2 P11 E 2m P 21 e 2 2 E pm P p1 e 2 2

P P P
12 22

2．基本学习算法
以下几步构成了PNN神经网络的算法： 第一步：首先必须对输入矩阵进行归一化处理，这样可以减小误差，避免较小的值被较 大的值“吃掉”。设原始输入矩阵为：
X 11 X X 21 ... X m1
X X X
12 22
...
m2
... ... ... ...
2n ... X mn
x x ik p ( wi ) N i g i ( x) exp( 2 2 N i k 1
1.2 概率神经元网络的结构模型
2
)
(1-3)
PNN 的结构以及各层的输入输出关系量如图 1 所示，共由四层组成，当进行并行处理 时，能有效地进行上式的计算。
图 1 概率神经网络结构（以3个类别为例） 如图1-1所示，PNN 网络由四部分组成：输入层、样本层、求和层和竞争层。PNN 的工 作过程：首先将输入向量 x 输入到输入层，在输入层中，网络计算输入向量与训练样本向量 之间的差值
2k l k 1 2k l k 1 2k
P

1l

P
2l
l k 1
P
pl
S11 l m k 1 m S 21 P 2l l m k 1 m S p1 P pl l m k 1
主要工作是：先判断哪些类别与输入向量有关，再将相关度高的类别集中起来，样本层的输 出值就代表相识度；然后，将样本层的输出值送入到求和层，求和层的结点个数是 M，每 个结点对应一个类， 通过求和层的竞争传递函数进行判决； 最后， 判决的结果由竞争层输出， 输出结果中只有一个1，其余结果都是0，概率值最大的那一类输出结果为1。

x xik x x ik ， 差值绝对值 的大小代表这两个向量之间的距离， 所得的向量由
输入层输出，该向量反映了向量间的接近程度；接着，输入层的输出向量
iM
x x ik 送入到样本层中，
样本层结点的数目等于训练样本数目的总和， N
N
i 1
i
，其中 M 是类的总数。样本层的
n
d
k 1 n
1k
c1k c1k c1k
2
n
d
k 1 n
1k
c2 k c2 k c2 k
2

d
k 1 n
2
2k
d
k 1 n
2
2k


2
d
k 1
pk
d
k 1
2 pk

2 c mk k 1 E11 n 2 c mk E 21 d 2k k 1 n E p1 2 cmk d pk k 1 n
概率神经网络
摘 要：本文介绍了概率神经网络（PNN）的结构模型、功能、基本学习算法。基于 PNN 的模式分类功能， 介绍了它在车牌识别方面的具体应用。 论文的最后介绍了遗传算法以及用 遗传算法对 PNN 的优化。 关键词：概率神经网络；Parzen 窗估计法；遗传算法
Probabilistic Neural Networks
号码与背景的程序，也就是车牌号图像的二值化。本文仅用这个程序作为 PNN 神经网络运 用的简单例子，因此对图像进行些处理以简化编程，采用8位 BMP 带调色板的图片格式存 储。
图4-1
车牌图像
人眼能够识别这个车牌号码是由于车牌的号码白色和它周围的背景蓝色有着鲜明的不 同。对于要完成的程序同样也可以运用颜色差来完成识别。计算机显示 bmp 图片时采用的 是 RBG 的值来描绘每一点的像素颜色，虽然看到图像车牌背景都是蓝色，但是如果放大来 看蓝色并不完全相同而且还有夹杂着些其他颜色， 同样车牌号也并非全部白色。 分析到这里 目标就清楚了，运用 PNN 神经网络采集图片中每个像素点的颜色 RBG 值，将接近蓝色或 者背景中出现的其他颜色分为 A 类，表示背景色；将接近白色的颜色分为 B 类，表示车牌 号色。再用0、1这两个数值来表示 A 类、B 类，重新设置图片中像素的颜色实现了车牌号 图像的二值化。 程序的流程可分为三步：第一步，选取背景色和号码色的样本图片，收集它们各自的颜 色样本数据；第二步，运用收集的颜色数据训练 PNN 神经网络；第三步，将需要识别的车 牌图片中每个像素的颜色数据输入 PNN 神经网络完成分类，然后重置图片颜色数据完成二 值化。 PNN 神经网络的设计：将 RBG 三个值作为输入数据，样本层里的每个神经元代表一种 样本颜色， 竞争层的两个单元分别代表背景色类和号码色类。 输入层和样本层之间的权重存 储在二维指针 **w 中，样本层到求和层的关系存储在**a 中，**a 中的值只能是0和1，每 个样本层里的神经元对应的类别有且仅有一条边值为1，用来说明该样本层神经元存储的样 本颜色属于该边连接的类别。 数据收集及神经网络结构实现的伪代码如下：