自组织特征映射网络的分析与应用

第24卷第4期Vol 24 No 4长春师范学院学报(自然科学版)Journal of Chang Chun Teachers College(Natural Science)2005年10月Oct 2005自组织特征映射网络的分析与应用程 勖1,杨毅恒1,陈薇伶2(1 吉林大学综合信息矿产预测研究所,吉林长春 130026;2.长春工业大学研究生院,吉林长春 130012)[摘 要]数据挖掘的方法主要包括检索和分类两类,而各自都有缺陷。

针对这些缺点提出先利用自组织映射的方法对采集的数据进行聚类和可视化,获得一些关于采集到的数据的初步信息。

自组织映射法的目的是一个将高维数据非线性的投到一个预先定义好的二维拓扑中。

它通过竞争学习的方法达到了降维、聚类、可视化的目的。

[关键词]自组织特征映射;聚类;学习速率;权值矩阵[中图分类号]TP311[文献标识码]A[文章编号]1008-178X(2005)04-0055 05[收稿日期]2005-07-02[作者简介]程 勖(1980-),男,吉林长春人,吉林大学综合信息矿产预测研究所硕士研究生,从事GIS 二次开发及其在矿产中的评价研究。

1 引言人工神经网络系统从20世纪40年代末诞生至今仅半个多世纪,但由于其所具有的非线性特性,大量的并行分布结构以及学习和归纳能力使其在模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等领域得到越来越广泛的应用。

自组织特征映射网络是由芬兰学者Teuvo Kohonen 于1981年提出的[1][2][3]。

该网络是一个由全连接的神经元阵列组成的无教师自组织、自学习网络。

Kohonen 认为,处于空间中不同区域的神经元有不同的分工,当一个神经网络接受外界输入模式时,将会为不同的反应区域,各区域对输入模式具有不同的响应特性。

它所形成的聚类中心能够映射到一个平面或曲面上而保持拓朴结构不变,可以对目标的固有特征作出客观的划分。

Fig 1 1The structure of Kohonen ANN2 自组织特征映射神经网络的结构与学习算法Kohonen 网络或自组织特征映射网络含有两层,一个输入缓冲层用于接收输入模式,另一为输出层,见图1 1[5]。

输出层的神经元一般按正则二维阵列排列,每个输出神经元连接至所有输入神经55元。

连接权值形成与已知输出神经元相连的参考矢量的分量。

图中X=(x 1,x 2,...,x M ),表示输入模式w={w ij |1 i M,1 j c}为权值矩阵,Y=(y 1,y 2,...,y c )为输入节点的匹配响应,在时刻t 有了Y=d (w (t),x (t))(1)其中d 为欧氏距离[6~9]。

输出节点响应的大小意味着该节点关于输入模式的匹配程度。

如果要求最佳匹配,须满足:Yopt (t)=min (yj (t)),j=1,2, ,c(2)然后,在该节点及其拓朴邻域下调整权系数w ij (t+1)=w ij (t)+ (t)*(x i (t)-w ij (t)),j NE j (t),1 i M(3)上式中 (t)为学习参数,NE i (t)为节点j 的拓扑近邻。

自组织神经网络的学习算法为:第一步 初始化权系数w ij (1 i M,1 j c)为随机小正实数,设置迭代次数T,初始化学习参数 (0),0< (0)<1,初始化近邻NE (0),置初始迭代次数t=0。

第二步 输入一新的模式f k 。

第三步 计算模式与各权矢量的距离:d j = Ni =1(x ip -w ji )2j=1,2, ,M;相应程序:double KNE T::EucNorm (int x){ (计算模式与各权矢量的距离)int i;double dist;dist=0;for (i=0;i<YinSize;i++){dist +=(W [i][x]-Yin [i])*(W [i][x]-Yin [i]);} *endfor * dist=sqrt (dist);return dist;第四步 选择dj 最小的节点j 为竞争获胜节点,找出最小距离d g ,确定获胜神经元g 。

d g =min Mj =1(d j )相应程序:int KNE T::FindWinner (){int i;double d,best;int Winner;best=1 0e99;Winner=-1;for (i=0;i<YoutSize;i++){ d=Euc Norm (i); if (d<best){best=d;Winner=i;} endif } endfor return Winner;}第五步 根据(3)式修改节点j 及其近邻NEj (t)的权系数。

相应程序:void KNET::Train (int Winner){int k;for (k=0;k<YinSize;k++){W [k][Winner]=W [k][Winner]+eta*(Yin [k]-W [k][Winner]);56} *endfor*}第六步 判断是否已输入所有模式,否则转第二步。

第七步 t t+1,修改学习参数 (t)及近邻NE(t),若t<T,转第二步,若t=T则停止。

在实际应用中对 (t)与NE(t)的选择没有一般化的数学方法,通常是根据经验选取。

一般的原则是初始NE(0)较大,乃至覆盖整个输入平面,然后逐步收缩到0, (t)开始下降速度较快,可以很快捕捉到输入向量的大致概率结构,然后,在较小的基值上缓慢下降至0,这样可以精细地调整权值,使之符合输入空间的概率结构。

算法流程图:3 自组织特征映射网络的应用选取15个样本,每个样本2个变量,设竞争层为3个神经元。

采样数据:15;2;5 0 5 0;6 0 6 0;5 0 6 0;6 0 5 0;5 5 5 5;5 0 0 0;5 0 1 0;6 0 0 0;6 0 1 0;5 4 0 5;0 0 5 0;1 0 5 0;0 0 6 0;1 0 6 0;0 5 5 5。

显示结果如图3 1 1所示:通过权值矩阵可以看出它所形成的聚类中心, 2 , 1 , 0 分别表示所对应样本所在竞争层中的神经元,可以看出分类情况。

在选取我国某地区的6个土壤样本[10],每个样本用5个理化指标表示其特性,原始数据如表3 2土壤样本及性状。

57Fig3 1 1i mpression of trainingFi g3 2 soil stylebook and properties序号土壤类型全磷(%)全氮(%)P H耕层厚(cm)密度(g cm3)1薄层黏底白浆化黑土0 1420 275%211 032厚层黏底黑土0 1150 1716 3600 783薄层黏底黑土0 1010 1146 4251 134厚层黏底黑土0 1230 1735 8651 095薄层黏底黑土0 1310 1456251 036厚层黏底黑土0 140 1735 8600 98通过聚类结果如图3 1 2所示,可以看出样本(1,3,5)分布在竞争层中同一神经元,聚为一类;(2,4,6)分布在同一神经元,聚为一类。

前者属于薄层黑土,后者属于厚层黑土。

Fig3 1 2 impression of the training of soil stylebook4 结语在Kohonen网络中,脑神经细胞接受外界信息的刺激产生兴奋与抑制的变化规律是通过邻域的作用来体现的,邻域规定了与获胜神经元g连接的权向量wg进行同样调整的其它神经元的范围。

在训练的最初阶段,邻域的范围较大,随着训练的深入进行,邻域的范围逐渐缩小。

Kohonen网络经训练后,将需要分类的输入样品数据提供给网络的输入层,按照上述方法寻找出竞争层中连接权向量与输入模式最接近的神经元,此时神经元有最大的激活值1,而其它神经元被抑制而取0值,这时神经元的状态即表示对输入模式的分类。

在训练中速率的选取非常重要,如果过大会直接影响样本的分布,甚至会导致错误的聚合。

在实际应用中,由于样本的选取在进入输入层时是无序杂乱的,所以对样本先经过一次粗训练再经过细训练会得到比较理想的聚类结果。

[参考文献][1]Xin Yao,Senior Member IEEE,and Yong L i u.A New Evolu tionary Sys tem for Evolving Artificial Neural Networks.IEEETRANSAC TION ON NEUAL NETWORKS,1997,8(3).[2]Baker DJ,Ephremides A.The architectural organization of a mobile radio network via a distri bu ted algori thm.IEEE I C OM29,1981,(11).[3]Shacham N,Westcott J.Fu true directions in packet radio archi tectures and protocols.Proc IEEE,1987,75(1).[4]Wang Yeqiao.The artifical neural network model in remote sensing and multi resource geographical data classification.ScientiaGeographica Sinica,1997,(2):105~111.[5]Heermann P D,khazenie N.Classificati on of multispectral remote sensing data using a back propagation neural network.IEEETrans Geosci Remote Sensing,1992,(1):81~88.58[6]Ji C Y.Crop classification method using a self organizing neural network.Interim report on crop classification using neura networks,1997,3.[7]Iio Y,Omatu S.Category classification method using a self organizing neural network.Int J Remote Sensing,1997,18(4):829~845.[8]Cortijo F J,Perez De La blanca N.A comparative study of some non parametric spectral classifiers.Applications to problemswi th high overlapping training sets.Int J Remote sensing,1997,18(6):1259~1275.[9]Kohonen T.An i ntroducti on to neural compu ting.Neural networks,1998,(1):3~16.[10]Ince, F.Maximum likelihood classification,optimal or problematic?A comparison with the nearest neighbour classification.Int.J.Remote Sensing,1987,12:1829~1838.[11]Schalkoff,R.Pattern recognition:statiscal,structal and neural approach.New York:Wiley1992.[12]Kohonen T.Learning vector quantization for pattern recognition.Helsinki University of technology,Department of TechnicalPhysics T echnical Report,1986.[13]Fitzgerald R W,Lees B G.Assessing the classification Accuracy of mul tisource Remote Sensing data.Remote Sens Environ,1994,47:362~368.[14]Steh man S V.Selecting and interpreting measures of thematic classification accuracy.Remote Sens Environ,1997,62:7789.1,M cCann AH,Sharp JC,Kinter TM,et al.Multidi mensional Ultrasonic Imaging for Cardiology.Proceedings of theIEEE,1988,76:1063~1071.[15]Keller J M,Chen S,Crownover RM.T exture Descr ip tion and Segmentati on through fractal puter Vision,Graphics,and Image Processing,1989,45:150~166.[16]Kohonen T.Sel f-organization and Associative memory.Springer-Verlag,1984.[17]Haralick RM.Statistical and Structural Approaches to Texture.Proceedings of the IEEE,1979,67(5):786~804.[18]Bezdek J.Pattern Recognition wi th Fuzzy Objective Function Algori thms.New York:Pelnum,1981.[19]Kohonen T.Sel forganization maps.Berli n:SpringerVerlag,1995.Application and Analysis of Self-Organizing Feature MapC HENG Xu1,YANG Yi-heng1,CHEN Wei-ling2(1 Institute of Mineral Resources Appraisal of Synthetic Information,Jilin University,Changchun130026,China;2.Changchun University of Technology,Changchun130012,China)Abstract:The mothod of data mining major include serching and classify,but there are different fla w distribute. Aiming to some flaw,people bring forward to use Self-Organizing Feature Map on collec ting data to make clustering and watching at first,and obtain principium information about some collection data.The purpose of Self-Organizing Feature Map is the mothod make nonlinear high dimension data mapping to a prior of definition two dimension ma trix.Though the way of c ompeting learning,it can achieve on dropping the account of dimension,clustering,watch ing.Key words:Self-Organizing Feature Map;clustering;learning velocity;value of power on matrix59。