基于隐层优化的RBF神经网络预测模型

基于隐层优化的RBF神经网络预测模型
王纯子;张斌
【摘要】提出一种基于隐层优化算法的RBF神经网络预测模型--HLOA-IRBFM.在传统的免疫径向基神经网络模型(IRBFNM)的基础上引入粗糙集,将初始隐层空间进行划分.定义隐层区域密度和相对近似度等概念,提出边界区域中冗余点和孤立点的约减算法.优化后的隐层空间分布均匀,能以较少的中心数覆盖整个样本空间,弥补了IRBFNM模型过分依赖参数选取的不足.实验结果证明,HLOA-IRBFM模型比IRBFNM模型在预测性能方面具有更好的稳定性和准确性.
【期刊名称】《计算机工程》
【年(卷),期】2010(036)018
【总页数】4页(P191-193,196)
【关键词】粗糙集;RBF 神经网络;隐层优化;免疫算法
【作者】王纯子;张斌
【作者单位】西安建筑科技大学管理学院,西安,710055;西安建筑科技大学管理学院,西安,710055
【正文语种】中文
【中图分类】TP18
1 概述
径向基函数(Radial Basis Function, RBF)网络因其非线性逼近能力强、网络结构
简单、学习速度快等优点而被广泛应用于工程和经济预测中。

将人工免疫算法的特征提取和分类能力运用于RBF神经网络的设计，能大大增强网络对样本的记忆和识别能力，使训练过程趋于全局最优[1-3]。

但免疫算法中多个参数的确定将直接影响隐层分布，这是网络设计中的主要难点。

虽然文献[3-4]对免疫算法中参数的确定做了具体规定，但在输入样本空间本身分布不均匀和数量有限的情况下，由免疫算法直接生成的隐层结构并不能达到理想的预测性能。

文献[5]使用自回归差分移动平均方法将样本数据转化为平稳序列，但无法解决RBF隐层节点的优质选取以及小样本数据量下的预测问题。

文献[6-8]将粗糙集理论引入神经网络，但都是在网络训练前期对样本空间进行横向属性约减，未对网络结构进行优化。

文献[4]在AIP-RBF模型上加入对隐结点重要度的讨论，在对隐层的进一步优化上提供了思路，但是其隐结点重要度算法的计算量是巨大的，要将整个网络计算Nh次，实践起来不大可行；并且仅根据输出结果而未考虑其对网络结构的非线性影响就删除某隐结点也是不全面的。

影响 RBF神经网络性能的重点就是隐层结点位置和数量的选取，本文将其作为研究重点，提出一种基于隐层结构优化算法的RBF神经网络预测模型(HLOA-IRBFM)，用于房地产商品房价格预测的实验结果表明，该模型的收敛速度和预测性能均令人满意。

2 HLOA-IRBFM模型结构设计
HLOA-IRBFM模型主要包括以下3个模块：
(1)初始隐层空间的生成。

采用免疫算法将样本数据进行泛化，得到的隐层应能保持抗体的多样性以及对样本数据的识别性。

在样本数据量较小的情况下，可以尽量多泛化出一些初始隐结点，以弥补样本不足所导致的知识缺失。

由于下一阶段的隐层优化算法能够对隐空间进行再处理，因此适当放松了对参数选择的要求。

(2)隐层优化。

RBF的隐结点的选取应符合以下标准：隐层中心能够以较少的数量
覆盖整个输入空间。

为了追求对输入空间的覆盖面广，以及样本数据本身分布不均匀，由免疫算法泛化出来的初始隐层空间中必然存在很多冗余点和孤立点，这些点严重影响到网络的预测性能。

本文提出的隐层优化算法可以分辨出隐层空间中的冗余知识域，并对其进行修剪处理，调整类内和类间的密度，以便使得整个隐层空间中的点分布均匀，从而提高模型预测性能的稳定性和准确性。

(3)RBF神经网络训练。

得到隐层空间后，根据训练样本的输入和输出数据训练网络。

设得到的RBF神经网络隐结点为Cj(j=1, 2,…, hideNum)，选取高斯函数为径向基函数，其形式为：Φj=exp()，其中，σ2为径向基函数的方差(宽j度参数)。

利用最小二乘法计算输出权重矩阵，最后对检验数据进行预测。

HLOA-IRBFM模型结构如图1所示。

图1 HLOA-IRBFM模型结构
3 基于粗糙集的隐层优化算法
3.1 基于粗糙集意义的隐结点特性划分
为了能有效判别隐结点的性质，即必要点、冗余点、孤立点，本文利用粗糙集在不确定信息上的划分能力对初始隐层空间进行处理。

定义1 将整个隐层空间看作一个信息系统，将各个隐结点作为研究对象(即划分对象)，每个隐结点的维空间为属性空间，则初始隐层空间可以表示为S=＜U, A, V, f ＞，其中，U是初始隐结点集合；A为属性集合；V =∪a∈AVa，Va表示属性a 的值域；f: U×A→V是一个信息函数，指定U中每一个对象c的属性值，即对
c∈U 、a ∈A，有f(c,a)∈Va。

为了直观地描述对象之间的不可区分关系，本文引入基于距离的近似关系来分析S 中的对象，将粗糙集的等价划分转化为距离上的相似关系。

定义2 在初始隐层空间S中，(U, d)是一个距离空间，设论域U有n个隐结点对象U={c1, c2,…, cn}，在U上定义一个基于距离的相似关系 R，
[ci]R={cj|s(ci,cj)≥μ且d(ci,cj)≤θ蕴含s(ci,cj)≥μ, 1≤i, j≤n}，其中，
s(ci,cj)=Ψ(d(ci,cj))，表示隐结点ci与cj的相似度。

以上定义说明 2个隐结点的距离越小则越相似；μ为相似性阈值，当它是一个很大的阈值时得出的聚类个数很少，而体积很大；当它较小时，得出的聚类个数很多但体积很小。

定义3 设集合{x1, x2,…, xn}为RBF神经网络的输入样本集合，
U=X1∪X2∪…∪Xn，其中，Xi为由样本数据 xi泛化出来的隐结点集合，则定义R’为 U 上的一个划分，[ci]R’={cj|cj∈Xi, (ci∈Xi)}。

基于以上定义，根据相似关系 R在初始隐层空间上用k-means聚类法进行划分(k ＞n)，得到一个新的类空间，该类空间相对于按R’关系划分有所偏移。

在免疫算法对样本数据的泛化过程中，初始抗体向样本数据逼近的方向是随机的，泛化出来的隐结点重心会有所偏移，加之样本数据本身分布的不均匀将导致初始隐层空间的不均匀，其中必然存在冗余点和孤立点。

下文通过粗糙集中的上下近似集来判断冗余点和孤立点的分布区域。

定义4 R和R’为在论域U上的划分，则Xi的下近似集为R(Xi)={xi|xi∈U ∧ [xi]R，Xi的上近似集为R(X i)={xi|xi∈U ∧ [xi]R∩ Xi ≠ ∅}，Xi的边界定义为
BN(X i ) =。

根据以上对隐层初始空间基于粗糙集的定义，对冗余点和孤立点做出如下判定：(1)将初始隐层空间S=＜U, A, V, f＞中的冗余点分布的区域记为RED，则：
上式表明初始隐层空间中的冗余点均分布在Xi边界的交集中，即当免疫算法中样本数据之间的泛化方向有重叠时，此时重叠部分就是Xi和Xj的共有边界。

(2)将初始隐层空间S=＜U, A, V, f＞中的孤立点分布的区域记为ISO，则：
其中，定义的ISO中既有孤立点也有必要点，与样本数据xi距离较近的点为必要点，它们能充分代表样本数据的特征。

孤立点主要分布在离样本数据 xi较远的位置且分布密度很小，它们在网络训练中起不到逼近作用，还会影响网络性能。

3.2 不同特性隐结点的处理
在RED区域中，由于冗余点的存在，该区域的密度将远大于其他区域的密度。

下文对一些相关的密度需要做出定义。

在定义2中，U上的两两隐结点之间的距离可以取闵科夫斯基距离，即：
为了与免疫算法中欧式距离的度量一致，本文中令p=2，则隐结点相似度可以定义为：
定义5 在RED区域中，若集合redij=BN(Xi)∩BN(Xj)={c1,c2,…, cm}，则该冗余区域密度计算公式为：1
类似地，由近似关系R’所确定的类Xi，其密度为：
定义6 对整个论域U而言，隐层空间密度的计算公式为：
基于以上定义，本文给出冗余结点的约减算法描述如下：
输入类空间{X1, X2,…, Xn}以及区域RED
输出约减后的RED
Step1 计算隐层空间 S中所有redij区域的密度den(redij)以及类Xi的密度den(Xi)。

Step2 IF den(redij)＞min(den(Xi), den(Xj))，即边界密度大于类Xi或类Xj的密
度；
THEN 将边界区域的冗余点加入约减集并进入下一步约减流程；
ELSE Step5。

Step3 设每次约减的规模为CS=Round(r×|redij|)，其中，|redij| 表示redij的隐
结点个数；0＜r≤1为选定的比例；Round表示取整运算。

显然比例的大小决定了约减集的规模。

当r较小时，约减集规模也较小；当r较大时，约减集规模也较大；当r取1时，约减集的规模与redij的规模相当。

记avedis(ck)=(d(ck,xi)+
d(ck,xj))/2，计算redij中各隐结点的avedis(ck)，并按由大到小的顺序排列，选
取前 CS个隐结点约减。

本步骤从边界交集区域redij中选择离样本数据xi和xj的平均距离最大的隐结点开始约减，每次约减 CS个。

这样可以删除那些代表性差的冗余点，而保留下对样本识别能力强的点。

Step4 重新计算 den(redij)、den(Xi)、den(Xj)，并转 Step2。

Step5 约减冗余点结束，输出约减后的边界交集redij。

定义 7 定义平均近似度 AS，它代表某一区域中各隐结点与样本中心近似度的平均值，即：
定义 8 定义相对近似度 RS，它代表隐结点 ck与样本中心的近似度与平均近似度
的比值，即：
定义9 定义平均相对近似度ARS，它代表某区域中所有隐结点相对近似度的平均值，即：
基于以上定义，本文给出孤立点的约减算法描述如下：
输入类空间{X1, X2,…, Xn}以及区域ISO
输出约减后的ISO
Step1 计算区域ISO中的各隐结点ck与其中的样本数据xi的平均相似度AS，其中ck为由xi泛化出的类Xi中的隐结点。

Step2 计算各隐结点的相对近似度RS。

Step3 按相对近似度由低到高的顺序将Xi中的隐结点排序。

Step4 删除相对近似度RS远远低于平均相对近似度ARS的隐结点。

Step5 约减结束，输出约减后的区域ISO。

以上部分对空间U=X1∪X2∪…∪Xn进行了类内约减平均。

样本的初始分布很可能导致类间的分布也不均匀，还需在整个空间U上优化。

当类内密度den(Xi)小于隐层空间密度den(U)时，对类Xi中的部分隐结点进行约减，其约减算法与边界区域中冗余结点的约减算法相类似，当类内密度与隐层空间密度相近时，证明整个空间的隐结点分布趋于均匀，此时整个隐层空间优化算法结束。

4 RBF神经网络参数确定
RBF神经网络中需要确定的参数有：宽度σ和权值矩阵W。

(1)基函数宽度δ的确定方法[8]如下：
1)计算各类Xi的类内分散度：
其中，Ci为 Xi的类中心；表示 Xi中的隐结点到类中心的平均距离。

2)计算类间距离，若：
则称Xj为Xi的最近邻聚类。

3)若Xj为Xi的最近邻聚类，则类Xi对应的隐层结点的基函数宽度初始化为
δi=dij−djinne r 。

(2)权值 W 采用最小二乘法直接求解，设 H=[hij]为隐层输出矩阵，其中，
设权值矢量为 W=。

则网络输出向量Y=HW，W=H+Y，其中，H+为H的伪逆
矩阵，即：
5 实验与分析
为了证明算法的有效性，本文引用2000年-2007年各季度西安市商品房价格及其相关影响因素数据共 31组作为实验数据，该数据来源于统计年鉴和历年房产局发布的相关材料。

通过计算各影响因素同价格之间的相关系数，筛选出8个主要影
响因素：国内生产总值，人均可支配收入，城市总人口，开发投资，年末贷款余额，人均建筑面积，城乡居民储蓄存款余额，年度施工面积。

将样本数据归一化后作为网络模型的输入和输出参数，并按照时间序列以每8组作为一组实验数据，选择
其中7组为样本数据训练网络，第8组为测试数据，共进行24次实验对商品房价格进行预测。

实验数据分组如表1所示。

表1 实验数据分组序号样本数据预测数据1 x1, x2,…, xi-1, xi+1,…, x8 xi ,
i∈[1,8]2 x2, x3,…, xi, xi+2,…, x9 xi+1 3 x3, x4,…, xi+1, xi+3,…, x10
xi+2… … …24 x24, x25,…, xi+22, xi+24,…, x31 xi+23
实验中取初始抗体规模M=30，最小克隆数目为1，最大克隆数目为 5，约减集规模 r=0.2，预测数据选 i=7，亲和度阈值取0.9，相似度阈值取0.95，迭代次数为
9次 12次即可收敛。

其中，亲和度阈值的适当调低可泛化出多量和多样的抗体，尽可能使其能覆盖整个样本空间，取0.850.92之间为宜。

在Visual Studio 2005 C#及Malab7.0实验环境下，为了验证HLOA-IRBFM相对于传统IRBFNM的性能，分别用上面数据对2种模型进行24次试验。

HLOA-IRBFM和IRBFNM对实验数据集的逼近程度如图 2所示。

可以看出，HLOAIRBFM得出的预测精确度整
体优于IRBFNM。

图2 HLOA-IRBFM和IRBFNM的价格预测结果对比
HLOA-IRBFM和 IRBFNM预测结果的相对误差率对比如图3所示。

HLOA-IRBFM的平均相对误差率为0.0695，而IRBFNM则为0.1393，其预测准确率远低于由隐层优化算法修正过的模型。

图3 HLOA-IRBFM和IRBFNM的相对误差率对比
6 结束语
在训练样本数较少的情况下，传统的人工免疫RBF神经网络模型的预测性能较低，其预报准确度对算法中各参数和阈值的选取极其敏感。

本文在此基础上提出了隐层优化算法，通过修正隐层空间分布，减小模型对参数的依赖度，从而提高模型的预测性能和稳定性。

在RBF神经网络预测模型中仍有基函数宽度和输出权重等参数
的计算方法有待优化，下一步的工作是将待预测样本在隐层空间中的位置因素考虑进权重计算中，针对不同的样本特性动态调整权重分配，以期提高模型预测精度。

参考文献
[1] Whitehead B A.Cooperative Competitive Genetic Evolution of Radial Basis Function Centers and Widths Fortime Series Prediction[J].IEEE Trans.on Neural Networks, 1996, 7(4): 869-880.
[2] Lu Yingwei, Sundararajan N, Saratchandran P.Performance Evaluation of Sequential Minimal Radial Basis Function(RBF)Neural Network Learning Algorithm[J].IEEE Trans.on Neural Networks, 1998, 9(6): 308-317.
[3] 宫新保, 周希朗, 胡光锐.基于免疫进化算法的径向基函数网络[J].上海交通大学
学报, 2003, 37(10): 1641-1643.
[4] 蒋华刚, 吴耿锋.基于人工免疫原理的 RBF网络预测模型[J].计算机工程, 2008, 34(2): 202-205.
[5] 张敬磊, 王晓原.基于非线性组合模型的交通流预测方法[J].计算机工程, 2010,
36(5): 202-204.
[6] Hung Y H.A Neural Network Classifier with Rough Set-based Feature Selection to Classify Multiclass IC Package Products[J].Advanced Engineering Informatics, 2009, 23(3): 348-357.
[7] 韩丽, 史丽萍, 徐治皋.基于粗糙集理论的RBF神经网络剪枝算法[J].信息与控制, 2007, 36(5): 604- 609.
[8] 王耀南, 张东波, 黄辉先, 等.粗糙集意义下的一种RBF神经网络设计方法[J].控
制与决策, 2007, 22(10): 1091-1096.。