自组织神经网络的优化

自组织多项式神经网络的优化

摘要：由组数据处理方法（GMDH ）自动构建和训练的自组织多项式神经网络（SOPNN ）模型仅仅优化了

SOPNN 网络顶层节点的权值，该模型的主要缺点是只进行了模型权值的部分优化。为了估计经过改善所

获得模型能达到的近似精确度，粒子群优化（PSO ）已经被使用去优化所有多项式节点的权值。因为在计

算上PSO 模型通常是昂贵和耗时的，为此使用了一个更加有效的Levenberg-Marquardt （LM ）算法去优化

SOPNN 。由LM 算法优化后的SOPNN 模型性能上胜过了基于ANN 和SVM 的模型。本文的研究是基于时

间约束下热动力影响的液体流动测量的元模型。通过多层叠加震荡递推关系的学习，我们演示了优化后的

SOPNN 模型的显著特性。

关键词：多项式神经网络；GMDH ；LM 算法；粒子群优化

绪论

SOPNN 网络的构建是通过将低阶多项式与多层多项式结构相结合，在这个网络中，低阶

多项式的系数用以最小化近似误差，其值是通过多项式回归获得。GMDH 模型在数字计算机

上很容易执行，对于低复杂网络，可以获得合理的近似精度。因为GMDH 在多项式回归和模

型选择中使用的是独立的数据集，致其不支持过度拟合。当将其应用于非线性行为的实时补

偿时，GMDH 和其他常见的模型所采取的策略一样，其自组织特性会去除这个复杂结构模型

和参数。

往往是通过对单个参数的测量评价SOPNN 网络的性能，例如最小方差，其主要是最小

化了模型的近似误差而并非模型的复杂度。当建立具有时间约束性应用的模型时，其约束可

以被有效的嵌入到模型选择指标中。当考虑相对于复杂度的精度时，与多层感知器（MLP ）

比较，原SOPNN 模型的性能处于劣势。

由GMDH 算法优化的SOPNN 模型只是对模型权值的部分优化，因为GMDH 算法仅仅优

化了输出节点的权值。在多次训练迭代中，被多项式回归计算后的权值仍然不变。模型在被

遗传编程和反向传播（BP ）训练后,其精度和预测可以有很大的提高。但是BP 往往会在局部

最小值处卡住，所以本文提出了一种更加强大的优化方法去训练其权值。

粒子群优化算法（PSO ）是一种自然仿生算法，其通过模仿鸟群的飞行来优化模型的权

值。PSO 可以优化所有多项式节点的权值，在实验中用于估计原SOPNN 模型的近似能力。

因为PSO 模型在计算上是昂贵和费时的，之后，我们采用了一种更加复杂的LM 算法去优化

模型的权值。通过模拟，LM 算法的收敛速度数倍于SOPNN 模型。

1、GMDH 、PSO 、LM 算法

1.1、GMDH 算法

如下图所示是一个完全的2层前向3维系统，图中i p ,λ表示一个对应于λ层第i 个节点的

低阶低维多项式。

由于一阶或二阶二维多项式没有迅速增加所有多项式关的阶数，而且它们的处理速快，

所以我们这里采用一个二阶二维多项式。其表达式如下。

21622512423121i i i i i i i i i i i i i z z a z a z a z a z a a p λλλλλλλλλλλλλ+++++= )1(

式中1i z λ和2i z λ表示输入变量，6,...,1i i a a λλ表示通过多项式回归获得的相应的权值。

GMDH 算法假设了两个独立的数据集，一个是M 个样本的训练集，一个是N 个样本的

验证集。如下所示：

{}M i ti ti t y x D 1),(== )2(

(){}N i vi vi v y x D 1,== )3(

每一个样本都是由一个数据向量和相应的独立变量组成。),...,(,,1tik ti ti vi ti x x x R y R y =∈∈， k vi vik vi vi k ti R x x x x R x ∈=∈),,...,(,1，训练数据集用来修正系数，验证数据集用来证明多项式的近

似误差。为了求解系数6,...,1i i a a λλ，必须求解一个6个同时发生的线性方程集。如下所示：

()6

1210==⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=-∂∂∑k M m tm i tm ik p y a λλ )4( 式中M 是训练样本总数，tm y 是训练集第m 个独立变量值，tm i p λ表示λ层第i 个多项式相应于

数据集第m 个数据向量的值。图1中每层的可能节点总数通过以下迭代方程得出。

∑-=++-=1012

)1(λλλλλi i N N N N N 式中λk N ,...,1,0=是第λ层的节点总数。

1.2、SOPNN 权值的基本粒子群优化

给定一个n 维空间中的向量a ,N R a ∈，

N i ,...,2,1=,把SOPNN 多项式关系式),(a x p 看作是粒子，在空间中的位置由向量a 来定义。PSO 使非线性适应度函数最小化，其数学表达式:

[]2

1),()(∑=-=K k k k a x p y a e )5(

式中K 表示训练向量的总数，k x 表示第k 个m 维输入训练向量，)(k k x y y =是相应的训练值，a 表示一个N 维的向量，代表的是多项式),(a x p k 所有节点的系数。在PSO 优化初始，要对

每一个粒子的位置a 和速率v 通过以下式子进行初始化。

(7) ,...,1,,...,1,)12((6)

,...,1,,...,1,0

0N i K k L U s v N i K k L U r L a i i ki ki i i ki i ki ==-⋅-===-+= 式中00ki

ki v a 和分别表示第k 个粒子的初始位置和速率的第i 个分量。其中i U L i 和 分别表示搜索空间中第i 维的下界和上界。ki ki s r 和表示0到1之间的随机数。对于每一个粒子

k ，我们假定其最优位置k A 和最优适应度函数值k E 分别等于各自粒子的初始化位置和初始化

适应度函数值。指针指向拥有最优适应度值αE 的α粒子。粒子通过以下的迭代方程被操作控

制。

(9)

,...,1,...,1,,...,

1,...,1(8)

)()(11211N i K k v a a N i K k a A S c a A R c v w v j ki j ki j ki j ki i ki j ki ki ki j ki j ki ==+===-+-⋅⋅+⋅=+++α 式中j ki

j ki a v 和分别表示第k 个粒子在第j 次迭代中的速率和位置的第i 个分量。w 代表迭代权值（0.8

1.3、SOPNN 权值的LM 优化

1.3.1、LM 算法对SOPNN 的调整

给出一个包含K 个样本的数据集，每一个样本都有一个N 维输入向量x 和一个独立变量

y 组成。该算法通过优化SOPNN 多项式关系p 的所有权值{}m a a ,...,1，从而最小化非线性适

应度函数。在每一次的迭代中LM 算法都计算了增量δ,{}m δδ,...,1估计了新的权值向量

δ+=a a ，等于{}m m m a a δδ++,...,1，从而减小了适应度函数值。新的多项式p 的计算如下所

示：

M M

k k k k a a x p a a x p a x p a x p δδδ⋅∂∂++⋅∂∂+≈+),(...),(),(),(11 )10( 通过把a 用δ+a 代替，（5）式中的适应度函数变成:

2111)),(...),(),(()(M M

k k k K k k a a x p a a x p a x p y a e δδδ⋅∂∂--⋅∂∂-

-=+∑= )11( 通过设定粒子相对于增量的倒数等于0，我们获得了一个针对m 个未知数),...,(1M δδ的一个M