基于预测的遗传算法

１ 引言 遗传算法（ＧＡ）模拟自然界中的生物进化过程，基于自
然界的适者生存法则，通过选择、交叉和变异等操作实现启 发式的全局优化。自１９７５年被首次提ｆｉ｛以来，ＧＡ引起了学 术界的广泛关注，其理论得到ｒ极大地丰富和发展。一方 面，各种各样的编码规则、选择、交义和变异算子被提 出¨。１；另一方面，一些研究通过引入某种启发式规则对ＧＡ 的循环过程进行调整。４“Ｊ，以提高算法性能，如收敛速度、解 的质量和全局优化能力等。
效地克服局部收敛而达到全局最优。
表１优化结果对比
图３显示了各个测试问题的函数值随遗传代数变化的 情况。横坐标显示代数，其中每一代所对应的函数值为５０次 重复运行的平均值。不难看出，对于每个测试问题．常规ＧＡ 总是过早地陷入局部最优而难以得到全局最优值，而Ｎｅｕ． ｒｏＰＧＡ却总能有效地得到全局最优。
大训练次数为１００次，训练精度目标为０．００１。学习率为０．１。
４．３性能标准
本文对每个测试问题分别进行５０次连续独立的优化并
计算平均结果，以评估ＮｅｕｒｏＰＧＡ和常规ＧＡ的性能差异。
如下性能标准将被采用：
１）成功寻优次数（ＮＳＯ）：算法成功得到最优值的次数；
２）优化值指标：重复运行所分别收敛到的优化值的最
差值（ＷＯＶ），最佳值（ＢＯＶ）和标准差（ＳＴＤ）；
考虑最小化问题，若每次运行的优化结果为Ｙ；，而最优
值为ｕ．，则
ＷＯＶ＝ｍａｘ（Ｙｆ）
（３）
ＢＯＶ＝ｍｉｎ（Ｙｆ）
（４）
ｒｊ万—————一
ＳＴＤ ２√。；（），。叫）２
（５）
４．４结果分析
两种ＧＡ算法对于测试问题之优化结果如表１所示，其
中的结果按照０．０００１的精度得出。可以看出，ＮｅｕｒｏＰＧＡ的
１‘ｍ
（ａ）函数Ｆ 如
∞
ｌＯ
０ Ｏ
５００ Ｆ６
（ｂ）函教Ｆ５·Ｆ８ 点划线～№ｍ酣口Ａ．宴癌～常ＭＯＡ
万方数据
／Ｉ算ｌ，石２）＝ｇ（ｘｌ，菇２）ｈ（ｘｌ，名２）
一２≤聋Ｉ，髫２≤２
其最小值点为，（０，一１）＝３。 ７）Ｆ７．Ｓｉｘ—Ｈｕｍｐ Ｃａｍｅｌ Ｂａｃｋ函数：
，（扎茗２）＝（４—２．１ｘ：＋一）茗：＋聋ｍ＋
（一４＋４ｘ；）算；
一３≤霄ｌ≤３，一２≤ｚ２≤２
多模态函数，有６个局部极小值，其中两个是全局最小， 其最小值点为八一０．０８９８，０．７１２６）＝以０．０８９８，一０．７１２６） ＝Ｌ ０３１６２８４２２９２８０８。
新的子代染色体； ４）计算新得到的子代染色体的适应度值； ５）基于现有染色体（含当前父代和子代染色体），通过
预测过程预测更优的染色体； ６）检测终止条件是否满足，如果满足，则终止循环并返
回最优值；否则转３）继续执行。 相对于常规ＧＡ，ＮｅｕｒｏＰＧＡ增加了一个预测过程。该预
测过程可由如下步骤描述： １）选取当前的所有染色体（包含父代与子代）为样本数
考虑到遗传算法在搜索过程中不断地向可能包含最优解的方向调整搜索空间搜索到全局最优解的概率比起单纯的神经网络算法来说要大得多而在局部搜索方面则不如神经网络算法本文尝试分两阶段使用遗传算法改善网络训练质量首先通过遗传算法进行粗调得到一个全局的近似解以此为初值再采用遗传算法和bp人工神经网络算法交替运行训练bp人工神经网络算法到遗传算法的切换可通过所指定的精度或局部最大步数来实现遗传算法到bp人工神经网络算法的切换可通过一次完整的遗传算子操作选择算子交叉算子变异算子来实现这样互以对方的训练结果作为自己的初始权值或初始群体反复交替训练直到达到所指定的精度或最大交替步数为止
第２６卷第３期 文章编号：１００６—９３４８（２００９）０３—０１８３—０４
计算机仿真
基于预测的遗传算法
２００９年３月
陆锁军，苗清影，郭钊侠
（东华大学信息科学与技术学院。上海２０１６２０）
摘要：遗传算法被广泛应用于鳃决各类优化问题。常规的遗传算法易于陷入局部最优，其收敛速度也较慢。为了提高常规遗
传算法的优化性能，将预测的概念引入遗传算法的循环过程，提出基于预测的遗传算法框架；并以人工神经网络算法作为预测
ａ ｐｒｅｄｉｃｔｉｏｎ ｂａｓｅｄ ＧＡ ｉｓ ｐｒｅｓｅｎｔｅｄ ｆｉｒｓｔｌｙ．Ｔａｋｉｎｇ ｔｈｅ ａｒｔｉｆｉｃａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｓ ｔｈｅ ｐｒｅｄｉｃｔｉｏｎ ａｌｇｏｒｉｔｈｍ，ａ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｐｒｅｄｉｃｔｉｏｎ ｂａｓｅｄ ＧＡ（ＮｅｕｒｏＰＧＡ）ｉｓ ｐｒｏｐｏｓｅｄ．Ｂｙ ｏｐｔｉｍｉｚｉｎｇ ｅｉｇｈｔ ｔｙｐｉｃａｌ ｆｕｎｃｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ， ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅｓ ｏｆ ｔｈｅ ＮｅｕｒｏＰＧＡ ａｎｄ ａ ＢＧＡ ｆｉｆｅ ｃｏｍｐａｒｅｄ．Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｃａｎ ｉｍ－ ｐｒｏｖｅ ｔｈｅ ｇｌｏｂａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｃａｐａｂｉｌｉｔｙ ａｎｄ ｔｈｅ ｄｉｖｅｒｓｉｔｙ ｏｆ ｔｈｅ ｇｅｎｅｔｉｃ ｐｏｐｕｌａｔｉｏｎ，ａｌｓｏ ａｃｃｅｌｅｒａｔｅ ｔｈｅ ｅｖｏｌｕｔｉｏｎａｒｙ ｐｒｏｃｅｓｓ，ｗｈｉｃｈ ｉｓ ｏｂｖｉｏｕｓｌｙ ｓｕｐｅｒｉｏｒ ｔｏ ｔｈｅ ＢＧＡ． ＫＥＹＷＯＲＤＳ：Ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ；Ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；Ｐｒｅｄｉｃｔｉｏｎ；Ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐａｒｉｓｏｎ
５）Ｆ５，Ｓｃｈａｆｆｅｒ函数：
一１００≤聋ｌ，。２≤１００
多模态函数，且全局最优值区域相对搜索区域非常小， 其最小值点为以０，０）：０。
６）Ｆ６，Ｇｏｌｄｓｔｅｉｎ—ｐｒｉｃｅ函数： ｇ（善ｌ，茗２）＝［１＋（毒Ｉ＋ｚ２＋１）２·（１９—１４ｘｌ ４－
ｘ：一１４ｘ２＋６ｘＩ互２＋３ｘ；）］
ｈ（茁ｌ，互２）＝［３０＋（２石Ｉ一３石２）２·（１８—３２ｘｌ＋ １２ｘ；＋４８ｘ２—３６ｘｌ算２＋２７ｘ；）］
八石）＝蠢 称Ｓｉｇｍｏｉｄ激发函数： ４一，
（１）
Ｉ十Ｃ
输出神经元的激发函数为：
厂（算）＝ｋｘ
（２）
４ 实验研究 为ｒ验证上一节中所提出的ＮｅｕｒｏＰＧＡ算法的有效性，
本节利用该算法优化８个典型的测试函数，并将其优化结果 与常规ＧＡ的优化结果相比较。 ４．１ 测试函数
８个测试函数如下，除了Ｆｌ是最大值问题，其它函数均 为最小值问题。其中大多数函数为多模态函数：
０．０３；
终止运行的条件：循环代数达到１００代即终止运行； 适应度函数：对于最大值问题，适应度函数与待优化问 题的目标函数相同，而对于最小值问题，适应度函数简单地 取为待优化函数的相反数；
其它：初始化种群随机产生，每个种群含有ＩＯＯ个染色
体。
另外，ＮｅｕｒｏＰＧＡ的每个预测过程产生５组变量的预测
值，ＢＰ神经网络采用Ｌｅｖｅｎｂｅｒｇ—Ｍａｒｑｕａｒｄｔ【Ｊ叫学习方法，最
作为预测算法。通过测试８个典型的瞒数优化问题，本文还 将比较基于神经网络预测的ＧＡ（ＮｅｕｒｏＰＧＡ）与常规ＧＡ的优 化性能。
２基于预测的遗传算法 基于预测的ＧＡ基本流程如Ｆ图１所示，具体步骤如下： １）按照一定的编码方式，随机产牛初始化种群； ２）计算初始化种群中每个染色体的适应度值； ３）基于当前代染色体进行选择、交叉和变异操作得到
１）ＦＩ．Ｓｈｅｋｅｌ’ｓ Ｆｏｘｈｏｌｅｓ函数，其表达式如下：
以算。）：ｓｉｎ ｚ。（５仃ｚ０。”（石２＋０．４）学）．ｓｉｎｍ（５ｒｒｘ２）·
一１８４一
Ｃ０９２（要（戈。一０．５））
０≤髫。≤ｌ，ｉ＝ｌ，２
典型的非等高多模态函数。其最大值点为以０．５２９２，０． ９）＝０．９９７８８７１２６１９７６９。
８）Ｆ８，Ｅａｓｏｍ函数： ｆ（ｘｌ，ｚ２）＝．ＣＯ￥（Ｘ１）ＣＯＳ（Ｘ２）·ｅ－（ｚｌ一”）２－（１２一”’２
—１００≤茹．≤１００
全局最优值区域相对搜索区域非常小，其最小值点为 八仃，７ｒ）＝一１。 ４．２参数设置
ＮｅｕｒｏＰＧＡ和常规ＧＡ的如下参数设置相同： 编码方式：实数编码； 选择算子：锦标赛选择算子‘９１，选择规模为３； 交叉算子：算术交叉‘９１（Ａｒｉｔｈｍｅｔｉｃ ｃｒｏｓｆｏｖｅｌ＂），交叉概率 为０．８： 变异算子：边界变异…（Ｂｏｕｎｄａｒｙ ｍｕｔａｔｉｏｎ），变异概率为
从第二方面着手，本文将预测的概念引入ＧＡ循环过 程，提出一种基于预测的遗传算法框架。对于ＧＡ遗传过程 中的每一代种群，以当前染色体为学习样本，预测更优的染 色体并令其参与下一代的遗传过程。
由于人工神经网络（ＡＮＮ）能拟合复杂的非线性关系，并 具有自组织、自适应和自学习能力，本文将选用ＢＰ神经网络
收稿Ｈ期：２００８一Ｏｌ一２９修同同期：２００８—０２—１９
２）砣，带约束条件的最小值问题ｂ】，其表达式如下：
以石‘）＝戈ｊ＋（ｚ２一１）２
一ｌ≤孔≤ｌ，ｉ＝ｌ，２
八±０．７０７１，０．５）＝０．７５㈣１９７． 约束条件为：聋：＝互；。
其最小值点为：
３）Ｆ３，Ｒａｓｔｒｉｇｉｎ函数：
八毛）＝∑（量；一１０ｃｏｓ（２ｒｒｘ。）＋ｌｏ）
一５．１２≤ｚｉ≤５．１２
５结语 与现有文献通常利用ＧＡ的全局优化能力优化人工神
经网络的权值不同，本文首次利用神经网络强大的预测能力 来提高ＧＡ的性能。通过优化８个典型的测试问题，ＮｅｕｒｏＰ． ＧＡ与常规ＧＡ的优化性能被比较；优化结果表明ＮｅｕｒｏＰＧＡ
一１８５—
万方数据
三国。霸
Ｐｌ ¨
ｆ
，
｝、一 Ｏ
０
５∞
Ｆ３
１三５０国＼
多模态函数，其最小值点为以０，０）＝０。 ４）Ｆ４【引，表达式如下：
八石，）＝∑（茗；一８）２＋５∑ｔ＋５７．３２７６，
一３≤卫。≤３ 四元四次函数，其最小值点为：
以一２．９０３５，一２．９０３５，一２．９０３５，一２．９０３５）
以并。，茗：，＝。．５＋ｉ；！；；ｊ；：；黯 ＝一０．００１７２５４６９９９９７６。
优化结果明显优于常规ＧＡ。以常规ＧＡ优化测试问题Ｆ１
为例，５０次重复运行，仅有１次得到最优值，最差的优化值为
０．４６０８，５０次重复运行的优化值的标准差为３．７８７５；而ｆ３，
Ｆ４和Ｆ１Ｂ三个测试问题甚至从未达到最优值。与之相反，
ＮｅｕｒｏＰＧＡ却总能找到各个测试问题的最优值，这表明该算
法具有良好的全局优化能力。对于不同类型的问题，都能有
络等等。理论上，隐层采用Ｓｉｇｍｏｉｄ激发函数的三层前向神 经网络能以任意精度逼近任意的连续非线性函数关系一１，本
文采用前向神经网络作为预测算法。
含有一个隐层的一输人多输出ＢＰ网络被采用，其结构
如图２所示。网络输入为染色体的适应度值；网络输出为待
优化函数的变虽值，输出层神经元数等于被优化函数的变量
数；隐层神经无数为２×输出变量数＋１，隐层神经元采用对
算法，提出了一种基于神经网络颅测的遗传算法。通过优化８个典型的函数优化问题，将该算法与常规遗传算法的性能进行了
比较；结果显示该算法具有很强的全局优化能力，能有效地增强种群的多样性和进化速度，明显优于常规遗传算法。
关键词：遗传算法；人工神经网络；颅测；性能比较
中图分类号：ＴＰｌ８
文献标识码：Ａ
Ｐｒｅｄｉｃｔｉｏｎ ｉｎ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ
一１８３—
万方数据
开始
随机产生考Ｊ始种群
计算每十染色体的 适应度 否 父代
选择 ］［ 交叉
Ｉ
变异
计算每个新染色体 的适应度
预测过秤：基于现 有染色体预测更优
的染色体
仰／
鬈千『二
子代
围ｌ基于预测的ＧＡ流经网络结构图
据，以适应度值为输入，以函数变量的值为输出； ２）随机产生一个或多个优于现有最大适应度的适应度
ＬＵ Ｓｕｏ—ｊａｌｌ，ＭＩＡＯ Ｑｉｎｇ—ｙｉｎｇ，ＧＵＯ Ｚｈａｏ—ｘｉａ
（Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｄｏｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２０１６２０，Ｃｈｉｎａ）
ＡＢＳＴＲＡＣＴ：Ｔｈｅ ｇｅｎｅｔｉｃ ａｌｇｏｒｉｔｈｍ（ＧＡ）ｉｓ ａｄｏｐｔｅｄ ｅｘｔｅｎｓｉｖｅｌｙ ｔｏ ｓｏｌｖｅ ｖａｒｉｏｕｓ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｂｌｅｍｓ．Ｔｈｅ ｂａｓｉｃ ＧＡ（ＢＧＡ）ｉｓ ｌｉａｂｌｅ ｔｏ ｌｏｃａｌ ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ ｉｔｓ ｃｏｎｖｅｒｇｅｎｃｅ ｓｐｅｅｄ ｉｓ ｖｅｒｙ ｓｌｏｗ．Ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｃｏｎｖｅｒｇｅｎｃｅ ｓｐｅｅｄ ａｎｄ ｔｈｅ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ ｏｆ ｔｈｅ ＢＧＡ，ｐｒｅｄｉｃｔｉｏｎ ｉｓ ｉｎｔｒｏｄｕｃｅｄ ｉｎｔｏ ｔｈｅ ｃｙｃｌｅｄ ｐｒｏｃｅｄｕｒｅ ｏｆ ＢＧＡ ａｎｄ ｔｈｅ ｆｒａｍｅｗｏｒｋ ｏｆ
值； ３）针对２）中所产生每个适应度值，利用某预测算法预
测其所对应的变量值，如预测得到的变量值超出变跫给定范 围，则用给定范围内的随机值替代；
４）针对３）中被预测出的每组变量值，计算其所对应的 实际适应度值。
３神经网络预测
在上面的预测过程中，针对不同的输入输出关系，适当
的预测算法可被选用，如前向神经网络、支持向量机、小波网