实数编码的遗传算法优化BP神经网络
BP神经网络的优化算法比较研究
BP神经网络的优化算法比较研究优化算法是神经网络中的关键技术之一，它可以帮助神经网络快速收敛，有效地优化模型参数。
目前，常用的优化算法包括梯度下降法、动量法、Adagrad、Adam等。
本文将比较这些优化算法的优缺点。
1. 梯度下降法（Gradient Descent）梯度下降法是最基本的优化算法。
它通过计算损失函数对参数的梯度，不断地朝着梯度的相反方向更新参数。
优点是实现简单，容易理解。
缺点是容易陷入局部最优，并且收敛速度较慢。
2. 动量法（Momentum）动量法在梯度下降法的基础上增加了动量项。
它通过累积之前的梯度信息，使得参数更新时具有一定的惯性，可以加快收敛速度。
优点是减少了陷入局部最优的可能性，并且对于存在波动的梯度能够平滑更新。
缺点是在平坦区域容易产生过大的动量，导致无法快速收敛。
3. AdagradAdagrad算法基于学习率的自适应调整。
它通过累积梯度平方的倒数来调整学习率，使得对于稀疏梯度的参数每次更新较大，对于频繁出现的梯度每次更新较小。
优点是适应性强，能够自动调整学习率。
缺点是由于学习率的不断减小，当训练时间较长时容易陷入局部最优。
4. AdamAdam算法结合了动量法和Adagrad算法的优点。
它维护了一种动态的学习率，通过计算梯度的一阶矩估计和二阶矩估计来自适应地调整学习率。
优点是适应性强，并且能够自适应学习率的大小和方向。
缺点是对于不同的问题，参数的敏感性差异较大。
在一些问题上可能不适用。
综上所述，每个优化算法都有自己的优点和缺点。
梯度下降法是最基本的算法，容易理解，但是收敛速度较慢。
动量法通过增加动量项加快了收敛速度，但是容易陷入局部最优。
Adagrad和Adam算法具有自适应性，能够自动调整学习率，但是在一些问题上可能效果不佳。
因此，在实际应用中应根据具体问题选择适合的优化算法或采取集成的方式来提高模型的性能。
利用云模型和遗传算法优化BP神经网络权值
利用云模型和遗传算法优化BP神经网络权值摘要：标准BP算法主要根据训练样本确定神经网络的权值，由于BP算法采用沿梯度下降的搜索算法，因而其结果对初始权值非常敏感，收敛速度慢，易陷入局部极小。
结合正态云模型云滴的随机性和稳定倾向性，以及遗传算法的全局搜索能力，收敛速度快等特性优化神经网络的权值和阈值。
分类实验结果表明，该算法比标准BP算法收敛速度快，分类正确率高。
关键词：云模型；遗传算法；标准BP算法；神经网络0 引言BP算法(Back Propogation Algorithm)是目前应用最为广泛的神经网络学习算法，但由于BP算法采用沿梯度下降的搜索算法，因而其结果对初始权值非常敏感，不同的初始权值可能导致不同的结果以及易陷入局部极小等问题。
本文结合遗传算法的高度并行、随机、自适应的全局性概率搜索以及正态云模型云滴的随机性和稳定倾向性特点优化神经网络的权值和阈值。
该算法中的交叉概率、变异概率由X条件云发生器产生。
1 优化原理先利用神经网络试探出最好的网络隐层结点数，再利用本文提出的算法调整网络的权值以及阈值，然后再用调整好的权值和阈值进行分类。
编码：对于包含一层隐藏层模式为m-n-l多层神经网络共有q=m*n+n*l+n+l个权值和阈值需要优化，其中m为输入层结点数，n 为隐藏层结点数，l为输出层结点数。
将这q个权值和阈值记为W=(W 1,W2,…,W q)，采用实数编码，将行向量W看作是一条染色体，而其中每个实数W i(i=1,2,…,q)是染色体的一个基因位。
选择算子：采用轮盘赌和精英保留选择策略。
每个染色体产生后代的数目正比于它的适应度值的大小，并且每一代中染色体的总数保持不变，这种方法也称为轮盘赌选择。
假设群体的大小为n，个体A i的适应度值为f(A i)，则个体A i被选择的概率P(A i)为：P(A i)=f(A i)∑ni=1f(A i)交叉算子：随机产生二串长度为q的二进制串，设有两个父代，P=(P1,P2,…,P q)以及M=(M1,M2,…,M q)，采用下面的方式得到两个子代：C=(C1,C2,…,C q) 和D=(D1,D 2,…,D q)，用其中的一个二进制串产生子代C，用另一个二进制串产生子代D。
基于遗传算法优化BP神经网络的飞机油耗预测方法
第１３卷㊀第３期Ｖｏｌ．１３Ｎｏ．３㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年３月㊀Ｍａｒ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０３－０２２６－０５中图分类号：ＴＰ１０３文献标志码：Ａ基于遗传算法优化ＢＰ神经网络的飞机油耗预测方法邹春玲，熊㊀静，刘㊀超，严㊀宇（上海工程技术大学航空运输学院，上海２０１６２０）摘㊀要：飞机油耗的精准预测可以有效减少环境污染㊁节约燃油能源㊁为航空公司降低运营成本㊂为了提高飞机油耗的预测精度，本文采用主成分分析方法从ＱＡＲ数据中选择对飞机油耗影响较大的地速㊁纵向加速度㊁垂直加速度㊁风速㊁风向㊁倾斜角㊁空速㊁气压高度作为ＢＰ神经网络的输入变量，提出了基于遗传算法优化反向传播神经网络的飞机油耗预测方法㊂通过Ｍａｔｌａｂ仿真软件建立了预测模型，以某航空公司飞机下降阶段ＱＡＲ数据为基础进行验证实验㊂实验结果显示，该模型的预测精度优于传统的ＢＰ神经网络模型，预测性能更好㊂关键词：ＢＰ神经网络；遗传算法；飞机油耗预测；ＱＡＲ数据ＡｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎｐｒｅｄｉｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｏｐｔｉｍｉｚｅｄｂｙｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍＺＯＵＣｈｕｎｌｉｎｇ，ＸＩＯＮＧＪｉｎｇ，ＬＩＵＣｈａｏ，ＹＡＮＹｕ（ＳｃｈｏｏｌｏｆＡｉｒＴｒａｎｓｐｏｒｔａｔｉｏｎ，ＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙｏｆＥｎｇｉｎｅｅｒｉｎｇＳｃｉｅｎｃｅ，Ｓｈａｎｇｈａｉ２０１６２０，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＡｃｃｕｒａｔｅｐｒｅｄｉｃｔｉｏｎｏｆａｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎｃａｎｅｆｆｅｃｔｉｖｅｌｙｒｅｄｕｃｅｅｎｖｉｒｏｎｍｅｎｔａｌｐｏｌｌｕｔｉｏｎ，ｓａｖｅｆｕｅｌｅｎｅｒｇｙ，ａｎｄｒｅｄｕｃｅｏｐｅｒａｔｉｎｇｃｏｓｔｓｆｏｒａｉｒｌｉｎｅｓ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙｏｆａｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎ，ｔｈｅｇｒｏｕｎｄｓｐｅｅｄ，ｌｏｎｇｉｔｕｄｉｎａｌａｃｃｅｌｅｒａｔｉｏｎ，ｖｅｒｔｉｃａｌａｃｃｅｌｅｒａｔｉｏｎ，ｗｉｎｄｓｐｅｅｄ，ｗｉｎｄｄｉｒｅｃｔｉｏｎ，ｔｉｌｔａｎｇｌｅ，ａｉｒｓｐｅｅｄａｎｄａｉｒｐｒｅｓｓｕｒｅｈｅｉｇｈｔｗｉｔｈｇｒｅａｔｅｒｉｎｆｌｕｅｎｃｅｏｎａｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎａｒｅｓｅｌｅｃｔｅｄｆｒｏｍｔｈｅＱＡＲｄａｔａｂｙｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓｍｅｔｈｏｄ，ａｎｄａｎａｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎｐｒｅｄｉｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｏｐｔｉｍｉｚａｔｉｏｎｂａｃｋｐｒｏｐａｇａｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｐｒｏｐｏｓｅｄ．ＡｐｒｅｄｉｃｔｉｖｅｍｏｄｅｌｉｓｅｓｔａｂｌｉｓｈｅｄｔｈｒｏｕｇｈＭａｔｌａｂｓｉｍｕｌａｔｉｏｎｓｏｆｔｗａｒｅ，ａｎｄａｖｅｒｉｆｉｃａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｉｓｃｏｎｄｕｃｔｅｄｂａｓｅｄｏｎｔｈｅＱＡＲｄａｔａｏｆｔｈｅａｉｒｃｒａｆｔｄｅｓｃｅｎｔｐｈａｓｅｏｆａｎａｉｒｌｉｎｅ．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ，ｔｈｅｍｏｄｅｌｐｒｅｄｉｃｔｓｔｈｅｅｆｆｅｃｔｍｏｒｅａｃｃｕｒａｔｅｌｙａｎｄｔｈｅｐｒｅｄｉｃｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｉｓｂｅｔｔｅｒ．ʌＫｅｙｗｏｒｄｓɔＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ；ｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ；ａｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎｐｒｅｄｉｃｔｉｏｎ；ＱＡＲｄａｔａ基金项目：上海市自然科学基金面上项目（２１ＺＲ１４２３８００）㊂作者简介：邹春玲（１９９７－），女，硕士研究生，主要研究方向：智能算法与飞机油耗预测；熊㊀静（１９７９－），女，副教授，硕士生导师，主要研究方向：交通通信㊁智能信息处理；刘㊀超（１９９８－），男，硕士研究生，主要研究方向：数字孪生㊁数据挖掘；严㊀宇（１９９７－），男，硕士研究生，主要研究方向：优化算法㊁交通运输规划㊂通讯作者：熊㊀静㊀㊀Ｅｍａｉｌ：ｃｒｙｓｔａｌ＿４２０＠１２６．ｃｏｍ收稿日期：２０２２－０５－１６０㊀引㊀言据航空公司的统计资料表明，航空器的燃油生产成本已超过了航空公司运营成本的百分之四十以上［１］㊂过度的飞机燃料消耗，不但为中国航空的经营成本增加了很大压力，同时也给国内的节能减排工作带来了巨大挑战㊂因此，如何对飞机燃油油耗进行精准的预测减少飞机油耗量成为学术界与工业界关注的热点问题㊂国内外学者在飞机油耗预测方面进行了大量的研究㊂Ｂａｋｌａｃｉｏｇｌｕ［２］使用遗传算法优化的ＢＰ神经网络模型来模拟飞行阶段的飞行高度与真实空速及飞机油耗之间的关系㊂Ｍａ等学者［３］开发了一种基于遗传算法的双机身飞机ＭＯＤ框架，并将其用于飞机配置优化中㊂Ｂａｕｍａｎｎ等学者［４］使用神经网络和决策树２种机器学习算法应用到飞机不同飞行阶段和整个飞行任务的燃油消耗数据建模中，通过实验结果对比出２种方法的优劣㊂颜艳［５］构建了２种ＢＰ神经网络油耗预测模型，并将其应用到整个航段的飞机油耗预测中，同时采用ＭＩＶ算法和敏感度分析法对模型的影响因素进行了分析㊂魏志强等学者［６］以空客Ａ３２０机型的数据为基础，使用ＢＰ神经网络来对不可预期燃油进行预测㊂刘家学等学者［７］构建了一种改进深度信念网络的方法，并将其应用在飞机下降阶段的飞机油耗预测中，以此提高飞机油耗预测的精度㊂上述研究大多数是采用ＢＰ神经网络对飞机油耗某个阶段进行预测，但如果ＢＰ神经网络初始权值和阈值的位置选择不合适会导致网络的收敛速度慢㊁陷入局部最优值，针对这些问题，研究学者采用遗传算法对ＢＰ神经网络进行优化［８］㊂但目前该优化算法在飞机油耗预测领域应用较少，其个别应用多数使用单个参数进行研究，而飞机油耗量和众多因素相关㊂另外，有些建模未基于实际数据进行仿真实验，在实际应用中有一定局限性㊂因此，本文采用主成分分析法选择ＱＡＲ数据中对飞机下降阶段影响较大的几个参数，建立基于遗传算法优化ＢＰ神经网络的飞机油耗预测模型，通过Ｍａｔｌａｂ软件实现预测模型，并以某航空公司飞机ＱＡＲ数据进行验证实验，将其预测精度与传统的ＢＰ神经网络进行对比分析，以验证其在飞机油耗量预测精准度上的提升㊂１㊀ＢＰ神经网络ＢＰ神经网络是Ｒｕｍｅｌｈａｒｔ等学者［９］在１９８６年提出来的概念㊂ＢＰ神经网络在训练的过程中，数据可以通过权重从输入层传递到隐藏层，经过隐藏层非线性计算后再作用于输出层，输出层通过计算与实际值之间的误差来调节数据传递过程中的权值和阈值［１０］㊂３层ＢＰ神经网络包含了一个输入层㊁一个隐藏层和一个输出层，其结构如图１所示㊂X1X2 X mT1T n W i j Wj h输入层i隐藏层j输出层h 图１㊀３层ＢＰ神经网络结构图Ｆｉｇ．１㊀Ｔｈｒｅｅ－ｌａｙｅｒＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅｄｉａｇｒａｍ㊀㊀ＢＰ神经网络训练过程的步骤如下：（１）网络初始化㊂按照网络输入输出顺序（Ｘ，Ｔ），来设定网络的输入层节点数ｎ㊁隐藏层节点数ｌ㊁输出层节点数ｍ，输入层到隐藏层的连接权值ｗｉｊ，隐藏层到输出层的连接权值ｗｊｈ，初始化隐藏层阈值ａｊ，输出层阈值ｂｈ，并且给定了学习速率η和神经元的激励函数ｇ（ｘ）㊂其中，ｉ＝１， ，ｎ，ｊ＝１， ，ｌ，ｈ＝１， ，ｍ，ｇ（ｘ）取Ｓｉｇｍｏｉｄ函数，数学公式具体如下：ｇｘ()＝１１＋ｅ－ｘ（１）㊀㊀（２）隐藏层的输出㊂隐藏层输出Ｈｊ的数学公式具体如下：Ｈｊ＝ｇðｎｉ＝１ｗｉｊｘｉ＋ａｊ()（２）㊀㊀（３）输出层的输出㊂输出层输出Ｏｈ的数学公式具体如下：Ｏｈ＝ðｌｊ＝１Ｈｊｗｊｈ＋ｂｈ（３）㊀㊀（４）误差计算㊂误差Ｅ的数学公式具体如下：Ｅ＝１２ðｍｈ＝１Ｙｈ－Ｏｈ（４）㊀㊀其中，Ｙｈ为期望输出㊂记Ｙｈ－Ｏｈ＝ｅｈ，则Ｅ可以表示为：Ｅ＝１２ðｍｈ＝１ｅ２ｈ（５）㊀㊀（５）权值更新㊂权值的更新公式具体如下：ｗｉｊ＝ｗｉｊ＋ηＨｊ１－Ｈｊ()ｘｉðｍｈ＝１ｗｊｈｅｈｗｊｈ＝ｗｊｈ＋ηＨｊｅｈ{（６）㊀㊀（６）阈值更新㊂阈值的更新公式具体如下：ａｊ＝ａｊ＋ηＨｊ１－Ｈｊ()ðｍｈ＝１ｗｊｈｅｈｂｈ＝ｂｈ＋ηｅｈ{（７）㊀㊀（７）判断算法是否迭代结束，若没有结束，返回步骤（２）㊂ＢＰ神经网络训练过程流程如图２所示㊂反向传播误差，求所有隐含层的误差求输出层与预期输出的偏差e前向求出各个隐含层和输出层的输出迭代次数t=1网络初始化:选择第一个输入样本开始调整权值与阈值本训练样本结束?迭代次数t=t+1训练样本训练结束?选择下一个输入样本结束图２㊀ＢＰ神经网络训练流程图Ｆｉｇ．２㊀ＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｆｌｏｗｃｈａｒｔ７２２第３期邹春玲，等：基于遗传算法优化ＢＰ神经网络的飞机油耗预测方法２㊀基于遗传算法优化ＢＰ神经网络的预测模型㊀㊀遗传算法最早是由Ｈｏｌｌａｎｄ于２０世纪７０年代提出，是一种通过选择㊁交叉和变异三个基本遗传算子操作来对种群个体进行逐代寻优，然后通过对ＢＰ神经网络的权值和阈值不断更新，最终获得全局最优解的随机搜索算法［１１－１２］㊂遗传算法的步骤如下㊂（１）初始值编码：遗传算法在对问题求解前要将定义问题的变量编码为二维的参数向量㊂本文采取实数编码方法㊂（２）初始化种群：随机生成Ｗ＝（Ｗ１；Ｗ２； ；Ｗｐ）的初始种群，种群个体数设为Ｐ，通过线性插值函数生成个体Ｗｉ，Ｗ１，Ｗ２， ，Ｗｓ为算法的一个染色体㊂（３）计算种群个体适应度值：利用训练误差平方和作为计算种群个体适应值㊂（４）选择：采用轮盘赌法，选择概率可由式（８）计算求出：ｐｉ＝ｆｉðｐｉ＝１ｆｉ㊀ｉ＝１，２， ，ｐ（８）㊀㊀其中，ｆｉ为适应度值倒数，ｐ为种群规模㊂（５）交叉：基因Ｗｑ在ｊ位的交叉操作和基因Ｗｓ在ｊ位的交叉操作分别按如下公式进行：Ｗｑｊ＝Ｗｑｊ１－ｂ()＋Ｗｓｊｂ（９）Ｗｓｊ＝Ｗｓｊ１－ｂ()＋Ｗｑｊｂ（１０）㊀㊀其中，ｂ是［０，１］间的随机数㊂（６）变异：第ｉ个个体的第ｊ个基因进行种群变异，其操作可由如下公式进行描述：Ｗｉｊ＝Ｗｉｊ＋Ｗｉｊ－Ｗｍａｘ()ｆｇ()㊀ｒȡ０．５Ｗｉｊ＋Ｗｍｉｎ－Ｗｉｊ()ｆｇ()㊀ｒ＜０．５{（１１）ｆｇ()＝ｒ２（１－ｇ／Ｇｍａｘ）（１２）㊀㊀其中，Ｗｍａｘ，Ｗｍｉｎ分别为基因Ｗｉｊ的最大值和最小值；Ｇｍａｘ为最大进化次数；ｇ为当前迭代次数；ｒ为［０，１］间的随机数；ｒ２是随机数㊂（７）获得新种群：重复（４） （６）步骤，直到输出最优解㊂ＧＡ优化ＢＰ神经网络的流程如图３所示㊂初始值编码（输入数据）数据匹配、预处理（归一化等）确定B P 网络结构初始化种群计算种群个体适应度值获取B P 初始权值和阈值选择（轮盘赌法）计算网络误差更新权值和阈值满足条件?满足最小均方误差或迭代次数输出结果仿真测试新种群变异变叉YNNY图３㊀ＧＡ优化ＢＰ神经网络流程图Ｆｉｇ．３㊀ＧＡ－ｏｐｔｉｍｉｚｅｄＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｆｌｏｗｃｈａｒｔ３㊀仿真实验３．１㊀实验环境及数据来源实验在ＭａｔｌａｂＲ２０１６ａ环境下构建基于遗传算法优化ＢＰ神经网络的飞机油耗预测模型㊂本文实验的ＱＡＲ数据来源于某航空公司，选择２００组ＱＡＲ数据样本进行实验，同时选取地速㊁纵向加速度㊁垂直加速度㊁风速㊁风向㊁倾斜角㊁空速㊁气压高度㊁俯仰角㊁大气温度㊁飞机质量㊁发动机工作状态１２个飞行参数［１３］㊂其中，９６％的数据用于训练，其余４％的数据用于测试㊂为了更精准地预测模型，采用主成分分析法从１２个飞行参数中选取对飞机燃油油耗影响比较大的主成分进行实验㊂对１２个参数进行主成分分析得到的碎石图如图４所示㊂6543210组件号特征值123456789101112图４㊀飞机油耗主成分分析碎石图Ｆｉｇ．４㊀Ａｎａｌｙｓｉｓｏｆｔｈｅｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔｓｏｆａｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎｉｎａｌｉｔｈｏｔｒｉｐｓｙｃｈａｒｔ８２２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀㊀㊀从图４中可以看出，第８个参数后的特征值几乎趋于０，对飞机油耗的影响程度较小，故只选取前８个参数作为神经网络的输入㊂３．２㊀ＧＡ－ＢＰ神经网络的输入和输出数据实验的输入参数有地速㊁纵向加速度㊁垂直加速度㊁风速㊁风向㊁倾斜角㊁空速㊁气压高度共８种参数，输出参数为预测航线燃油油量这一种参数㊂经ＧＡ－ＢＰ神经网络模型计算后得出预测的航线油量㊂由于每个参数的量纲不同，输入参数在输入神经网络前要先进行归一化处理，使输入参数转化为［０，１］之间的无量纲数据，研究推得的数学公式为：Ｘ˙ｔｎ＝Ｘｔｎ－ＸｔｍｉｎＸｔｍａｘ－Ｘｔｍｉｎ（１３）㊀㊀其中，Ｘ˙ｔｎ为第ｔ个参数中第ｎ个值归一化后的值；Ｘｔｎ为第ｔ个参数中第ｎ个值归一化前的值；Ｘｔｍａｘ为第ｔ个参数中的最大值；Ｘｔｍｉｎ为第ｔ个参数中的最小值㊂部分归一化前的数据见表１，部分归一化后的数据见表２㊂表１㊀部分归一化前的数据Ｔａｂ．１㊀Ｄａｔａｂｅｆｏｒｅｐａｒｔｉａｌｎｏｒｍａｌｉｚａｔｉｏｎ地速纵向加速度垂直加速度风速风向倾斜角空速气压高度燃油油量２５４－０．００７８０１．００４１４２６１．５６－０．４４２４０．３８４９１６５３３８３８３０．００１９５０．９７７８９２３９．７７－０．０９２８６．００３０２４０４２６９２１２０．０５０８００．９６５１７２６２．２７－２．６４１９２．５０４５９２５３５５３１５０．００７８００．９７７５３２３４．８４－１．５８２６８．８８１９０９２４５９８３１７０．００３９００．９７７５１２３７．６６－１．７６２６９．８８１８８２４４６０６３１９－０．００３９００．９７７４９２３９．０６－１．９３２６９．８８１８５５６４６１３２４－０．００３９００．９８４６１９８．９８－２．７２２７０．３８３６５７４９２４－０．０３５２００．９８４６１９８．９８－２．４６１３７．００３６５７４８１７０．００７８０１．０１６６２５８．０５－１．９０１３２．８８３２５７４０１３９０．００３９００．９５７５２１４．４５－２．７２２７１．５０８４５６９３表２㊀部分归一化后的数据（保留两位小数）Ｔａｂ．２㊀Ｐａｒｔｉａｌｌｙｎｏｒｍａｌｉｚｅｄｄａｔａ（ｋｅｅｐｓｔｗｏｄｅｃｉｍａｌｐｌａｃｅｓ）地速纵向加速度垂直加速度风速风向倾斜角空速气压高度燃油油量０．２５０．１６－０．３７－０．７５０．６４０．３６０．６７－０．６７０．４４０．９２０．２９－０．５３０．９８０．１１０．５３０．９９０．９９－１．０００．０４０．４５－０．６０－０．６８０．６６－０．７００．３４－０．６９０．４７０．５７０．２４－０．５３０．１５－０．０１－０．１９０．８８０．２６－０．５５０．５８０．２２－０．５３０．１００．０６－０．２８０．８８０．２４－０．５４０．５９０．１８－０．５３０．０６０．０９－０．３６０．８８０．２２－０．５３－０．９３０．０３－０．４９－０．９３－０．８８－０．７４－０．０５－０．９９１．００－０．９３０．２４－０．４９－０．９３－０．８８－０．６２－０．０８－０．９９０．９９－０．７００．２２－０．４９－０．９３－０．８８－０．３５０．８９－０．９９０．９８－０．３４０．２８－０．２９－０．９５０．５６－０．７４－０．０５－０．９９０．９２３．３㊀ＧＡ－ＢＰ神经网络的训练ＢＰ神经网络模型使用三层网络结构，其中输入层节点数为８，隐含层节点数为６，输出层节点数为１㊂ＢＰ神经网络具体的参数设置见表３，ＧＡ的参数设置见表４㊂实验的误差使用平均相对误差（ＭＲＥ）㊁均方误差（ＭＳＥ）㊁平均绝对误差（ＭＡＥ）来进行评估㊂３种误差计算公式分别见下式：ＭＡＥ＝１ＮðＮｐｉ＝１｜ｘｉ－ｘ˙ｉ｜（１４）ＭＲＥ＝ðＮｐｉ＝１（ｘｉ－ｘ˙ｉ）２ðＮｐｉ＝１ｘｉ()２（１５）ＭＳＥ＝１ＮＰðＮｐｉ＝１（ｘｉ－ｘ˙ｉ）２（１６）㊀㊀其中，ｘｉ是真实值；ｘ˙ｉ是预测值；ＮＰ是实验总样本㊂表３㊀ＢＰ神经网络参数设置Ｔａｂ．３㊀ＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｐａｒａｍｅｔｅｒｓｓｅｔｔｉｎｇｓ训练次数学习率训练目标训练函数传递函数１００００．０１０．００００４ｔａｎｓｉｇＰｕｒｅｌｉｎ，ｔｒａｉｎｂｆｇ表４㊀ＧＡ参数设置Ｔａｂ．４㊀ＧＡｐａｒａｍｅｔｅｒｓｅｔｔｉｎｇｓ种群规模变异概率进化代数交叉概率１００．１１００．３３．４㊀实验仿真结果用经过预处理后的数据对模型进行训练，并将９２２第３期邹春玲，等：基于遗传算法优化ＢＰ神经网络的飞机油耗预测方法训练后的预测模型通过测试集进行检验，再将ＢＰ神经网络与遗传算法优化的ＢＰ神经网络的检验结果进行对比㊂研究得到的ＢＰ神经网络预测结果见图５，遗传算法优化ＢＰ神经网络预测结果见图６㊂从图５㊁图６可看出，遗传算法优化的ＢＰ神经网络对飞机油耗量预测结果比ＢＰ神经网络精确性更高㊂预测输出期望输出58005600540052005000480046004400420012345678预测样本飞机油耗图５㊀ＢＰ神经网络预测结果Ｆｉｇ．５㊀ＰｒｅｄｉｃｔｉｏｎｒｅｓｕｌｔｓｏｆＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ预测输出期望输出5800560054005200500048004600440012345678预测样本飞机油耗图６㊀遗传算法优化ＢＰ神经网络预测结果Ｆｉｇ．６㊀ＰｒｅｄｉｃｔｉｏｎｒｅｓｕｌｔｓｏｆＧＡ－ｏｐｔｉｍｉｚｅｄＢＰｎｅｕｒａｌｎｅｔｗｏｒｋ㊀㊀通过测试集数据对预测模型进行预测后，使用ＭＡＥ㊁ＭＡＰＥ以及ＲＭＳＥ三种计算方法分别计算各个模型的相对误差，误差对比情况见表５㊂从表５可以看出，ＧＡ－ＢＰ神经网络预测模型的ＭＡＥ㊁ＭＡＰＥ以及ＲＭＳＥ与ＢＰ神经网络预测模型相比分别提高了４．６０５６㊁０．０１３８㊁４．２０２６㊂表５㊀模型预测误差对比Ｔａｂ．５㊀Ｃｏｍｐａｒｉｓｏｎｏｆｍｏｄｅｌｐｒｅｄｉｃｔｉｏｎｅｒｒｏｒｓ预测模型ＭＡＥＭＡＰＥＲＭＳＥＢＰ９．１３９００．０２０１２７．４１５８ＧＡ－ＢＰ４．５３３４０．００６３２３．２１３２㊀㊀通过对预测结果及３种预测模型的ＭＡＥ㊁ＭＡＰＥ及ＲＭＳＥ进行分析，可看出遗传算法优化的ＢＰ神经网络模型具有更好地稳定性和精确性，对飞机油耗的预测更准确，在实际应用中的可行性也更好㊂４㊀结束语提出了一种基于遗传算法优化ＢＰ神经网络的飞机油耗预测模型㊂仿真结果表明，与传统ＢＰ神经网络相比，此模型具有更好的预测性能，能提高飞机油耗预测精度，为飞机油耗提供了新的预测模型和方法㊂但却只将该模型用到了飞机下降阶段的油耗预测中，未来可考虑该模型在其它航段的实际应用㊂参考文献［１］李宜．航空节油飞行策略研究及分析软件的设计和开发［Ｄ］．成都：电子科技大学，２０１０．［２］ＢＡＫＬＡＣＩＯＧＬＵＴ．Ｍｏｄｅｌｉｎｇｔｈｅｆｕｅｌｆｌｏｗ－ｒａｔｅｏｆｔｒａｎｓｐｏｒｔａｉｒｃｒａｆｔｄｕｒｉｎｇｆｌｉｇｈｔｐｈａｓｅｓｕｓｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ－ｏｐｔｉｍｉｚｅｄｎｅｕｒａｌｎｅｔｗｏｒｋｓ［Ｊ］．ＡｅｒｏｓｐａｃｅＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，２０１６，４９：５２－６２．［３］ＭＡＹｉｙｕａｎ，ＥＬＨＡＭＡ．Ｔｗｉｎ－ｆｕｓｅｌａｇｅｃｏｎｆｉｇｕｒａｔｉｏｎｆｏｒｉｍｐｒｏｖｉｎｇｆｕｅｌｅｆｆｉｃｉｅｎｃｙｏｆｐａｓｓｅｎｇｅｒａｉｒｃｒａｆｔ［Ｊ］．ＡｅｒｏｓｐａｃｅＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，２０２１，１１８：１０７０００．［４］ＢＡＵＭＡＮＮＳ，ＫＬＩＮＧＡＵＦＵ．Ｍｏｄｅｌｉｎｇｏｆａｉｒｃｒａｆｔｆｕｅｌｃｏｎｓｕｍｐｔｉｏｎｕｓｉｎｇｍａｃｈｉｎｅｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓ［Ｊ］．ＣＥＡＳＡｅｒｏｎａｕｔｉｃａｌＪｏｕｒｎａｌ，２０２０，１１：２７７－２８７．［５］颜艳．基于神经网络的Ａ３３０多因素油耗模型研究［Ｄ］．天津：中国民航大学，２０１５．［６］魏志强，胡杨．基于ＢＰ神经网络的不可预期燃油计算方法［Ｊ］．飞行力学，２０１９，３７（０６）：７－１１，１６．［７］刘家学，尹鹏．改进深度信念网络在飞机下降段油耗估计中的应用［Ｊ］．计算机应用与软件，２０１９，３６（０８）：６９－７４．［８］谷润平，来靖晗，魏志强．基于改进ＢＰ神经网络的飞行落地剩油预测方法［Ｊ］．飞行力学，２０２０，３８（０４）：７６－８０，８６．［９］ＲＵＭＥＬＨＡＲＴＤＥ，ＨＩＮＴＯＮＧＥ，ＷＩＬＬＩＡＭＳＲＪ．Ｌｅａｒｎｉｎｇｉｎｔｅｒｎａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙｅｒｒｏｒｐｒｏｐａｇａｔｉｏｎ［Ｊ］．Ｎａｔｕｒｅ，１９８６，３２３：５３３－５３６．［１０］张峰峰，张欣，陈龙，等．采用改进遗传算法优化神经网络的双目相机标定［Ｊ］．中国机械工程，２０２１，３２（１２）：１４２３－１４３１．［１１］ＨＯＬＬＡＮＤＪ．Ａｄａｐｔａｔｉｏｎｉｎｎａｔｕｒａｌａｎｄａｒｔｉｆｉｃｉａｌｓｙｓｔｅｍｓ：Ａｎｉｎｔｒｏｄｕｃｔｏｒｙａｎａｌｙｓｉｓｗｉｔｈａｐｐｌｉｃａｔｉｏｎｔｏｂｉｏｌｏｇｙ，Ｃｏｎｔｒｏｌ＆ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ［Ｍ］．２ｎｄｅｄ．Ｃａｍｂｒｉｄｇｅ：ＭＩＴＰｒｅｓｓ，１９９２．［１２］刘萍，俞焕．一种改进的自适应遗传算法［Ｊ］．舰船电子工程，２０２１，４１（０６）：１０１－１０４．［１３］刘婧．基于飞行数据分析的飞机燃油估计模型［Ｄ］．南京：南京航空航天大学，２０１０．０３２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀。
毕业设计论文基于遗传算法的BP神经网络的优化问题研究.doc
编号：审定成绩：重庆邮电大学毕业设计（论文）设计（论文）题目：基于遗传算法的BP神经网络的优化问题研究学院名称：学生姓名：专业：班级：学号：指导教师：答辩组负责人：填表时间：2010年06月重庆邮电大学教务处制摘要本文的主要研究工作如下：1、介绍了遗传算法的起源、发展和应用，阐述了遗传算法的基本操作，基本原理和遗传算法的特点。
2、介绍了人工神经网络的发展，基本原理，BP神经网络的结构以及BP算法。
3、利用遗传算法全局搜索能力强的特点与人工神经网络模型学习能力强的特点，把遗传算法用于神经网络初始权重的优化，设计出混合GA-BP算法，可以在一定程度上克服神经网络模型训练中普遍存在的局部极小点问题。
4、对某型导弹测试设备故障诊断建立神经网络，用GA直接训练BP神经网络权值，然后与纯BP算法相比较。
再用改进的GA-BP算法进行神经网络训练和检验，运用Matlab软件进行仿真，结果表明，用改进的GA-BP算法优化神经网络无论从收敛速度、误差及精度都明显高于未进行优化的BP神经网络，将两者结合从而得到比现有学习算法更好的学习效果。
【关键词】神经网络BP算法遗传算法ABSTRACTThe main research work is as follows:1. Describing the origin of the genetic algorithm, development and application, explain the basic operations of genetic algorithm, the basic principles and characteristics of genetic algorithms.2. Describing the development of artificial neural network, the basic principle, BP neural network structure and BP.3. Using the genetic algorithm global search capability of the characteristics and learning ability of artificial neural network model with strong features, the genetic algorithm for neural network initial weights of the optimization, design hybrid GA-BP algorithm, to a certain extent, overcome nerves ubiquitous network model training local minimum problem.4. A missile test on the fault diagnosis of neural network, trained with the GA directly to BP neural network weights, and then compared with the pure BP algorithm. Then the improved GA-BP algorithm neural network training and testing, use of Matlab software simulation results show that the improved GA-BP algorithm to optimize neural network in terms of convergence rate, error and accuracy were significantly higher than optimized BP neural network, a combination of both to be better than existing learning algorithm learning.Key words：neural network back-propagation algorithms genetic algorithms目录第一章绪论 (1)1.1 遗传算法的起源 (1)1.2 遗传算法的发展和应用 (1)1.2.1 遗传算法的发展过程 (1)1.2.2 遗传算法的应用领域 (2)1.3 基于遗传算法的BP神经网络 (3)1.4 本章小结 (4)第二章遗传算法 (5)2.1 遗传算法基本操作 (5)2.1.1 选择(Selection) (5)2.1.2 交叉(Crossover) (6)2.1.3 变异(Mutation) (7)2.2 遗传算法基本思想 (8)2.3 遗传算法的特点 (9)2.3.1 常规的寻优算法 (9)2.3.2 遗传算法与常规寻优算法的比较 (10)2.4 本章小结 (11)第三章神经网络 (12)3.1 人工神经网络发展 (12)3.2 神经网络基本原理 (12)3.2.1 神经元模型 (12)3.2.2 神经网络结构及工作方式 (14)3.2.3 神经网络原理概要 (15)3.3 BP神经网络 (15)3.4 本章小结 (21)第四章遗传算法优化BP神经网络 (22)4.1 遗传算法优化神经网络概述 (22)4.1.1 用遗传算法优化神经网络结构 (22)4.1.2 用遗传算法优化神经网络连接权值 (22)4.2 GA-BP优化方案及算法实现 (23)4.3 GA-BP仿真实现 (24)4.3.1 用GA直接训练BP网络的权值算法 (25)4.3.2 纯BP算法 (26)4.3.3 GA训练BP网络的权值与纯BP算法的比较 (28)4.3.4 混合GA-BP算法 (28)4.4 本章小结 (31)结论 (32)致谢 (33)参考文献 (34)附录 (35)1 英文原文 (35)2 英文翻译 (42)3 源程序 (47)第一章绪论1.1 遗传算法的起源从生物学上看，生物个体是由细胞组成的，而细胞则主要由细胞膜、细胞质、和细胞核构成。
基于遗传算法优化BP神经网络圆柱壳结构可靠度分析
基于遗传算法优化BP神经网络圆柱壳结构可靠度分析目录一、内容概括 (1)（一）基于遗传算法的优化方法介绍 (2)（二）BP神经网络介绍与应用场景分析 (2)（三）圆柱壳结构可靠度分析方法探讨 (4)二、圆柱壳结构基础理论知识概述 (5)（一）圆柱壳结构的组成及特点分析 (6)（二）圆柱壳结构的力学特性研究 (7)（三）圆柱壳结构可靠度评价指标介绍 (9)三、BP神经网络在圆柱壳结构可靠度分析中的应用 (9)（一）BP神经网络模型的构建与训练过程 (10)（二）基于BP神经网络的圆柱壳结构可靠度预测模型建立与实施步骤介绍11 （三）BP神经网络模型的优缺点分析及对策建议 (13)四、遗传算法在优化BP神经网络模型中的应用 (14)（一）遗传算法的基本原理及特点介绍 (16)（二）基于遗传算法的BP神经网络模型优化过程与实施步骤解析..16（三）案例分析 (18)一、内容概括介绍了BP神经网络的基本原理及其在当前圆柱壳结构可靠度分析中的局限性。
BP神经网络是一种通过反向传播算法进行权值和阈值调整的多层前馈网络，广泛应用于各种工程领域。
传统的BP神经网络在解决复杂结构优化问题时，往往存在易陷入局部最优解、收敛速度慢等问题。
阐述了遗传算法的基本原理和特性，遗传算法是一种模拟自然选择和遗传机制的优化搜索算法，具有全局优化能力，能够解决复杂的非线性问题。
将遗传算法与BP神经网络相结合，有望提高圆柱壳结构可靠度分析的准确性和效率。
详细描述了基于遗传算法优化BP神经网络的流程和方法。
通过遗传算法优化BP神经网络的权值和阈值，提高网络的性能和准确性。
将优化后的BP神经网络应用于圆柱壳结构可靠度分析，通过大量的数据训练和测试，验证该方法的可行性和有效性。
通过实例分析，展示了基于遗传算法优化BP神经网络在圆柱壳结构可靠度分析中的实际应用效果。
该方法能够显著提高圆柱壳结构可靠度分析的准确性和效率，为工程实践提供了一种新的思路和方法。
遗传算法与神经网络的结合
遗传算法与神经网络的结合近年来，随着人工智能领域的迅猛发展，遗传算法和神经网络分别作为两大重要技术，逐渐受到了研究者们的广泛关注。
遗传算法是通过模拟自然界中的进化思想，通过模拟生物遗传和进化的机制来搜索最优解的优化算法。
而神经网络则是模拟人脑神经元运作机制，通过输入输出之间的连接和权值来实现模式识别和计算的一种计算模型。
本文将探讨，以期在人工智能领域取得更好的应用效果。
首先，我们来看一下遗传算法和神经网络各自的优势。
遗传算法以其自动优化的特点被广泛应用于求解复杂问题。
它通过自然选择、交叉和变异等操作，将种群中适应度高的个体不断进化，从而找到最优解。
遗传算法在解决复杂、多变量问题时表现出了强大的优势，能够搜索到全局最优解。
而神经网络则以其强大的模式识别和学习能力而著称。
它通过神经元之间的连接和权值的调整，实现了对复杂非线性问题的建模和解决。
神经网络在图像识别、语音识别和自然语言处理等领域都取得了显著的成果。
然而，单一的遗传算法或神经网络在某些问题上可能存在局限性。
对于遗传算法而言，其搜索过程是基于群体的，可能会陷入局部最优解。
对于神经网络而言，其训练过程相对较慢，且对于参数的选择较为敏感。
为了克服这些问题，研究者们开始将遗传算法与神经网络相结合。
方式有多种。
其中一种常见的方式是通过遗传算法来优化神经网络的结构或参数。
在神经网络的训练过程中，通过遗传算法对神经网络的权值和偏置进行搜索和优化，以提高神经网络的性能。
另一种方式是将遗传算法的进化机制应用于神经网络的学习过程中。
通过模拟遗传算法的选择、交叉和变异等原理，对神经网络的连接结构和权值进行调整，以实现对神经网络的自适应调节和优化。
能够发挥二者的优点，弥补各自的不足。
首先，通过遗传算法的全局搜索能力，可以有效克服神经网络陷入局部最优解的问题。
其次，通过神经网络的模式识别和学习能力，可以提高遗传算法的搜索效率，使得算法能更快地找到最优解。
此外，还能够应对复杂问题，实现更复杂的模型和解决方案。
BP神经网络算法
1
目
录
一、BP神经网络算法概述
二、BP神经网络算法原理
三、BP神经网络算法特点及改进
2
一．BP神经网络算法概述
BP神经网络（Back-Propagation Neural Network），即误差
后向传播神经网络，是一种按误差逆向传播算法训练的多层前馈网
络，是目前应用最广泛的网络模型之一。
11
二．BP神经网络算法原理
图5 Tan-Sigmoid函数在（-4,4）范围内的函数曲线
12
二．BP神经网络算法原理
激活函数性质：
① 非线性
② 可导性：神经网络的优化是基于梯度的，求解梯度需要确保函
数可导。
③ 单调性：激活函数是单调的，否则不能保证神经网络抽象的优
化问题转化为凸优化问题。
④ 输出范围有限：激活函数的输出值范围有限时，基于梯度的方
= 1
=1
7
,
= 1,2,3 … , q
二．BP神经网络算法原理
输出层节点的输出为：
j = 2 ,
= 1,2,3. . . ,
=1
至此，BP网络完成了n维空间向量对m维空间的近似映射。
图2 三层神经网络的拓扑结构
8
二．BP神经网络算法原理
BP神经网络是多层前馈型神经网络中的一种，属于人工神经网
络的一类，理论可以对任何一种非线性输入输出关系进行模仿，因
此 被 广 泛 应 用 在 分 类 识 别 （ classification ） 、 回 归
（regression）、压缩（compression）、逼近（fitting）等领域。
在工程应用中，大约80%的神经网络模型都选择采用BP神经网
遗传算法优化BP神经网络权值和阈值的通用
B2(i,1)=x((R*S1+S1*S2+S1)+i);
end
% 计算S1与S2层的输出
A1=tansig(W1*P,B1);
A2=purelin(W2*A1,B2);
% 计算误差平方和
SE=sumsqr(T-A2);
val=1/SE; % 遗传算法的适应值
figure(2)
plot(trace(:,1),trace(:,3),'r-');
hold on
plot(trace(:,1),trace(:,2),'b-');
xlabel('Generation');
ylabel('Fittness');
%下面将初步得到的权值矩阵赋给尚未开始训练的BP网络
net.trainParam.epochs=50;
net.trainParam.goal=0.001;
%训练网络
net=train(net,XX,YY);
程序二：适应值函数
function [sol, val] = gabpEval(sol,options)
% val - the fittness of this individual
%--------------------------------------------------------------------------
%数据归一化预处理
nntwarn off
XX=premnmx(XX);
YY=premnmx(YY);
%创建网络
net=newff(minmax(XX),[19,25,1],{'tansig','tansig','purelin'},'trainlm');
基于遗传算法优化神经网络的技术研究
ｑ
络结构和参数选择合理 ，就能 以任何精度逼近 任意的非线性
函 数 四 。
由 ４ 看出 网 输出 是各 值 ： ： 阈 式（ 可以 ， 络 误差 层权 ， 和 ）
值 、 的函数 。因此 ， 调整权值 和阈值可以改变误差 。
构造如图 １ 所示神经网络。
收稿 日期 ：０ ９ １— １ ２ ０ — １２ 作者简介 ： 高宪军 （９ ５ ） 男， １６ 一 ， 吉林 白城人 ， 教授 ， 主要从事航空通信导航技术 与航空通信 侦察技 术研究。
输入层
中间层
输 层
和 阈值 ， 使得在此权值 和阈值下 ， 出结果 与期 望结果误差最 输 小【 Ｂ ｌ Ｐ算法是神经网络研究 中比较成功的算法 ， Ｊ 。 它解决前馈
神 经 网络 非 常有 效 ， 有 两 个 明 显 的 缺 点 ： 是 容 易 于 陷 入 局 但 一 部极小值 ； 二是 收 敛速 度 慢 。
８
２ 遗传 算 法优化 神 经 网络
类作
２ ， 一
沿计
根 据问题描述 ，选取 网络 的拓扑 结构为
ｆ０ ｌ１ 表示 Ａ类 ， 】 Ｂ 。网２钳 悬木 【１ ０ 表示 类 备 ｐ Ｈ
…
； ；ｌ一” ３Ｏ １ｌ ｇｔ Ｉｌ ｌ
蒹
凳蓦 芝 鬟
，
近年来 ， 神经 网络技 术 已渗 透到各个 领域 ， 在智 能控制 、
模 式 识 别 、 算 机 视 觉 、 线 性 优 化 、 号 处 理 等 方 面取 得 了 计 非 信 巨大 的成 功 和 进 展 ， 神 经 网络 仍 存 在 着 它 所 固有 的弊 端 。 但 神 经 网络 训 练 可 以看 作 为 一 个 最 优 化 问题 ，它 要 找 到 一 组 权 值
基于遗传算法优化的BP神经网络在考研结果预测中的应用
黑铉语言信麵与电睡China Computer & Communication2021年第1期基于遗传算法优化的B P神经网络在考研结果预测中的应用李驰(四川大学锦城学院计算机科学与软件工程系，四川成都611731)摘要：通过遗传算法先对BP神经网络的初始权值和阈值进行优化后，再将BP神经网络用于考研结果的预测模型中。
实验表明，这种优化后的预测模型因为克服了收敛速度慢、易产生局部最小等缺陷，比单纯使用BP神经网络建立的预测 模型准确度更高。
将这个预测模型用于考研报名之前供学生预测参考，方便学生做出合理的决策，具有一定的实际意义。
关键词：考研；预测；BP神经网络；遗传算法中图分类号：TD712 文献标识码：A文章编号：1003-9767 (2021) 01-038-04Application of BP Neural Network Based on Genetic Algorithms Optimization in Prediction of Postgraduate Entrance ExaminationLI Chi(Department of Computer Science and Software Engineering,Jincheng College of Sichuan University,Chengdu Sichuan611731, China) Abstract：F irs tly,the in itia l weight and threshold of BP neural network are optimized by genetic algorithm,and then BP neural netw ork is used in the pre diction model of the results o f the postgraduate entrance exam ination.The experim ent shows that the optim ized prediction model overcomes the shortcomings o f slow convergence speed and easy to produce local m inim um,so it is more accurate than the pre diction model established by BP neural network alone.This pre diction model can be used as a reference for students to make a reasonable decision before applying fo r postgraduate entrance examination.Key words：postgraduate entrance exam ination;prediction;BP neural network;genetic algorithms〇引言随着社会对于高素质知识型人才的需求越来越迫切，我 国报考研究生的人数呈现逐年大幅増加的趋势。
BP神经网络算法
BP神经网络算法BP神经网络算法（BackPropagation Neural Network）是一种基于梯度下降法训练的人工神经网络模型，广泛应用于分类、回归和模式识别等领域。
它通过多个神经元之间的连接和权重来模拟真实神经系统中的信息传递过程，从而实现复杂的非线性函数拟合和预测。
BP神经网络由输入层、隐含层和输出层组成，其中输入层接受外部输入的特征向量，隐含层负责进行特征的抽取和转换，输出层产生最终的预测结果。
每个神经元都与上一层的所有神经元相连，且每个连接都有一个权重，通过不断调整权重来优化神经网络的性能。
BP神经网络的训练过程主要包括前向传播和反向传播两个阶段。
在前向传播中，通过输入层将特征向量引入网络，逐层计算每个神经元的输出值，直至得到输出层的预测结果。
在反向传播中，通过计算输出层的误差，逐层地反向传播误差信号，并根据误差信号调整每个连接的权重值。
具体来说，在前向传播过程中，每个神经元的输出可以通过激活函数来计算。
常见的激活函数包括Sigmoid函数、ReLU函数等，用于引入非线性因素，增加模型的表达能力。
然后，根据权重和输入信号的乘积来计算每个神经元的加权和，并通过激活函数将其转化为输出。
在反向传播过程中，首先需要计算输出层的误差。
一般采用均方差损失函数，通过计算预测值与真实值之间的差异来衡量模型的性能。
然后，根据误差信号逐层传播，通过链式法则来计算每个神经元的局部梯度。
最后，根据梯度下降法则，更新每个连接的权重值，以减小误差并提高模型的拟合能力。
总结来说，BP神经网络算法是一种通过多层神经元之间的连接和权重来模拟信息传递的人工神经网络模型。
通过前向传播和反向传播两个阶段，通过不断调整权重来训练模型，并通过激活函数引入非线性因素。
BP 神经网络算法在分类、回归和模式识别等领域具有广泛的应用前景。
遗传算法在BP神经网络优化中的应用
遗传算法在 BP 神经网络优化中的应用2O世纪80年代后期 ,多机器人协作成为一种新的机器人应用形式日益引起国内外学术界的兴趣与关注.一方面，由于任务的复杂性，在单机器人难以完成任务时，人们希望通过多机器人之间的协调与合作来完成.另一方面，人们也希望通过多机器人间的协调与合作，来提高机器人系统在作业过程中的效率。
1943年，Maeullocu和 Pitts融合了生物物理学和数学提出了第一个神经元模型。
从这以后，人工神经网络经历了发展、停滞、再发展的过程，时至今日正走向成熟,在广泛领域里得到了应用,其中将人工神经网络技术应用到多机器人协作成为新的研究领域。
本文研究通过人工神经网络控制多机器人完成协作搬运的任务—3 J，并应用遗传算法来对神经网络进行优化。
仿真结果表明，经过遗传算法优化后的搬运工作效率显著提高,误差降低.1 人工神经网络 ANN)的基本原理和结构人工神经网络(Artiifcial Neural Network，ANN)) 是抽象、简化与模拟大脑神经结构的计算模型,又称并行分布处理模型 J。
ANN 由大量功能简单且具有自适应能力的信息处理单元——人工神经元按照大规模并行的方式通过一定的拓扑结构连接而成。
ANN拓扑结构很多，其中采用反向传播(Back—Propa—gation，BP)算法的前馈型神经网络(如下图1所示）,即BP人工神经网络，是人工神经网络中最常用、最成熟的神经网络之一 .BP网络模型处理信息的基本原理是：输入信号x；通过中间节点(隐层点 )作用于出节点，经过非线形变换,产生输出信Yk,网络训练的每个样本包括输入向量x和期望输出量 T,网络输出值Y与期望输出值T之间的偏差，通过调整输入节点与隐层节点的联接强度取值w;；和隐层节点与输出节点之间的联接强度Y以及阈值，使误差沿梯度方向下降，经过反复学习训练,确定与最小误差相对应的网络参数 (权值和阈值）,训练即告停止.此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。
基于实数编码遗传算法的神经网络优化设计
落在全局最优区域 。为简化计算 ， 本文不考虑神经
元 的阀值 ， 网络 权值 限制在 ［一１ １ ， ，］隐层 及输 出层
Ｋｅ ｒ ｓ： ａ ｙ ｗｏ ｄ Ｒｅ ｌ—ｃ ｄ ｄ ｇ ｎ ｔ ｌｏ ｔｍｓ Ｆ ｅ ｆｒ ｒ ｕ ａ ｅｗｏ ｋ ； ｏ ｅ ｅ ｅｉ ａｇ ｒ ｈ ； ｅ ｄ ｏ ｗａｄ ｎｅ ｒ ｌｎ ｔ ｒ ｓ ＡＮＮ ｃ ｉ
１ 引
言 一］ ’
节点 ， 这些节点之间如何连接等问题 ； ③利用遗传算
一
２ 基于改进 的实数编 码遗 传算法对前 向神
经 网络 的优 化 设 计
多层 前 向神 经 网络作为 一个 由多个非 线性元件
大规模互 连构成 的动 力系 统 ， 系统 的行 为 由两方 其
种搜索 范 围广 、 索 效 率 高 、 棒 性 强 的优 化 方 搜 鲁 神经网络 的学 习算 法存 在容 易陷入局 部极小值
Ｋ ｌ ｏａａ定理证 明在 有合 理 的结 构 和恰 当 的权 值 ｏｍ ｇｒｖ
条件下 ， 三层 前向 网络 能够 以任意 精度 逼 近有界 非 线性 函数 。因此本 文 采用 三 层前 向神经 网络 ， 其 对 结构 （ 文 指 网络 的隐 层 节点 个 数 ） 与 隐层节 点 本 及 相关 的权 值进行 优化 ， 得 网络节点个 数最佳 、 使 权值
行优化 ， 综合考 虑 编码 方式 、 应 度 函数 、 始群 体 适 初 的分布 和遗传 算 法 操 作 等对 Ｇ Ａ性 能 的影 响 ， 成 形 更合 理 、 更高 效的算法 。
遗传算 法（ Ａ 是模 拟 达 尔 文 的遗传 选 择 和 自 Ｇ ） 然淘 汰的生物进化过 程 的全 局性优 化搜索算 法 。遗 传算法采用 群体进 化 方式 ， 目标 函数 空 间进 行 多 对 线索 的并 进式检查 ， 并保 留有竞 争 力的基 因 ， 因此是
用实数编码的遗传算法优化神经网络盲均衡算法
ｙｎ ｉ （－）
ｙｎ ｍ１ （—
其 中 （ 表示发 送 序列 ， （ 表示 加性 噪 声， ｎ表 ， ｚ ） ｎｎ ） （）
收 稿 日期 ： ０ ８ ０ —５ ２０ — ６ １
图 ２ Ｐ神经网络中信号的传输关系 Ｂ
作 者简 介 ： 李沅 （ ８ 一， ， １ ２ ）女 山西 左 云 人， 士， 教 ９ 硕 助 研究 方 向 ： 信 ］程 通
（） １
的神 经元 ； 隐层 与输 层 的权值 为 Ｗ， ）假 定 隐层 （． ｎ
单元 的输 入为 Ｒ，）输 为 ５ ）输 出层 单元 的输 （， ｎ ，
｝ 为 ｎ， ｝ ｛ ）神经 网络 总输 为 （ ， ｎ 隐层 、 出层 的 ） 输
输 入 与输 的传递 函数为 厂ｆ）本 文 中选 取 以下 函 ． ，
示 信 道 冲激 相应 ， （） ｖｎ表示 接 收序 列 ， （） 叠ｎ表示 均 衡 器输 Ｉ ， ｆ） 叶 叠ｎ表示 判 决器 输 ｝ １ 首 先选 择 一个 网络 Ｊ ｝２ ｛１ ． 结 构， 后 针对 所 选 网络 结 构提 ｌ 一 个 代 价 函 数， 然 叶 Ｊ 并且 根据 这个 代价 函数 确定权 值 的递推 方程 ． 最后 通过最 小化代价 函数来 达到调整 权值 的 目的．
进行 遗传算法 的编码 … ② 收敛速 度快 ， 易陷 入局 ： 不
得更优的收敛精度， 易陷入局部极小值，因此， 但 将遗 传算法 与神经 网络有 机结合 ， 取长 补短， 就能达 到更
优的均衡效果 ． 基于遗传神经 网络训 练方 法的主要思 想是先利用遗传算法对权值进行 陕速 的全 局搜 索， 通 过控制遗传 代数使 网络性能达到一定要求 ， 然后再利 用 Ｂ 算法在局部进行最优搜索， Ｐ 直到满足精度． 本文 采用 层前馈神经网络， 二 见图 ２ ．
利用云模型和遗传算法优化BP神经网络权值
利 用 云 模 型 和 遗 传 算 法 优 化 Ｂ 神 经 网 络 权 值 Ｐ
吴 立锋
（ 南 民族 大 学 计 算 机 科 学 学 院 ， 北 武 汉 ４ ０ ７ ） 中 湖 ３ ０ ４
摘 要 ： 准 Ｂ 标 Ｐ算 法 主 要 根 据 训 练 样 本 确 定 神 经 网 络 的 权 值 ， 于 Ｂ 由 Ｐ算 法 采 用 沿 梯 度 下 降 的 搜 索 算 法 ， 而 其 结 因
Ｗ … ， ） Ｗ 被 选 出 来 作 变 异 ， 权 值 的 变 化 范 围 是 ， Ｗ ， 若
（ ＬＷ， ＨＷ） 则 变 异 结 果 为 ： 一 Ｗ Ｗ … ， ， Ｗ ， ， ｗ ， ， ｗ 其
Ｈ
中 ’
‘ ｌ 一 Ｗ
～
，
（ Ｗ ， Ｌ ） ， 一 Ｖ ｔ
ｌ 优 化 原 理
先 利 用 神 经 网络 试 探 出最 好 的 网络 隐 层结 点 数 ， 利 再
Ｅ — ｆ Ｅ 一 （ ｍ ～ 厂 ／ １ Ｈｅ— Ｅ ／２ ｘ ｎ ｆ ） ｃ ｎｃ
／ 一 Ｒ ＮＤＮ （ Ａ Ｅｎ， ） Ｈｅ
ｆ ｋＰ
， ＞ 一 ＿ ／
用 本 文 提 出 的 算 法 调 整 网络 的权 值 以及 阈 值 ， 后 再 用 调 然 整 好 的权 值 和 阈值 进 行 分 类 。 编 码 ： 于 包 含 一 层 隐 藏 层 模 式 为 ／ 一” 多 层 神 经 对 ７ 一ｚ ／ 网络共有 ｑ — ＊” ＋”＊ｚ ＋ ＋ｚ 权 值 和 阈值 需 要 优 化 ， 个 其 中 ｍ 为输 入 层 结 点 数 ， 为 隐藏 层 结 点 数 ， 为 输 出层 结 ｚ 点 数 。将 这 ｑ个权 值 和 阈 值 记 为 Ｗ 一 （ ， ， ， ） Ｗ Ｗ。 … Ｗ ，
基于实数编码的改进遗传神经网络研究及应用
Ｇｅ ｅｉ ｇ ｒ ｈ ｓ ｄ Ｏｎ Ｒ ａ ｏ ｉｇ ｎ ｔ Ａｌｏ ｉ ｍｓＢａ ｅ ｅ Ｃ ｄｎ ｃ ｔ ｌ
【 摘要】 本文介绍 了Ｂ Ｐ网络收敛慢与全局收敛的不足等特点， 提出以实数的编码机制及在迭代过程 中改进的自适
应交叉 、 变异算子更新及种群更新等改进遗传策 略， 以此提高 Ｂ Ｐ网络 学 习效率和 Ｂ Ｐ模型预 测的准确 率， 以甘蔗产 量 并
的实例数据进行模拟仿真分析验证。
【 关键词】 遗传算法； 改进 Ｂ Ｐ网络； 甘蔗； 预测 【 中图分类号 】 Ｐ０ 【 Ｔ３６ 文献标识码 】 【 Ａ 文章编号 】０８ ９６ （ｏ８０ — １１ ０ １ — ７４ ２ｏ ） ００ — ４ ０ ５
ｄｖｄ ａ ｈ ｉｅ ｐ ａｅｂ ｓｄｏ ｍｐｏ ｅ ｒｓ ｉｉｕ ｌｃ ｏｃ ｓｕ ｄ ｔ ａｅ ｎｉ ｒｖ ｄｃｏｓ—ａ ａ ｔ ｅ ｄ ｐｉ ，ｍｕａｉｎｏ ｒｔｒ ａｅ ｎｒａ ｏ ｉｇ ｈ ｔｏ ｓｕ ｅ ｏｏ ｔ ｖ ｔｔ ｐ ａｏ ｓｄｏ ｅ ｌ ｄ ｎ ．Ｔ ｅｍｅ ｄ ｉ ｓｄｔ ｐｉ ｏ ｅ ｂ ｃ ｈ —
１ 引 言
【 收稿 日期 】 ０８ ０ — ７ ２０ — ９ ０
【 作者简介Ｊ 徐永春 （９４ ，男，江西九江人， １ 一） ７ 广东广播电视大学计算机工程师。
广东广播 电视大学学报
（ ｌ卷 第 ７
总 ７ 期） １
２０ 年 １ 月 ２ ０８ Ｏ Ｏ日
—ｐｏａａｏ Ｂ ）ｎｕａ ｎ ｔｏｋ ｈｎｗ ｍｐ ｅｈｄｔａ ｉ ｐ ｅ ｅｓ ｌ ｇｎｔ ｇｒｈ ｒｐｇｔ ｎ（ Ｐ ｅｒｌ ｅ ｒ．Ｔ ｅ ｅｐ ￣ｅａｍ ｔｏ ｔｍ ｍｖｓｈ ｉ ｅ ｅｅ ｃａ ｏ ｔ ｉ ｗ ｈ ｔ ｍｐ ｉ ｌ ｉ ｍｓ（ Ｇ Ｓ Ａ）ｗｔ ｔｅｉ－ ｉ ｈｈ ｎ
自适应递阶遗传算法优化BP网络的程序设计
ＬＩＦ ｎ — ｆ ｎ ＺＨＡＯ ｎ — ｋ ｉ ＺＨＡＮＧ ｎ — ｈ ａ ａ ｇ ａ ｇ， Ｙｉ ｇ ａ， Ｘｉ ｇ ｕ
（ ｅａｔ ｎ ｏ Ａ ｔｍ ｔ ｎ，Ｎ ｎｉｇＵ ｉｅｓｙｏ ｅｈ ｏ ｇ ， ａｊ ｇＪａｇｕ２ ００ ，ｈｎ ） Ｄ ｐｒ ｍｅｔ ｆ ｕｏ ａｉ ｏ ａｊ ｎｖｒｉ ｆ ｃ ｎｌ ｙ Ｎ ｎｉ ｉｎｓ ０ ９ Ｃ ｉａ ｎ ｔ Ｔ ｏ ｎ １
象， 具有不依赖 于问题 本身 、 不易陷 入局部 最优 和隐含 并行 性等特点 ， 够快 速有 效地 搜索 复 杂高 度非 线性 和多维 空 能 间。 递阶遗传算 法 （ ｉ ａｃｉａ ｇｎ ｔ ｌ ｒ ｈ Ｈｅ ｒｈｃｌ ｅ ｅ ｃａ ｏｉ ｍ）是近 年来 ｒ ｉ ｇ ｔ 提出的一 种新 型遗传算法 ， 它采用二进制 编码和实数 编码相 结合 的混合编码方法 ， 可以在对 网络权 重优化求解 的同时 对 神经 网络的拓扑 结构 进 行优 化 ， 且 没有 局部 极 小 的 问 并
ＡＢＳ ＴＲＡＣＴ： ｅ ｐ ｐ ｒ ｒ ｐ ｓ ｓｔ ｅｂ ｓｃ ｐ ｉ ｃｐ ｅｏ ｅ ｅ ｅ ｉ ｌｏ ｉ ｍ Ｔｈ ａ ｅ ｏ ｏ ｅ ｈ ａ ｉ ｒ ｉ ｌ ｆａｎ ｗ ｇ ｎ ｔ ａ ｇ ｒ ｈ ｐ ｎ ｃ ｔ ａ ａ ｔｖ ｉ ｒ ｒ ｈ ｃ ｌ ｅ ｅ ｉ ｄ ｐ ｉ ｅｈ ｅ ａ ｃ ｉａ ｎ ｔ ｇ ｃ
（ 南京工业大学 自动化学 院， 江苏 南京 ２ ００ １０ ９） 摘要 ： 主要阐述 了一种新 的遗传算法 ～自适应递阶遗传算 法的基本原理 ， 解决 了长期 以来无法 同时对神 经网络拓扑结构 和
神经 网络的权值和阈值进 行优化 的问题 ， 设计 了一个基于 自适应递阶遗传算法的 Ｂ 神经 网络学 习算法 ， 出了具体的程 序 Ｐ 给 设计 ， 并且利用 ＭＡ Ｌ Ｂ平 台进行仿真计算． ＴＡ 实验 结果表 明， 该算法 比一般遗传算法具有明显的优越性 ， 可以避免神经 网络
遗传算法在神经网络结构优化中的应用
遗传算法在神经网络结构优化中的应用随着人工智能的不断发展，神经网络技术愈发重要。
神经网络中的结构对于算法的性能和鲁棒性有着极大的影响。
针对不同的问题，不同的神经网络结构会呈现不同的优势。
但是如何找到最佳的神经网络结构仍然是一个广泛关注的问题。
随着遗传算法的出现，它被广泛地应用在神经网络结构的优化中。
本文将介绍遗传算法在神经网络结构优化中的应用。
一、神经网络结构优化神经网络结构优化的目的是通过找到最优的神经网络结构来提高网络的性能。
以分类问题为例，网络的性能通常可以用分类准确率来衡量。
在结构中，包含了神经元的数量、层数、激活函数等组成要素。
但是结构的优化是一个十分困难的问题。
基于精密的数学模型的优化问题通常可以通过求解解析解的方法快速确定。
但是神经网络结构的优化问题相当复杂，无法用解析方法求解。
此外，神经网络的性能难以直接计算，通常需要通过训练集和测试集的分类准确率来进行预测。
所以，可以通过试错来寻找最佳的神经网络结构。
不过，这种方法往往需要大量的计算资源和耗费大量的时间。
因此，科学家们开始寻找一些更为有效的方法，来提高神经网络结构的优化效率。
二、遗传算法遗传算法是一种仿生算法，其灵感来源于生物进化过程中的基因遗传過程。
遗传算法的主要思路是通过创造“个体”、环境选择和遗传方法结合的方式，逐步迭代出更优秀的解决方案。
在经过多次迭代后，遗传算法能够找到最优解（或者达到更优近似解）。
基于遗传算法的优点，科学家们开始将其应用在神经网络结构的优化中。
以“群体创新”为核心思想的遗传算法可以大幅提高神经网络结构优化的效率。
三、遗传算法在神经网络的应用在神经网络结构的寻优过程中，遗传算法的主要任务是搜索最优的结构。
一般来讲，遗传算法选择的参数包括神经元的数量、网络的层数和激活函数等。
遗传算法通常考虑的是在上一代神经网络结构的基础上进行修改。
首先，遗传算法生成一组随机解，也就是神经网络结构的种群。
然后，对这一组解进行评估，并仅仅选择其中最优秀的结构。
实数编码遗传算法
实数编码遗传算法一、初始化种群实数编码遗传算法的初始化种群是通过随机生成一组解的方式进行的。
每个解是一个实数，代表了问题的一个可能解。
初始种群的大小通常根据问题的复杂性和求解精度来确定。
二、适应度函数适应度函数用于评估种群中每个个体的适应度，即解的质量。
适应度函数应根据具体问题的目标来确定，通常需要最大化或最小化某个指标。
适应度函数的设计应尽可能地反映问题的本质，以便算法能够找到更好的解。
三、选择操作选择操作是根据适应度函数的评估结果，从当前种群中选择出适应度较高的个体，以产生下一代种群。
常用的选择算法有轮盘赌选择、锦标赛选择等。
选择操作的目标是保留优秀的个体，淘汰较差的个体。
四、交叉操作交叉操作是通过随机选择两个个体，交换部分基因来产生新的个体的过程。
实数编码遗传算法中，通常采用均匀交叉或正态分布交叉等操作方式。
交叉操作的目标是产生新的解，以探索更广阔的解空间。
五、变异操作变异操作是在个体基因中随机选择一部分进行微小的扰动，以产生新的解。
变异操作可以增加种群的多样性，防止算法陷入局部最优解。
变异操作的方式有多种，如随机扰动、逆序等。
六、终止条件终止条件用于判断算法是否达到终止条件，即是否找到了满意的解或无法找到更好的解。
常见的终止条件包括最大迭代次数、解的精度等。
终止条件的设定应根据具体问题的需求来确定。
七、结果输出当算法终止后，会输出最终的种群中最优秀的个体作为最优解。
输出结果时应提供解的质量、适应度值等信息，以便用户进行评估和比较。
同时，也可以根据需要提供其他相关信息，如种群演化过程、收敛曲线等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目录
课题背景 遗传神经网络 分类检测器同步检测模型 数据预处理 仿真实验 结束语和展望 发表论文
分类检测器同步检测模型
系统总体结构
预处理模块
数据采集模块 (事件产生器)
检测引擎模块 传送警报 (事件分析器） 检测到攻击
网络数据流
数据库模块 (事件数据库)
响应模块 (事件响应器)
4
5
0
U2R
11
1
2
6
normal DOS PROBE R2L
数据预处理
归一化精度对样本影响
表4-2 小数点保留4位时记录重复情况
DOS
1
0
0
0
PROBE
1
0
0
0
R2L
0
0
0
0
U2R
0
0
0
0
normal DOS PROBE R2L
数据预处理
归一化精度对样本影响
表4-3 样本数据压缩情况
normal DOS PROBE R2L U2R
目前，遗传算法经常采用二进制编码， 这有它自身的优点，如它理的模式数最多，但在处理优化
遗传神经网络
实数编码遗传算法
问题时，会出现一些问题： “由于相邻整 数的二进制编码结构可能出现很大的差异， 这样会降低遗传算子的搜索效率，而且如 果设计变量的精度很高，串长就很大，这 样也降低了算法的效率，并且在进化过程 中还要不停地进行编码和解码操作，计算 时间比较长，所以在求解高维优化时，算 法的搜索效率就更低了”。
Attributes of the connect record
1
2
3
4
5
6
……….
1 0.0000 1.0000 0.0000 0.0000 0.0000 0.0000 ……….. 2 0.0000 0.7039 1.0000 0.0000 0.0000 0.0112 ……….. 3 0.0000 0.7039 1.0000 0.0000 0.0000 0.0056 ……….. 4 0.0576 0.2572 1.0000 0.0000 0.0000 0.0044 ……….. 5 0.0000 0.6983 1.0000 0.0000 0.0000 0.0056 ……….. 6 0.0000 0.6983 1.0000 0.0000 0.0000 0.0056 ……….. 7 0.3352 0.7039 1.0000 0.0000 0.0000 0.0056 ……….. 8 0.0464 0.5727 1.0000 0.0000 0.0000 0.0004 ……….. 9 0.2353 0.3373 0.7176 0.0000 0.0000 0.0000 .………. 10 0.1111 0.0000 0.2222 0.0000 0.0000 0.0000 .……….
图 2-1 交叉和变异算子的运算
遗传神经网络
面向神经网络权重学习
神经网络的权值按一定的顺序级联 为一个长串，串上的每一个位置对应着 网络的一个权值。
-1.8
3.6
1.4
4.5 0.9 1.7
-0.3 -0.7
1.3
图 2-2 神经网络权值编码
遗传神经网络
面向神经网络权重学习
如图2-2所示，神经网络编码为： （1.4, -1.8, 3.6, 1.7, 0.9, -0.7, 4.5, -0.3, 1.3）
性组合。如有两个个体Sa与Sb交叉，则 产生的子代个体如式(2-3)、(2-4)所示。
其中，λ的取值在(0，1)。
Sa' Sa (1 )Sb
(2-3)
Sb' Sb (1 )Sa
(2-4)
遗传神经网络
遗传算子设计
3. 变异算子
对于子代染色体中的每个权值输入 位置，变异算子以概率Pm在初始概率分 布中随机选择一个值，然后与该输入位 置上的权值相加。
数据预处理
样本精简
设A为样本数据矩阵，其中每一行向量表示 一条样本数据，则该行向量含34个数据，假设 有a条样本，则A为a行34列矩阵；由于每条样本
数据输入网络后都会有一条对应的输出，加上 本实例为DOS攻击类型以编码“0 0 0 1”表示， 则期望输出矩阵B为a行4列矩阵(暂时先不考虑 阈值，只考虑权重问题)。
于是我们可以得到公式(4-1)。
数据预处理
样本精简
A W W 1
2
a34 3415 154
Ba4
(4-1)
如式(4-2)所示，A和B是系数矩阵 ,C是增广 矩阵。
经过带约束初等行变换后如式(4-3)所示。
C A B
(4-2)
C A
B
A' C
B'
D
(4-3)
学生：周梦熊 导师：孙名松 教授
目录
课题背景 遗传神经网络 分类检测器同步检测模型 数据预处理 仿真实验 结束语和展望 发表论文
课题背景
选题来源
本论文的项目背景是黑龙江省自然科 学基金项目《基于多层前向神经网络的分 布式入侵检测模型》，本文作为该项目的 一个组成部分，将实数编码遗传算法与神 经网络结合作为其中一个分布式Agent的检 测算法。
数据预处理
样本精简
式(4-3)中，C、D为零矩阵，经 过处理以后，由原先的A对应输出B 变成了现在的A′对应输出B′，通过这 样的处理，我们就可以将大样本变为
小样本，从而使计算更加快速，样本 数据更加精简。
数据预处理
归一化精度对样本影响
为了能使样本应用于本文提出的分类 检测器同步检测模型，我们将样本数据先 进行归类合并，分别构造出DOS、 PROBE、U2R、R2L四大类攻击样本数据 集，这样四个检测器分别检测四大类攻击。
图 3-1 系统结构图
分类检测器同步检测模型
分类检测器同步检测模型
本文将“检测引擎模块”进行细化设计后提
出“分类检测器同步检测”的模型，同步检测模
型如图3-2所示。
输 入
检测器A
检测器B
状态 监视
检测器C
检测器D
输 出
图 3-2 分类检测器同步检测模型
分类检测器同步检测模型
同步检测算法描述
检测器调度算法采用多线程实现，由 于涉及到线程同步问题，自然会想到同步 锁，线程间优先权设置我们采用如下方法：
xi xi min max min
数据预处理
样本精简
矩阵初等行变换能保持矩阵列向量之间的
线性关系，利用这个结论我们可以用来进行样 本数据的精简，这样精简后的样本数据能够保 持各属性字段之间的线性关系。
神经网络的训练实际上是一个通过给定样
本实时调整网络连接权重的过程，样本预处理 的结果对于网络训练的收敛性起到关键的作用。 下面我们针对DOS攻击类型数据(DOS攻击类型 编码为“0 0 0 1”)进行分析。
压缩前 97277 391459 4107 1119
59
小数点1位 3918 228 233 52 20
小数点4位 85811 37436 1775 921 52
数据预处理
归一化精度对样本影响
样本数
450000 400000 350000 300000 250000 200000 150000 100000
课题背景
论文主要内容
1. 比较分析入侵检测方法，将实数编码 的遗传算法优化BP神经网络初始权重 应用于入侵检测；
2. 为了提高入侵检测系统的检测效率和 实时性，提出分类检测器同步检测模 型；
课题背景
论文主要内容
3. 数据预处理，即把经过数据挖掘后的 样本数据进行归一化处理；
4. 二次处理，即对数据预处理后的数据 进行深度处理，从而对样本数据进行 有效性的压缩；
即四大类攻击中按样本数所占比例大 小进行优先权的设置，所占比例越大，优 先权就越大，这样，最后，优先权从高到 低设置为“DOS、PROBE、R2L、U2R” 。
分类检测器同步检测模型
同步检测算法描述
算法描述 1. 分别为每个检测器开启一个线程； 2. 输入向量，按照线程优先权的大小，代表检测DOS类型
xi 10..........................((x其i 它 0).5)
目录
课题背景 遗传神经网络 分类检测器同步检测模型 数据预处理 仿真实验 结束语和展望 发表论文
数据预处理
数据来源
本文采用麻省理工大学林肯实验室的测试 数据KDDCUP99，它是专门用来进行入侵检测 评估的。
遗传神经网络
遗传算子设计
λ取值为0.5时进行交叉算子运算，
如图2-1中交叉部分所示，两个个体经过 交叉后生成两个新个体；变异算子运算 如图2-1中变异部分所示；粗体斜体部分 表示交叉或变异的位置
遗传神经网络
遗传算子设计
（1.4, -1.8, 3.6, 1.7, 0.9, -0.7, 4.5, -0.3, 1.3) (1.3, -0.8, 2.7, 1.9, 1.4, 0.3, -1.1, 0.5, -1.1)
遗传神经网络
实数编码遗传算法
而基于实数编码的遗传算法不存在编码和 解码过程，能够大大提高解的精度和运算 速度，因此，基于实数编码的遗传算法得 到了越来越多的重视。
遗传神经网络
编码方式
由于实数编码的遗传算法不存在编码 和解码过程，能够大大提高解的精度和运 算速度，因此，本文采用实数编码。
遗传神经网络
应度值并将其排序，每个个体的选择概率和其适 应度值成正比例。即适应度值越大，它被选择到 的机会也就越大，从而被遗传到下一代的可能性 也越大。
设群体大小为n，个体i的适应度值为fi，则被