基于遗传算法的神经网络优化方法

概述
遗传算法（ Algorithm， GA） 遗传算法（Genetic Algorithm， GA）是模拟达尔文 的遗传选择和自然淘汰的生物进化过程的计算模型。 的遗传选择和自然淘汰的生物进化过程的计算模型。 由美国密执根(Michigan)大学的J.Holland (Michigan)大学的J.Holland教授于 由美国密执根(Michigan)大学的J.Holland教授于 1975年首先提出 年首先提出。 1975年首先提出。
3.2.4 用遗传算法优化神经网络权值的学习过程
以2.3.2中的BP网络为例，其遗传算法学习权值步骤如下 2.3.2中的BP网络为例， 中的BP网络为例 1）初始化种群P
包括交叉规模、 包括交叉规模、交叉概率Pc、突变概率Pm以及权值初始化
2）计算每一个个体评价函数，并将其排序，可按下 式概率值选择网络个体 f
3.2.2 遗传算法简介
生物遗传学概念与遗传算法中概念的对应关系
生物遗传学概念 适者生存 个体（individual） 个体（individual） 染色体（chromosome） 染色体（chromosome） 基因（gene） 基因（gene） 适应性（fitness） 适应性（fitness） 群体（population） 群体（population） 种群（reproduction） 种群（reproduction） 交配（crossover） 交配（crossover） 变异（mutation） 变异（mutation） 遗传算法中的作用 在算法停止时， 在算法停止时，最优目标值的解有最大的可 能被留住 目标函数的解 解的编码（向量） 解的编码（向量） 解中的每一分量的特征（或值） 解中的每一分量的特征（或值） 适应度函数 选定的一组解（其中解的个数为群体的规模） 选定的一组解（其中解的个数为群体的规模） 根据适应函数选取的一组解 按交配原则产生一组新解的过程 编码的某一分量发生变化的过程
3.2.3 遗传算法工具箱
进行遗传操作
指令格式： function [x,endPop,bPop,traceInfo]=ga(bounds,evalFN,evalOps,startPop,opts, termFN,termOps,selectFN,selectOps,xOverFNs,xOverOps,mutFNs,mutOps) 参数说明： （1）输出参数 X：求得的最优解 endPop：得到的最终种群 endPop： bPop： bPop：最优种群的搜索轨迹 traceInfo： traceInfo：每代的最优值和均值矩阵 （2）输入参数 Bounds： Bounds：代表变量上下界的矩阵 startPop：可以从初始化函数中得到的初始解矩阵 startPop： evalFN： evalFN：适应度函数 termFN： termFN：终止函数的名称 termOps： termOps：终止函数的参数 selectFN： selectFN：选择函数名 selectOpts：选择参数 selectOpts： xOverFNS： xOverFNS：交叉函数名 xOverOps： xOverOps：交叉参数 mutFNs： mutFNs：变异函数名 mutOps： mutOps：变异参数
Hello,I’m John Holland
3.2.2 遗传算法简介
算法原理 首先将问题求解表示成基因型（ 首先将问题求解表示成基因型（如常 用的二进制编码串）， ），从中选取适应环境 用的二进制编码串），从中选取适应环境 的个体，淘汰不好的个体， 的个体，淘汰不好的个体，把保留下来的 个体复制再生，通过交叉、 个体复制再生，通过交叉、变异等遗传算 子产生新一染色体群。依据各种收敛条件， 子产生新一染色体群。依据各种收敛条件， 从新老群体中选出适应环境的个体， 从新老群体中选出适应环境的个体，一代 一代不断进步， 一代不断进步，最后收敛到适应环境个体 上，求得问题最优解
3.2.2 遗传算法简介
算法步骤 1.随机产生一定数目的初始个体（染色体）
这些随机产生的染色体组成一个种群， 这些随机产生的染色体组成一个种群，种群中的染色体数目称为 种群的规模或大小（pop-size）。 种群的规模或大小（pop-size）。
2.用评价函数来评价每个染色体的优劣
染色体对环境的适应程度（称为适应度），并用作以后遗传操作 染色体对环境的适应程度（称为适应度），并用作以后遗传操作 ）， 的依据。 的依据。
pi =
N
∑f
i=1
i
fi 为个体 i 的适应度，可用误差平方和来衡量，即
1 fi = E(i)
E(i) = ∑∑(do − yoo )2
k o
以交叉概率Pc对个体 Gi和 Gi+1 进行交叉操作，产生新 个体 Gi'和 Gi'+1，没有进行交叉操作的个体直接进行复制。
3.2.4 用遗传算法优化神经网络权值的学习过程 4）利用变异概率Pm突变产生 Gj 的新个体 G'j。 5）将新个体插入到种群P中，并计算新个体 的评价函数。 6）判断算法是否结束。如果找到了满意的 个体或已经达到最大的迭代次数则结束，否 则转3）进入下一轮迭代。 算法结束，如达到预先设定的性能指标后， 算法结束，如达到预先设定的性能指标后，将 最终群体中的最优个体解码即可得到优化后的 网络连接权值系数。 网络连接权值系数。 用遗传算法优化神经网络的MATLAB MATLAB实现请参阅 用遗传算法优化神经网络的MATLAB实现请参阅 4.5.3节 4.5.3节
小结
概述 遗传算法简介 遗传算法工具箱函数 用遗传算法优化BP BP神经网络权值的学习 用遗传算法优化BP神经网络权值的学习 过程
谢谢！ 谢谢！
3.2 基于遗传算法的神经网络优化 方法
智能中国网提供学习支持
概述
BP算法是人工神经网络中应用最广泛的算法，但是存在着一些缺陷： BP算法是人工神经网络中应用最广泛的算法，但是存在着一些缺陷： 算法是人工神经网络中应用最广泛的算法 一是学习收敛速度太慢； 二是不能保证收敛到全局最小点； 三是网络结构不易确定。 BP算法优化后仍存在一定的问题 BP算法优化后仍存在一定的问题 网络结构确定 初始连接权值选取 阈值的选择 遗传算法应用于神经网络 优化人工神经网络(ANN)的结构， 学习神经网络的权值，也就是用遗传算法取代一些传统的学习 算法。
5.判断是否达到预定的迭代次数，是则结束，否则 返回2进入下一轮迭代操作
GEN＝0 结 束 产生初始群体 是否满足停止准则 否 计算每个个体的适应度 i＝0 GEN＝GEN＋1 GEN—当前代数 N—群体规模 是 否 i＝N ？
复制到新群体
是
指定结果 以概率选择遗传算子 pr
选择一个个体
pc
选择两个个体
pm
选择一个个体
执行复制
i＝i＋1
执行变异
插入到新群体
执行杂交
将两个子代串插入到新群体 i＝i＋1
遗传算的流程图
3.2.3 遗传算法工具箱
编码和种群生成 指令格式：
Function[pop]=initializega(populationSize,variableBou nds,evalFN,evalOps,options)
3.基于适应值的选择策略
从当前种群中选取一定的染色体作为新一代的染色体， 从当前种群中选取一定的染色体作为新一代的染色体，染色体的 适应度越高，其被选择的机会越大。 适应度越高，其被选择的机会越大。
4.对这个新生成的种群进行交叉（交配）操作、变 异操作。
变异操作的目的使种群中的个体具有多样性， 变异操作的目的使种群中的个体具有多样性，防止陷入局部最优 这样产生的染色体群（种群）称为后代。 解，这样产生的染色体群（种群）称为后代。
参数说明：
pop： pop：随机生成的初始种群 populatoinSize： populatoinSize：种群大小即种群中个体的数目 variableBounds： variableBounds：表示变量边界的矩阵 evalFN： evalFN：适应度函数 evalOps： evalOps：传给适应度函数的参数 options：选择编码形式： 为浮点编码,0 ,0为二进制编码 options：选择编码形式：1为浮点编码,0为二进制编码