智能优化-遗传算法-2009
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
智能优化方法
主 要 内 容
•一 •二 •三 •四 •五 •六 遗传算法 模糊优化 随机规划 神经网络优化方法 退火算法 动态规划
主要参考书目
1、刘宝碇 不确定规划与模糊规划 清华大学出版社
2、方述诚 模糊数学与模糊优化 科学出版社 3、所有智能(软)优化的书 都可以作为参考书，以工科的教材为主
遗传算法
模拟生物在自然界环境变化,引起基因的突变.在染 色体二进制编码中,1变成0;或0变成1.突变产生染色 体的多样性,避免进化中早期成熟,陷入局部极值点, 突变的概率很低.
GA的流程
简单遗传算法（GA）的基本参数
①种群规模 P: 参与进化的染色体总数. ②代沟G: 二代之间不相同的染色体数目,无重叠G = 1;
m( H , t ) f ( H ) n / m( H , t ) f ( H ) / f , （f是种群平均适应度）
②图式在交换中的破坏
③图式在变异中的破坏
经过选择、交换、变异后在t+1中，图式H的数量：
f (H ) (H ) m( H , t 1) m( H , t ) [1 Pc O( H ) Pm ] L 1 f
遗传算法的原理: 1) 遗传算法GA把问题的解表示成“染色体”，并在算法 中 转化成二(k)进制编码的串。 2) 每次执行和操作一群“染色体”，也即是假设解。 3）把这些假设解置于问题的“环境”中，并按适者生存 的 原则，从中选择出较适应环境的“染色体”进行复制， 再通过交叉，变异过程产生更适应环境的新一代“染 色 体”群。 4）一代一代地进化，最后收敛到最适应环境的一个“染 编码和解码 (二进制编码；浮点数 编码；符号编码)； 色 体”上，它就是问题的最优解。 编码: 把原问题的可行解转化为个体符号字符串的方法 解码: 是编码的逆运算。
基本概念与术语 : 一、串(String): 它是个体(Individual)的表现形式，在 GA算法中可以是二进制串，并且对应于遗传学中的染色体 (Chromosome)。 二、群体(Population):个体的集合称为群体，串是群体 的元素.
三、群体大小(Population Size): 在群体中个体的数量 称为群体的大小。
（*为通配符）
Q k 1
L
Q为图式数目
k — 字符集元素数目 L — 染色体长度
A 0111000 H1 H2 H3 H4 *1 * * * *0 * * *10 * * 图式 0111000 * * * * * * *
图式的描述： ⑴ 定义长度（H)——H左右二端有定义位置之间的距离； ⑵ 图式的阶次(或固定长度)O(H）——H中非*位（有定义位） 的个数。
计算结果：① 8代后，f(x,y) =0.998757,
② 41代后，f(x,y) =1.00000, x =3.000290, y =2.999924.
③160次适应度计算，达到最优值。
遗传算法的基本数学问题
一个重要的定理——图式定理 什么叫图式？ ——描述种群中染色体相似性的字符串。
1001101110 1001001010 染色体子集 1111101110 1001111110 1 * *1* *1*10 — 图式
Genetic Algorithm
基本思想: Darwin进化论和Mendel的遗传学
基本过程:
1. “乱枪打鸟”
2.
保证次最优
上述学说包括以下三个方面：
（１）遗传(heredity) “种瓜得瓜，种豆得豆”，亲代把 生物信息交给子代，子代按照所得信息而发育、分化， 子代总是和亲代具有相同或相似的性状。
U max 和 U min 分别为变量的最大和最 小值。 l 是二进制的长度
2）适应度函数。 a) 适应度函数值必须非负。根据情况做适当的处理
b）为保持种群的多样性，防止“超级”染色体“统治” 种群。 f af b a 和 b 的选择满足以下条件： f avg f avg f max Cm f avg
C m 1.2 ~ 2.0
Cm 是最好种群数目情况下 ，所希望的复制的数目 。
3）全局最优和收敛性。 根据图式定理，对于具有“欺骗性”函数，GA有可 能落入局部最优点。
欺骗性函数
图式划分：指引相互之间竞争的定义位为同一集合的一组图式。 如#表示定义位，则H1=*1*0*，H2=*0*1* ，H3=*1*1*， H4=*0*0* 同属于划分*#*#*。 总平均适应度（OAF）：对一个给定图式，OAF即为其成员 的平均适应度。 欺骗性函数——包含全局最优的图式其OAF不如包含局部 最优的OAF，这种划分称为欺骗划分，它会使GA陷入局部最 优。如最高阶欺骗函数有k个定义位，则此函数称k阶欺骗。
举例：3位欺骗函数
●
高级GA算法
1）操作的改进 选择方法改进：精英法（竞赛法）、置换式和非置换式 随机选择法，排序法。
交换方法的改进：多点交换；重组运算 重组运算：解决染色体分布过于集中问题。把适应度函数做进 一步处理。
f s ( xi ) f ( xi ) /
s(d ( xi , x j ))
图式定理的推导 ①图式在选择过程中的增加.
经过选择,在t+1代,图式H的数量m(H,t+1)为:
m( H , t 1) n
i , hi P H
ps (hi )
i , hi P H n n i 1
f (hi )
f ( xi )
）
fi （n是种群中染色体的个数 m( H , t ) f ( H ) / f i / n
随机数
所选染色 体号码
23 3
49 7
76 10
13 3
1 1
27 3
57 7
●交换操作
复制不能创新,交换解决染色体的创新 方法:随机选择二个染色体(双亲染色体),随机指定一点或多 点, 进行交换,可得二个新的染色体(子辈染色体).
新的子辈染色体: A’ B’ ●变异
11010001 01011110
l qmax qmin i 1 q 2 ai qmin l 2 1 i 1
遗传算法的基本运算: 1) 选择; 2) 交换; 3) 变异
●选择运算
——从旧的种群中选择适应度高的染色体，放入匹配集（缓冲 区），为以后染色体交换、变异，产生新的染色体作准备。 选择方法——适应度比例法（转轮法） 按各染色体适应度大小比例来决定其被选择数目的多少。 某染色体被选的概率： Pc f ( xi )
⒉10个染色体种群按比例的选择过程 染色体被选的概率
染色体编号
1
2
3
4
5
6
7
8
9
10
适应度
被选概率 适应度累计
8
0.1 8
2
17
7
2
12
11
7
3
7
0.02 0.22 0.09 0.02 0.16 0.14 0.09 0.03 0.09 10 27 34 36 48 59 66 69 76
被选的染色体个数
上面的第二个式子实际上给出2 进制转化为10进制的公式 而10进制转化为2进制，使用下面的 “除2取余”法： EX: 将10进制数45转化为2进制数
(45)10 (an an1...a1a0 ) 2 an 2 an1 2
n
n 1
... a1 2 a0 2
1
0
2(an 2n1 an1 2n2 ... a1 ) a0
图式定理：在选择、交换、变异的作用下，阶次低、定 义长度短、适应度高的图式（模块）将按指数增长的规 律，一代一代地增长。
遗传算法在应用中的一些基本问题 1）知识的编码 二进制和十进制的比较：二进制有更多图式和更大的搜索范 围；十进制更接近于实际操作。
U max U min 精度 Q 2l 1
j 1
n
s(d ) 是共享度函数
2）算法的改进 微种群遗传算法（GA） 双种群遗传算法（DPGA）
GA算法
终止条件：1）达到预定指标；2）达到预定代数。
2 45 余数
所以 a0 1 (1恰好是除后的余数), 改写上式为:
最低位
2 22 1 2 11 0 25 22 21 1 1 0 1
最高位
0
45 10＝（ （ ） 1011012 ）
若决策变量 采用长度为 的符号串编码 q l 总共能够产生 个不同的编码， 2
l
则对应二进制位数的编 码精度为 qmax qmin ， n 2 1 qmax和qmin是q的最大值和最小值。 假设某一个个体的编码 是 X : al al 1al 2 ...a2 a1 则对应解码公式为 :
f ( xi )
xi
为种群中第i个染色体，
举例：
具有6个染色体的二进制编码、适应度值、Pc累计 值。 染色体的 适应度和所占的比例
用转轮方法进行选择
Hale Waihona Puke Baidu个选择具体步骤
1）计算各染色体适应度值 2）累计所有染色体适应度值，记录中间累加值S - mid 和最
后累加值 sum = ∑f(xi)
3） 产生一个随机数 N，0〈 N 〈 sum 4） 选择对应中间累加值S - mid 的第一个染色体进入交换集 5） 重复（3）和（4），直到获得足够的染色体。
七、适应度(Fitness):某一个体对于环境的适应程度。
适应度的表达式见课本。常常取
1 fitness 1 e
遗传算法还有一些其它的概念，这些概念在介绍遗传算 法的原理和执行过程时，再进行说明。
Mendel遗传学说的基因遗传原理
模拟自然界优胜劣汰的进化现象，把搜索空间映射为 遗传空间，把可能的解编码成一个向量——染色体，向 量的每个元素称为基因。 把搜索过程变为一代到另一代不断的繁衍过程，不断 计算各染色体的适应值，选择最好的染色体获得最优解
四、基因(Gene): 基因是串中的元素，基因用于表示个体 的特征。例如有一个串S＝1011，则其中的1，0，1，1这4 个元素分别称为基因。它们的值称为等位基因(Alletes)。
五 、基因位置(Gene Position): 一个基因在串中的位置 称为基因位置，有时也简称基因位。基因位置由串的左向 右计算，例如在串S＝1101中，0的基因位置是3。基因位 置对应于遗传学中的地点(Locus)。 六、基因特征值(Gene Feature): 在用串表示整数时，基 因的特征值与二进制数的权一致；例如在串S=1011中，基 因位置3中的1，它的基因特征值为2；基因位置1中的1， 它的基因特征值为8。
上式两边同时除以2得
a0 45 1 n 1 n2 22 (an 2 an 1 2 ... a1 ) 2 2 2
45 a0 22 2( an 2 n 2 an 1 2 n 3 ... a2 ) a1 2 0 a1 n2 n 3 11 ( an 2 an 1 2 ... a2 ) 2 2
（２）变异（variation） 亲代和子代之间以及子代的不 同个体之间总有差异。变异是随机发生的，变异的选择 和积累是生命多样性的根源。 （３）生存斗争和适者生存 由于弱肉强食和生存斗争 不断进行，其结果是适者生存，不适者被淘汰，通过一 代代的选择作用，物种变异朝着一个方向积累，演变为 新的物种。
有重叠 0 < G <1
③选择方法: 转轮法,精英选择法,竞争法. ④交换率: Pc 一般为60~100%. ⑤变异率: Pm 一般为0.1~10% 举例: 变异概率取0.001
初始种群和它的适应度值
染色体的交换操纵
举例：
14
步骤1）编码：确定二进制的位数；组成个体（染色体） 步骤2）选择种群数P 和初始个体，计算适应度值， P = 20； 步骤3）确定选择方法；交换率PC；变异率Pm。 选择方法用竞争法； PC = 0.7, Pm = 0.05
1）编码与解码计算: 10进制与k进制互相转化 10进制 “逢10进1”；k进制 “逢k进1”；对比表示如 下: (301625)10 3103 0 102 1101 6 100 2 101 5 102 .
(111011)2 1 24 1 23 1 22 1 20 1 21 .
主 要 内 容
•一 •二 •三 •四 •五 •六 遗传算法 模糊优化 随机规划 神经网络优化方法 退火算法 动态规划
主要参考书目
1、刘宝碇 不确定规划与模糊规划 清华大学出版社
2、方述诚 模糊数学与模糊优化 科学出版社 3、所有智能(软)优化的书 都可以作为参考书，以工科的教材为主
遗传算法
模拟生物在自然界环境变化,引起基因的突变.在染 色体二进制编码中,1变成0;或0变成1.突变产生染色 体的多样性,避免进化中早期成熟,陷入局部极值点, 突变的概率很低.
GA的流程
简单遗传算法（GA）的基本参数
①种群规模 P: 参与进化的染色体总数. ②代沟G: 二代之间不相同的染色体数目,无重叠G = 1;
m( H , t ) f ( H ) n / m( H , t ) f ( H ) / f , （f是种群平均适应度）
②图式在交换中的破坏
③图式在变异中的破坏
经过选择、交换、变异后在t+1中，图式H的数量：
f (H ) (H ) m( H , t 1) m( H , t ) [1 Pc O( H ) Pm ] L 1 f
遗传算法的原理: 1) 遗传算法GA把问题的解表示成“染色体”，并在算法 中 转化成二(k)进制编码的串。 2) 每次执行和操作一群“染色体”，也即是假设解。 3）把这些假设解置于问题的“环境”中，并按适者生存 的 原则，从中选择出较适应环境的“染色体”进行复制， 再通过交叉，变异过程产生更适应环境的新一代“染 色 体”群。 4）一代一代地进化，最后收敛到最适应环境的一个“染 编码和解码 (二进制编码；浮点数 编码；符号编码)； 色 体”上，它就是问题的最优解。 编码: 把原问题的可行解转化为个体符号字符串的方法 解码: 是编码的逆运算。
基本概念与术语 : 一、串(String): 它是个体(Individual)的表现形式，在 GA算法中可以是二进制串，并且对应于遗传学中的染色体 (Chromosome)。 二、群体(Population):个体的集合称为群体，串是群体 的元素.
三、群体大小(Population Size): 在群体中个体的数量 称为群体的大小。
（*为通配符）
Q k 1
L
Q为图式数目
k — 字符集元素数目 L — 染色体长度
A 0111000 H1 H2 H3 H4 *1 * * * *0 * * *10 * * 图式 0111000 * * * * * * *
图式的描述： ⑴ 定义长度（H)——H左右二端有定义位置之间的距离； ⑵ 图式的阶次(或固定长度)O(H）——H中非*位（有定义位） 的个数。
计算结果：① 8代后，f(x,y) =0.998757,
② 41代后，f(x,y) =1.00000, x =3.000290, y =2.999924.
③160次适应度计算，达到最优值。
遗传算法的基本数学问题
一个重要的定理——图式定理 什么叫图式？ ——描述种群中染色体相似性的字符串。
1001101110 1001001010 染色体子集 1111101110 1001111110 1 * *1* *1*10 — 图式
Genetic Algorithm
基本思想: Darwin进化论和Mendel的遗传学
基本过程:
1. “乱枪打鸟”
2.
保证次最优
上述学说包括以下三个方面：
（１）遗传(heredity) “种瓜得瓜，种豆得豆”，亲代把 生物信息交给子代，子代按照所得信息而发育、分化， 子代总是和亲代具有相同或相似的性状。
U max 和 U min 分别为变量的最大和最 小值。 l 是二进制的长度
2）适应度函数。 a) 适应度函数值必须非负。根据情况做适当的处理
b）为保持种群的多样性，防止“超级”染色体“统治” 种群。 f af b a 和 b 的选择满足以下条件： f avg f avg f max Cm f avg
C m 1.2 ~ 2.0
Cm 是最好种群数目情况下 ，所希望的复制的数目 。
3）全局最优和收敛性。 根据图式定理，对于具有“欺骗性”函数，GA有可 能落入局部最优点。
欺骗性函数
图式划分：指引相互之间竞争的定义位为同一集合的一组图式。 如#表示定义位，则H1=*1*0*，H2=*0*1* ，H3=*1*1*， H4=*0*0* 同属于划分*#*#*。 总平均适应度（OAF）：对一个给定图式，OAF即为其成员 的平均适应度。 欺骗性函数——包含全局最优的图式其OAF不如包含局部 最优的OAF，这种划分称为欺骗划分，它会使GA陷入局部最 优。如最高阶欺骗函数有k个定义位，则此函数称k阶欺骗。
举例：3位欺骗函数
●
高级GA算法
1）操作的改进 选择方法改进：精英法（竞赛法）、置换式和非置换式 随机选择法，排序法。
交换方法的改进：多点交换；重组运算 重组运算：解决染色体分布过于集中问题。把适应度函数做进 一步处理。
f s ( xi ) f ( xi ) /
s(d ( xi , x j ))
图式定理的推导 ①图式在选择过程中的增加.
经过选择,在t+1代,图式H的数量m(H,t+1)为:
m( H , t 1) n
i , hi P H
ps (hi )
i , hi P H n n i 1
f (hi )
f ( xi )
）
fi （n是种群中染色体的个数 m( H , t ) f ( H ) / f i / n
随机数
所选染色 体号码
23 3
49 7
76 10
13 3
1 1
27 3
57 7
●交换操作
复制不能创新,交换解决染色体的创新 方法:随机选择二个染色体(双亲染色体),随机指定一点或多 点, 进行交换,可得二个新的染色体(子辈染色体).
新的子辈染色体: A’ B’ ●变异
11010001 01011110
l qmax qmin i 1 q 2 ai qmin l 2 1 i 1
遗传算法的基本运算: 1) 选择; 2) 交换; 3) 变异
●选择运算
——从旧的种群中选择适应度高的染色体，放入匹配集（缓冲 区），为以后染色体交换、变异，产生新的染色体作准备。 选择方法——适应度比例法（转轮法） 按各染色体适应度大小比例来决定其被选择数目的多少。 某染色体被选的概率： Pc f ( xi )
⒉10个染色体种群按比例的选择过程 染色体被选的概率
染色体编号
1
2
3
4
5
6
7
8
9
10
适应度
被选概率 适应度累计
8
0.1 8
2
17
7
2
12
11
7
3
7
0.02 0.22 0.09 0.02 0.16 0.14 0.09 0.03 0.09 10 27 34 36 48 59 66 69 76
被选的染色体个数
上面的第二个式子实际上给出2 进制转化为10进制的公式 而10进制转化为2进制，使用下面的 “除2取余”法： EX: 将10进制数45转化为2进制数
(45)10 (an an1...a1a0 ) 2 an 2 an1 2
n
n 1
... a1 2 a0 2
1
0
2(an 2n1 an1 2n2 ... a1 ) a0
图式定理：在选择、交换、变异的作用下，阶次低、定 义长度短、适应度高的图式（模块）将按指数增长的规 律，一代一代地增长。
遗传算法在应用中的一些基本问题 1）知识的编码 二进制和十进制的比较：二进制有更多图式和更大的搜索范 围；十进制更接近于实际操作。
U max U min 精度 Q 2l 1
j 1
n
s(d ) 是共享度函数
2）算法的改进 微种群遗传算法（GA） 双种群遗传算法（DPGA）
GA算法
终止条件：1）达到预定指标；2）达到预定代数。
2 45 余数
所以 a0 1 (1恰好是除后的余数), 改写上式为:
最低位
2 22 1 2 11 0 25 22 21 1 1 0 1
最高位
0
45 10＝（ （ ） 1011012 ）
若决策变量 采用长度为 的符号串编码 q l 总共能够产生 个不同的编码， 2
l
则对应二进制位数的编 码精度为 qmax qmin ， n 2 1 qmax和qmin是q的最大值和最小值。 假设某一个个体的编码 是 X : al al 1al 2 ...a2 a1 则对应解码公式为 :
f ( xi )
xi
为种群中第i个染色体，
举例：
具有6个染色体的二进制编码、适应度值、Pc累计 值。 染色体的 适应度和所占的比例
用转轮方法进行选择
Hale Waihona Puke Baidu个选择具体步骤
1）计算各染色体适应度值 2）累计所有染色体适应度值，记录中间累加值S - mid 和最
后累加值 sum = ∑f(xi)
3） 产生一个随机数 N，0〈 N 〈 sum 4） 选择对应中间累加值S - mid 的第一个染色体进入交换集 5） 重复（3）和（4），直到获得足够的染色体。
七、适应度(Fitness):某一个体对于环境的适应程度。
适应度的表达式见课本。常常取
1 fitness 1 e
遗传算法还有一些其它的概念，这些概念在介绍遗传算 法的原理和执行过程时，再进行说明。
Mendel遗传学说的基因遗传原理
模拟自然界优胜劣汰的进化现象，把搜索空间映射为 遗传空间，把可能的解编码成一个向量——染色体，向 量的每个元素称为基因。 把搜索过程变为一代到另一代不断的繁衍过程，不断 计算各染色体的适应值，选择最好的染色体获得最优解
四、基因(Gene): 基因是串中的元素，基因用于表示个体 的特征。例如有一个串S＝1011，则其中的1，0，1，1这4 个元素分别称为基因。它们的值称为等位基因(Alletes)。
五 、基因位置(Gene Position): 一个基因在串中的位置 称为基因位置，有时也简称基因位。基因位置由串的左向 右计算，例如在串S＝1101中，0的基因位置是3。基因位 置对应于遗传学中的地点(Locus)。 六、基因特征值(Gene Feature): 在用串表示整数时，基 因的特征值与二进制数的权一致；例如在串S=1011中，基 因位置3中的1，它的基因特征值为2；基因位置1中的1， 它的基因特征值为8。
上式两边同时除以2得
a0 45 1 n 1 n2 22 (an 2 an 1 2 ... a1 ) 2 2 2
45 a0 22 2( an 2 n 2 an 1 2 n 3 ... a2 ) a1 2 0 a1 n2 n 3 11 ( an 2 an 1 2 ... a2 ) 2 2
（２）变异（variation） 亲代和子代之间以及子代的不 同个体之间总有差异。变异是随机发生的，变异的选择 和积累是生命多样性的根源。 （３）生存斗争和适者生存 由于弱肉强食和生存斗争 不断进行，其结果是适者生存，不适者被淘汰，通过一 代代的选择作用，物种变异朝着一个方向积累，演变为 新的物种。
有重叠 0 < G <1
③选择方法: 转轮法,精英选择法,竞争法. ④交换率: Pc 一般为60~100%. ⑤变异率: Pm 一般为0.1~10% 举例: 变异概率取0.001
初始种群和它的适应度值
染色体的交换操纵
举例：
14
步骤1）编码：确定二进制的位数；组成个体（染色体） 步骤2）选择种群数P 和初始个体，计算适应度值， P = 20； 步骤3）确定选择方法；交换率PC；变异率Pm。 选择方法用竞争法； PC = 0.7, Pm = 0.05
1）编码与解码计算: 10进制与k进制互相转化 10进制 “逢10进1”；k进制 “逢k进1”；对比表示如 下: (301625)10 3103 0 102 1101 6 100 2 101 5 102 .
(111011)2 1 24 1 23 1 22 1 20 1 21 .