贝叶斯优化以及高斯过程

贝叶斯优化算法

贝叶斯优化算法( BOA) 是由美国UIUC 大学的Pelikan等在2000 年前后提出的，在贝叶斯优化算法中，根据均匀分布随机产生初始种群，然后采用进化算法的各种选择方法，比如二进制锦标赛选择、比例选择、截断选择等，从当前种群中选择候选解，再根据选择后的种群建立贝叶斯网络概率模型，从模型的采样中获取新的候选解，最后，将采样得到的解重新加入到原来的种群中，可以用新的解代替原来的种群; 重复这个过程，直到满足终止条件。在已经找到的最优解，或者是种群已经失去了多样性，或者是已经不太可能找到更优的解等情况下可以中止程序。贝叶斯优化算法的流程如下:

( 1) 设t: = 0，随机产生初始种群P( 0) ;

( 2) 从P( t) 中选择候选解S( t) ;

( 3) 在一定的选择规则和限制条件下构建符合要求的贝叶斯网络B;

( 4) 根据贝叶斯网络B 的联合分布函数产生新的解O( t) ;

( 5) 用O( t) 取代P( t) 中的部分解，形成新的种群P( t + 1) ;

( 6) 如果不满足终止条件，转向( 2) 。

在贝叶斯优化算法中，建立贝叶斯网络是算法的核心和关键。贝叶斯网络是联合概率分布的图形表示形式。一个贝叶斯网络由两部分组成:结构B 和参数θ。结构B 是一个有向无环图，其节点表示各个变量，节点之间的有向边表示变量之间的条件依赖关系。参数由变量间的条件概率来决定，一般贝叶斯网络包含如下的联合概率分布:

贝叶斯网络是用来描述所选择的优秀解的特征和分布，以此来指导新解的生成。Bayes 网络的学习是一个NP 难题，对它的研究已经非常深入，对网络结构的搜

索一般可以采用贪心算法，贪心算法在搜索效率和模型的质量间有很好的平衡，网络的结构性能采用一些判定准则来衡量，如贝叶斯信息准则( BIC) ，或是贝叶斯-狄里特里准则。

高斯过程