《智能计算平台应用开发》第8章 人工智能算法优化
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随机初始化1个种群 S=s1, s2,K，, sn表 示n种群中染色体的数目， 表示sn该种群中的
第 个染色n体。 常用的编码方式有二进制编码和浮点数编码，其编码向量表示为 bn (x1, x2,L，, xn )
b对n 应着优化问题的解 。
（2）适应度计算
利用适应度函数 f (t评) 价种群 中S 每个染色体的适应度，依次表示为 f1, f2,，K 其, fn
贝叶斯优化假设函数符合高斯过程，在函数方程未知的情况下根据已有的采样点 来预估函数最大值。高斯过程可简要表示为在某个连续空间上的观测域的统计模 型，每个点的输入空间都是高斯分布的随机变量，只需要确定期望和协方差函数， 即可得到一个高斯过程。
第10页
超参数优化——贝叶斯优化
贝叶斯优化通过无限维的高斯过程来描述最优超参数搜索问题。
在这个高斯过程中可以得到每一组输入超参数的均值和方差。 均值代表这组超参数最终的期望效果，均值越大表示模型最终指标的值越大。 方差表示这组超参数效果的不确定性，方差越大表示这组超参数越不确定是否 能够取得最大值。
第11页
超参数优化——贝叶斯优化
定义一个Acquisition function用于平衡均值和方差的比例，目前主流的方法为EI方法。
第4页
Baidu Nhomakorabea
超参数优化
常见的超参数优化方法
网格搜索 随机搜索 贝叶斯优化 遗传算法 ……
第5页
超参数优化——网格搜索
网格搜索是一种最基本的超参数优化算法，其实质上是在一定的空间范围内按照拟定的 坐标系将待搜索参数划分成长短相同的网格，坐标系中每一个点代表一组参数组合，将 这个给定区间内的每个点依次带入模型中，验证每个点对应的模型的性能，能够使得模 型的性能最佳的点被认为是最优参数。
第7页
超参数优化——随机搜索
随机搜索与网格搜索不同之处在于，随机搜索没有将坐标系中每一个点都带入模 型进行验证，而是给每个超参数定义一个边缘分布，从指定的分布中随机选取固 定数量的超参数进行组合。
由于实际中超参数的最优值往往仅存在于一个完整分布中的一小块部分，使用网 络搜索并不能保证能直接搜索到合适的超参数，而随机搜索则大大提高了找到合 适参数的可能性。
第12页
超参数优化——贝叶斯优化
贝叶斯优化算法的过程
（1）对于给定的观测值，使用高斯过程更新函数的后验期望值。 （2）找到能够最大化EI的一组超参数。 （3）计算该组超参数对应的函数的值。 （4）上述过程重复指定的迭代次数，或者直到收敛为止。
第13页
超参数优化——遗传算法
遗传算法源于达尔文的进化论、孟德尔的群体遗传学说和魏茨曼的物种选择学说， 模拟生物在自然环境中优胜劣汰、适者生存的遗传和进化过程而形成，是一种具 有自适应能力的、全局性的概率搜索算法。
超参数的优化可以定义为：对于模型需要设置的n个超参数，找到最优的超参数设置，使 得基于此超参数设置训练得到的模型具有最优的性能评价指标。
优化超参数的难点
每个类型的超参数都有很多选择，且数据规模较大，构建的模型结构复杂，使得计算成本 很高。
通过算法实现高效和自动化的超参数优化已经成为一个重要的研究方向。
EI方法描述的是下一个待搜索的点能比当前最好的值拥有更好的期望，如式（1）所示。
EI(x) E max0, f (x) f (xˆ)
式（1）
在式（1）中，xˆ 表示当前最优的一组超参数，f (x为) 当前超参数对应的指标的值，由于EI方
法是一个高斯过程，所以后验概率为高斯形式，实现过程较为简单。
第8章 人工智能算法优化
第1页
目录
1. 网络优化 2. 性能优化
第2页
网络优化
人工智能算法通常包含多个需要预先选择或者设置的超参数，设置得当的超参数能够有 效提升构建的模型的性能和实际应用的效果。
手动设置和调整超参数是一项极为艰难的任务，需要具有丰富的经验并进行大量的反复 尝试。
第3页
超参数优化
第8页
超参数优化——随机搜索
网格搜索的优点
随机搜索中的每个超参数是独立的，收敛速度更快，能够更快地减少验证集的误差。
网格搜索的缺点
不能利用先验知识选择超参数组合，否则容易陷入局部最优，使得随机搜索的结果无法保证能 够取得全局最优。
第9页
超参数优化——贝叶斯优化
贝叶斯优化是一种近似逼近的方法，属于基于序列模型优化（SMBO）的算法。 SMBO算法使用先前观察到的函数确定函数的下一个采样点。
上述的这个过程使种群像自然进化一样，后代种群比前代更加适应于环境，末代 种群中的最优个体经过解码可以作为问题近似最优解。
第15页
超参数优化——遗传算法
对于优化问题，遗传算法将每一个超参数组合看作染色体中的基因编码，通过反复的基 因重组、突变等操作生成新的基因编码，最终求得最优超参数组合。具体步骤如下。 （1）种群初始化
中 表fn示种群中 的s适n 应度。
第16页
超参数优化——遗传算法
（3）双亲选择
根据染色体的适应度计算出每个染色体被选为亲代染色体的概率，如式（2）所
示。
pi
fi
n
fk
k 1
式（2）
pi表示染色体 s被i 选为亲代染色体的概率。根据每个染色体对应的概率，
随机从种群 S中选择2个染色体作为亲代染色体，分别表示为 s和f s。m
第14页
超参数优化——遗传算法
遗传算法首先进行编码将表现型映射到基因型，从而将解空间映射到 编码空间，每个编码对应问题的一个解，称为染色体或个体。
初始种群产生之后，按照适者生存和优胜劣汰的原理，逐代演化产 生出越来越好的近似解。
在每一代根据问题域中个体的适应度大小选择个体，并借助自然遗 传学的遗传算子进行组合交叉和变异，产生出代表新的解集的种群。
第17页
超参数优化——遗传算法
（4）基因重组
将亲代染色体 s f 和 s进m 行基因交叉重组，更新各自的基因编码如式（3）所示。
第6页
超参数优化——网格搜索
网格搜索的优点
当设定区间足够大，且步长足够小时，网格搜索法可以找出全局最优解。
网格搜索的缺点
在所划分网格内，大部分的点所对应的分类准确率都非常低，只有在一个较小的区间中所对应 的参数的准确率较高。 由于网格搜索的算法需要遍历所有网格对应的点，所以这必然会产生大量不必要的无效计算， 从而导致浪费大量的计算时间。
第 个染色n体。 常用的编码方式有二进制编码和浮点数编码，其编码向量表示为 bn (x1, x2,L，, xn )
b对n 应着优化问题的解 。
（2）适应度计算
利用适应度函数 f (t评) 价种群 中S 每个染色体的适应度，依次表示为 f1, f2,，K 其, fn
贝叶斯优化假设函数符合高斯过程，在函数方程未知的情况下根据已有的采样点 来预估函数最大值。高斯过程可简要表示为在某个连续空间上的观测域的统计模 型，每个点的输入空间都是高斯分布的随机变量，只需要确定期望和协方差函数， 即可得到一个高斯过程。
第10页
超参数优化——贝叶斯优化
贝叶斯优化通过无限维的高斯过程来描述最优超参数搜索问题。
在这个高斯过程中可以得到每一组输入超参数的均值和方差。 均值代表这组超参数最终的期望效果，均值越大表示模型最终指标的值越大。 方差表示这组超参数效果的不确定性，方差越大表示这组超参数越不确定是否 能够取得最大值。
第11页
超参数优化——贝叶斯优化
定义一个Acquisition function用于平衡均值和方差的比例，目前主流的方法为EI方法。
第4页
Baidu Nhomakorabea
超参数优化
常见的超参数优化方法
网格搜索 随机搜索 贝叶斯优化 遗传算法 ……
第5页
超参数优化——网格搜索
网格搜索是一种最基本的超参数优化算法，其实质上是在一定的空间范围内按照拟定的 坐标系将待搜索参数划分成长短相同的网格，坐标系中每一个点代表一组参数组合，将 这个给定区间内的每个点依次带入模型中，验证每个点对应的模型的性能，能够使得模 型的性能最佳的点被认为是最优参数。
第7页
超参数优化——随机搜索
随机搜索与网格搜索不同之处在于，随机搜索没有将坐标系中每一个点都带入模 型进行验证，而是给每个超参数定义一个边缘分布，从指定的分布中随机选取固 定数量的超参数进行组合。
由于实际中超参数的最优值往往仅存在于一个完整分布中的一小块部分，使用网 络搜索并不能保证能直接搜索到合适的超参数，而随机搜索则大大提高了找到合 适参数的可能性。
第12页
超参数优化——贝叶斯优化
贝叶斯优化算法的过程
（1）对于给定的观测值，使用高斯过程更新函数的后验期望值。 （2）找到能够最大化EI的一组超参数。 （3）计算该组超参数对应的函数的值。 （4）上述过程重复指定的迭代次数，或者直到收敛为止。
第13页
超参数优化——遗传算法
遗传算法源于达尔文的进化论、孟德尔的群体遗传学说和魏茨曼的物种选择学说， 模拟生物在自然环境中优胜劣汰、适者生存的遗传和进化过程而形成，是一种具 有自适应能力的、全局性的概率搜索算法。
超参数的优化可以定义为：对于模型需要设置的n个超参数，找到最优的超参数设置，使 得基于此超参数设置训练得到的模型具有最优的性能评价指标。
优化超参数的难点
每个类型的超参数都有很多选择，且数据规模较大，构建的模型结构复杂，使得计算成本 很高。
通过算法实现高效和自动化的超参数优化已经成为一个重要的研究方向。
EI方法描述的是下一个待搜索的点能比当前最好的值拥有更好的期望，如式（1）所示。
EI(x) E max0, f (x) f (xˆ)
式（1）
在式（1）中，xˆ 表示当前最优的一组超参数，f (x为) 当前超参数对应的指标的值，由于EI方
法是一个高斯过程，所以后验概率为高斯形式，实现过程较为简单。
第8章 人工智能算法优化
第1页
目录
1. 网络优化 2. 性能优化
第2页
网络优化
人工智能算法通常包含多个需要预先选择或者设置的超参数，设置得当的超参数能够有 效提升构建的模型的性能和实际应用的效果。
手动设置和调整超参数是一项极为艰难的任务，需要具有丰富的经验并进行大量的反复 尝试。
第3页
超参数优化
第8页
超参数优化——随机搜索
网格搜索的优点
随机搜索中的每个超参数是独立的，收敛速度更快，能够更快地减少验证集的误差。
网格搜索的缺点
不能利用先验知识选择超参数组合，否则容易陷入局部最优，使得随机搜索的结果无法保证能 够取得全局最优。
第9页
超参数优化——贝叶斯优化
贝叶斯优化是一种近似逼近的方法，属于基于序列模型优化（SMBO）的算法。 SMBO算法使用先前观察到的函数确定函数的下一个采样点。
上述的这个过程使种群像自然进化一样，后代种群比前代更加适应于环境，末代 种群中的最优个体经过解码可以作为问题近似最优解。
第15页
超参数优化——遗传算法
对于优化问题，遗传算法将每一个超参数组合看作染色体中的基因编码，通过反复的基 因重组、突变等操作生成新的基因编码，最终求得最优超参数组合。具体步骤如下。 （1）种群初始化
中 表fn示种群中 的s适n 应度。
第16页
超参数优化——遗传算法
（3）双亲选择
根据染色体的适应度计算出每个染色体被选为亲代染色体的概率，如式（2）所
示。
pi
fi
n
fk
k 1
式（2）
pi表示染色体 s被i 选为亲代染色体的概率。根据每个染色体对应的概率，
随机从种群 S中选择2个染色体作为亲代染色体，分别表示为 s和f s。m
第14页
超参数优化——遗传算法
遗传算法首先进行编码将表现型映射到基因型，从而将解空间映射到 编码空间，每个编码对应问题的一个解，称为染色体或个体。
初始种群产生之后，按照适者生存和优胜劣汰的原理，逐代演化产 生出越来越好的近似解。
在每一代根据问题域中个体的适应度大小选择个体，并借助自然遗 传学的遗传算子进行组合交叉和变异，产生出代表新的解集的种群。
第17页
超参数优化——遗传算法
（4）基因重组
将亲代染色体 s f 和 s进m 行基因交叉重组，更新各自的基因编码如式（3）所示。
第6页
超参数优化——网格搜索
网格搜索的优点
当设定区间足够大，且步长足够小时，网格搜索法可以找出全局最优解。
网格搜索的缺点
在所划分网格内，大部分的点所对应的分类准确率都非常低，只有在一个较小的区间中所对应 的参数的准确率较高。 由于网格搜索的算法需要遍历所有网格对应的点，所以这必然会产生大量不必要的无效计算， 从而导致浪费大量的计算时间。