第7章+概率算法-2018-all

25
跳跃表（应用于数据结构中）
舍伍德算法的设计思想还可用于设计高效的 数据结构。 如果用有序链表来表示一个含有n个元素的
有序集S，则在最坏情况下，搜索S中一个元素
需要O(n)计算时间。
26
设无序序列T=(r1, r2, …, rn)，T的第k（1≤k≤n） 小元素定义为 T 按升序排列后在第 k 个位置上的元素。 给定一个序列 T 和一个整数 k ，寻找 T 的第 k 小元 素的问题称为选择问题。特别地，将寻找第 n/2 小元 素的问题称为中值问题。
11
解非线性方程组


线性化方法
求函数极小值方法
( x) fi ( x)
2
注：一般而言，概率算法费时，但设计思 想简单，易实现。对于精度要求高的问题， 可以提供较好的初值。
12
解非线性方程组
在求根区域D内，选定随机点x0作为随机搜索的出发点。
1. 按照预先选定的分布（正态分布、均匀分布等），逐个 选取随机点xj，计算目标函数，满足精度要求的随机点就 是近似解。 2. 在算法的搜索过程中，假设第j步随机搜索得到的随机搜 索点为 xj 。在第 j+1 步，生成随机搜索方向和步长，计算 出下一步的增量xj。从当前点xj依xj得到第j+1步的随机 搜索点。当Φ(x)<时，取为所求非线性方程组的近似解。 否则进行下一步新的随机搜索过程。
a0 d a n (ban1 c) modm n 1,2,
其中b0，c0，dm。d称为该随机序列的种子。如何选择b、 c和m直接关系到所产生的随机序列的随机性能，一般情况下m 应选择的大些。 当b、c和m的值确定后，给定一个随机种子，由式产生的随 机数序列也就确定了。 7
直接将算法修改为舍伍德算法
‪
将快速排序算法的基准数选择改为随机 产生,就可消除快速排序的最坏情况（基
本有序），即属于舍伍德算法。
23
线性时间选择算法（预处理）
有时会遇到所给的确定性算法无法直接改造成 舍伍德算法。此时可借助于随机预处理技术， 即：不改变原有的确定性算法，仅对其输入进 行随机排列（称为洗牌），同样可收到舍伍德 算法的效果。
7.2 数值概率算法
概率算法的一个基本特征是对所求解问
题的同一实例用同一概率算法求解两次
可能得到完全不同的效果。
数值概率算法常用于数值问题的求解。
这类算法所得到的是近似解，且近似解
的精度随计算时间的增加不断提高。
8
举例：用随机投点法计算值
设有一半径为r的圆及其外切四边形。向该正方形随机
10
}
解非线性方程组
求解下面的非线性方程组
f1 ( x1 , x 2 ,, x n ) 0 f ( x , x ,, x ) 0 2 1 2 n f n ( x1 , x 2 ,, x n ) 0
其中， x1,x2,…,xn 是实变量， fi 是未知量 x1,x2,…,xn 的非线性实函数。要求确定上述方程组在指定求 * * ,, xn 根范围内的一组解 x1* , x2
24
例如，对于确定性选择算法，可以用下面的洗 牌算法shuffle,将数组a中元素随机排列，然后 用确定性选择算法求解。这样做所收到的效果 与舍伍德型算法的效果是一样的。 假设输入实例为整型，下面的随机洗牌算法可 在线性时间实现对输入实例的随机排列。
template <class T> void shuffle(T a[ ], int n) { // 随机洗牌算法 for (int i=1;i<n;i++) { int j = random(n-i+1) + i; swap(a, i, j); } }
地投掷n个点。设落入圆内的点数为k。由于所投入的点
在正方形上均匀分布，因而所投入的点落入圆内的概率
为
r 2
4r 2

4
。所以当n足够大时，k与n之比就逼近这一
n
概率，从而 4k 。
9
double darts(int n) {
// 用随机投点法计算值
int k=0; for (int i=1;i <=n;i++) { double x=random(100)/100.0; double y=random(100)/100.0; if ((x*x+y*y)<=1) k++; } return 4*k/(double)n; random(100)返回[0,99] 之间的整数，(x,y)位于 0..1之间
2
引言

本章将要介绍的概率算法包括： 数值随机化算法：求解数值问题的近似解，精度 随计算时间增加而不断提高。 舍伍德算法： 消除算法最坏情况行为与特定实 例之间的关联性，并不提高平均性能，也不是刻 意避免算法的最坏情况行为。 拉斯维加斯算法：求解问题的正确解，但可能找 不到解。 蒙特卡罗算法： 求解问题的准确解，但这个解 未必正确，且一般情况下无法有效判定正确性。
[ ri … rk … rs-1 ] rs [ rs+1 … … rj ] 均 ≤ rs 轴值 查找这里 均 ≥ rs
[ ri … … rs-1 ] rs [ rs+1 …rk … rj ]
均 ≤ rs 轴值 均 ≥ rs 查找这里
(a) 若k<s，则rk在轴值的前面
(b) 若k>s，则rk在轴值的后面
13
解非线性方程组
While((min > epsilon)&&(j < Steps)){ //计算随机搜索步长因子 if (fx < min){//搜索成功，增大步长因子 min = fx; a* = k; success = true;} else{//搜索失败，减少步长因子 mm++; if (mm > M) a/= k; success = false;} for (int i = 1; i < n; i++) //计算随机搜索方向和增量 r[i] = 2.0 * rnd.fRandom() – 1; if (success) for(int i=1; i <= n; i++) dx[i] = a * r[i]; else for(int i=1; i <= n; i++) dx[i] = a * r[i];
分析确定性算法在平均情况下的时间复杂 性时，通常假定算法的输入实例满足某一特定 的概率分布。 事实上，很多算法对于不同的输入实例， 其运行时间差别很大。
例如快速排序算法，若输入实例是等概率 均匀分布，其时间复杂性是 O(nlog2n)，若输入 实例基本有序，其时间复杂度是O(n2)。 因此，可以采用舍伍德型概率算法来消除 算法的时间复杂性与输入实例间的这种联系。
考虑快速排序中的划分过程，选定一个轴值将序 列ri～rj进行划分，使得比轴值小的元素都位于轴值的 左侧，比轴值大的元素都位于轴值的右侧，假定轴值 的最终位置是s，则： （1）若k=s，则rs就是第k小元素； （2）若k<s，则第k小元素一定在序列ri～rs-1中； （3）若k>s，则第k小元素一定在序列rs+1～rj中；
18
设A是一个确定性算法，当它的输入实例为x时
所需的计算时间记为tA (x)。设Xn是算法A的输 入规模为n的实例全体，当问题的输入规模为n 时，算法A所需的平均时间为
t A ( n)
x X n
t
A
( x) / | X n |
19
这显然不能排除存在x∈Xn,使得 t A ( x) t A (n) 的 可能性。希望获得一个概率算法B，使得对问题 的输入规模为n的每一个实例均有
14
解非线性方程组
//计算下一个搜索点 for(int i=1; i <= n; i++) x[i] += dx[i]]; //计算目标函数值 fx = f(x,n); } if (fx < epsilon) return true; else return false;
15
概率算法的基本特征
概率算法的输入包括两部分：原问题的输入、
第 7章
概率算法
7.1 随机数 7.2 数值概率算法 7.3 舍伍德算法 7.4 拉斯维加斯算法 7.5 蒙特卡罗算法
1
引言



前面几章所讨论的分治、动态规划、贪心法、回 溯、分支限界等算法的每一计算步骤都是确定的 ，本章所讨论的概率算法允许执行过程中随机选 择下一计算步骤。 在多数情况下，当算法在执行过程中面临一个选 择时，随机性选择常比最优选择省时，因此概率 算法可在很大程度上降低算法复杂性。 概率算法的一个基本特征是对所求解问题的同一 实例用同一概率算法求解两次可能得到完全不同 的效果(所需时间或计算结果)。
供算法进行随机选择的随机数序列；
概率算法在运行过程中，包括一处或若干处
随机选择，根据随机值来决定算法的运行；
概率算法的结果不能保证一定是正确的，但
可以限定其出错概率；
概率算法在不同的运行中，对于相同的输入
实例可以有不同的结果，因此，对于相同的 输入实例，概率算法的执行时间可能不同。
16
7.3 舍伍德(Sherwood)算法
3
概率算法的基本出发点
将“对于所有合理的输入都必须给出
正确的输出”这个算法性质的条件放
宽，允许算法在执行过程中随机选择
下一步该如何进行，同时允许结果包
含较小的错误概率，并以此为代价， 获得算法运行时间的大幅度减少。
4

例如：判断表达式f(x1, x2, …, xn)是否恒等 于 0。 概率算法首先生成一个随机 n元向量(r1, r2, …, rn)，并计算 f(r1, r2, …, rn) 的值：如果 f(r1, r2, …, rn)≠0，则f(x1, x2, …, xn)≠0；如 果f(r1, r2, …, rn)＝0，则或者f(x1, x2, …, xn) 恒等于0，或者是(r1, r2, …, rn)比较特殊， 如果这样重复几次，继续得到f(r1, r2, …, rn) ＝0的结果，那么就可以得出f(x1, x2, …, xn) 恒等于0的结论，并且测试的随机向量越多 ，这个结果出错的可能性就越小。