05第五章

第五章 微粒群算法的收敛性分析5.1随机算法的收敛准则为了给出微粒群算法的全局收敛和局部收敛的判据，我们首先给出随机算法的收敛准则。

本节主要参照[F.Solis1981]、[F.van den Bergh2002]的内容。

为了方便起见，首先介绍一些相关概念。

定义5.1、设有一个以集合为元素的非空类ℑ，如果它满足下列条件，我们就称为ℑσ-域。

1）；ℑ∈Ω2）如果，j=1,2,…，则ℑ∈j E ℑ∈∞=∪1j j E(5.1)3）如果，则ℑ∈E ℑ∈cE 其中，Ω为全集，c E 表示E 的补集。

定义5.2、设µ是定义在非空类上的集函数，并满足条件：1） 对任意的，都有 ∈E +∞<≤)(0E µ (5.2)2） 如果 ∈φ，则0)(=φµ3） 若，j=1,2,…，则 ，且∈j E ∪∈∞=1j j Ej k E E j k ≠∀=∩,φ (5.3)那么∑+∞=+∞==11)()(k k k k E E µµ∪ (5.4)则我们说µ是 上的一个测度，若将式子（5.2）改为1)(0≤≤E µ (5.5)我们称之为概率测度。

设Ω是任一集合，ℑ是Ω的子集组成的σ-域，µ是ℑ上的概率测度，称三元组),,(µℑΩ为概率空间。

本节主要考虑下述问题：)(min x f (5.6)n R S x ⊆∈但在该情况下，有可能出现病态形式，比如函数取为⎩⎨⎧=−≠∀=1,101,2x x x f (5.7) 这样，函数的最优值为，但它是一个间断点，其测度为0，因而对于进化算法而言，几乎不可能搜索到全局最优解。

为此，我们将问题（5.6）改为下列形式：f 10)1(−=f }0))(|(|inf{><∈=x z f S z v x ψ (5.8)在这种情形下，由于Lebesgue 测度0))(|(><x z f x v ，因而可以避免上述病态情形。

为了具体给出随机算法的收敛准则，下面给出其基本框架：Step0：随机选择初始点，并置k=0；S z ∈0Step1：在样本空间上生成向量),,(k n R µΒk ξ；Step2：计算),(1k k k z D z ξ=+，选择1+k µ，令k=k+1，并转Step1。

其中，表示算法在第k 代的概率空间，),,(k n R µΒk µ为B 上的概率测度[J.C.Taylor1997]，B 为n R 的某个子集的σ-域。

D 是算法迭代方式，用以产生下一代个体。

定义5.3、设为k M n R 的子集，若它满足下列条件，则称为概率测度k µ的支撑集。

1）1)(=k k M µ；2）任取点列，对于其任意收敛子列，有； k k k M y ⊆+∞=1}{+∞=1}{j k j y k kj j M y ∈+∞→lim 3）若，且满足1）、2），则有。

nR N ⊆N M k ⊆为了保证随机算法的有效性，应保证D 所产生的新个体应优于当前个体，因此，随机算法应满足下列假设：假设5.1、)()),((z f z D f ≤ξ，并且如果S ∈ξ，则)()),((ξξf z D f ≤。

随机算法的全局收敛意味着序列应收敛于∞=1)}({k k z f ψ。

定义5.4、定义算法的−ε可接受区域为： })(|{εψε+<∈=z f S z R (5.9)其中，0>ε。

若算法发现中的点，则称算法找到了误差为εR ε的可接受点。

假设5.2、对于S 的任意Borel 子集A ，若其测度，则有0)(>A v ∏∞==−00))(1(k k A µ(5.10)其中，)(A k µ是由测度k µ所得到的A 的概率。

下面我们将利用假设5.1、5.2，给出随机算法为全局收敛算法的一个充要条件。

定理5.1、假设目标函数为可测函数，区域S 为可测子集，并且假设5.1、5.2满足，设为算法所生成的解序列，f +∞=1}{k k z 1][lim =∈+∞→εR z P k k (5.11)其中，是第k 步算法生成的解][εR z P k ∈εR z k ∈的概率。

证明：由假设5.1，如果或者εR z k ∈εξR k ∈，则对于任意的k’>k ，有，从而(5.12)εR z k ∈'∏−=−−≥∈−=∈10))(1(1)\(1)(k t t k k R R S z P R z P εεεµ取极限，并考虑k µ为概率测度，得到∏−=+∞→+∞→−−≥∈≥10))(1(lim 1)(lim 1k t t k k k R R z P εεµ (5.13) 由假设2，我们有，因此，∏∞==−00))(1(k k A µ101)(lim 1=−≥∈≥+∞→εR z P k k 证毕。

定理5.1给出了全局收敛算法的充要条件，下面将考虑局部搜索算法的收敛准则。

定义5.5、局部收敛算法是指对于测度序列，支撑集序列，除了有限个集合外，都有界且。

+∞=1}{k k µ+∞=1}{k k M S M k ⊂按照定义，局部收敛算法的支撑集序列满足下面的关系： )()(S v M S v k <∩ (5.14)因此，一个局部收敛算法应满足下列假设：假设5.3、对于任意，存在S z ∈010,0<<>ηγ，使得：ηξγρξρµεεε≥∈−<))),((,),),()),,((((R z D or R z R z D k (5.15)对于所有的k 和集合)}()(|{00z f z f S z L ≤∈=中的z 均成立。

其中，),(A z ρ表示点z 与集合A 之间的距离，定义为),(inf ),(b z A z Ab ρρ∈= (5.16) 下面我们将利用假设5.1、5.3，给出随机算法为局部收敛算法的一个充要条件。

定理5.2、假设目标函数为可测函数，区域S 为可测子集，并且假设5.1、5.3满足，设为算法所生成的解序列，则f +∞=1}{k k z 1)(lim '=∈+∞→εR z P k k (5.17) 其中，是第k 步算法生成的解的概率，区域表示某一局部极值点的)('εR z P k ∈'εR z k ∈'εR −ε可接受区域。

证明：设为算法初始点，由假设3的条件及欧几里得定理，存在整数p ，使得0z ),(b a p ργ>，0,L b a ∈∀ (5.18)由假设3，有ηε≥∈][1R z P (5.19)和212][][ηηεε≥∈×≥∈R z P R z P (5.20)因此，继续p 次，得到p p R z P ηε≥∈][ (5.21)继续，得到k p kp kp R z P R z P )1(1][1][ηεε−−≥∉−=∈ (5.22)由假设1，，因此得到0121,...,,L z z z p ∈−k p t kp R z P )1(1)(ηε−−≥∈+ (5.23)1,...,1,0−=p t 。

这表明解序列在kp 与(k+1)p 之间满足假设3，由于，因而定理得证。

0)1(→−k p η5.2基本微粒群算法的收敛性分析本节将对基本微粒群算法的收敛性问题进行讨论，主要参考[F.van den Bergh2002]的内容。

通过考虑是否满足假设5.1、5.2和5.3，按照上节的定理5.1、5.2，给出其局部收敛性及全局收敛性能的分析。

定理5.3、基本微粒群算法满足假设5.1。

证明：定义函数D 为⎪⎩⎪⎨⎧≥=otherwise x g p f x g f if p x p D k i k g k i k g k i k g ),())())(((,),(,,,,,, (5.24) 其中，符号表示基本微粒群算法的更新方程，具体为)(,k i x g )()()()(,3,2,1,1,k i k i k i k i k i x g x g x g x g x ++==+ (5.25)其中k i k i k i wv x x g ,,,1)(+= (5.26))()(,,11,2k i k i k i x p r c x g −= (5.27))()(,,22,3k i k g k i x p r c x g −= (5.28)k i x ,表示第k 代时的微粒i 的位置。

则按照这里定义的函数D ，基本微粒群算法满足假设1。

定理 5.4、任取0>ε，存在，使得对于任意的，如果选择1≥N N n ≥21,,φφw ，使得1||)||||,max(||<βα，则有。

ε<−+||)()(||,1,k i n k i n x g x g 证明：由于2121321)(lim )(lim φφφφβα++=++=+∞→+∞→g tt t t P P k k k t X (5.29) 且，因此，当)1()()1(+=−+t V t X t X 1||)||||,max(||<βα时，下式成立))()1((lim )1(lim t X t X t V t t −+=++∞→+∞→ )1()1(lim 32−+−=+∞→ββααt t t k k =0这表明。

同时， )(lim )1(lim t X t X t t +∞→+∞→=+ )1()()1(++=+t V t X t X2121))(()()(φφφφg P P t X t wV t X +++−+= (5.30)两边取极限，从而有g t P P t X ==+∞→)(lim通过上面的定理5.4，可以看出当所有的微粒最终收敛于g t P P t X ==+∞→)(lim 的位置时，算法将停止运行。

因此，如果算法在收敛之前没有搜索到全局（或局部）最优解，将导致过早收敛。

从而表明基本微粒群算法不是局部收敛算法。

定理5.5、基本微粒群算法不满足假设5.2。

证明：如果假设2成立，则等同于证明基本微粒群算法满足下式∪ti k i M S 1,=⊆ (5.31)其中，表示在算法第k 代时微粒i 的支撑集。

由于k i M ,2121))(()()()1(φφφφg P P t X t wV t X t X +++−+=+2121))(())1()(()(φφφφg P P t X t X t X w t X +++−−−+=2121)1()()1(φφφφg P P t wX t X w ++−−−−+= （5.32）因此，代入可以得到为k i M , m k j i k j i k i P P wx x w M 212,,1,,21,)1(φφφφ++−−−+=−−)()()(1,,21,,12,,1,,1,,−−−−−−+−+−+=k j i g k j i k j i k j i k j i x P x P x x w x φφ （5.33） 其中，110c ≤≤φ，220c ≤≤φ，表示微粒i 在第k 代时第j 维分量的值。