基于改进灰狼算法的多任务优化算法

基于改进灰狼算法的多任务优化算法
史光伟，王启任
（天津工业大学电子与信息工程学院，天津300387）
摘要：针对已有多任务优化算法寻优精度受限、计算时间成本过高等问题，提出一种基于改进灰狼算法的多任务
优化算法（improved grey wolf algorithm based multitask optimization algorithm ，IGWMTO ）。

该算法采用灰狼算法代替典型多任务算法中的遗传算法，计算个体的因素等级和技能因子实现狼群分类，并以此更新个体隶属任务，引入扰动因子和动态权重改善狼群个体的更新方式。

仿真测试结果表明：相比于传统多任务优化算法，所提算法在4个优化问题上的寻优精度的提升均超过了4.8%，计算耗时降低了70%以上。

关键词：多任务优化；群体智能优化算法；灰狼算法；寻优精度中图分类号：TP18
文献标志码：A
文章编号：员远苑员原园圆源载（圆园23）园5原园园81原06
收稿日期：
2022-06-02基金项目：天津市自然科学基金资助项目（19JCQNJC03300）；天津市研究生科研创新项目（2020TJSS014）
通信作者：史伟光（1985—），男，博士，副教授，主要研究方向为射频定位，群体智能感知计算。

E-mail ：
************************.cn Improved grey wolf algorithm based multitask optimization algorithm
SHI Weiguang ，WANG Qiren
（School of Electronics and Information Engineering ，Tiangong University ，Tianjin 300387，China ）
Abstract ：Aiming at the problems of limited optimization accuracy and high computational time of existing multi-task opti鄄
mization 渊MTO冤algorithms袁an improved grey wolf algorithm based multitask optimization algorithm 渊IGWM鄄TO冤is proposed袁which utilizes the grey wolf algorithm instead of the genetic algorithm in the typical multi-task optimization algorithm.The factor level and skill factor of the individual are calculated to achieve wolf group clas鄄sification and update the individual membership task.Then袁the disturbance factors and dynamic weight are in鄄troduced to improve the update method of individual wolves.The simulation results show that袁compared with the
traditional multi-task optimization algorithm袁the proposed algorithm improves the optimization accuracy by more
than 4.8%on all four optimization problems袁and the computational time reduces by more than 70%.
Key words ：multi-task optimization曰swarm intelligence optimization algorithm曰gray wolf algorithm曰optimization accuracy
近年来，多任务优化（multi -task optimization ，
MTO ）[1-6]
已经成为智能优化领域的新兴研究方向，MTO 关注如何同时解决多个优化问题并提高独立解决各问题的性能，在图像处理[7]、路径规划[8]和互联网[9]等领域MTO 技术已经展现出优势。

进化多任务方法[10]和多因素优化方法[11]是多任务优化的两类重要分支。

由Ong 等[5]提出的感知多任务算法（cognitive multita-sking algorithm ，CMA ）
是进化多任务的典型代表，其能够在统一的基因型空间中进行跨域多任务优化。

由
Gupta 等[4]提出的多因素进化算法
（multi-factorial evo -lutionary algorithm ，MFEA ）
是多因素优化的典型代表，该算法利用遗传算法来实现了不同任务之间的信息
交互以及个体的更新。

相比于CMA 算法，
MFEA 通过发挥任务之间潜在的互补性来实现知识共享，具有更好的寻优性能。

2017年，深圳大学Chen 等[12]提出了一种基于协
同进化模因算法的进化多任务单目标优化算法。

该算
法提出了一种基于准牛顿的局部搜索方法，显著提高了收敛速度。

2018年，华南理工Chen 等[13]提出了一种基于模因多目标差分进化的多任务优化方法。

该算法的关键思想是使用多个子种群来解决多个任务，每个子种群专注于解决单个任务。

2020年，南方科技大学LYU 等[14]提出了一种基于头脑风暴的多任务优化算法，该算法通过所提出的头脑风暴操作实现各组成任
DOI ：10.3969/j.issn.1671-024x.2023.05.011
第42卷第5期圆园23年10月
Vol.42No.5October 2023
天津工业大学学报允韵哉砸晕粤蕴韵云栽陨粤晕GONG 哉晕陨灾耘砸杂陨栽再
天津工业大学学报第42卷
务的优化和不同任务之间的知识转移。

以上所提到的算法都是基于MFEA进行改进的，大都存在寻优精度受限、计算耗时长的问题。

基于上述问题，本文提出一种基于改进灰狼算法的多任务优化算法（improved grey wolf algorithm based
multi-task optimization algorithm，IGWMTO）。

该算法采用灰狼算法（GWO）取代MFEA中的遗传算法（GA），并引入抗扰因子和动态权重参数来对狼群个体进行更新，以期进一步提高多任务优化算法的优化性能。

1基本原理
1.1多任务优化
在多任务场景中，通常存在一些有用知识可以用来解决某任务问题，同时也有助于求解其他任务问题[15]。

因此，通过将多个任务问题以某种方式进行关联，将有助于改善寻优精度和寻优效率。

给定一个具有k个任务的MTO问题，在不失一般性的情况下，假设所有任务都是单目标、无约束的最小化问题。

定义第j个任务为T j，其目标函数为f j：X j寅R。

其中X j为D j 维度的解决空间，R为实数域。

MTO的目标是为k个任务找到全局最优值，即
x j o=argmin x沂X j f j（x）j=1，2，…，k（1）若在特定任务的解决空间上施加了约束条件，则需将约束函数与任务的目标函数一起考虑优化。

1.2MFEA算法
MFEA的核心思想是利用n个个体的种群pop= {p i}n i=1来同时寻找k个任务的全局最优值，其中p i表示种群中的个体。

MFEA算法主要由3个部分组成：种群初始化、遗传机制和选择性评价[16]。

对于种群初始化，定义第j个任务的维度为D j，定义维度等于max{D j}的统一搜索空间D multitask。

在初始化过程中，每个个体都被赋予一个由D multitask随机变量组成的向量[17]。

同时，MFEA提出以下定义用于评估每个个体的特征。

（1）因素代价：每个个体在所有任务上的因素代价追被定义为
追=姿·啄+f（2）式中：姿为惩罚因子；啄和f为当前个体在该任务上的约束违反总数和目标函数值。

（2）因素等级：每个个体在所有任务上的因素等级r是利用追对所有个体进行从小到大的排序的索引。

（3）技能因子：每个个体的技能因子子是个体在所有任务中能力最好的任务的索引，即
子=arg min{r}（3）（4）标量适应度：每个个体的标量适应度渍被定义为
渍=1/min j沂(1，…，k）{r j}（4）（5）多因素最优：如果个体p i是k个任务的全局最优，则称其为多因素最优。

对于遗传机制，MFEA采用选择性交配和选择性模仿2种方法实现信息在不同任务之间的转移，并通过随机交配概率来平衡搜索空间的开发和探索。

在选择性评估过程中，MFEA采用一种垂直文化传播方法来对种群个体进行评估，该方法允许后代模仿上一代的技能因子，进而减少了计算成本[18]。

1.3灰狼算法
灰狼算法[19]对狼的社会等级进行数学建模，将最优个体定义为琢狼，第二优和第三优的个体分别定义为茁狼和酌狼，其余剩下个体为棕狼。

灰狼算法利用琢狼、茁狼和酌狼的位置信息对狼群个体进行更新迭代，从而完成最优解的寻找，即针对猎物的包围过程。

上述思想可建模为
X（t+1）=X p（t）-A·D（5）D=|C·X p（t）-X（t）|（6）式中：t为当前迭代次数；A和C为系数向量；X p为猎物位置向量；X为灰狼位置向量；D为当前位置与猎物之间的距离。

系数向量A和C可表示为：
A=2a·r1-a（7）C=2·r2（8）在迭代过程中，向量a由2线性下降到0，而r1和r2为[0,1]中的随机向量。

D琢、D茁和D酌分别表示当前候选灰狼与最优3头狼之间的距离，且有
D琢=|C1·X琢-X|
D茁=|C2·X茁-X|（9）D酌=|C3·X酌-X|
式中：X琢、X茁和X酌分别为琢、茁和酌狼的位置向量；X 为灰狼的位置向量。

进一步，狩猎过程可建模为
X（t+1）=X1+X2+X3
3（10）其中
X1=X琢-A1·D琢
X2=X茁-A2·D茁（11）X3=X酌-A3·D酌
2基于改进灰狼算法的多任务优化算法本文所提IGWMTO算法的工作流程如图1所示。

82--
第5期
相比于MFEA算法，本文IGWMTO算法的优势主要体现在以下方面：
（1）采用灰狼算法代替MFEA算法的遗传算法，利用个体在所有任务上的技能因子和因素等级来对狼群进行分类，并利用适应度值动态更新个体隶属任务。

（2）引入狮群优化算法中的抗扰因子[20]，增大了灰狼随机游走初期的范围，加强了全局勘探能力，使琢狼、茁狼和酌狼的位置更新具有一定的随机性，进而提高种群的多样性，并且有效避免了陷入局部最优的问题，从而得到最优解。

（3）基本GWO算法通过计算3个最佳灰狼位置的平均值来更新灰狼位置，这种策略并没有考虑3头狼在群体狩猎活动中的贡献度问题。

由于GWO算法的琢狼并不一定是全局最优解，这时在不断迭代中，随着其余棕狼向这3头狼逼近，容易陷入局部最优。

本文算法引入动态权重参数来平衡全局搜索和局部搜索的相互影响，可进一步提高算法收敛速度和精度。

IGWMTO算法的具体步骤主要包括以下部分。

步骤1：随机生成N个个体，并对所有个体进行初始化处理。

步骤2：计算每个个体在所有任务上的适应度值并构建矩阵，其可以表示为
M=
m11m12 (1)
m21m22 (2)
m k1m k2…m kN
杉
删
山山
山山
山山
山山
山山
山山
山
煽
闪
衫衫
衫衫
衫衫
衫衫
衫衫
衫衫
衫
（12）
式中：k为任务数量，矩阵元素为每个个体针对某个任务的适应度值。

步骤3：将矩阵中每一行的元素进行排序，并提取每个个体在任务上的排序索引值构建因素等级向量，其向量n=（n1，n2，…，n k）内部元素为该个体在所有任务上的因素等级，其中最小元素所对应的任务为该个体的技能因子浊（浊沂[1，2，…，k]）。

步骤4：根据该技能因子对狼群进行分类，将排序前三的索引对应的个体分别记作该任务上的琢、茁和酌狼，可以获得其位置向量X琢、X茁和X酌。

步骤5：在对狼群个体进行更新迭代时，考虑到琢狼具有很强的局部搜索能力，但容易使得种群陷入局部最优。

因此，引入狮群优化算法的扰动因子，使得狼群个体更新保持一定随机性，扩大搜索范围并避免算法过早收敛。

进而将式（11）修正为：
X1=（X琢-A1·D琢）棕1
X2=（X茁-A2·D茁）棕2（13）X3=（X酌-A3·D酌）棕3
式中：棕1为成年狮子比例因子且是（0，1）中的一个随机数，为使算法收敛更快，值一般小于0.5。

棕2为母狮扰动因子，其定义为
棕2=s·exp-30t T蓸蔀10（14）s=0.1（h-l）（15）式中：s表示狮子在活动范围内移动的最大步长；l和h分别表示狮子运动范围空间各维度的最小均值和最大均值；T为最大迭代次数；t为当前迭代次数；棕3为幼狮干扰因子，其可以表示为：
棕3=s T-t T蓸蔀（16）式中：T为最大迭代次数；t为当前迭代次数。

在上述公式中，棕2和棕3的步长均设为1。

步骤6：计算当前迭代次数下的狼群个体适应度值。

由式（10）可知，典型灰狼算法棕狼受当前迭代次数占主导地位的灰狼（琢、茁和酌狼）影响。

但是，考虑到琢、茁和酌狼的能力存在差异，并且随着迭代次数的增加，棕狼会受到琢、茁和酌狼的动态影响。

因此，为了平衡全局搜索和局部搜索之间的相互影响，本文引入动态权重参数C[21]来更新种群的个体值，其计算公式为X（t+1）=X1+X2+X3
3+C（17）
图1IGEMTO算法流程图
Fig.1Flow diagram of IGWMTO
史伟光，等：基于改进灰狼算法的多任务优化算法83--
天津工业大学学报第42卷
表2MFEA 和IGWMTO 在不同问题中的结果
Tab.2Results of MFEA and IGWMTO on different problems
100
30代数
50（b ）Rastrigin 函数2502001501005002040
10
60709080MFEA IGWMTO
0100
30代数
50（a ）Ackley 函数
181614121086420
2040
1060709080MFEA IGWMTO
图2MFEA 和IGWMTO 在问题1上的收敛趋势Fig.2Convergence trends for MFEA and IGWMTO on
problem 1
图3MFEA 和IGWMTO 在问题2上的收敛趋势Fig.3Convergence trends for MFEA and IGWMTO on
problem 2
代数
（a ）Sphere 函数
0100
30506.05.55.04.54.03.53.02.52.0
2040
1060709080MFEA IGWMTO
代数
（b ）Weierstrass 函数
0100
305040353025201510
5
2040
1060709080MFEA IGWMTO
式中：C 为一个随机向量，其范围为[0，1]。

步骤7：根据式（17）计算当前迭代次数下个体在所有任务上的适应度值并进行对比。

若相较于原始任务，该个体在另一任务上的适应度值更好，则需动态更新该个体所属任务，并围绕该任务的头狼继续更新。

步骤8：对所有任务中的头狼进行更新，重复上述步骤，直到最大迭代次数。

3实验及结果分析
本文将种群规模与迭代次数都设为100，在Ben -chmark 测试函数上对所提算法进行测试，表1为测试
函数设置情况，且令各维度的搜索空间相同。

选取
MFEA 作为参照进行对比，令2种算法分别在多个不
同的优化问题上进行寻优迭代，并将统计结果记录于
表2中，针对所有的优化问题，给出了MFEA 和本文算法运行100次的最佳适应度值、均值和方差。

将每个问题所对应的收敛曲线绘制于图2—图5。

表1Benchmark 测试函数
Tab.1Benchmark test functions
函数名维度范围
Ackley 50
[-100，100]Rastrigin 50[-50，50]
Sphere
50
[-100，100]Weierstrass 25
[-0.5，0.5]Griewank 50[-100，100]Schwefel 50
[-500，500]Rosenbrock
50
[-50，50]84--
第5期010030代数
50（a ）Griewank 函数
302520151050
2040
10607090
80MFEA
IGWMTO
0100
30代数
50（b ）Schwefel 函数
18000160001400012000100008000600040002000
2040
10607090
80MFEA IGWMTO
图4MFEA 和IGWMTO 在问题3上的收敛趋势Fig.4
Convergence trends for MFEA and IGWMTO on problem 3
10030
代数
50
（c ）Rosenbrock 函数3.02.52.01.51.00.5020
40
10
60
70
90
80
MFEA IGWMTO
0100
30代数
50（a ）Ackley 函数
20181614121086420
2040
10607090
80MFEA IGWMTO
0100
30代数
50（b ）Rastrigin 函数
25020015010050
2040
10607090
80MFEA IGWMTO
10030
代数
50
（d ）Weierstrass 函数
40353025201510520
40
10
60
70
90
80
MFEA IGWMTO
图5MFEA 和IGWMTO 在问题4上的收敛趋势Fig.5
Convergence trend of MFEA and IGWMTO on problem 4
100
30代数
50（c ）Sphere 函数
98765432040
10
607090
80MFEA IGWMTO
史伟光，等：基于改进灰狼算法的多任务优化算法
由表2可以看出，
IGWMTO 在4个不同的优化问题中的结果均优于MFEA 的寻优结果。

上述结果表明，IGWMTO 具有良好的快速寻优能力和深度寻优能力。

算法运行时间如表3所示。

由图2—图5可知，相比于MFEA ，IGWMTO 在所有任务中的曲线下降速度更快，收敛速度和效果更好。

由表3可知，IGWMTO 在运算速度上也存在优势，相较于MFEA 算法，其在4个不同优化问题中的运行
时间分别降低了约80.1%、
76.8%、74.8%和76.5%。

4结束语
本文提出了一种新颖且易于实现的基于改进灰
狼算法的多任务优化算法，其通过计算个体的因素等级和技能因子来对狼群进行分类并根据适应度值动态更新个体隶属任务，引入狮群优化算法的抗扰因子和动态权重参数来对原始灰狼算法进行改进。

该方法
表3IGWMTO 与MFEA 的运行时间Tab.3
Running time of IGWMTO and MFEA
IGWMTO MFEA 115.3477.13217.3774.86323.7694.28
4
32.25
137.31问题s
85--
天津工业大学学报第42卷
不仅提高了种群的多样性，而且平衡了全局搜索和局部搜索之间的相互影响，大大提高了算法收敛的精度和速度。

与MFEA算法相比，本文IGWMTA算法在4个不同优化问题中的运行时间分别降低了约80.1%、
76.8%、74.8%和76.5%。

参考文献：
[1]SWERSKY K，SNOEK J，ADAMS R P.Multi-task Bayesian optimization[C]//Advances in Neural Information Processing Systems26（NIPS2013）.Lake Tahoe，NV，USA：NIPS，2013：2004-2012.
[2]郭辉，郭静纯，张甜.基于梯度优化的多任务混合学习方
法[J].计算机技术与发展，2021，31（10）：7-12.
GUO H，GUO J C，ZHANG T.An approach of mixed multi-task learning based on gradient optimization[J].Computer Te-chnology and Development，2021，31（10）：7-12（in Chinese）.
[3]孙怡.组稀疏多任务学习方法及其应用研究[D].南京：南京
邮电大学，2019.
SUN Y.Group sparse multi-task learning method and its appli-cation[D].Nanjing：Nanjing University of Posts and Telecom-munications，2019（in Chinese）.
[4]GUPTA A K，ONG Y S，FENG L.Multifactorial evolution：To-ward evolutionary multitasking[J].IEEE Transactions on Evolu-tionary Computation，2016，20（3）：343-357.
[5]ONG Y S，GUPTA A.Evolutionary multitasking：A computer science view of cognitive multitasking[J].Cognitive Computa-tion，2016，8（2）：125-142.
[6]DA B S，ONG Y S，FENG L，et al.Evolutionary multitasking for single-objective continuous optimization：Benchmark pro-blems，performance metric，and baseline results[EB/OL].[2019-01-06].https：///abs/1706.03470.
[7]ZHOU Z，CAO Z J，ZHANG Y L，et al.Weight optimization for multi-task sparse representation in sar image target recogni-tion[C]//IGARSS2019—2019IEEE International Geoscience and Remote Sensing Symposium.Yokohama，Japan：IEEE，2019：9-12.
[8]HUANG M，YAN C，XU X，et al.Model and algorithm for the multi-task routing optimization problem in4PL[C]//2009Chi-nese Control and Decision Conference.Guilin，China：IEEE，2009：3094-3098.
[9]WANG B，ZHANG Y S，XIONG X，et al.A multi-task opti-mization method based on event semantics in embedded wire-less network[C]//200827th Chinese Control Conference.Kun-ming，China：IEEE，2008：544-547.
[10]ZHENG X L，LEI Y，QIN A K，et al.Differential evolutionary multi-task optimization[C]//2019IEEE Congress on Evoluti-onary Computation（CEC）.Wellington，New Zealand：IEEE，2019：1914-1921.
[11]LIU R C，YANG P，LYU H Y，et al.Multi-objective multi-factorial evolutionary algorithm for container placement[J].IEEE
Transactions on Cloud Computing，2021（99）：1. [12]CHEN Q J，MA X L，ZHU Z X，et al.Evolutionary multi-tasking single-objective optimization based on cooperative co-evolutionary memetic algorithm[C]//201713th International Conference on Computational Intelligence and Security（CIS）. Hong Kong，China：IEEE，2018：197-201. [13]CHEN Y L，ZHONG J H，TAN M K.A fast memetic multi-objective differential evolution for multi-tasking optimization [C]//2018IEEE Congress on Evolutionary Computation（CEC）. Riode Janeiro，Brazil：IEEE，2018：1-8.
[14]LYU C，SHI Y H，SUN L J.A novel multi-task optimization algorithm based on the brainstorming process[J].IEEE Access，2020，8：217134-217149.
[15]ZHENG X L，QIN A K，GONG M G，et al.Self-regulated evolutionary multitask optimization[J].IEEE Transactions on Evolutionary Computation，2020，24（1）：16-28. [16]贾雪阔.基于正则化的半监督多任务学习算法研究[D].昆
明：云南大学，2019.
JIA X K.Research on semi-supervised multi-task learning based on regularization[D].Kunming：Yunnan University，2019（in Chinese）.
[17]GONG M G，TANG Z D，LI H，et al.Evolutionary multitask-ing with dynamic resource allocating strategy[J].IEEE Transac-tions on Evolutionary Computation，2019，23（5）：858-869.
[18]YI J，ZHANG W，BAI J R，et al.Multifactorial evolutionary algorithm based on improved dynamical decomposition for many-objective optimization problems[J].IEEE Transactions on Evolutionary Computation，2022，26（2）：334-348. [19]MIRJALILI S，MIRJALILI S，LEWIS A.Grey wolf optimizer [J].Advances in Engineering Software，2014，69：46-61. [20]李彦仓，巩翔宇.基于信息熵的改进狮群算法及其在组合
优化中的应用[J].电子学报，2021，49（8）：1577-1585.
LI Y C，GONG X Y.An improved lion swarm algorithm based on information entropy and its application in combinatorial op-timization[J].Acta Electronica Sinica，2021，49（8）：1577-1585（in Chinese）.
[21]姚立强，孙可可，许继军，等.基于动态权重系数法的区域
综合干旱指标研究[J].长江科学院院报，2021，38（10）：40-47.
YAO L Q，SUN K K，XU J J，et al.Regional comprehensive drought index based on dynamic weight coefficient[J].Journal of Yangtze River Scientific Research Institute,2021,38(10):40-47（in Chinese）.
本文引文格式：
史伟光，王启任.基于改进灰狼算法的多任务优化算法[J].
天津工业大学学报，2023，42（5）：81-86.
SHI W G，WANG Q R.Improved grey wolf algorithm based multitask optimization algorithm[J].Journal of Tiangong Univer-sity，2023，42（5）：81-86（in Chinese）.
86--。