基于Multi-Agent的航空集群系统重构机理研究

基于Multi-Agent的航空集群系统重构机理研究
胡利平;梁晓龙;张佳强
【摘要】The swarm operation is the main style of future air combat,and its system restructuring mechanism to improve the overall performance of aircraft swarms to execute the task and the viability of the attack,has an important practical significance. Starting from the operation level,this thesis elaborates on some basic concepts of aircraft swarms system reconstruction mechanism,including the definition,types,triggering mechanism and principles of the reconstruction. After referring to the game theory,this thesis resolves the problem of aircraft swarms system reconstruction into cooperation-competition problems between various agents,and provides a system reconstruction model based on the Multi-agent,at the same time,it gives the reconstruction processes and algorithms. This thesis provides the theory technical support for designed and implemented of aircraft swarms system's adaptive refactoring capability.%集群作战是未来空中作战的主要样式,其重构机理的研究对于提升航空集群执行任务的整体性能以及在遭受攻击时的生存能力具有重要作用.从作战任务层面出发,对集群系统重构的定义以及类型、触发机制和基本原则进行了分析阐述;借鉴博弈论理论,将航空集群系统分布式重构问题映射为多Agent之间的合作-竞争问题,建立了基于Multi-Agent的系统重构模型,给出了重构的流程与算法,为航空集群系统自适应重构能力的设计实现提供了理论技术支持.
【期刊名称】《火力与指挥控制》
【年(卷),期】2016(041)011
【总页数】5页(P80-84)
【关键词】航空集群;系统重构;博弈论;多智能体
【作者】胡利平;梁晓龙;张佳强
【作者单位】空军工程大学空管领航学院,西安 710051;空军工程大学空管领航学院,西安 710051;空军工程大学空管领航学院,西安 710051
【正文语种】中文
【中图分类】V11
美国空军科学顾问委员会明确指出：“未来的作战飞行器应当以成群而非单独的方式行动”［1］。

可见，集群作战是未来空中作战的主要样式［2-3］。

在未来高动态、高对抗、高强度的空中作战条件下，战场态势、预定作战任务的动态改变，上级指挥员的实时指令，以及作战过程中可能遭受的战损、故障等情况要求航空集群［4-5］迅速完成适应性的功能重构，恢复战斗力或具备执行新任务的能力。

系统重构机制对于提升航空集群执行任务的整体性能及在遭受攻击时的生存能力具有重要的现实意义。

针对系统重构问题，国内外学者对无人机集群重构问题进行了大量研究，但是主要集中在编队重构问题上［6-9］：文献［6］运用多目标多人博弈理论，将多无人机编队重构问题转化为纳什谈判过程，实现了无人机编队重构控制；文献［8］提出了一种基于线性二次最优控制理论的多模型自适应控制重构技术方案，实现了故障状态下飞行控制规律的重构与优化设计。

而基于作战任务层面的集群系统构建以及重构机理方面的研究，目前国内外还没有公开的文献报道。

因此，本文针对集群
系统重构研究的现状，从作战任务层面出发，对航空集群系统重构的定义及其类型、触发机制、基本原则等进行了分析阐述，重点对重构方法进行了论述，并给出了重构模型，以及重构流程和重构方法。

1.1航空集群系统重构定义与类型
航空集群系统重构指为实现对战场任务的最佳响应或在航空集群遭受攻击时的关键能力快速恢复，以最小重构代价重建集群系统的结构及重新组合系统功能的过程。

根据是否改变航空集群系统结构，把航空集群系统重构分为物理重构和逻辑重构。

需要引入新的集群飞行器（Swarm Aerial Vehicle，SAV）或从系统中移出已有SAV，或用一个SAV替换另一个SAV，该重构方式称为物理重构；而逻辑重构是指在保持已有集群系统结构不变而改变组合方法、联接方式等的重构方式。

根据重构激励方式的不同，将航空集群系统重构分为面向战场任务的主动重构和面向攻击的应激重构。

当执行预设战场任务，如集群侦察、集群攻击时，为实现对战场任务的最佳响应，在综合考虑重构代价和重构效果的情况下，对航空集群系统进行的以智能节点为主导的功能重新组合、联接方式改变等系统重构称为主动重构；当航空集群遭受攻击，系统受到一定程度损毁时，为保证系统关键能力和最大化修复相关性能，此种情况下对系统进行的重构称为应激重构。

1.2航空集群系统重构的触发机制
航空集群系统重构的触发机制包括触发行为和触发事件。

触发行为包括指令触发和战场态势触发。

指令触发主要是依据上级作战意图及战场指令；战场态势触发则是根据战场态势变化、具体作战模式产生的适应性触发行为。

预设战场任务属于指令触发行为，遭受攻击属战场态势触发。

确定触发行为后，即进入相应的触发事件判断，对于预设战场任务的指令触发行为，依据任务属性分析（包括任务类型、规模、难度等）和能力需求分析（需要的能力类型、具体能力指标等）确定航空集群系统的响应规模（全系统、部分子系统或单
个子系统响应等），并判断系统是否处于最佳组合状态，即是否需重构，若需要则进入系统或子系统的主动重构，这就是面向执行任务的航空集群系统重构的触发事件。

对于遭受攻击的战场态势触发行为，首先从系统被毁伤规模、能力缺失、性能衰减、能力和性能的重要度等方面进行毁伤评估，进而确定系统响应规模，并评估重构代价后进行系统或子系统的应激重构，这就是面向敌方攻击的航空集群系统重构的触发事件。

1.3航空集群系统重构的原则
①松耦合。

航空集群可执行的任务和系统能力是松耦合关系，依据系统能力涌现度量与作战任务的映射，动态完成集群的构建与重构。

②兼容融合原则。

航空集群系统体现了多功能SAV、多种交感通信机制、多种行为方式相互融合的发展趋势，
其目标是实现各种开放、异构资源支持下的能力融合、子系统互连和优势互补。

③可扩展性原则。

在兼顾了现有集群系统体系结构的基础上对未知系统也具有较强的可扩展性，各能力单元能够自由组合并预留扩展通道。

④隔离原则。

为防止发生能力单元交叉干涉，应在重构中选用适宜的技术、方法和机制来分隔各能力单元，尽量保证将不同能力单元的功能、适应执行的任务从逻辑上进行分离。

根据对航空集群系统重构类型的分类以及重构的触发机制的定义，拟定了航空集群系统重构框架。

如图1所示，当确定为面向任务的指令触发机制后，根据任务属
性分析和能力需求分析，确定集群响应规模，并判断集群系统是否处于最佳组合状态，即是否需要重构，若需要重构，则进入系统或者子系统的主动重构，若不需要，则反馈到指令触发层面；当确定为遭受攻击的战场态势触发机制后，首先从系统被毁伤规模、能力缺失分析、性能衰减分析、能力和性能的重要度分析等方面进行航空集群毁伤评估，进而确定航空集群系统的响应规模，并评估重构代价后进行系统或子系统的应激重构。

2.1航空集群系统重构模型
利用多Agent具备协调各自的知识、目标、策略和规划，联合采取行动或求解问
题的能力，同时，借鉴博弈论的思想，将具有不同能力和属性的集群飞行器个体作为Agent，各Agent视为博弈参与者，这样就把航空集群系统分布式重构问题转化为各A-gent之间的合作-竞争问题。

此问题中，不同Agent之间的共同目的是使整个航空集群系统在遭受攻击时获得最佳的生存能力或在执行任务时获得最佳的整体性能，通过Agent之间的动态合作与协调实现航空集群系统的重构。

但同时
又存在着竞争关系。

这是因为系统资源都是有限的，故当系统资源因重构而不足时，每个Agent都要尽可能地保证自己的资源需求。

特别地，在系统通信链路损坏的
情况下，Agent不能获得全局信息，则必然优化保证自身目标。

此时，Agent之
间即表现为竞争关系，所谓竞争的就是航空集群系统的资源。

综上，由Agent主
导的航空集群系统重构问题属于一类典型的多人决策问题，因而有望通过博弈论的方法求解系统重构策略，本文正是借鉴这一思想，提出了一种基于Multi-Agent
航空集群系统重构模型（Reconstruction Model，RM）。

2.1.1RM假设
①本模型只考虑面向战场任务的主动重构情形；②航空集群系统已实现对原子任务以及个体能力描述的量化；③重构的触发机制为预设战场指令触发，触发事件为战场指令任务。

2.1.2RM描述
航空集群系统可以描述为一个5元组＜Ag，N，G，P，U＞，其中：①Ag表示重构过程中所包含的SAV的集合，Ag={Agent1，Agent2，…，Agentn}。

②N表示航空集群所有可能重构方式的集合，N={Number1，Number2，…，Numbern}。

③G表示系统重构目标，包括两部分：功能目标和性能目标。

功能目标，即系统具有何种功能，重构过程结束后各能力单元（将完成作战任务所需的最小系统组成单元称为能力单元）应完成何种工作，能力单元或系统整体应达到何种
状态；性能目标，即航空集群经过重构后所具备的性能。

④P表示航空集群重构所需的代价度量，包括：a.重构所需的时间。

系统重构过程中会增加遭受攻击和损毁的概率，重构所需时间越多则对集群系统越不利，因此，重构所需时间是系统构建与重构代价的重要部分。

b.消耗的系统资源。

在实现重构目标的过程中各能力单元会消耗一定的系统资源（如通信信道资源、动力能源资源等）。

⑤U是一个效益评价函数，对于每一种重构方案都存在一个与之对应的效益评价函数。

2.1.3RM构建
采用自顶向下和自底向上相结合的方法，构建层次化的RM分层示意图，如图2所示。

RM划分为三层：
①系统层是集群作战任务的主控层，负责根据战场态势和动态发布作战指令，结合预置的作战模式对作战任务进行分解，在原有联邦的基础上，重新构建协作“联邦”，实时掌握集群作战进程，产生原子任务激活信号，维持系统级任务按时序关系向前推进。

②任务层是系统层任务分解后得到原子任务管理层，负责管理原子任务激活时序，监控原子任务分配与运行状态，评估任务完成效果。

任务层对上负责完成原子任务的组织和管理，对下负责原子任务的发布和完成度评估。

③协作层是由集群智能个体Agent组成，Agent之间的信息传输和态势共享通过交感网络实现。

在重构Agent和协调控制Agent的共同作用下，系统根据作战任务的实际需求，对航空集群个体Agent进行重新组合与匹配，从而重构出满足任务需求的作战单元或作战集群。

这种作战单元或集群的行为由上层原子任务驱动，通过Agent之间的局部交互进行协同。

2.1.4RM中关于原子任务及个体能力的描述
①原子任务（Atom Task）。

原子任务为集群作战活动中不可再分的任务类型。

原子任务可由四元组TA=＜D，I，A，R＞描述。

其中：D为原子任务属性描述，包括任务类型、任务时限以及任务信息保障要求等；I为原子任务的初始条件，包括当前已经具备的任务启动条件、尚未获得的启动条件、任务后继节点等；A为原子任务对应的个体能力Agent集合，当原子任务发布时，将通过交感网络向集合
中相应Agent发布任务信息，从而激活各Agent的任务协调功能。

R为任务完成度的度量标准，用于指示原子任务的结束条件、终止条件以及任务输出集。

当底层Agent的任务执行程度达到R所规定的范围时，原子任务结束或终止。

②个体能力（Single Ability）。

个体能力为集群中的独立作战单元（个体Agent）与原子任务之间的映射关系。

同一个体Agent由于所装备平台的配置和性能差异，可以完成不同的原子任务，而且任务完成的程度也各有不同。

个体能力可由六元组A表示A=＜C，T，U，O，R，S＞。

其中：C为前提条件，表征个体Agent执
行该项原子任务所必须的输入信息；T为时间区间，表示完成原子任务所需的时长；U为规则集合，表示个体在执行任务过程中必须遵循的行为规则，通常规则可以描述为一组或多组IF…THEN语句组成的集合；O为执行代价，表示个体执行该任务所付出的资源以及风险；R为能力效能，表示对任务完成程度的贡献；S为能力状态，标志个体当前状态（空闲、执行以及故障等）。

原子任务与个体能力之间的拓扑关系如图3所示。

图中黑色虚线表示个体Agent所具备的能力，当同一个体Agent可以完成不同的原子任务时，存在个体Agent至相应原子任务的能力连线。

虚线上的数值表示个
体完成相应原子任务的能力度量，数值越大表明能力越强，当原子任务所要求的能力度量值高于单个个体所能输出的能力值时，就需要多个个体协同完成该任务。

图中红色Agent个体和黑色实线箭头表示当前激活的任务分配方案。

2.2航空集群系统重构流程
依据图2所示的RM架构，将航空集群系统重构流程分为5个过程：
①当集群系统感知态势变化或接受新的作战指令后，根据预置的系统作战模式将新的作战任务T分解为一系列具有特定时序的原子任务TA={T1，T2，…，Tn}；
②将原子任务发布到任务层，加入任务层中原子任务的调度管理队列；
③任务层根据任务之间的前驱、后继关系建立并行和串行的原子任务调度队列，并按时序激活相应原子任务，对协作层个体产生激励信号；
④拟定重构方案。

协作层Agent基于个体间的交感网络对激活的原子任务进行竞标，以最大化效能完成任务，最小化任务执行代价为目标，进行自主协同任务分配，并按Agent内部认知和能力模型的计算结果，确定任务执行方式，得到系统重构
方案；
⑤评估重构方案。

根据预置的评估体系，对所有重构方案进行性能评估。

根据评估结果最终确定重构方案，并将重构方案反馈给系统层。

如果是部分重构，评估涉及到两个方面：一是部分航空器重构所组成的集群作战性能的评估；二是抽调的部分航空器对原航空集群的作战性能的影响评估。

2.3航空集群系统重构算法
在RM中，“重构”有两层含义。

第一层含义是：系统层根据预置的系统作战模
式将新的作战任务分解为一系列具有特定时序的原子任务，在原有联邦的基础上，重新构建协作“联邦”，完成作战任务的最终分解和分配；第二层含义是：任务层和协作层各Agent的共同作用下，系统根据作战任务的实际需求，对航空集群个
体Agent进行重新组合与匹配，重构成满足作战任务需求的作战单元或者作战集群，这种作战单元或集群是依据作战任务确定的，当作战任务发生改变时，作战单元和集群里Agent的组合也会发生相应的改变。

因此，重构算法主要分为两大类：任务分配算法和系统动态重构算法。

2.3.1 航空集群任务分配算法
输入：待分配的作战任务，Agent个体能力；输出：原子任务的分配结果
①任务分解。

根据预置的系统作战模式将新的作战任务T分解为一系列具有特定时序的原子任务。

②初始化原子任务属性元组及Agent个体能力属性。

③执行任务Agent与原子任务进行匹配。

执行任务的Agent个体根据自身所具有的个体能力，检索自身可以完成的任务，并标记为。

④计算执行Agent完成后所获得的效益。

⑤根据效益大小，将任务进行优先级排序，获利大的优先级高，获利相同的按执行能力排序，能力大的排在前面。

⑥执行Agent向任务发出请求，如果在规定的时间间隔内，没有收到其他执行Agent的请求，被分配给Agenti；如果还有其他执行Agent发出请求，则任务分配给效益最大的执行Agent（效益相同，则分配给执行能力大的Agent）。

⑦判断是否还有未分配的任务，若还有则回到③继续运行，否则结束程序。

2.3.2系统动态重构算法
由Agent主导的航空集群系统动态重构问题属于一类典型的多人决策问题，因而有望通过博弈论的方法求解系统重构策略，算法具体流程如下：
①判断博弈模式的合作与非合作属性。

合作性博弈：参与者从自己的利益出发与其他参与者谈判达成协议或形成联盟，其结果对联盟方均有利；非合作性博弈：参与者在行动选择时无法达成约束性的协议。

②通过Agent或Agent联盟之间的博弈过程，计算各Agent所属的转移策略。

在该问题中，不同Agent之间的共同目的是使整个航空集群系统在执行任务时获得最佳的整体性能。

③综合评价重构方案，筛选出最佳重构方案。

针对航空集群系统动态重构的任务需求，从重构的定义、类型出发，分析了指令触发和战场态势触发等2类系统重构的触发行为及其相应的触发事件，确立了4项
重构的基本原则，结合博弈理论，构建了基于Multi-Agent航空集群系统重构模型，详细剖析了模型架构，建立了原子任务与个体能力模型，并提出了重构的流程与算法。

研究结论对于航空集群系统自适应重构能力的设计实现具有一定的借鉴意义。

【相关文献】
［1］SHIMA T，RASMUSSEN S.UAV cooperative decision and control：challenges and practical approaches［M］.Philadelphia：Society for Industrial and Applied Mathematics，2008.
［2］梁晓龙，李浩，孙强，等.空中作战发展特征及对策［J］.空军工程大学学报（军事科学版），2014，14（3）：4-7.
［3］牛轶峰，肖湘江，柯冠岩.无人机集群作战概念及关键技术分析［J］.国防科技，2013，35（5）：37-43.
［4］LIANG X L，SUN Q，YIN Z H，et al.The swarm convoy for transport mission［C］
//The Fourth International Conference on Swarm Intelligence，ICSI'2013，Harbin China，2013.
［5］LIANG X L，SUN Q，YIN Z H.A study of aviation swarm convoy and transportation mission［C］//Advances in Swarm Intelligence，ICSI 2013：368-375.
［6］茹常剑，魏瑞轩，戴静，等.基于纳什议价的无人机编队自主重构控制方法［J］.自动化学报，2013，39（8）：1349-1359.
［7］邓婉，王新民，王晓燕，等.无人机编队队形保持变换控制器设计［J］.计算机仿真，2011，28（10）：73-77.
［8］史志波，董慧芬，李立毅.基于多模型自适应的飞行控制系统重构与优化［J］.计算机应用，2013，33（3）：874-877.
［9］ZHANG X Y，DUAN H B.Differential evolution-based receding horizon control design for multi-UAVs formation reconfiguration［J］.Transactions of the Institute of Measurement and Control，2012，34（2/3）：165-183.
［10］刘坤，丁仕拥，冯学强，等.基于MAS的网络坦克作战系统重构机制与过程分析［J］.计算机工程与设计，2008，29（17）：4528-4553.
［11］徐潼.多Agent系统的体系结构和协作研究［D］.南京：南京理工大学，2003.
［12］韩晓征.基于分布式控制系统的MAS中若干问题研究［D］.合肥：合肥工业大学，2002. ［13］申静，夏幼明，孙瑜，等.基于博弈论的多Agent协商模型［J］.云南大学学报（自然科学版），2006，28（S2）：89-93.
［14］刘国翰.结构化多人博弈的分析框架［J］.技术经济与管理研究，2014，35（2）：3-7. ［15］王冠群，张雪敏，刘锋，等.船舶电力系统重构的博弈算法［J］.中国电机工程学报，2012，34（13）：69-76.。