基于微软轮式仿真足球机器人的攻防策略设计

基于微软轮式仿真足球机器人的
攻防策略设计Offensive and Defensive Strategies Design of Wheeled Robot Soccer Simulation Based on Microsoft
摘要
机器人足球世界杯赛，是多智能体系统的一个典型问题，又是研究分布式人工智能的理想平台。

多智能体学习与协作是当今人工智能领域研究的热点与难点，在动态、复杂、不确定且通信受限的环境中如何进行Agent间的协作是迫切需要解决的问题，而RoboCup比赛正是检验和促进多智能体相关技术发展的有效平台。

RoboCup是Multi—Agent系统的一个典型代表，它是国际上一项为提高相关领域的教育和研究水平而举行的大型比赛和学术活动，通过提供一个标准任务来促进分布式人工智能、智能机器人技术、及其相关领域的研究与发展。

RoboCup是Multi—Agent系统研究的一个很好的平台。

建立一支成功的机器人足球队需要很多领域的知识，合理的模型结构和Agent之间的协调与协作是RoboCup比赛中赢球的关键所在，协调与协作是Multi—Agent系统研究的重要课题。

为了提高决策的速度和智能性，提出一种基于行为的Multi—Agent决策模型，该模型分为个体决策模型和团队决策模型，个体决策模型是为了提高智能体决策的速度，团队决策模型为了提高决策的智能性。

在团队协作方面，使用阵型和角色实现整体队形分布;设计战术系统实现局部配合，并利用队友间通讯共享信息、传达战术意图。

在个体决策方面，根据球场状况、协作建议等，使用决策树为个体球员确定当前的技术动作。

针对关键的控球球员的技术动作，对射门成功率进行评估，并将传球、带球划分为多种类型进行选择。

关键词：RoboCup 多智能体团队决策个体决策
Abstract
The RoboCup is a typical issue of Multi—Agent system(MRS)and the ideal plat form of Distributed Artificial Intelligence(DIA)research．The learning and collaboration of Agent is difficult and hot in intelligence robot research．The issue of how to carry out the collaboration between Agents is need to be solved in a dynamic，complex and uncertain environment with limited communication．The RoboCup is an effective plat form to test and promote the development of Multi—Agent technology．
RoboCup is an image representation of Multi—Agent Systems，it's a lagre match ＆learning activity fur improving education and research’s level in correlative domain RoboCup is a good flat roof fur Multi—Agent Systems research．Various fields knowledges make up of a Success RoboCup team．Reasonable model—structure and correspondency&collaboration are the key to prevailie the RoboCup matches，So they are the important problem in the Multi—Agent researchs．
A Multi—Agent decision model is introduced to make Agents accomplish tasks promptly and artificially．This model is made up of individual decision model and team decision model．The former enhances the reactivity of Agents，and the later improves the intelligence of Agents. In the aspect of team cooperation，form ations and roles are used to realize the distribution of team form，tacticals ystemis designed to realize partial cooperation，conununications among teammates are used to share information and to transfer tactical intentions. In the aspect of personal decision，decisiontree is used to determine current technical action for individual player according to the situation on soccer field and cooperation suggestion. As far as the crucial technical action of ball一holder is concerned，the shoot success rate is assessed，also passing and dribblins are divided into several types for choosing.
Key words:RoboCup multi—agent team decision individual decision
目录
摘要 (I)
Abstract (Ⅱ)
绪论 (1)
1 足球机器人仿真平台 (5)
1.1 Robocup仿真平台 (5)
1.1.1 服务器(Soccer server) (6)
1.1.2 监视器(Soccer monitor) (6)
1.1.3 仿真平台的特点 (7)
1.2 NewNEU仿真服务 (8)
1.3 人机交互服务 (9)
1.4 可扩展功能 (9)
1.5 本章小结 (10)
2Agent的理论基础 (11)
2.1 Agent概念 (11)
2.2 Agent属性 (13)
2.3 Agent结构分类 (13)
2.4 多Agent系统及其研究内容 (15)
2.5 本章小结 (17)
3 RoboCup中的协作策略 (18)
3.1 多智能体学习 (18)
3.2 多智能体的协作 (20)
3.2.1 协作概述 (20)
3.2.2 设计难点 (21)
3.2.3 仿真球队面临的协作问题 (21)
3.2.4 RoboCup仿真中的协作策略分析 (23)
3.3 常用的协作模型 (23)
3.3.1 理性智能体BDI模型 (24)
3.3.2 规划协作模型 (25)
3.3.3 基于学习的自协调协作模型 (25)
3.4 TsinghuAeolus队防守体系中的协作 (26)
3.5 本章小结 (27)
4 决策算法设计与实现 (28)
4.1 决策系统的设计理念和框架 (28)
4.2 基于行为的智能自信度决策算法 (29)
4.3 决策树 (31)
4.4 本章小结 (32)
结论 (33)
致谢 (34)
参考文献 (35)
绪论
近年来，随着人工智能、自动控制、通信工程学、运筹学、系统工程学等领域的快速发展和交叉结合，分布式人工智能(DAI，Distributed Artificial Intelligence)已成为人工智能领域的重要研究方向之一。

多智能体系统(MAS，Multi-Agent System)的研究是DAI的一个前沿学科，而机器人足球仿真比赛RoboCup是一个典型的MAS[1]。

MAS是由多个相互作用的自治智能体形成的集合，是一种分布式自主系统。

其主要研究目标是调和组织多个智能体，实现相互协作来完成一个共同的目标。

多智能体系统的协作是近年来分布式人工智能领域的研究热点，机器人足球仿真比赛是完全分布式的既有合作又有对抗的MAS协作理论的理想测试平台。

就近期来说，RoboCup为人工智能和机器人学提供了一个标准的测试平台，检验信息自动化前沿研究，特别是MAS研究的最新成果，包括动态不确定的对抗环境下的多智能体协作、实时推理、机器学习和策略获取等当前人工智能的热点问题以及自动控制、机器人学、传感与感知融合、无线通信、精密机械和仿生材料等众多学科的前沿研究与综合集成。

机器人足球RoboCup自1997年7月举办以来，到今天已经发展为一项国际性的赛事。

它为机器人学、人工智能、多智能体系统、模式识别、计算机视觉等其他交叉或前沿学科提供了一个理想的仿真和实验平台。

RoboCup的最终目标是在2050年建立一支完全自治的类人机器人足球队，在遵循国际足联比赛规则的前提下，能够战胜当时的世界杯冠军队。

1.1 RoboCup简介
1992年，机器人足球的最初想法是大不列颠哥伦比亚大学的Alan Mackworth教授于正式提出。

同领域学者立即对这一想法进行了系统的调研和可行性分析。

1993年MinoruAsada(浅田埝)、HimakiKitano(北野宏明)和Yasuo Ktmiyoshi等著名学者创办了RoboCup机器人足球世界杯赛。

与此同时，一些研究人员开始将机器人足球作为研究课题。

隶属于日本政府的电子技术实验室(ETL)的Itsuki Noda(松原仁)以机器人足球为背景展开多主体系统的研究，日本大坂大学的浅田埝、美国卡内基梅隆大学的Veloso等也开展了同类工作。

1997年，在国际上最权威的人工智能系列学术大会——第15届国际人工智能联合大会(The 15th International Joint Conference on Artificial Intelligence)上，机器人足球被正式列为人工智能的一项挑战。

至此，机器人足球成为人工智能和机器人学新的标准问题。

RoboCup的最终目标是到21世纪中叶，一支完全自治的人形机器人足球队应该能在遵循国际足联正式规则的比赛中，战胜最近的人类世界杯冠军队。

就近期来说，RoboCup为人工智能和机器人学提供了一个标准的测试平台，检验信息自动化前沿研究，特别是多智能体系统研究的最新成果，包括动态不确定的对抗环境下的多智能体合作、实时推理、机器学习和策略获取等当前人工智能的热点问题以及自动控制、机器人学、传感与感知融合、无线通讯、精密机械和仿生材料等众多学科的前沿研究与综合集成。

并且和影响范围最广的足球运动结合，受到了公众的关注，促进了基础研究和实际应用的联系和转化。

RoboCup机器人足球世界杯赛及学术研讨会是国际上级别最高、规模最大、影响最广泛的机器人足球赛事和学术会议。

从1997年在同本名古屋开始举行第一届比赛后，以后每年举办一次。

现在RoboCup共包括四大项活动，分别是足球比赛、紧急救灾比赛、青少年组比赛和研讨会。

足球比赛是整个比赛的主要部分，包括小型组、中型组、四腿组、类人组和仿真组，除了仿真组比赛是全部通过电脑模拟外，其余的比赛都是以实物机器人形式比赛。

仿真组2D和3D比赛是在一个标准的计算机环境下进行的，是所有RoboCup项目中参赛球队数目最多的一种。

仿真环境与人类足球比赛的环境相似，比赛队员的仿真模型与实际人类足球队员也很接近，比赛规则基本上与国际足球联合会的比赛规则一致，只是在某些方面有很小的改动，比赛采用Client／Server方式，由RoboCup 委员会提供标准的Soccer Server系统，各参赛队编写各自的Client程序，模拟人类足球实际比赛的情况，故其对于分布式人工智能理论的研究具有重要意义。

RoboCup仿真比赛是一个典型的多智能体系统，它提供了一个完全分布式控制、实时异步的多智能体环境，避开了诸如对象识别、通讯和硬件设计等机器人底层问题，使研究人员能够集中精力研究多智能体之间的协作、学习、规划等高层次问题，通过这个平台可以检验各种多智能体理论、算法和智能体的体系结构，在实时异步、
有噪声的对抗环境下模拟实际足球队员的比赛，研究多智能体间的合作和对抗问题。

1.2 国外研究现状
近几年，参加RoboCup仿真比赛的球队发展非常迅速，基本上都实现了个人技术和多Agent之间的合作技术，迅速发展的先进智能算法得到了充分运用，并取得了较好的效果。

美国卡耐基梅隆大学的PeterStone在其博士论文中提出将分层学习的方法运用于RoboCup的研究，使用层学习技术来设计和实现机器人的基本动作和顶层决策，将决策分为底层技术层和顶层决策层，在不同的层次采用不同的方法进行决策，上层决策构筑在下层决策之上。

复杂的决策任务被分层后，分到每个层次的决策任务就变得简单了。

卡尔斯鲁厄大学将再励学习(Reinforcement Learning)作为主要的研究方向，期望做到通过告诉Agent去完成进球的任务，而Agent便能够自主的通过和环境的交互，学习各种技能甚至是策略。

从思维层次上说，再励学习模仿的是人类较低级的智能行为，很难表现出如推理这类人类思维中较高级、较抽象的行为。

德国汉堡大学采用Case—Base的方法研究RoboCup，主要是定义各种典型的场景，根据当前场景和典型场景的匹配程度来进行决策。

这种方法无法克服状态空间巨大的问题，而且很难满足环境对动态性的要求。

荷兰阿姆斯特丹大学的UVA Trilearn球队是RoboCup2003仿真组的冠军，在2001至2005连续五年的仿真组比赛中，均获得前十名的优秀成绩。

他们开发了智能体的底层代码，设计了一个简单有效的策略高层，并在RoboCup2001仿真组中获得第四名。

之后他们的研究主要集中在高层策略中多智能体的相互协作上。

葡萄牙Aveiro和Porto大学的FC Portugal队是2000年RoboCup仿真组的冠军，他们的主要特点是充分利用人类足球的知识和建立准确的世界模型。

由于环境具有噪声而且是部分可观的，如何充分利用得到的信息去推测当前的世界模型成了比赛的一个关键所在。

1.3 国内研究现状
国内著名的球队有清华大学的TsinghuAelous，该队的研究重点在智能体的可调节性上，智能体根据来自教练和其他智能体的建议来调节决策参数，对每一个动作
的使用和选择都比较合理，个体技术较强，如截球、带球等具有较高水平，在此基础上其采取的进攻跑位和防守跑位策略实现的协作准确性很高。

另外一支是中国科技大学的WrightEagle在智能体结构方面采用了BDI模型，也成功地实现了多智能体之间的协作。

国内对RoboCup这一典型MAS的研究虽然起步较晚，但仿真球队一直处于世界领先水平。

到今年为止，中国机器人竞赛共举行了六届，而且在2006年还举行了首届RoboCup中国公开赛，全国30多所大学和研究机构都在进行这方面的研究工作。

清华大学TsinghuAeolm仿真球队获得RoboCup机器人足球世界杯赛仿真组2001、2002年冠军、2003年、2006年亚军。

浙江大学ZJUBase3D仿真球队获得2006年R oboCup世界杯赛的第三名。

中国科学技术大学WrightEagle2D和3D仿真球队在2006年RoboCup 世界杯赛中分别获得2D组冠军、3D组亚军，在2007年RoboCup世界杯赛中获得2D组亚军、3D组冠军。

东南大学3D季军。

中南大学CSU YunLu在2005年中国机器人大赛、2006和2007年中国机器人大赛暨RoboCup公开赛中均获2D和3D仿真球队三等奖。

1.4 论文的组织
绪论简要介绍了本课题的研究背景、RoboCup的起源、国内外的研究现状以及本文研究的内容。

第一章介绍了RoboCup仿真平台的组成。

第二章介绍了Agent的基础理论。

第三章介绍了RoboCup中的协作策略，首先介绍了多智能体的协作技术，在介绍了常用的协作模型后分析了它们的具体应用，最后分析了清华TsinghuAeolus队防守体系中的协作机制。

第四章具体阐述了决策算法的设计与实现，提出一种基于行为的Multi—Agent 决策模型，提高决策的速度和智能性。

1 足球机器人仿真平台
RoboCup仿真比赛在标准的计算机环境下进行，比赛模拟了人类足球比赛的实际情况，比赛队员的仿真模型与人类足球队员接近，比赛规则也基本上与国际足球联合会的比赛规则一致，主要区别在于2D仿真平台模拟的是二维平面，没有高度的概念。

仿真比赛环境避开了诸如对象识别、通信和硬件设计等机器人底层问题，使研究人员能够集中精力研究多智能体之间的协作和学习等高层次问题。

另外建立仿真比赛的研究平台只需少量资金投入。

因此，仿真比赛成为所有RoboCup比赛项目中参赛队伍最多的一种。

RoboCup仿真比赛提供了一个完全分布式控制、实时异步的多智能体环境，通过这个平台，测试各种理论、算法和智能体体系结构，在实时异步、有噪声的对抗环境下，研究多智能体问的合作和对抗问题。

1.1 RoboCup仿真平台
RoboCup仿真比赛规则基本上与国际足球联合会的比赛规则一致。

仿真比赛在一个标准的计算机环境RoboCup仿真系统中进行。

仿真平台包含两个程序：Soccer server 和Soccer monitor。

Soccer server[2]提供了一个虚拟场地，模拟球和所有球员的动作，负责服务器和客户端之间的通信和根据规则控制比赛过程。

Soccer monitor是一个用来将比赛的虚拟场地显示在计算机屏幕上的一个程序。

RoboCup仿真比赛采用Client ／Server方式运行：服务器端运行Soccer server程序为比赛提供平台；客户端运行各参赛队伍编写的球员程序，每个球员就是一个自治智能体，模拟实际足球队员进行比赛。

每个客户端(Client或Player)程序只能控制一名球员，所以每个参赛队伍的球员数和客户端程序数目相同。

不同客户端程序之间的通信必须通过Soccer server执行say和hear命令来实现。

仿真系统的结构如图1-1所示，从中看出Server与Agent间的C ／S关系。

仿真系统的一个目的就是用来评价MAS的，在这个系统中多智能体之间的通信效率也是一个评价的标准。

参赛队伍必须使用这种受限的通信来实现对多智能体的控制。

图1-1 仿真系统的结构
1.1.1 服务器(Soccer server)
由于比赛以Client／Server方式运行，在服务器和每个客户端程序之间的所有通信都是通过一个UDP socket来进行的，所以参赛队伍可以使用任何支持UDP／IP协议的操作系统平台和编程语言来设计自己的客户端程序。

每个客户端程序是一个独立的进程，通过特定的端口地址连接至Soccer server上。

每个队伍能启动11个客户端(或球员)和一个在线教练(online coach)。

客户端程序根据自己想要执行的动作向服务器发送命令请求(比如kick，turn或run等)，服务器收到这些命令后处理这些请求并响应更新比赛的环境。

除此之外，服务器还向每个球员提供感知信息(比如球、球门和其他队员的位置信息)。

客户端程序就像是球员的大脑：从服务器接收视觉和听觉信息，根据这些信息做出决策，然后发送控制命令到服务器。

服务器通过将时间分割成离散的时间片来实现一个实时系统，每个周期有特定的长度，任何需要在给定周期内完成的动作必须在相应的周期内到达服务器。

因此，效率引起的丢失动作执行机会对整个队伍的比赛成绩有很大的影响。

1.1.2 监视器(Soccer monitor)
监视器作为一个特殊的客户端程序连接至Soccer server上，是一个可视化工具，用来动态实时显示比赛过程中的服务器信息。

这些信息包括：当前比分、参赛双方队伍名称、足球场地、球员和球的位置等。

同时Soccer monitor程序也提供了控制服务器的一些简单接口，比如参赛双方的客户端连接到服务器后，可以按Soccer monitor
的“Kick-Of”按钮来开始比赛。

对于一场比赛的进行，Soccer monitor不是必须的，然而如果需要，多个Soccer monitor可以同时连接到服务器上，如想在不同的终端上显示比赛。

仿真环境如图1-2所示。

图1-2 仿真环境
1.1.3仿真平台的特点
作为一个试验平台，仿真比赛系统提供了一个全分布的、包括合作与对抗的多主体实时环境，很有挑战性[3]。

其具有如下特点：
(1)分布式多主体团队合作和对抗。

所有客户端程序分别控制场上的一名球员或教练，自主决策，分布运行，队友之间有合作，对手之间有对抗。

(2)动态、实时、不确定环境。

在服务器端，整个系统按照100毫秒的周期运转，所有球员都必须按照这个周期运行，意味着球员的所有决策都必须实时完成，由于多主体的存在，环境在动态的转变，无法预知。

(3)感知和行为异步。

由于比赛时间以周期为单位离散，感知和行为就无法同步，所以仅靠传统人工智能方法使用感知来激发行动是远远不够的。

(4)球员能力受限。

场上所有球员的能力都是参照真实球员有所限制的，如体力、加速度、最大速度、惯性等。

(5)视觉受限。

每个球员的视觉都是局部的，受到球员视角和视距的限制，也就
是说球员在任何时刻都只能获得一部分球场上的信息。

这就给球员正确分析场上形势，进而做出决策带来了困难。

(6)通讯受限。

球员之间的通讯环境具有单信道、窄带宽等特点，即每队球员公用一条信道，每个球员一个周期内只能“听”到队友一条消息，而且信道容量很有限(缺省为lO字节)。

这样，现有的一些团队合作理论就很难直接应用，因为目前大部分合作理论前提都是要求通讯是及时的、完全的。

(7)多噪声源。

为了真实模拟实际比赛，仿真世界里球员感知和动作都带有噪声，使得球员既无法精确地感知世界也不能完全按照它的意图影响世界。

(8)连接不可靠。

平台网络连接使用UDP／IP，不确保所有信息的正确及时到达，在网络繁忙时一些信息甚至会丢失，这也体现了比赛环境的不确定性，球员程序必须能够适应这一环境。

1.2 NewNEU仿真服务
NewNEU仿真服务是NewNEU足球机器人3D仿真平台的主运行服务，主要功能是仿真引擎服务和人机交互服务的消息处理、维护仿真环境的状态、保证比赛的时序和逻辑等。

NewNEU仿真服务主要包括以下模块：
(1)自动裁判模块
自动裁判模块根据仿真环境中的实时状态数据，依据比赛规则裁定简单的犯规，裁决进球等。

(2)回放模块
回放模块主要功能是实现实时在线回放。

反复再现比赛情况，使裁判有充分时间观察某一段时间的比赛，最大限度地保证比赛公平合理地进行，同时也可以多次欣赏比赛的精彩瞬间。

(3)时序控制模块
时序控制模块主要功能是保障比赛高效有序的运行。

控制比赛的运行，停止以及适时调用自动裁判模块处理复杂的情况。

(4)决策模块
决策模块主要功能是调用外部的决策文件（DLL）实现决策控制。

在实时采集仿真环境中足球机器人和足球的位姿信息后，调用决策文件，用返回的控制量控制
足球机器人比赛。

1.3 人机交互服务
人机交互服务是足球机器人仿真平台的主控制服务，主要功能是显示比赛的运行情况、设置比赛的相关参数以及足球机器人的测试等。

人机交互服务主要包括以下模块：
(1)2D全景视图模块
2D全景视图模块根据比赛的状态数据，同步显示平面的比赛示意图，使用户能够以全局和队形的角度去观看比赛。

(2)比赛设置模块
比赛设置模块实现对比赛的时间、比赛模式等自定义设置。

同时为犯规等特殊情况提供开球方式的选择，NewNEU足球机器人3D仿真平台支持手动设置队形。

(3)状态显示模块
状态显示模块将比赛运行时间、比分以及比赛状态等显示在控制面板。

1.4 可扩展功能
NewNEU足球机器人3D仿真平台现在具备的主要功能有：3D/2D实时显示、实时回放、裁判逻辑、人机交互等。

在开发过程中预留的开发接口使得仿真平台具有很好的可扩展性，待扩展的高级功能有：
(1)智能裁判
仿真比赛的速度比较快的,而现在并没有像现实足球比赛中的专职的国际裁判,智能裁判功能能够减少需要人工判断的情况，降低人的干预，有效的防止误判和错判的情况发生,使比赛更公平合理。

(2)比赛录像
记录整场比赛的过程能够方便比赛双方根据需要回放比赛，更好的分析决策，从而改进算法的缺陷。

(3)自动开球
在仿真比赛的过程中，在进球或者违规之后都要开球，因此需要人工重新放置足球机器人。

人工方式不仅浪费时间而且准确性不够，利用决策文件自动形成开球阵形将是比较好的方法。

(4)动态加载决策DLL
在不重新启动仿真环境的情况下,能够根据需要实时更换决策DLL，方便用户操作与决策效果比较。

(5) Matlab实时引擎支持
使仿真环境能够与Matlab高级语言进行实时动态数据交互，充分发挥Matlab科学计算和算法开发的优越性，将Matlab数据分析与仿真集成到仿真环境中。

1.5 本章小结
本章系统地介绍了RoboCup仿真平台的组成以及仿真平台的特点，NewNEU仿真服务的功能模块，人机交互服务及其可扩展功能。

2 Agent的理论基础
2.1 Agent概念
随着人类社会进入信息化时代，各种新的信息资源以极高的速度大量涌现，其中多数为不同形式的异质信息，这些信息采用不同的标准，提供不同的信息服务。

人们开发出了大量的软件产品，服务于各个不同领域。

但要使多种孤立的软件协作完成一项复杂任务，却常常需要花费大量的人力和物力。

通常人们将分布式人工智能的研究分为两个领域，一个是分布式问题求解(DPS)，另一个则是多Agent系统(Multi—Agent System—MAS)。

前者主要研究任务的分解和协作完成任务，后者则着重研究Agent之间在自治基础上的协商和协作。

现在IT界的Agent概念是由MIT的著名计算机学家及人工智能学科创始人之一Minsky提出的，他的“Society of Mind”一书将社会与社会行为概念引入计算系统。

传统的计算系统是封闭的，需要满足一致性要求。

然而社会机制是开放的，不能满足一致性条件，这种机制中的部分个体在矛盾的情况下，需要通过某种协商机制达成一个可接受的解。

Minsky将信息世界中的这种个体称为Agent。

Agent是一些具有特别技能的个体，这些个体的有机组合构成信息世界的多Agent系统。

Simon的有限性理论是多Agent系统思想形成的另一个重要基础。

Simon认为一个大的结构把许多个体组织起来可以弥补个体工作能力的有限：每个个体负责一项专门的任务，可以弥补个体学习新任务能力的有限；社会机构间有组织的信息流动可以弥补个体知识的有限：精确的社会机构和明确的个体任务，可以弥补个体处理信息和应用信息、能力的有限。

随着Internet的飞速发展，智能Agent和多Agent系统理论被越来越多的应用系统所使用，智能Agent和多Agent系统已经成为分布式人工智能研究的核心问题，并且对于Agent的研究也已经成为人工智能的核心问题。

斯坦福大学计算机科学系的Barbara Hayers．Rot h在IJCAI’95的特约报告中谈到：“智能的计算机Agent既是人工智能的最初的目标，也是人工智能最终的目标。

”
Agent可被看作是在线的伪人类(peseudo—people)。

Agent是组成所谓Agent社团的成员。

Agent可以是一个人、一台机器或者一个软件。