第5单元——Agent的复杂系统建模与模拟方法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通信动作类型 消息开始 消息内容表达式
消息参数
消息结尾
(inform :content (price(bid good2) 150) :sender agent1 :receiver auction-server :in-reply-to round4 :reply-with bid04 :languange KIF :ontology auction )
仿真模型 虚实世界 校核 组成 计算实体 转换 概念模型 反馈 主体交互模型 仿真结果 运行
多 主 体 仿 真 基 本 过 程
各类主体模型 反馈 抽象 识别微观个体
校核、验证
分析
结论 初步验证 假设
实际系统
观察
微观 数据
宏观 数据
多主体仿真过程的特点
• 在对实际系统进行观察时应同时收集微观 数据和宏观数据。 • 概念模型采用多主体视角建立。 • 仿真模型一般采用多主体技术实现。 • 模型验证采用微观和宏观相结合的方法。 • 仿真所得到的结论主要用来帮助理解系统 微观和宏观的联系。
（3）与元胞自动机的区别 空间结构：规则/灵活 个体记忆：无/有或无 学习推理：一般无/一般有 交互结构：临近/网络
5.3 多主体仿真的实现技术
5.3.1 主体构建技术 （1）产生式系统
• 一个产生式系统包括三个部分：规则集、事实库和控制器。
– 规则集存储有关问题的状态转移、性质变化等过程性知识，简单 产生式规则的形式为“if…,then…”,每个规则有条件和行为两部分 组成，当前提条件满足时就执行动作。 – 事实库存储关于目前环境/自身状态、性质等信息，由此决定某个 规则的前件是否满足。 – 控制器根据主体的性质选择控制策略，将规则与事实进行匹配， 消解冲突，进行推理，实现主体决策，产生行动。
u 1 r : e0 a0 e1 a1 e 2 a2 a eu
Choose : E * A
为环境演化的状态序列。
E*
• 主体的动作将对环境状态产生影响，定义 影响函数为：
Change : E A ( E )
• 标准主体定义为以下三元组：
Agent A, Choose, Change
inform-result:inform [query-ref]
5.2 多主体建模与仿真
5.2.1 多主体建模思想 ABM：MAS是对人类或生物群体的自然隐喻，采用多主体观 点可以更自然的对这些系统建模，由此形成了基于主体的 建模方法（Agent-Based Modeling，ABM ）。 ABM的基本出发点是： 许多系统可以看作是由多个自治的主体构成的，主体之间 的相互作用是系统宏观模式出现的根源，通过建立主体模 型，可以更好的理解和解释这些系统。
• 这三个方面密切配合，才能实现主体之间 的协作。
（1）主体通信语言
• 主体通信语言
– 是一种用于表达主体之间交互消息的描述性语 言，
– 它定义了交互消息的格式（即语法）和内涵 （即语义）。
• 影响较大的主体通信语言：
– KQML – ACL
ACL 消息结构
• 一个ACL消息是由通信行为、通信内容以及 一组消息参数等几部分组成
5.1.3 主体的一般结构
• 从计算的角度看，主体是一个计算实体，
– – – – 具有属于自身的资源， 能够感知环境信息， 根据内部的行为控制机制确定主体应采取的行动， 主体的行动实施后，将对自身状态和环境状态产生影响。
• 要实现这样的主体，可以采用不同的结构。 • 所谓结构就是定义主体的基本成分以及各成分之间的关系 和交互机制。 • 对特定的应用场合采用某种结构可能会更自然，也更容易 理解。
• 对主体而言，学习的含义是
– 主体根据所观察到的事件，在连续交互过程中 结构化的修改行为策略，改进它的性能。
（1）强化学习
• 基本思想：
– 如果某个行动引起的后果较好，则在以后增加 使用该行动的可能，反之则减少。
• 强化学习主体的一般结构 ：
Agent 状态st 回报rt rt+1 环境 st+1 行为at
• 主体的强概念主要应用在人工智能领域
• 认为主体是一个计算机系统，除了上述弱 概念说明的特性外，主体还应该具有人类 的某些一般特性，如知识、信念、意图、 承诺等心智状态，甚至具有情感等
5.1.2 多主体系统(Multi-Agent Systems)
（1）为什么需要多主体系统？
– 单一主体很难对存在于动态开放环境之中的 大规模复杂问题进行求解 。
（3）多主体系统的结构
• 各个主体相对独立，主体之间可能存在复 杂的关系
Agent 交互 结构关系
作用范围 环境
主体之间的关系类型
• 结构相关
结构相关性是指不同主体之间具有结构关系，如小组关系、 上下级关系等。 这种结构关系将对系统中主体的运行以及主体之间的相互 作用产生影响。
• 行为相关
不同的主体对环境的一部分产生影响， 某些主体的影响范围发生重叠，则它们之间就产生了行为 上的相互影响。
（1）标准主体
主体
动作决策部件 感知输入 动作输出
环境
形式化
• 假设环境变化可以抽象为一个环境状态序列，环境在任何离散的 瞬时状态的有穷集合为:
E {e 0 , e1 , e 2 , }
• 主体有一个可执行动作集合
A {a 0 , a1 , a 2 , }
• 主体在环境中的一次执行r是环境状态与主体动作的一个交替序列： • 主体的动作决策部件可以定义为以下函数：
（2）面向对象技术
• 为每类主体设计相应的类，用属性表达主 体的内部状态，用方法表示主体的行为。
• 多主体系统中的主体本质பைடு நூலகம்是并发的。主 体的主动性和并发性需要在面向对象框架 中采用一定的技术手段进行模拟。
5.3.2 主体的学习算法
• 学习是智能生物的一个重要特征
– 如果一个系统能够通过执行某个过程改进他的 性能，我们就认为它有学习能力。
Initiator
query-if
Participant
query-ref
查 询 交 互 协 议
refuse [refused]
agree [agreed and notification necessary]
failure
inform-t/f:inform [query-if] [agreed]
– 状态1为(1,1),2为（1，0）,3为(0,1),4为(0,0)
• 个体的一个策略就可以用位串表示 • 例如针锋相对（TFT）策略就是：
– – – – – 初次选择行动1 if State 1,then choose action 1; if State 2,then choose action 0; if State 3,then choose action 1; if State 4,then choose action 0;
主体
感知 部件 感知输入 动作决策 部件 动作输出
环境
（4）具有状态部件的主体
• 一种与标准主体等价的表示方法，思路是 认为Agent具有内部状态
主体
感知 部件 状态 转换 动作决策 部件
状态
感知输入
动作输出
环境
5.1.4主体之间的通信与交互
• 主体之间实现交互需要三个方面的技术保 障：
– 要有一致的消息协议， – 要有实现通信的机制， – 要有高层的交互协议。
（2）Agent的定义
• 研究人员对Agent的理解并不一致，至今还没有一个普遍 接受的关于Agent的定义。 • “Agent”一般用来描述自包含的、能感知环境并能在一定 程度上控制自身行为的计算实体。 • Hewitt:“什么是主体对于基于主体的计算来说是个尴尬的 问题，就像主流的人工智能研究中什么是智能这个问题一 样”
目标是学习一个策略π：S→A，使系统选择的动作能够获得回报的累计值最大。
Roth-Erev算法
• 初始化：选择各行动的倾向（Propensity） • 重复:
– 根据各个行动的倾向计算选择概率 – 按概率选择行动 – 根据该行动的回报调整其倾向
• 返回
行动倾向的更新方法：
q j (t 1) [1 ]q j (t ) E j ( , k , t )
– 即对环境的感知和影响。无论主体生存在现实世界还是虚拟世界，主体 都应该可以感知所处环境，并能及时地对环境中发生的变化做出反应， 通过行为影响环境。
• 预动性(pro-activeness)：
– 主体不是简单的对环境被动反应，而是能采取主动，表现出目标导向 （goal-directed）的行为。
（4）主体的强概念
（2）通信方式
• 主体之间常用的通信机制有三种：
– 黑板机制 – 邮箱机制 – 消息传递机制
（3）交互协议
• 交互协议定义了主体之间为了进行协作， 实现某个特定目标而进行交互的结构化消 息。 • FIPA对一些典型的对话定义了交互协议，
– 请求(request) – 查询(query) – 合同网(contract-net) – 代理(broking) – 订阅(subscribe) – 建议(propose)
– 人类智能本质上是社会性的，人们往往为解 决复杂问题组织起来，这些组织能够解决任 何个人都无法解决的问题。
（2）多主体系统的特点
• 概念：
多主体系统是由多个可以相互交互的主体所组成的系统。 • 多主体系统的特点：
– – – – 有限视角，即每个主体都面临不完全信息，或只具备有限能力； 没有系统全局控制； 数据分散； 计算是异步的
第5单元 基于Agent的复杂系统 建模与模拟方法
本章内容
• • • • • 主体与多主体系统 多主体建模与仿真 多主体模型的实现 多主体仿真在社会科学中的应用 Aspen多主体经济模型
5.1 主体与多主体系统
5.1.1 主体概念 （1）主体的来源
Agent ：主体，智能体，代理
来源于分布式人工智能领域 Minsky，1986《The Society of Mind》 1990s在人工智能领域得到重视 1990s~ 在其他领域广泛应用
rk (t )[1 ] if j k E j ( , k , t ) q j (t ) N 1 if j k
概率计算
• 将倾向转换为选择概率有多种方法，较简 单的一种是计算相对倾向作为概率：
q j (t )
p j (t )
[q
m
(t )]
（2）遗传算法
5.2.2 多主体仿真研究框架
• 用多主体思想建立的复杂系统模型往往用仿真技术求解。 这样就形成了多主体仿真(Multi-Agent Simulation) 技术。 • 多主体仿真方法的本质特征是采用多主体视角建立实际系 统的概念模型
– 首先辨识组成实际系统的微观个体，将这些个体抽象为具有自 治性的主体， – 主体之间通过相互作用构成一个多主体系统 – 以这样的多主体概念模型为基础通过仿真计算展开研究。
• 基本思想：
– 首先将状态-行动对表达为染色体， – 然后主体在动态环境中感知状态→选择行动→ 得到回报→计算适应度， – 根据个体适应度指标淘汰低适应度个体， – 染色体之间进行交叉，以小概率发生变异，产 生下一代种群，重复进行…。
例：多人囚徒困境博弈
• 状态State=(上次行动，上轮对手行动) • 主体的行动有两种：合作=1，欺骗=0 • 有四种可能的状态，编码为
5.2.3 与其它仿真方法的比较
（1）与离散事件系统仿真的区别 基本要素：事件/主体 状态变化：串行/并发 结构变化：无/有 学习适应：无/有
5.2.3 与其它仿真方法的比较
（2） 与微观分析模拟的区别 应用目的：政策效果/理论揭示 个体动机：无/有 个体交互：无/有
5.2.3 与其它仿真方法的比较
（2）纯反应式主体
• 有一种Agent决策完全基于当前状态，不考 虑过去的状态。 • 这种Agent只是直接对环境做出反应，因此 称为纯反应式Agent。
• 其动作决策部件与标准主体有所不同，决 策函数为： Choose : E A
r
（3）具有感知部件的主体
• 将标准主体的决策部件分解为感知子系统 和动作子系统，称为具有感知部件的Agent。
（3）主体的弱概念
主体的弱概念从广义的角度规定主体的特性：
• 自治性(autonomy)：
– 主体的运行不受人或其它物的直接控制，它对自己的行动和内部状态有 一定程度的控制权。
• 社会能力(social ability)：
– 主体通过某种主体通信语言与其它主体或人进行信息交互。
• 反应能力(reactivity)：
消息参数
消息结尾
(inform :content (price(bid good2) 150) :sender agent1 :receiver auction-server :in-reply-to round4 :reply-with bid04 :languange KIF :ontology auction )
仿真模型 虚实世界 校核 组成 计算实体 转换 概念模型 反馈 主体交互模型 仿真结果 运行
多 主 体 仿 真 基 本 过 程
各类主体模型 反馈 抽象 识别微观个体
校核、验证
分析
结论 初步验证 假设
实际系统
观察
微观 数据
宏观 数据
多主体仿真过程的特点
• 在对实际系统进行观察时应同时收集微观 数据和宏观数据。 • 概念模型采用多主体视角建立。 • 仿真模型一般采用多主体技术实现。 • 模型验证采用微观和宏观相结合的方法。 • 仿真所得到的结论主要用来帮助理解系统 微观和宏观的联系。
（3）与元胞自动机的区别 空间结构：规则/灵活 个体记忆：无/有或无 学习推理：一般无/一般有 交互结构：临近/网络
5.3 多主体仿真的实现技术
5.3.1 主体构建技术 （1）产生式系统
• 一个产生式系统包括三个部分：规则集、事实库和控制器。
– 规则集存储有关问题的状态转移、性质变化等过程性知识，简单 产生式规则的形式为“if…,then…”,每个规则有条件和行为两部分 组成，当前提条件满足时就执行动作。 – 事实库存储关于目前环境/自身状态、性质等信息，由此决定某个 规则的前件是否满足。 – 控制器根据主体的性质选择控制策略，将规则与事实进行匹配， 消解冲突，进行推理，实现主体决策，产生行动。
u 1 r : e0 a0 e1 a1 e 2 a2 a eu
Choose : E * A
为环境演化的状态序列。
E*
• 主体的动作将对环境状态产生影响，定义 影响函数为：
Change : E A ( E )
• 标准主体定义为以下三元组：
Agent A, Choose, Change
inform-result:inform [query-ref]
5.2 多主体建模与仿真
5.2.1 多主体建模思想 ABM：MAS是对人类或生物群体的自然隐喻，采用多主体观 点可以更自然的对这些系统建模，由此形成了基于主体的 建模方法（Agent-Based Modeling，ABM ）。 ABM的基本出发点是： 许多系统可以看作是由多个自治的主体构成的，主体之间 的相互作用是系统宏观模式出现的根源，通过建立主体模 型，可以更好的理解和解释这些系统。
• 这三个方面密切配合，才能实现主体之间 的协作。
（1）主体通信语言
• 主体通信语言
– 是一种用于表达主体之间交互消息的描述性语 言，
– 它定义了交互消息的格式（即语法）和内涵 （即语义）。
• 影响较大的主体通信语言：
– KQML – ACL
ACL 消息结构
• 一个ACL消息是由通信行为、通信内容以及 一组消息参数等几部分组成
5.1.3 主体的一般结构
• 从计算的角度看，主体是一个计算实体，
– – – – 具有属于自身的资源， 能够感知环境信息， 根据内部的行为控制机制确定主体应采取的行动， 主体的行动实施后，将对自身状态和环境状态产生影响。
• 要实现这样的主体，可以采用不同的结构。 • 所谓结构就是定义主体的基本成分以及各成分之间的关系 和交互机制。 • 对特定的应用场合采用某种结构可能会更自然，也更容易 理解。
• 对主体而言，学习的含义是
– 主体根据所观察到的事件，在连续交互过程中 结构化的修改行为策略，改进它的性能。
（1）强化学习
• 基本思想：
– 如果某个行动引起的后果较好，则在以后增加 使用该行动的可能，反之则减少。
• 强化学习主体的一般结构 ：
Agent 状态st 回报rt rt+1 环境 st+1 行为at
• 主体的强概念主要应用在人工智能领域
• 认为主体是一个计算机系统，除了上述弱 概念说明的特性外，主体还应该具有人类 的某些一般特性，如知识、信念、意图、 承诺等心智状态，甚至具有情感等
5.1.2 多主体系统(Multi-Agent Systems)
（1）为什么需要多主体系统？
– 单一主体很难对存在于动态开放环境之中的 大规模复杂问题进行求解 。
（3）多主体系统的结构
• 各个主体相对独立，主体之间可能存在复 杂的关系
Agent 交互 结构关系
作用范围 环境
主体之间的关系类型
• 结构相关
结构相关性是指不同主体之间具有结构关系，如小组关系、 上下级关系等。 这种结构关系将对系统中主体的运行以及主体之间的相互 作用产生影响。
• 行为相关
不同的主体对环境的一部分产生影响， 某些主体的影响范围发生重叠，则它们之间就产生了行为 上的相互影响。
（1）标准主体
主体
动作决策部件 感知输入 动作输出
环境
形式化
• 假设环境变化可以抽象为一个环境状态序列，环境在任何离散的 瞬时状态的有穷集合为:
E {e 0 , e1 , e 2 , }
• 主体有一个可执行动作集合
A {a 0 , a1 , a 2 , }
• 主体在环境中的一次执行r是环境状态与主体动作的一个交替序列： • 主体的动作决策部件可以定义为以下函数：
（2）面向对象技术
• 为每类主体设计相应的类，用属性表达主 体的内部状态，用方法表示主体的行为。
• 多主体系统中的主体本质பைடு நூலகம்是并发的。主 体的主动性和并发性需要在面向对象框架 中采用一定的技术手段进行模拟。
5.3.2 主体的学习算法
• 学习是智能生物的一个重要特征
– 如果一个系统能够通过执行某个过程改进他的 性能，我们就认为它有学习能力。
Initiator
query-if
Participant
query-ref
查 询 交 互 协 议
refuse [refused]
agree [agreed and notification necessary]
failure
inform-t/f:inform [query-if] [agreed]
– 状态1为(1,1),2为（1，0）,3为(0,1),4为(0,0)
• 个体的一个策略就可以用位串表示 • 例如针锋相对（TFT）策略就是：
– – – – – 初次选择行动1 if State 1,then choose action 1; if State 2,then choose action 0; if State 3,then choose action 1; if State 4,then choose action 0;
主体
感知 部件 感知输入 动作决策 部件 动作输出
环境
（4）具有状态部件的主体
• 一种与标准主体等价的表示方法，思路是 认为Agent具有内部状态
主体
感知 部件 状态 转换 动作决策 部件
状态
感知输入
动作输出
环境
5.1.4主体之间的通信与交互
• 主体之间实现交互需要三个方面的技术保 障：
– 要有一致的消息协议， – 要有实现通信的机制， – 要有高层的交互协议。
（2）Agent的定义
• 研究人员对Agent的理解并不一致，至今还没有一个普遍 接受的关于Agent的定义。 • “Agent”一般用来描述自包含的、能感知环境并能在一定 程度上控制自身行为的计算实体。 • Hewitt:“什么是主体对于基于主体的计算来说是个尴尬的 问题，就像主流的人工智能研究中什么是智能这个问题一 样”
目标是学习一个策略π：S→A，使系统选择的动作能够获得回报的累计值最大。
Roth-Erev算法
• 初始化：选择各行动的倾向（Propensity） • 重复:
– 根据各个行动的倾向计算选择概率 – 按概率选择行动 – 根据该行动的回报调整其倾向
• 返回
行动倾向的更新方法：
q j (t 1) [1 ]q j (t ) E j ( , k , t )
– 即对环境的感知和影响。无论主体生存在现实世界还是虚拟世界，主体 都应该可以感知所处环境，并能及时地对环境中发生的变化做出反应， 通过行为影响环境。
• 预动性(pro-activeness)：
– 主体不是简单的对环境被动反应，而是能采取主动，表现出目标导向 （goal-directed）的行为。
（4）主体的强概念
（2）通信方式
• 主体之间常用的通信机制有三种：
– 黑板机制 – 邮箱机制 – 消息传递机制
（3）交互协议
• 交互协议定义了主体之间为了进行协作， 实现某个特定目标而进行交互的结构化消 息。 • FIPA对一些典型的对话定义了交互协议，
– 请求(request) – 查询(query) – 合同网(contract-net) – 代理(broking) – 订阅(subscribe) – 建议(propose)
– 人类智能本质上是社会性的，人们往往为解 决复杂问题组织起来，这些组织能够解决任 何个人都无法解决的问题。
（2）多主体系统的特点
• 概念：
多主体系统是由多个可以相互交互的主体所组成的系统。 • 多主体系统的特点：
– – – – 有限视角，即每个主体都面临不完全信息，或只具备有限能力； 没有系统全局控制； 数据分散； 计算是异步的
第5单元 基于Agent的复杂系统 建模与模拟方法
本章内容
• • • • • 主体与多主体系统 多主体建模与仿真 多主体模型的实现 多主体仿真在社会科学中的应用 Aspen多主体经济模型
5.1 主体与多主体系统
5.1.1 主体概念 （1）主体的来源
Agent ：主体，智能体，代理
来源于分布式人工智能领域 Minsky，1986《The Society of Mind》 1990s在人工智能领域得到重视 1990s~ 在其他领域广泛应用
rk (t )[1 ] if j k E j ( , k , t ) q j (t ) N 1 if j k
概率计算
• 将倾向转换为选择概率有多种方法，较简 单的一种是计算相对倾向作为概率：
q j (t )
p j (t )
[q
m
(t )]
（2）遗传算法
5.2.2 多主体仿真研究框架
• 用多主体思想建立的复杂系统模型往往用仿真技术求解。 这样就形成了多主体仿真(Multi-Agent Simulation) 技术。 • 多主体仿真方法的本质特征是采用多主体视角建立实际系 统的概念模型
– 首先辨识组成实际系统的微观个体，将这些个体抽象为具有自 治性的主体， – 主体之间通过相互作用构成一个多主体系统 – 以这样的多主体概念模型为基础通过仿真计算展开研究。
• 基本思想：
– 首先将状态-行动对表达为染色体， – 然后主体在动态环境中感知状态→选择行动→ 得到回报→计算适应度， – 根据个体适应度指标淘汰低适应度个体， – 染色体之间进行交叉，以小概率发生变异，产 生下一代种群，重复进行…。
例：多人囚徒困境博弈
• 状态State=(上次行动，上轮对手行动) • 主体的行动有两种：合作=1，欺骗=0 • 有四种可能的状态，编码为
5.2.3 与其它仿真方法的比较
（1）与离散事件系统仿真的区别 基本要素：事件/主体 状态变化：串行/并发 结构变化：无/有 学习适应：无/有
5.2.3 与其它仿真方法的比较
（2） 与微观分析模拟的区别 应用目的：政策效果/理论揭示 个体动机：无/有 个体交互：无/有
5.2.3 与其它仿真方法的比较
（2）纯反应式主体
• 有一种Agent决策完全基于当前状态，不考 虑过去的状态。 • 这种Agent只是直接对环境做出反应，因此 称为纯反应式Agent。
• 其动作决策部件与标准主体有所不同，决 策函数为： Choose : E A
r
（3）具有感知部件的主体
• 将标准主体的决策部件分解为感知子系统 和动作子系统，称为具有感知部件的Agent。
（3）主体的弱概念
主体的弱概念从广义的角度规定主体的特性：
• 自治性(autonomy)：
– 主体的运行不受人或其它物的直接控制，它对自己的行动和内部状态有 一定程度的控制权。
• 社会能力(social ability)：
– 主体通过某种主体通信语言与其它主体或人进行信息交互。
• 反应能力(reactivity)：