随机演化博弈的算法研究

演化博弈论的文献综述

溯源 1798，Malthus的“人口论”； 1887，Darwin的“物种起源”；

当代演化博弈论在生物学上的起源 Lewontin (1961) 物种与生存环境 Smith与Price(1973)生物之间的有限战争 Smith(1982) 专著; Taylor和Jonker(1978)
个体相互作用内涵的转变
策略内涵的转变
均衡内涵的转变
演化稳定策略（ESS）
用J（p, q）来表示一个物种的策略p遇到策略q时 的收益函数。
策略p* 被称为是一个ESS，如果
J（p*, p* ） 〉 J（p, p* ）
微分方程的稳定性
或者当J（p*, p* ） = J（p, p* ）时，
J（p*, p ） 〉 J（p, p ）。 马氏链的稳定性
虚拟行动。
对称的（2 2）演化博弈

假设前提：
假设1 ：参与人采用近似最优反应机制规定的决策模式，即参与人对市场的
认知程度是有局限性的； 假设2 ：参与人的决策是“近视”的，其决策基于参与人对当前市场结构的 认识； 假设3：参与人的决策具有不确定性，统称为“变异”。

模型描述：
参与人只具有两个纯策略，则两个群体的策略集分别为：
* k lim k .
0
两个独立群体的演化博弈

假设前提：
假设1：参与人采用近似最优反应机制规定的决策模式，即参
与人对市场的认知程度是有局限性的； 假设2：参与人的决策是“近视”的，其决策基于参与人对当 前市场结构的认识； 假设3：参与人的决策具有不确定性，统称为“变异”。
22
21
{(0,0),(0,1),...(0, N );(1,0),(1,1),...(1, N );...;(M ,0),(M ,1),...(M , N )}
两个独立群体的演化博弈

拟生灭过程的无穷小生成元为：
A10 ( ) 1 A2 ( ) Q
演化博弈论的研究意义

演化博弈研究具有普遍意义的有限理性的参与人：惰性、 近视、遗传、突变、变异。Kandori, Mailath和Rob (1993) 演化博弈不仅关注博弈的稳定结构，还通过引入不同的动 态机制研究博弈系统的稳定结构和演化过程之间的关系； 演化博弈模型可以和个人学习机制相结合，可以探讨微观 层面上参与人的互动和宏观层面上群体的均衡现象之间的 关系； 演化博弈的假设条件与建模方法更加有利于进行模拟实验 来获得实证数据。
相关研究的文献综述

探讨演化稳定策略的定义和求解方法，以及演化 稳定策略与纳什均衡策略之间关系： Friedman(1991,1998); Hofbauer和Sigmund(1988, 1998); Samuelson(1997); Weibull(1995).
Nash 均衡 ESS

演化博弈和学习机制的交叉研究：Fudenberg和 Levine(1997); Foster和Young(2003); Milgrom和 Robert(1991); Young(1998, 2000,2 002).
Quan-Lin Li
Constructive Computation in Stochastic Models with Applications： The RG-Factorizations
Springer
Chapter 11 Sensitivity Analysis and Evolutionary Games
a1 (k , 0) 2 (0) 2 2 (1) a ( k ,1) (1) 1 2 2 (2) a1 (k , 2) (2) A1k ( ) , 2 2 ( N 1) a1 (k , N 1) ( N 1) 2 ( N ) a ( k , N ) 1
(i) max{ fs (i) f s (i),0}, i {1, 2,...M}.
12 11
* 0 1 * 1 Q N *
0 , 1 , 2 ,, N ;
c1 z1 (t ) d1 ( M z1 (t )) . M
f s2 ( z (t )) 22

定义参与人选择其第一类策略的转移率为：
11 12
c2 z2 (t ) d 2 ( N z2 (t )) . N
1 (i) 1 max{ fs1 (i) fs1 (i),0}, i {0,1,...M 1}. 1 (i) 1 max{ f s1 (i) f s1 (i),0}, i {1, 2,...M}.
对称的（2 2）演化博弈

给出参与人的期望收益函数：
f s11 ( z (t ))

az (t ) b( M z (t )) , M
f s12 ( z (t ))
cz (t ) d ( M z (t )) . M
2 2
定义参与人选择其第一类策略的转移率为：
11 12
(i) max{ fs (i) f s (i),0}, i {0,1,...M 1}.

严格占优策略：任意给定其他博弈参与人的纯策略选择组合，如果某 一个特定的纯策略满足如下条件，则称这个纯策略为严格占优策略：
si , si' si* , ui (si* , si ) ui (si' , si )
演化博弈论的产生背景

实证缺陷
经典博弈论
二十世纪八十年代之后，研究工作围 绕着修正经典博弈论中的完全理性假 设展开研究，并试图为纳什均衡的概 念寻找动态结构下的解释。研究表明： 经典博弈论在应用中遇到困难，主要 是存在三种来自百度文库陷：假设缺陷、方法缺 陷、实证缺陷。
演化博弈的基本要素
1
有限人口-无限人
2
同质群体的对称二
3
自然选择机制（复
口：
离散的策略-连续
人博弈；
不同质群体的非对
制子动态）；
模仿机制；
强化学习机制； 最优反应机制； 几种机制的混合：
的策略：
参与人的匹配方式：
称二人博弈。
单对模型、总体统 计模型、随机匹配 模型
标准式博弈

标准式博弈由三种元素组成：参与人、纯策略、收益函数
纯策略； 混合策略是在纯策略上的概率分布。

纳什均衡：如果博弈中的任意一个参与人选择的纯策略，都是对其他人 选择的纯策略的最优反应，那么这样的纯策略组合为一个标准式博弈的 纯策略纳什均衡：
* * si si* , ui (si* , s ) u ( s , s i i i i ).
S1 {s11 , s12 } 和：S2 {s21 , s22 }
两个互相独立的群体P1、P2，人口规模分别为M, N. 设每一个
群体P1、P2 内部的博弈方式是“随机匹配”，阶段博弈矩阵
为：
a b a c A1 , A 2 b d c d
我们的研究工作

针对策略状态空间是离散的、群体的人口规模是有限的、决策具有随机性 的演化博弈模型。
对两个群体的演化博弈问题，研究了两类模型： 两个群体间接相关，博弈只在每个群体内部进行，但是两个群体通过策略 相关性因子互相影响； 两个群体直接相关，博弈的双方每次分别从两个不同的群体中随机抽取。
12 11
2 ( j) 2 max{ fs2 ( j) f s2 ( j),0}, j {0,1,...N 1}.
21 22
2 ( j) 2 max{ fs2 ( j) fs2 ( j),0}, j {1,2,...N}.

定义拟生灭过程的状态空间为：
ESS可以是纯策略，也可以是混合策略。
相关研究的文献综述

确定性的演化博弈模型（微分方程）： Friedman(1991,1998); Hofbauer和Sigmund(1988, 1998); Weibull(1995).

随机性的演化博弈模型： 扰动的生灭过程：Fudenberg和Imhof(2006); Fudenberg等人(2006)。 扰动的拟生灭过程：Tadja和Touzene(2003); Q.L. Li(2008)。 扰动图的马氏链：Young(1993)
b2 d2
两个独立群体的演化博弈

给出参与人的期望收益函数：
f s1 ( z (t )) 11
f s2 ( z (t )) 21
a1 z1 (t ) b1 ( M z1 (t )) , M
a2 z2 (t ) b2 ( N z2 (t )) ; N
f s1 ( z (t )) 12
1950-1951, J. Nash提出了非合作博弈的纳 什均衡的概念。
1944

1950-1951

1980-1990 1990-Present
二十世纪八十年代，博弈论成为经济学领 域当中的通用理论工具，例如：分析不同 厂商的合作、联盟、竞争与冲突；工业组 织的形成；经济契约的签订；拍卖机制的 设计；不对称信息的市场分析等等。
为了解决经典博弈论的以上三种缺陷， 从二十世纪九十年代发展了演化博弈 论的研究工作。
方法缺陷

假设缺陷
演化博弈论的产生背景



假设缺陷：完全理性假设，即假定参与人完全了解其对手 的策略集合以及使用每个策略的概率，同时也了解博弈规 则与收益结构。参与人也具有通过精确计算推理得到最优 策略的能力。但现实中的参与人只具有有限理性(Bounded Rationality)。 方法缺陷：经典博弈论关注的重点是如何求解博弈的平衡 结构，但不能解释博弈的各参与方是如何通过参与博弈而 趋向于这些均衡状态的(H.P. Young)。 实证缺陷：多数解析型博弈论的预测都是基于理想的假设 和精确的数学推导，需要实证的经验规律来充实经典博弈 论(Colin Camerer)。
2009年随机图与复杂网络学术会议
随机演化博弈的算法研究 及其在复杂网络中的应用
李泉林 博士
汇报提纲
2
进化博弈的基本内容 我们的研究工作 随机进化博弈所面临的理论困难 在计算机网络中的应用 在复杂网络中的应用 我们的未来研究工作

演化博弈论的产生背景

1944, J. von. Neumann和Oskar. Morgenstern奠定了经典博弈理论的基础。

模型描述：
参与人只具有两个纯策略，则两个群体的策略集分别为：
S1 {s11 , s12 } 和：S2 {s21 , s22 }
两个互相独立的群体P1、P2，人口规模分别为M, N. 设每一个
群体P1、P2 内部的博弈方式是“随机匹配”，阶段博弈矩阵
为：
a b a A1 1 1 , A2 2 c1 d1 c2

针对任意多个群体的演化博弈问题，研究了三类模型：间接相关、直接相 关、混合相关。 多个群体演化博弈问题的建模及其求解演化稳定策略，为演化博弈论在经 济学、运筹学领域的广泛应用提供了一定的理论基础；同时，通过一系列 数值算例，定性与定量相结合地研究不同建模参数对演化稳定策略分布的 影响，为设计实验、提供实验数据的实证支持打下了基础。
0 A0 ( ) 1 A1 ( ) 2 A2 ( ) 1 A0 ( )
A12 ( )
A02 ( ) A2M 2 ( ) A1M 2 ( ) A2M 1 ( ) A0M 2 ( ) A1M 1 ( ) A2M ( )
. A0M 1 ( ) A1M ( )
其中：
1 (m) 1 ( m ) , A0m ( ) 1 ( m )
1 (n) 1 ( n ) n . A2 ( ) 1 ( n )
两个独立群体的演化博弈