博弈论作业

课程名称：信息经济学与博弈论课程编号：SX0071F23 课程类型：非学位课考核方式：考查学科专业：管理科学与工程年级：2014 级姓名：学号：10076140185河北工程大学2014 ～ 2015学年第2学期研究生课程论文报告基于GA一RL的进化博弈求解主从博弈结构的供应链协调问题摘要:供应链协调问题多数基于主从博弈结构建模,但如果研究对象是相对复杂的供应链结构,理论求解主从博弈问题就变得困难。

因此从求解一对一的供应链协调问题开始,针对主从博弈问题的特点,利用个体学习的进化博弈仿真手段,设计了经销商利用经验分布的预期随机需求的信念更新模式与最优反应的决策模式,为生产商分别设计了基于强化学习的信念更新模式与基于遗传算法搜索策略空间的决策模式,并将两者有机结合,取得了博弈问题的均衡解并且验证该解与理论求解结果一致,为进一步求解复杂问题提供了新的途径。

关键词：供应链协调;进化博弈论;强化学习(RL);遗传算法(GA)Coordinating supply chain of Stackelberg game model based on evolutionary game with GA一RL Abstract: Problems of coordinating supply chain are based on Stackelberg game model, but if research object is complex supply chain, it is difficult to find equilibrium of Stackelberg game ,so evolutionary Game theory was introduced. According to characteristics of leaders and followers in Stackelberg game model, learning Meehan is designed for each Player respectively. An algorithm of reinforcement learning combined with genetic searching is proposed for leaders, and a learning model of best一reply is designed for followers(retailers).Keywords: supply chain coordination; evolutionary game theory; reinforcement learning(RL);genetic algorithm(GA)1引言供应链协调问题是研究如何订立协调机制使分散控制的供应链中个体与整体之间的目标一致,解决供应链中企业个体自身的优化目标与供应链整体的最优解相冲突的状况。

目前关于不同协调机制研究可以分为以下几类,一类是根据数量给予价格折扣,如根据经销商的销售量给予目标折扣(Sale re-bate)的问题[1],根据订货量给予线性折扣(Quantity discount)的问题[2];第二类是根据订货周期给予价格折扣,依据订货周期(order frequency)实行价格折扣的分销系统协调机制[3],为了分散供应商的库存风险,提供给提前定货经销商价格折扣,建立单周期模型研究在需求的不确定有限情况下生产商制定合适的价格折扣激励经销商提早订货[4],在他的模型里生产商可以改变经销商竞争状态(领导/跟随);第三类是弹性的订货数量,如弹性订货经销商可以以全部价格退还商品,类似的回购契约[5]经销商可以一定的折扣价格退还未售出的商品。

但由于数学求解的困难,上述模型多数是针对两周期一对一的供应链问题,并且很多研究也只证明了哪种形式的协调机制可以协调供应链[6],但协调机制的参数如何制定却无法给出.而现实中的供应链往往是包括多个企业的链状和网状结构,解决这类问题应用数学建模与理论求解有相当的难度,因此本文尝试应用进化博弈的分析框架[7]。

本文在对目标数量折扣问题证明与求解的基础上,通过进化博弈的手段求解这类问题的均衡,为求解复杂的供应链协调问题提供一个新的途径。

而对于进化博弈领域,基本没有对效用函数结构复杂博弈问题的研究。

因此对于个体学习的进化博弈也是一种新的尝试。

2模型假定模型中包括一个生产商(上游企业)和一个经销商(下游企业),他们都是风险中性的,面对的是报童问题(连续随机需求的订货问题):经销商必须在随机需求发生之前订购一定数量的产品.因此模型可以理解为如下过程:生产商向经销商提出某种协调机制形式和参数;假设这种协调机制被经销商接受,于是经销商在此基础上提出一定数量的订货[8]。

模型参数设置如下:q=经销商的订货量,p=经销商制定的市场零售价格,D=市场需求,分布为F(),需求的期望值为μ, c r=经销商每件产品的边际成本, C s=生产商每件产品的生产成本, g r=经销商的边际缺货损失成本, g s=生产商缺货损失成本,v=期末未售出产品残值令c=c r+c s, g=g r+g s,T=调机制(生产商与经销商之间的转移支付) [9]。

定义期望销售量:S q=Emin q,D=q1−F q+yf y dy=q0q−F yqdy期望剩余库存:I q=E q−D=q−S q期望缺货量：L q=E D−q=μ−S q因此经销商期望利润为：Eπγq,T=pS q+vI q−g r L q−c r q−T=p−v+g r S q−c r−v q−g rμ−T假设供应商可以保证任何可能发生的订货,则生产商的期望利润为[10]：Eπs q,T=T−g s L q−C s q=g s S q−g sμ−C s q+T供应链的整体利润就是企业的利润之和,即：Eπq=Eπγq,T+EπS q,T=P−v+g S q−gμ−c−v q 上述模型相当于一种生产商作为领导者的主从博弈间题.博弈过程分成两个阶段,第一阶段生产商决定决策变量一协调机制T的参数;第二阶段经销商观测到生产商的决策后,确定决策变量一订货量q。

作者已根据主从博弈的理论求解方法一逆向归纳法,从理论上求解博弈问题的均衡解为：q 0, q 0,πγ qW −πγ q 0 ωq 03进化博弈仿真求解供应链协调问题供应链协调问题的过程可以描述为:首先,生产商选择自己的行动一某种协调机制形式和参数;然后,经销商在此基础上选择自己的行动一订货量:最后,经销商销售产品,在销售周期结束之后,实现了市场的需求,经销商与生产商分别获得相应的收益一个基本的进化博弈模型的分析框架为:决策者在博弈重复进行的过程中,只能观察到部分外界环境和对手的信息,决策者 根据一定的信念更新规则对未来的收益做出预期,然后根据预期采取某种决策规则进行决策[11]。

因此针对供应链协调问题设计进化博弈实验模型的结构为:生产商根据对收益或者经销商订货量的预期采取行动:对经销商来讲,生产商的行动已知,经销商面对的是未知的随机需求,因此在决策之前根据对需求做出一定预期,而采取相应的订货量;最后根据需求、经销商的订货量、生产商的协调机制分别产生的经销商与生产商的利润;生产商根据历史上经销商的订货量和自己获得的利润,更新对它们预期,经销商则根据历史的需求信息,更新对需求的预期,通过决策规则确定下一周期的行动,进入下一周期的博弈[12]。

3.1经销商学习机制预期需求方法经销商在每个周期的博弈中面对的只有未知的随机需求,这里以经验分布作为对需求分布的预期.这种预期方法本质上是决策者对某一需求量发生的概率的预期,这个概率是这个需求量在历史上出现的频率。

[13]因此,如果在周期艺发生需求为d,,那么更新需求d 发生的概率Pt(d:)的预期:P t d i =p t −1 d i × t −1 +1t , P t d i =p t −1 d i × t −1 t ,j ≠i决策规则经销商在知道生产商的行动之后,并对每一个需求量发生的概率预期为尸(司,采取最优反应的决策规则在离散的需求分布下,经销商在生产商给定一定的目标数量折扣T 万时,最优订货量Q 满足：P d Q d=0≥p +g −c p +g −v ≥ P d Q −1d=0经销商学习机制算法形式如下：l)在博弈的开始艺t=0时,初始化对于需求的预测p 0 d i =0;2)重复(a)按照最优反应决策准则确定行动q t =argmax πt q r |T,σ,P d(b)如果在时刻t 发生需求为d,。

那么更新对于需求发生概率的预期为p t d i =p t −1 d i × t −1 +1, p t d i =p t −1 d i × t −1 , j ≠i 3.2生产商学习机制在进化博弈的分析中,个体的学习机制以强化学习为主,但传统的强化学习通常采取贪婪策略,对于初始状态有很强的依赖性,导致搜索广度不足.因此,本文引入遗传算法作为决策规则,遗传算法中采取复制,变异与交叉的策略来搜索策略空间,其中复制保留下了优良解的特点,而变异和交叉策略恰恰保证了对策略空间的搜索广度[14]。

信念更新规则—强化学习每一轮博弈之后。

生产商根据自己的历史策略与利润,采取强化学习更新行动.定义生产商的每一个行动的倾向值函数。

每个阶段博弈之后,生产商根据历史行动与利润,更新每一个行动的预期收益函数,得到的实际收益为:time t a i=time t−1a i+`1 ,πt a i=πt−1a i×time t−1a i+πt a it i对其他行动a j,j≠itime t a j=time t−1a j, πt a j=πt−1a j决策规则—遗传搜索策略当采取传统的遗传算法,利用每一轮博弈中企业得到利润函数作为适应值,因为外部的需求是一个随机变量,企业每一周期的利润会随着需求而波动,因此这种适应值会受短期利润的干扰。

因此将强化学习中对利润的预期反(。

,),作为遗传算法的适应值,并借鉴遗传算法的种群复制、交叉、变异规则,产生新策略。

遗传算法需要选定一组行动作为种群,对种群中的每个行动都要计算适应值,对于博弈问题,需要对每个行动都进行一次博弈,这里有两种可行的处理方法:其一为设置对应种群个数的个体,在每一轮博弈中,每个个体与对手随机匹配,进行博弈得到利润,进而计算每个个体在这一轮博弈中行动的适应值;第二种方法是,在确定一个种群之后,重复进行博弈,每一轮博弈中,决策者轮流采取种群中的行动,进而得到利润计算适应值。

当一个种群中的所有行动都完成博弈,按照遗传算法的规则产生下一代群体,继续进行博弈.在本文的模型中,我们选择的是第二种处理方法,为了区别遗传算法的遗传代数与博弈的周期,用坛表示代数.产生下一代种群的遗传规则依次为:复制规则:按照轮盘赌规则将种群中个体复制到下一代种群中[15]；被选择保留下来交叉规则:因为生产商的行动空间为目标订货量与折扣系数,交叉操作就是在复制后产生的种群中,以交叉概率p。