第6章-马尔可夫决策和群决策
决策管理-马尔可夫决策基础理论教材(PDF36页)
马尔可夫决策基础理论内容提要本章介绍与研究背景相关的几类决策模型及算法。
模型部分，首先是最基本的马尔可夫决策模型，然后是在此基础上加入观察不确定性的部分可观察马尔可夫决策模型，以及进一步加入多智能体的分布式部分可观察马尔可夫决策模型和部分可观察的随机博弈模型。
算法部分，针对上述几类模型，我们均按照后向迭代和前向搜索两大类进行对比分析。
最后，我们介绍了半马尔可夫决策模型及Option理论，这一理论为我们后面设计分等级的大规模多智能体系统的决策模型及规划框架提供了重要基础。
2.1 MDP基本模型及概念马尔可夫决策过程适用的系统有三大特点：一是状态转移的无后效性；二是状态转移可以有不确定性；三是智能体所处的每步状态完全可以观察。
下面我们将介绍MDP基本数学模型，并对模型本身的一些概念，及在MDP模型下进行问题求解所引入的相关概念做进一步解释。
2.1.1 基本模型马尔科夫决策过程最基本的模型是一个四元组S,A,T,R(Puterman M, 1994)：♦状态集合S：问题所有可能世界状态的集合；♦行动集合A：问题所有可能行动的集合；♦状态转移函数T: S×A×S’→[0,1]: 用T(s, a, s’)来表示在状态s，执行动作P s s a；a，而转移到状态s’的概率('|,)♦报酬函数R: S×A→R:我们一般用R(s,a)来表示在状态s执行动作a所能得到的立即报酬。
虽然有针对连续参数情况的MDP模型及算法，然而本文在没有特殊说明的情况都只讨论离散参数的情况，如时间，状态及行动的参数。
图2.1描述的是在MDP模型下，智能体(Agent)与问题对应的环境交互的过程。
智能体执行行动，获知环境所处的新的当前状态，同时获得此次行动的立即收益。
图 0.1 MDP 的基本模型2.1.2 状态状态是对于在某一时间点对该世界（系统）的描述。
最一般化的便是平铺式表示[]，即对世界所有可能状态予以标号，以s 1,s 2,s 3,…这样的方式表示。
如何建立有效的马尔可夫决策过程模型(六)
马尔可夫决策过程（MDP）是一种描述在随机环境下进行决策的数学模型。
它在很多领域都有着广泛的应用，如人工智能、运筹学、经济学等。
建立一个有效的马尔可夫决策过程模型对于解决实际问题具有重要意义。
本文将从建立马尔可夫决策过程模型的基本原理、状态空间、动作空间、奖励函数等方面展开论述。
在建立马尔可夫决策过程模型时，首先需要了解其基本原理。
马尔可夫决策过程是一个包含状态空间、动作空间、状态转移概率和奖励函数的四元组。
其中，状态空间表示系统可能处于的所有状态的集合，动作空间表示系统可以采取的所有可能动作的集合，状态转移概率表示系统从一个状态转移到另一个状态的概率，奖励函数表示在某个状态下采取某个动作所获得的奖励。
基于这些基本原理，我们可以开始建立马尔可夫决策过程模型。
首先，我们需要确定状态空间。
状态空间的选择对于建立有效的马尔可夫决策过程模型至关重要。
一个好的状态空间应该能够充分反映系统的状态，并且能够减少状态空间的复杂度。
在确定状态空间时，需要考虑系统的特性以及问题的实际需求。
例如，在一个飞行器飞行的过程中，可以将高度、速度、油量等作为状态空间的一部分，以便在制定决策时能够更好地考虑系统的实际状态。
其次，我们需要确定动作空间。
动作空间表示系统可以采取的所有可能动作的集合。
在确定动作空间时，需要考虑系统的可行动作以及问题的限制条件。
例如，在一个自动驾驶汽车的决策过程中，可以将加速、减速、转向等作为动作空间的一部分，以便在制定决策时能够更好地考虑系统可以采取的行动。
然后，我们需要确定状态转移概率。
状态转移概率表示系统从一个状态转移到另一个状态的概率。
确定状态转移概率需要考虑系统的动态特性以及问题的环境条件。
在确定状态转移概率时，可以利用历史数据或者模拟方法来估计状态转移概率，从而更好地描述系统的状态变化规律。
最后，我们需要确定奖励函数。
奖励函数表示在某个状态下采取某个动作所获得的奖励。
确定奖励函数需要考虑系统的目标以及问题的优化目标。
如何建立和优化马尔可夫决策过程模型(六)
马尔可夫决策过程模型（MDP）是一种用于描述随机决策问题的数学框架。
它可以应用于各种领域，如强化学习、控制理论、运筹学等。
在这篇文章中，我们将讨论如何建立和优化马尔可夫决策过程模型，并探讨其在实际问题中的应用。
建立马尔可夫决策过程模型的第一步是确定状态空间。
状态空间是指系统可能处于的所有状态的集合。
在建立模型时，我们需要仔细考虑系统的特性和约束条件，以确定状态空间的大小和结构。
通常情况下，状态空间可以通过对问题进行抽象和建模来确定，例如将连续状态空间离散化，或者使用特定的特征表示状态。
确定良好的状态空间是建立有效模型的关键。
接下来，我们需要确定动作空间。
动作空间是指在每个状态下可供选择的所有动作的集合。
在确定动作空间时，我们需要考虑系统的可行动作以及其对系统状态的影响。
通常情况下，动作空间的大小和结构取决于具体问题的特性。
在某些情况下，动作空间可能是离散的，而在其他情况下，它可能是连续的。
确定合适的动作空间将有助于建立更有效的模型。
一旦确定了状态空间和动作空间，我们就可以建立状态转移概率和奖励函数。
状态转移概率描述了系统从一个状态转移到另一个状态的概率分布。
奖励函数则用于评估在特定状态下采取特定动作的效果。
确定状态转移概率和奖励函数是建立马尔可夫决策过程模型的核心内容。
通常情况下，这些概率和函数可以通过对系统进行建模和数据收集来确定。
在建立了马尔可夫决策过程模型之后，我们需要进行模型优化。
模型优化的目标是找到最优的策略，使得系统能够在长期内获得最大的累积奖励。
在实际问题中，通常情况下我们无法直接求解最优策略，而需要借助于各种近似方法来进行优化。
常见的优化方法包括值迭代、策略迭代、Q-学习等。
这些方法可以帮助我们找到最优的策略，并将其应用于实际问题中。
马尔可夫决策过程模型在实际问题中有着广泛的应用。
例如，在强化学习中，马尔可夫决策过程模型可以用来描述智能体与环境之间的相互作用，从而实现智能体的学习和决策。
马尔可夫决策过程通俗理解
马尔可夫决策过程通俗理解嘿，朋友们！今天咱来聊聊马尔可夫决策过程。
这玩意儿听起来挺玄乎，其实啊，就好比你每天出门选择穿啥衣服一样简单又有趣。
你想啊，每天早上你站在衣柜前，考虑今天是穿那件帅气的夹克呢，还是那件舒服的卫衣呢。
这就像是马尔可夫决策过程里的状态，你处在不同的选择当中。
而你决定穿哪件衣服，就是一个决策。
这决策可不简单哦，得考虑天气呀、场合呀、心情呀等等好多因素。
就好像你知道今天要去运动，那大概率就会选运动装；要是有个重要会议，那肯定得穿得正式些。
这和马尔可夫决策过程里根据不同情况做出最优决策是一个道理呀！再比如说，你玩游戏的时候，每一步怎么行动，那也是在做决策呢。
是往左走呢，还是往右走，是打怪呢，还是先去捡宝贝。
这每一个选择都会影响后面的结果，就像马尔可夫决策过程里，当前的决策会影响到未来的状态和收益。
而且哦，这过程还挺有规律的。
就像你习惯了周一穿得正式，周二比较随意，那这就是一种潜在的规律呀。
在马尔可夫决策过程中也有这样的特点，未来的状态很大程度上取决于现在的状态和决策。
你看，生活中到处都是这种类似马尔可夫决策过程的事情。
你去超市买东西，选择这个牌子还是那个牌子的零食；你决定周末是宅家看电影还是出去和朋友聚会。
这些不都是在不同的状态里做决策，然后影响后面的发展嘛。
咱再往深了说，很多大事情也能用这个来理解。
比如企业做决策，是扩大生产呢，还是研发新产品；国家制定政策，是侧重经济发展呢，还是环境保护。
这些重大的决策其实也可以看作是马尔可夫决策过程的一种体现。
所以啊，别觉得马尔可夫决策过程是啥高深莫测的东西，它就在我们身边，无处不在呢！我们每天都在不知不觉地经历着这样的过程，只是可能没有意识到而已。
那这玩意儿到底有啥用呢？用处可大啦！通过研究马尔可夫决策过程，我们可以更好地做出决策，让自己获得更多的好处呀。
就像你知道了自己穿衣服的规律，就能更合理地搭配衣服，让自己每天都美美的或者帅帅的。
企业和国家也是一样，通过分析和运用马尔可夫决策过程，可以让发展更顺利，让大家的生活都变得更美好。
马尔可夫决策方法
马尔可夫决策方法马尔可夫决策方法是一种基于概率的决策方法，它可以用来解决许多实际问题，如机器人路径规划、股票投资、自然语言处理等。
本文将介绍马尔可夫决策方法的基本概念、应用场景以及解决问题的步骤。
马尔可夫决策方法是基于马尔可夫过程的决策方法。
马尔可夫过程是一种随机过程，它具有马尔可夫性质，即当前状态只与前一状态有关，与之前的状态无关。
在马尔可夫决策方法中，我们将问题抽象成一个马尔可夫决策过程（MDP），它由状态集合、动作集合、状态转移概率、奖励函数等组成。
在MDP中，我们需要根据当前状态和可选的动作，选择一个最优的动作，使得总体奖励最大。
马尔可夫决策方法的应用场景非常广泛。
例如，在机器人路径规划中，我们可以将机器人的位置和可选的动作抽象成一个MDP，然后使用马尔可夫决策方法来选择最优的动作，使得机器人能够快速到达目标位置。
在股票投资中，我们可以将股票价格和可选的交易动作抽象成一个MDP，然后使用马尔可夫决策方法来选择最优的交易策略，使得总体收益最大。
马尔可夫决策方法的解决问题步骤如下：1. 定义状态集合和动作集合。
根据具体问题，我们需要定义状态集合和动作集合，例如在机器人路径规划中，状态集合可以是机器人的位置，动作集合可以是机器人的移动方向。
2. 定义状态转移概率。
根据具体问题，我们需要定义状态转移概率，即在当前状态下，选择某个动作后，转移到下一个状态的概率。
例如在机器人路径规划中，如果机器人选择向上移动，那么它有一定的概率到达上方的位置，有一定的概率到达左边的位置，有一定的概率到达右边的位置。
3. 定义奖励函数。
根据具体问题，我们需要定义奖励函数，即在每个状态下，选择某个动作后，获得的奖励。
例如在机器人路径规划中，如果机器人到达目标位置，那么它会获得一定的奖励，如果机器人碰到障碍物，那么它会获得一个负的奖励。
4. 计算最优策略。
根据定义的MDP，我们可以使用马尔可夫决策方法来计算最优策略，即在每个状态下，选择最优的动作，使得总体奖励最大。
《决策理论与方法》教学大纲
《决策理论与方法》课程教学大纲（含理论大纲、实验大纲、大作业任务书）课程编号：03A13制定单位：信息管理学院制定人（执笔人）：盛积良*******制定（或修订）时间：2012年11月8日江西财经大学教务处《决策理论与方法》课程理论教学大纲一、课程总述本课程大纲是以2006级管理科学本科专业人才培养方案为依据编制的。
二、教学时数分配三、单元教学目的、教学重难点和内容设置第一章决策分析概述【教学目的】通过本章的学习，要求学生了解决策分析的概念和要素，决策分析的分类，决策分析的定性定量方法概述，掌握决策分析的步骤与追踪决策。
【重点难点】重点是决策分析的概念和要素；难点是决策分析的步骤。
【教学内容】2学时§1.1决策分析的概念及其基本要素一、决策分析的概念二、决策分析的基本要素§1.2决策分析的分类及其基本原则一、决策分析的分类二、决策分析的基本原则§1.3决策分析的步骤与追踪决策一、决策分析的基本步骤二、关于追踪决策§1.4决策分析的定性与定量方法概述一、决策分析的定性方法二、决策分析的定量方法三、综合决策§1.5 仿真决策概述一、系统仿真的实质二、系统仿真的作用第二章确定性决策分析【教学目的】通过本章的学习，要求学生了解确定型决策分析的适用场合，理解现金流及货币时间价值与计算，掌握盈亏分析方法，掌握无约束确定型投资决策，多方案投资决策方法。
【重点难点】重点：确定型决策分析的概念和适用场合难点：盈亏决策分析方法，投资决策分析方法的应用【教学内容】§2.1 现金流量及货币的时间价值与计算一、现金流量及货币的时间价值二、货币时间价值的计算§2.2 盈亏决策分析一、盈亏决策分析的基本原理二、盈亏分析的应用实例§2.3 无约束确定型投资决策一、基本假设条件二、价值型经济评价指标三、效率型经济评价指标四、时间型经济评价法五、相对经济效益评价法§2.4 多方案投资决策一、独立型投资方案决策二、互斥型投资方案决策§2.5 投资决策案例一、更新决策二、自制还是外购决策三、投资时机决策四、资本限量决策第三章风险型决策分析【教学目的】通过本章的学习，要求学生理解风险型决策的适用条件，掌握风险型决策的期望准则及其方法，掌握决策树分析方法及步骤，掌握贝叶斯决策分析方法，掌握风险决策的灵敏度分析方法，理解效用的概念，掌握利用效用曲线、效用标准进行决策的方法。
马尔可夫决策过程简介(Ⅰ)
马尔可夫决策过程简介马尔可夫决策过程（Markov Decision Process, MDP）是一种用于描述随机决策问题的数学框架。
它是由苏联数学家安德雷·马尔可夫在20世纪初提出的，被广泛应用于控制理论、人工智能、经济学等领域。
马尔可夫决策过程的核心思想是通过数学模型描述决策者在具有随机性的环境中做出决策的过程，以及这些决策对环境的影响。
本文将介绍马尔可夫决策过程的基本概念和应用。
1. 随机过程马尔可夫决策过程是建立在随机过程的基础上的。
随机过程是指随机变量随时间变化的过程，它可以用来描述许多自然现象和工程问题。
在马尔可夫决策过程中，状态和行动都是随机变量，它们的变化是随机的。
这种随机性使得马尔可夫决策过程具有很强的适用性，可以用来描述各种真实世界中的决策问题。
2. 状态空间和转移概率在马尔可夫决策过程中，环境的状态被建模为一个有限的状态空间。
状态空间中的每个状态都代表了环境可能处于的一种情况。
例如，在一个机器人导航的问题中，状态空间可以表示为机器人可能所处的每个位置。
转移概率则描述了从一个状态转移到另一个状态的概率。
这个概率可以用一个转移矩阵来表示，矩阵的每个元素代表了从一个状态到另一个状态的转移概率。
3. 奖励函数在马尔可夫决策过程中，决策者的目标通常是最大化长期的累积奖励。
奖励函数用来描述在不同状态下采取不同行动所获得的奖励。
这个奖励可以是实数，也可以是离散的，它可以是正也可以是负。
决策者的目标就是通过选择合适的行动，使得累积奖励达到最大。
4. 策略在马尔可夫决策过程中，策略是决策者的行动规则。
它描述了在每个状态下选择行动的概率分布。
一个好的策略可以使得决策者在长期累积奖励最大化的同时，也可以使得系统的性能达到最优。
通常情况下，我们希望找到一个最优策略，使得系统在给定的状态空间和转移概率下能够最大化累积奖励。
5. 值函数值函数是描述在给定策略下，系统在每个状态下的长期累积奖励的期望值。
马尔可夫决策过程 马尔可夫决策过程(Markov Decision Processes
马尔可夫决策过程马尔可夫决策过程(Markov Decision Processes，MDP)马尔可夫决策过程概述马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的最优决策过程。
马尔可夫决策过程是序贯决策的主要研究领域。
它是马尔可夫过程与确定性的动态规划相结合的产物，故又称马尔可夫型随机动态规划，属于运筹学中数学规划的一个分支。
马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统，序贯地作出决策。
即根据每个时刻观察到的状态，从可用的行动集合中选用一个行动作出决策，系统下一步（未来）的状态是随机的，并且其状态转移概率具有马尔可夫性。
决策者根据新观察到的状态，再作新的决策，依此反复地进行。
马尔可夫性是指一个随机过程未来发展的概率规律与观察之前的历史无关的性质。
马尔可夫性又可简单叙述为状态转移概率的无后效性。
状态转移概率具有马尔可夫性的随机过程即为马尔可夫过程。
马尔可夫决策过程又可看作随机对策的特殊情形，在这种随机对策中对策的一方是无意志的。
马尔可夫决策过程还可作为马尔可夫型随机最优控制，其决策变量就是控制变量。
马尔可夫决策过程的发展概况50年代R.贝尔曼研究动态规划时和L.S.沙普利研究随机对策时已出现马尔可夫决策过程的基本思想。
R.A.霍华德(1960)和D.布莱克韦尔(1962)等人的研究工作奠定了马尔可夫决策过程的理论基础。
1965年，布莱克韦尔关于一般状态空间的研究和E.B.丁金关于非时齐（非时间平稳性）的研究，推动了这一理论的发展。
1960年以来，马尔可夫决策过程理论得到迅速发展，应用领域不断扩大。
凡是以马尔可夫过程作为数学模型的问题，只要能引入决策和效用结构，均可应用这种理论。
马尔可夫决策过程的数学描述周期地进行观察的马尔可夫决策过程可用如下五元组来描述：{S，(A(i)，i∈S，q，γ，V},其中S 为系统的状态空间（见状态空间法）；A(i)为状态i(i∈S)的可用行动（措施，控制）集；q为时齐的马尔可夫转移律族，族的参数是可用的行动；γ是定义在Γ(Г呏{(i，ɑ):a∈A(i)，i∈S}上的单值实函数；若观察到的状态为i，选用行动a，则下一步转移到状态j的概率为q(j│i，ɑ)，而且获得报酬γ(j，ɑ),它们均与系统的历史无关；V是衡量策略优劣的指标（准则）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
稳态概率：
0.266,0.228,0.241,0.168,0.097
平均维修费用 0.168 250+0.097 500 90.5元
19
求解(3)
三状态维修策略下：
状态转移矩阵：
0 0.6 0.2 0.1 0.1 0 0.3 0.4 0.2 0.1 P3 1 0 0 0 0 1 0 0 0 0 0 0 0 1 0
一步状态转移矩阵
p11 ... p1k ，其中 p 1且p 0 P ................. ij ij j p ... p kk k1
5
例1
晴天 阴天
下雨
晴天
晴天 0.50
阴天
0.25 0.25 0.125
6
下雨
0.25 0.375 0.625
该公司可采用的维修策略有以下几种：
单状态策略：泵处于状态5时才进行修理，修理费用500元 两状态策略：泵处于状态4 和5 时进行修理，处于状态4 时的 修理费用为250元，处于状态5时的修理费用为500元 三状态策略：泵处于状态3, 4, 5时进行修理，处于状态3时的 修理费用为200元，处于状态4和5时的修理费用同前
对于例4：
0.5 0.5 0 0.5 0.5 ( 1 , 2 , 3 ) ( 1 , 2 , 3 ) 0 0.75 0.25 0 1 2 3 1
11
1 1 3 4 求得 2 9 2 3 9
第六章 马尔可夫决策和群决策
2018/6/22
目录
1 马尔可夫链的基本概念
2 马尔可夫决策方法 3 群决策方法
1
系统运行过程中的“无后效性”
某些系统运行过程中存在或近似存在“无后效性”的特征
系统在每一时刻的状态仅仅取决于前一时刻的状态，而与其过去的 历史状态无关
池塘荷叶与青蛙
池塘里有三张荷叶1,2,3，一只青蛙在荷叶上随机地跳来跳去，初始 时刻t0，它位于荷叶2上，时刻t1，它可能仍在荷叶2上，也可能跳 到1或3上，时刻t2，它位于哪张荷叶上与t0无关，只和t1有关
稳态概率：
0.199,0.170,0.180,0.252,0.199
平均维修费用 0.199 500 99.5元
18
求解(2)
两状态维修策略下：
状态转移矩阵：
0 0.6 0.2 0.1 0.1 0 0.3 0.4 0.2 0.1 P2 0 0 0.4 0.4 0.2 1 0 0 0 0 0 0 0 1 0
0.15 0.45 0.40 0.05 0.35 0.30 0.90 P2 0.10 0.10 0.05 0.80 0.15 0.05 0.10 0.75 0.90 P3 0.10 0.10 0.05 0.80 0.15 0.05 0.10 0.75
比如设备状态、产品库存、产品每日需求量等
离散型随机过程（Discrete
Stochastic Process）
）
如若T 为离散集（设
T {t0 , t1 , t2 ,..., tn ,...}
同时 xt 的取值(状态)也是离散的，则称为离散型 随机过程，用{1, 2, 3, …, k}表示状态集
n步后技术人员在第 i 个部门工作的概率：
n n n (0) ( n ) (0) (0) (0) n (P , P , P ) P P ( P , P , P ) P 1 2 3 1 2 3
比如1年后在某部门的工作概率
0.5 0.5 0 0.5 0.5 0 1 1 1 2 2 2 (0) (2) 0 (P , P , P ) P P ( , , ) 0 0.5 0.5 0.5 0.5 1 2 3 3 3 3 0.75 0.25 0 0.75 0.25 0 8 11 5 ( , , ) 24 24 24
0.00 0.00 00 0.00 0.00
17
0.20
0.40 0.40 0.00 0.00
0.10
0.20 0.40 0.50 0.00
0.10
0.10 0.20 0.50 1.00
求解(1)
单状态维修策略下：
0 0.6 0.2 0.1 0.1 0 0.3 0.4 0.2 0.1 状态转移矩阵： P 0 0.4 0.4 0.2 1 0 0 0 0 0.5 0.5 0 0 0 1 0
三状态维修策略下：
平均维修费用 0.19 200+0.095 250+0.065 500 94.25元
因此，“两状态维修策略”是最佳决策
21
非稳定概率的例子(1)
某高校教师状态分为5类：助教、讲师、副教授、 教授、流失及退休。目前状态：
P(0) (135 240 115 60 0)
P{xt 1 j | xt i} 称为状态转移概率 (一步转
移概率)
4
有限状态的马尔可夫链
齐次性特征： P ij
P{xt 1 j | xt i}=P{x1 j | x0 i}
有限状态的马尔可夫链{xt}
具有有限种 (k种) 状态
具有马尔可夫性 转移概率满足齐次性特征
p11 P p21 p31 P (0)
p13 0.5 0.5 0 p22 p23 0 0.5 0.5 p32 p33 0.75 0.25 0 1 1 1 (0) (0) (0) (P 1 ,P 2 ,P 3 ) , , 3 3 3 p12
稳态概率：
0.35,0.30,0.19,0.095,0.065
平均维修费用 0.19 200+0.095 250+0.065 500 94.25元
20
结论
单状态维修策略下：
平均维修费用 0.199 500 99.5元
两状态维修策略下：
平均维修费用 0.168 250+0.097 500 90.5元
0.7
0.3
正常1
0.9
故障2
0.1
8
0.7 0.3 P 0.9 0.1
例4
某企业为使技术人员具有多方面的经验，实行技术人员在技术部 门、生产部门和销售部门的轮换工作制度。轮换采用随机形式， (0) 每半年一次。初始状态，技术人员在某部门工作的概率用 Pj 表 示，Pij表示处在第i个部门的技术人员在半年后转移到第j个部门 的概率，已知一步状态转移矩阵如下，求n步后它在第i个部门工 (n) 作的概率 Pj
16
例2——最佳维修策略的选择
目前，该公司采用的维修策略为“单状态”策略
假定不管处于何种状态，只要进行修理，泵都将恢复为状
态1。已知在不进行任何修理时状态转移概率如下表所示 问题：确定哪个策略的费用最低
泵在周期 n 的状态 泵在周期 n+1 的状态 1 2 3 4 5
1
2 3 4 5
0.00
稳态概率(2)
初始状态对n步转移后所处状态的影响随n的增大而减 少——稳态概率和初始状态无关
lim P{xn j | x0 i} lim P{xn j} j
n n
不是所有的马尔可夫链都存在稳态概率——具有遍历
性的马尔可夫链才有稳态概率
12
目录
1 马尔可夫链的基本概念
P=
阴天 0.375 下雨 0.25
例2
企业销售状况变化
某产品销售情况分为畅销和滞销两种，1代表畅销 ，2代表滞销。以xt表示第t个季度的味精销售状态 ，则xt可取1或2的值。若未来的味精市场状态只与 现在的市场状态有关，与以前的市场状态无关，则 市场状态{xt} 构成一个马尔可夫链。 若： P( X j X i) p
2 马尔可夫决策方法 3 群决策方法
13
例1——市场竞争策略决策
某生产商标为α的产品的厂商为了与另外两个生产同类产 品β和γ的厂家竞争，有三种可供选择的措施：
措施1为发放有奖债券，措施2为开展广告宣传，措施3为优 质售后服务
三种方案实施后，经调查可知，该类产品的“用户转移矩 阵”如下。已知三种商标的商品的月总销量为1000万件， 每件可获利1元，另外，三种措施的成本费分别为150万元 ，40万元和30万元 从长远利益考虑，α生产厂商应该采取何种措施？
0.80 0.20 P 1 0.30
14
15
例2——最佳维修策略的选择
某化工企业对循环泵进行季度维修，每次检查中，把泵按 其外壳及叶轮的腐蚀程度定为五种状态之一。分别为：
状态1：优秀状态，无任何故障或缺陷 状态2：良好状态，稍有腐蚀 状态3：及格状态，轻度腐蚀 状态4：可用状态，大面积腐蚀 状态5：不可运行状态，腐蚀严重
n1 n ij
p11 0.5
p12 0.5
p21 0.6
p22 0.4
则状态转移矩阵：
0.5 0.5 P 0.6 0.4
7
例3
考察一台机床的运行状态
机床的运行存在正常和故障两种状态。S={1, 2}。机床 在运行中出现故障：12；处于故障中的机床经维修 ，恢复到正常状态：21 以一个月为单位，经观察统计，知其从某个月份到下 月份，机床出现故障的概率为0.3。在这一段时间内， 故障机床经维修恢复到正常状态的概率为0.9
可以近似认为无后效性的例子
商店库存 市场占有率 车间的设备状态 ……