马尔科夫预测与决策
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
时间和状态都是离散的马尔科夫过程称为 马尔科夫链。例：蛙跳问题
假定池中有N张荷叶，编号为1，2， 3,……,N，即蛙跳可能有 N个状态（状态确知 且离散）。青蛙所属荷叶，为它目前所处的状 态；因此它未来的状态，只与现在所处状态有 关，而与以前的状态无关（无后效性成立）
1
P41 P42 P31
4 P44
即是：ito为确知,it(t>to)只与ito有关，
这种性质为无后效性，又叫马尔科夫假设。
简例：设 x(t)为大米在粮仓中 t月末的库存量， 则
x(t) = x(t―1)—y(t) +G(t) t月的转出量
第t―1月末库存量 ,G(t)为当月转入 量
x(t)可看作一个马尔科夫过程。
3、马尔科夫链
例：设系统状态为N = 3，求从状态1转移到状态2的
二步状态转移概率.
P12
解：作状态转移图 P11 1 P12
P22 2
P13
解法一：由状态转移图：
3
P32
1—— 1—— 2: P11 ? P12
1—— 2—— 2: P12 ? P22
1—— 3—— 2: P13 ? P32
P12 = P11 ? P12 + P12 ? P22 +P13 ? P32 =∑ P1i ? Pi2
假定随机变量的可能值xi发生概率为Pi
即P(x = xi) = Pi
对于xi的所有n个可能值，有离散型随机变量分布
列： ∑Pi = 1
对于连续型随机变量，有 ∫P(x)dx = 1
在试验过程中，随机变量可能随某一参数（不一定 是时间）的变化而变化.
如测量大气中空气温度变化x = x(h),随高度变化。 这种随参变量而变化的随机变量称为随机函数。而以 时间t作参变量的随机函数称为随机过程。
P22 2 P32 3
P33
写成数学表达式为：
P( xt+1 = j | xt = it , xt-1 = it―1,……x1 = i1) =P( xt+1 = j | xt = it ) 定义：Pij = P( xt+1 = j | xt = i)
即在xt = i的条件下，使 xt+1 = j的条件概率， 是从 i状态一步转移到 j状态的 概率，因此它又 称一步状态转移概率。
也就是说：随机过程是这样一个函数，在每次试 验结果中，它以一定的概率取某一个确定的，但预先 未知的时间函数。
2、马尔科夫过程
随机过程中，有一类具有“无后效 性性质”，即当随机过程在某一时刻 to所 处的状态已知的条件下，过程在时刻 t>to 时所处的状态只和 to时刻有关，而与 to以 前的状态无关，则这种随机过程称为马尔 科夫过程。
解法二： k = 2, N = 3
P11(2) P12 (2) P13(2)
P = P21(2) P22 (2) P23(2)
P31(2) P32(2) P33(2)
P11 P12 P13
P11 P12 P13
= P?P = P21 P22 P23
P21 P22 P23
P31 P32 P33
P31 P32 P33
2） ∑ Pij = 1
行元素和为1 ,i=1,2,…N
如： W1 = [1/4, 1/4, 1/2, 0] W2 = [1/3, 0, 2/3]
概率向量
W3 = [1/4, 1/4, 1/4, 1/2] W4 = [1/3, 1/3, -1/3,0, 2/3]
非概率向量
3）若A和B分别为概率矩阵时，则AB为概率
2.固定概率向量（特征概率向量） 设 P为NN概率矩阵,若U = [U1, U2,…, UN]为概率向 量,且满足UP = U,称U为P的固定概率向量
例
P=
0
1
1/2 1/2
为概率矩阵
P的固定概率向量 U = [ 1/3 , 2/3]
检验 UP = [1/3 2/3] 0 1
矩阵。
2.稳定性假设
若系统的一步状态转移概率不随时 间变化，即转移矩阵在各个时刻都相同， 称该系统是稳定的。
这个假设称为稳定性假设。蛙跳问 题属于此类，后面的讨论均假定满足稳 定性条件。
3.k步状态转移矩阵 经过k步转移由状态i转移到状态j的概率记为
P(xt+k =j | xt = i) = Pij(k)
例：
1/2 1/4 1/4
P = 1/3 1/3 1/3
为正规概率矩阵
2/5 1/5 2/5
P= 0
1
1/2 1/2
但当 m = 2， 有 P2 2 =
它也是正规概率矩阵。
（P2每个元素均为正数）
P11 = 0Biblioteka Baidu
??
有Pij >0
??
但 10
P= 0 1
就找不到一个正数 m,使Pm的每
一个元素均大于 0，所以它不是正规概率矩阵。
马尔科夫预测与决策法
小组成员：于文豪 张薇 刘思伯 梅成波 杜照玺
马尔科夫预测与决策
1.基本原理概述 2.马尔科夫预测与决策 3.案例分析
第一节 基本原理
一、基本概念 1.随机变量 、 随机函数与随机过程 一变量x，能随机地取数据（但不能准确地预言它 取何值），而对于每一个数值或某一个范围内的值有 一定的概率，那么称x为随机变量。
得： P12(2) = P11 ? P12 + P12 ? P22 +P13 ? P32
=∑ P1i ? Pi2
三.稳态概率：
用于解决长期趋势预测问题。
即：当转移步数的不断增加时，转移 概率[k] 矩阵 P 的变化趋势。
1.正规概率矩阵。
定义：若一个概率矩阵P，存在着某 一个正整数m,使P 的所有元素均为正数 （Pij >o），则该矩阵称为正规概率矩阵
由状态转移图，由于共有 N个状态，所以有
二．状态转移矩阵
1.一步状态转移矩阵
系统有N个状态，描述各种状态下向其他状态转移的 概率矩阵
定义为
P=
P11 P12 …… P1N
P21 P22 …… P2N
::
:
PN1 PN2 …… PNN N×N 这是一个N阶方阵，满足概率矩阵性质
1） Pij ≥ 0,i,j = 1,2, ……, N 非负性性质
i,j = 1,2, ……, N
定义：k步状态转移矩阵为：
P11(k) P12(k) …… P1N(k)
[k]
P= :
:
:
PN1(k) PN2(k) …… PNN (k)
当系统满足稳定性假设时 P = [Pk] = Pk ? P? …… P
其中P为一步状态转移矩阵。
即当系统满足稳定性假设时，k步状态转移矩阵为 一步状态转移矩阵的k次方.
假定池中有N张荷叶，编号为1，2， 3,……,N，即蛙跳可能有 N个状态（状态确知 且离散）。青蛙所属荷叶，为它目前所处的状 态；因此它未来的状态，只与现在所处状态有 关，而与以前的状态无关（无后效性成立）
1
P41 P42 P31
4 P44
即是：ito为确知,it(t>to)只与ito有关，
这种性质为无后效性，又叫马尔科夫假设。
简例：设 x(t)为大米在粮仓中 t月末的库存量， 则
x(t) = x(t―1)—y(t) +G(t) t月的转出量
第t―1月末库存量 ,G(t)为当月转入 量
x(t)可看作一个马尔科夫过程。
3、马尔科夫链
例：设系统状态为N = 3，求从状态1转移到状态2的
二步状态转移概率.
P12
解：作状态转移图 P11 1 P12
P22 2
P13
解法一：由状态转移图：
3
P32
1—— 1—— 2: P11 ? P12
1—— 2—— 2: P12 ? P22
1—— 3—— 2: P13 ? P32
P12 = P11 ? P12 + P12 ? P22 +P13 ? P32 =∑ P1i ? Pi2
假定随机变量的可能值xi发生概率为Pi
即P(x = xi) = Pi
对于xi的所有n个可能值，有离散型随机变量分布
列： ∑Pi = 1
对于连续型随机变量，有 ∫P(x)dx = 1
在试验过程中，随机变量可能随某一参数（不一定 是时间）的变化而变化.
如测量大气中空气温度变化x = x(h),随高度变化。 这种随参变量而变化的随机变量称为随机函数。而以 时间t作参变量的随机函数称为随机过程。
P22 2 P32 3
P33
写成数学表达式为：
P( xt+1 = j | xt = it , xt-1 = it―1,……x1 = i1) =P( xt+1 = j | xt = it ) 定义：Pij = P( xt+1 = j | xt = i)
即在xt = i的条件下，使 xt+1 = j的条件概率， 是从 i状态一步转移到 j状态的 概率，因此它又 称一步状态转移概率。
也就是说：随机过程是这样一个函数，在每次试 验结果中，它以一定的概率取某一个确定的，但预先 未知的时间函数。
2、马尔科夫过程
随机过程中，有一类具有“无后效 性性质”，即当随机过程在某一时刻 to所 处的状态已知的条件下，过程在时刻 t>to 时所处的状态只和 to时刻有关，而与 to以 前的状态无关，则这种随机过程称为马尔 科夫过程。
解法二： k = 2, N = 3
P11(2) P12 (2) P13(2)
P = P21(2) P22 (2) P23(2)
P31(2) P32(2) P33(2)
P11 P12 P13
P11 P12 P13
= P?P = P21 P22 P23
P21 P22 P23
P31 P32 P33
P31 P32 P33
2） ∑ Pij = 1
行元素和为1 ,i=1,2,…N
如： W1 = [1/4, 1/4, 1/2, 0] W2 = [1/3, 0, 2/3]
概率向量
W3 = [1/4, 1/4, 1/4, 1/2] W4 = [1/3, 1/3, -1/3,0, 2/3]
非概率向量
3）若A和B分别为概率矩阵时，则AB为概率
2.固定概率向量（特征概率向量） 设 P为NN概率矩阵,若U = [U1, U2,…, UN]为概率向 量,且满足UP = U,称U为P的固定概率向量
例
P=
0
1
1/2 1/2
为概率矩阵
P的固定概率向量 U = [ 1/3 , 2/3]
检验 UP = [1/3 2/3] 0 1
矩阵。
2.稳定性假设
若系统的一步状态转移概率不随时 间变化，即转移矩阵在各个时刻都相同， 称该系统是稳定的。
这个假设称为稳定性假设。蛙跳问 题属于此类，后面的讨论均假定满足稳 定性条件。
3.k步状态转移矩阵 经过k步转移由状态i转移到状态j的概率记为
P(xt+k =j | xt = i) = Pij(k)
例：
1/2 1/4 1/4
P = 1/3 1/3 1/3
为正规概率矩阵
2/5 1/5 2/5
P= 0
1
1/2 1/2
但当 m = 2， 有 P2 2 =
它也是正规概率矩阵。
（P2每个元素均为正数）
P11 = 0Biblioteka Baidu
??
有Pij >0
??
但 10
P= 0 1
就找不到一个正数 m,使Pm的每
一个元素均大于 0，所以它不是正规概率矩阵。
马尔科夫预测与决策法
小组成员：于文豪 张薇 刘思伯 梅成波 杜照玺
马尔科夫预测与决策
1.基本原理概述 2.马尔科夫预测与决策 3.案例分析
第一节 基本原理
一、基本概念 1.随机变量 、 随机函数与随机过程 一变量x，能随机地取数据（但不能准确地预言它 取何值），而对于每一个数值或某一个范围内的值有 一定的概率，那么称x为随机变量。
得： P12(2) = P11 ? P12 + P12 ? P22 +P13 ? P32
=∑ P1i ? Pi2
三.稳态概率：
用于解决长期趋势预测问题。
即：当转移步数的不断增加时，转移 概率[k] 矩阵 P 的变化趋势。
1.正规概率矩阵。
定义：若一个概率矩阵P，存在着某 一个正整数m,使P 的所有元素均为正数 （Pij >o），则该矩阵称为正规概率矩阵
由状态转移图，由于共有 N个状态，所以有
二．状态转移矩阵
1.一步状态转移矩阵
系统有N个状态，描述各种状态下向其他状态转移的 概率矩阵
定义为
P=
P11 P12 …… P1N
P21 P22 …… P2N
::
:
PN1 PN2 …… PNN N×N 这是一个N阶方阵，满足概率矩阵性质
1） Pij ≥ 0,i,j = 1,2, ……, N 非负性性质
i,j = 1,2, ……, N
定义：k步状态转移矩阵为：
P11(k) P12(k) …… P1N(k)
[k]
P= :
:
:
PN1(k) PN2(k) …… PNN (k)
当系统满足稳定性假设时 P = [Pk] = Pk ? P? …… P
其中P为一步状态转移矩阵。
即当系统满足稳定性假设时，k步状态转移矩阵为 一步状态转移矩阵的k次方.