第6章-马尔可夫预测方法PPT课件

一般地说,描述系统状态的随机变量序列不一定满足相 互独立的条件,也就是说,系统将来的状态与过去时刻以及现 在时刻的状态是有关系的。在实际情况中,也有具有这样性 质的随机系统： 系统在每一时刻（或每一步）上的状态,仅 仅取决于前一时刻（或前一步）的状态。这个性质称为无 后效性,即所谓马尔可夫假设。具备这个性质的离散型随机 过程,称为马尔可夫链。用数学语言来描述就是：
表示,即为
p (k) =P (k-1) P, p (k) =Pk k≥1
(6.4)
记t0为过程的开始时刻,pi(0)=P{X0=X(t0)=i},
P(0)=(p1(0), p2(0), …, pN(0))
.
10
第6章
为初始状态概率向量。
如已知齐次马尔可夫链,则任一时刻的状态概率分布也就确定了：
由于系统状态的变化是随机的,因此,必须用概率描述状 态转移的各种可能性的大小。
.
4
第6章
6.1.2
马尔可夫链是一种描述动态随机现象的数学模型, 它建立在系统“状态”和“状态转移”的概念之上。
所谓系统,就是我们所研究的事物对象；所谓状态,是表
示系统的一组记号。当确定了这组记号的值时,也就确
定了系统的行为,并说系统处于某一状态。系统状态常
一种状态完全是随机的,因此必须用概率描述状态转移的各
种可能性的大小。如果在时刻tn系统的状态为Xn=i的条件下, 在下一个时刻tn+1系统状态为Xn+1=j的概率pij (n)与n无关,则 称 此 马 尔 可 夫 链 是 齐 次 马 尔 可 夫 链 , 并 pij=P{Xn+1=j|Xn=i}i, j=1, 2, …, N称pij为状态转移概率。显然,
对k≥1,记pi(k)=P{Xk=i},
N
pi(k)=
pj(0)·p (k) ji i=1, 2, …, N; k≥1
若记向量jP1 (k)=(p1(k), p2(k), …, pN(k)),
P(k)=P(0)P (k) =P(0)Pk
(6.5) (6.6)
P(k)=P(k-1)P
(6.7)
.
11
设有参数集T (-∞, +∞),如果对任意的t∈T,总有一随机
变量Xt与之对应,则称{Xt, t∈T}为一随机过程。
T
为离散集（不妨设T={t0, t1, t2, …, tn, …}）,同时Xt的取值
也是离散的,则称{Xt, t∈T}为离散型随机过程。
.
2
第6章
设有一离散型随机过程,它所有可能处于的状态的集合 为S={1, 2,…, N},称其为状态空间。系统只能在时刻t0, t1, t2, …改变它的状态。为简便计,以下将Xtn等简记为Xn。
1
pN 2
pNN
为该系统的状态转移概率矩阵,简称转移矩阵。
为了论述和计算的需要,引入下述有关概念。
.
7
第6章
概率向量 对于任意的行向量（或列向量）,如果其 每个元素均非负且总和等于1,则称该向量为概率向量。
概率矩阵 由概率向量作为行向量所构成的方阵称
为概率矩阵。对于一个概率矩阵P,若存在正整数m,使
第6章
第6章 马尔可夫预测方法
6.1 马尔可夫预测的基本原理 6.2 马尔可夫预测的应用 思考与练习
.
1
第6章
6.1 马尔可夫预测的基本原理
6.1.1
为了表征一个系统在变化过程中的特性（状态）,可 以用一组随时间进程而变化的变量来描述。如果系统在 任何时刻上的状态是随机的,则变化过程就是一个随机过 程。
表示为向量,故称之为状态向量。例如,
A、
B、C三种牌号洗衣粉的市场占有率分别是0.3、0.4、
0.3,则可用向量P=(0.3, 0.4, 0.3)来描述该月市场洗衣粉
销售的状况。
.
5
第6章
当系统由一种状态变为另一种状态时,我们称之为状态
转移。例如,洗衣粉销售市场状态的转移就是各种牌号洗衣
粉市场占有率的变化。显然,这类系统由一种状态转移到另
第6章
例6.1 考察一台机床的运行状态。机床的运行存在 正常和故障两种状态。由于出现故障带有随机性,故可将 机床的运行看作一个状态随时间变化的随机系统。可以 认为,机床以后的状态只与其以前的状态有关,而与过去 的状态无关,即具有无后效性。因此,机床的运行可看作 马尔可夫链。
p (k) ij=P{Xn+k=j|Xn=i}
P(k) =(p (k) ij) N×N
(6.3)
称p (k) ij为k步状态转移概率, P(k)为k步状态转移概率 矩阵,它们均与n无关（从式(6.4)也可看出）。
特别地,当k=1时,p (1) ij=pij为1步状态转移概率。马 尔可夫链中任何k步状态转移概率都可由1步状态转移 概率求出。
.
3
第6章
如果对任一n>1,任意的i1, i2, …, in-1 , j∈S, P{Xn=j|X1=i1, X2=i2, …, Xn-1=in-1}=P{Xn=j|Xn-1=in-1}
(6.1)
则称离散型随机过程{Xt, t∈T}为马尔可夫链。 例如,在荷花池中有N张荷叶,编号为1, 2, …, N。假设有一 只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动 可看作一随机过程。在时刻tn,青蛙所在的那张荷叶,称为青蛙 所处的状态。那么,青蛙在未来处于什么状态,只与它现在所 处的状态i(i=1, 2, …, N) 有关,与它以前在哪张荷叶上无关。 此过程就是一个马尔可夫链。
.
9
第6章
由全概率公式可知, 对k≥1,有（其中P (0) 表示单位矩阵）
p (k) ij=P{Xn+k=j|Xn=i}
N
=
l 1
P{Xn+k-1=l| Xn =i}·P{Xn+k=j|Xn+k-1=l}
N
= p (k-1) ilplj l 1
i, j=1, 2, …, N
其中用到马尔可夫链的“无记忆性”和齐次性。用矩阵
得Pm的所有元素均为正数,则称矩阵P为正规概率矩阵。
例如,
A
0.7 0.5
0.3 0.5
中每个元素均非负,每行元素之和皆为1,行数和列
数相同,为2×2方阵,故矩阵A为概率矩阵。
.
8
第6章
概率矩阵有如下性质： 如果A、B皆是概率矩阵,则 AB也是概率矩阵；如果A是概率矩阵,则A的任意次幂 Am(m≥0)也是概率矩阵。对k≥1,
pij P{Xn1jXn i} i, j1,2,..N.
N
pij 1 i1,2,..N.
j1
.
6
第6章
转移矩阵设系统的状态转移过程是一齐次马尔可夫
链,状态空间S={1, 2, …, N}为有限,状态转移概率为pij,则 称矩阵
p11 p12 p1N
P
p21
p22
p2
N
(6.2)
pN