第十四章马尔可夫分析

概率矩阵具有以下性质：
7
性质1：
设 u ∈ R n为 一 个概率 向量， A = [ aij ]n× n 是 一 个概率矩阵 ， 则 AT u = y也 是 一 个概率 向量。
证
a11 K y T = u T A = [u1 u 2 L u n ] M O a m1 L = [ ∑ u i ai1
17
二、马尔可夫链
1.定义：
设{ X n , n = 1, 2, L}是 一 个 随机变量 序列 ，用 “ X n = i” 表示 时 刻 n系 统 处 于状态 i这 一事件， 称 pij ( n ) = p ( X n +1 = j | X n = i ) 为 事件 “ X n = i ” 出现的 条 件 下 ，事件 “ X n +1 = j ”出现的 概 率 ， 又 称 它 为 系 统 的一 步转 移 概率 。 若 对 任 意 的 非 负 整 数 i1、 i2、 L in -1、 i、 j 及一 切 n ≥ 0， 有 p ( X n +1 = j | X n = i , X k = ik , k = 1, 2, L n -1) = p ( X n +1 = j | X n = i ) = pij ( n ), 则 称{ X n }是 一 个 马尔可夫链。
1
例1 设某地居民的牛奶供应由A、B、C三厂负责，每月 订一次，假定牛奶固定销售给1000户顾客，要订哪 厂牛奶由顾客自己选择。因广告宣传、服务质量等 原因，用户会改换厂家。假设有6月份三个厂销售情 况的市场调查记录，具体统计资料如下表所示：
六月份顾客的变化 牛奶厂 6月1日顾客数 A B C 200 500 300 得 60 40 35 失 40 50 45 7月1日顾客数 220 490 290
14
另 设 u = [u1 u 2 ]T 为 任 一 概 率 向 量， 由 A k → B ( k → ∞ ) 可得 ( A k )T u → B T u
1 1 1 1 ( ) u + u 1 2 3 3 u1 3 3 BT u = = = =X 2 2 u 2 1 (u + u ) 2 1 2 3 3 3 3
2
六月份顾客的变化 牛奶厂 6月1日顾客数 A B C 200 500 300 得 60 40 35 失 40 50 45 7月1日顾客数 220 490 290
表中pij 表示i失于j的概率，如B厂六月份失于A厂35户，而B有 500户，因此，B厂6月份失于A的概率为 pBA = 35/ 500 = 0.07。 同理，可得 pCA = 25/ 300 = 0.083, pAA = 160 / 200 = 0.800 pAB = 20 / 200 = 0.100, pBB = 450/ 500 = 0.900 pCB = 20/ 300 = 0.067, pAC = 20/ 200 = 0.100 pBC = 15/ 500 = 0.030, pCC = 255/ 300 = 0.850
18
例如 ， 有 一 位 顾客 每 天 向一家 商店买 一 包香烟 。 他购买香烟 并 不 固 定于一 种牌号 ， 商店 中 A、 B、 C、 D、 E 五种牌号 的 香 烟他 都 有 可能 购买 。设 X m 表示 他 在 第 m天购买 的 香烟牌号 。 若这 个 人只 记得 昨天抽烟 的 味道 ，以 前 的 都 记 不 得 了 ， 那么 X m 取 什么 值 ， 只 与 X m −1取 什么 值有 关 ， 则{ X m }构成 一 个 马尔 可夫链。
15 255
pAC = 0.100
pBC = 0.030 pCC = 0.850
4
将上表的所得情况用概率矩阵的形式进行描述，则有 A B C
A 0.800 0.100 0.100 维
持 B 0.070 0.900 0.030 和
C 0.083 0.067 0.085 得
维持和损失
6
第二节
★概率向量
正规随机矩阵的基本知识
T n
任何 一 个 向量 u = [u1 u 2 L u n ] ， 若 ui ≥ 0, 且 ∑ u i = 1，
i =1
则 称 u为概率 向量。
★概率矩阵
在方 阵 P = [ pij ]n× n 中 ， 若 各个行 向量 都 为概率 向量， 则 称 P为概率矩阵 或 随机 矩阵 。
19
2.齐次马尔可夫链
若系 统 无论 何 时 从 状态 i出发， 经 k 步转 移 到 状态 j的 概率 都 相 同 ，即 有下式 成立 ： p ( X s + k = j | X s = i ) = p ( X k +1 = j | X 1 = i ) 其中 ， i、 j、 k皆 为 正整 数， s为 任 一 正整 数， 则 称 此 马尔可夫链 为 齐 次马尔可夫链。
第十四章 马尔可夫分析
第一节 引言
★1907年由俄罗斯数学家马尔可夫（A.Markov）提出， 并由蒙特-卡罗(Mote-Carlo)加以发展。 ★用于分析随机事件未来发展变化的趋势，即利用某 一变量的现状和动向去预测该变量未来的状态及动 向，以预测未来某特定时期可能发生的变化，以便 采取相应的对策。 ★内容：马尔可夫过程、马尔可夫链
16
2.马氏过程：
若已知在 时 间 t系 统 处 于状态 X 的 条 件 下 ， 在 时 刻 τ (τ > t ) 系 统所 处 状态 与 时 刻 t以 前 系 统所 处 的状态 无关 ， 此 过程 便 为 马尔可夫过程（随机过程的一 个 子类 ）。 例如, 在 布朗运 动 中 ， 已知 时 刻 t下 的 运 动状态 条 件 下 ， 微 粒 在 t后 的 运 动 情况 和 微粒 在 t以 前 的 情况 无关 。 若 X (t ) 表 示 微粒 在 时 刻 t的 位置 ， 则 X (t )是 马尔可夫过程。 T 连续 、 S 离散 的马 氏 过程 马 氏 过程 T 连续 、 S 连续 的马 氏 过程 T 离散 、 S 离散 的马 氏 过程（马尔可夫链）
A厂保持率 B厂转入率 C厂转入率
0.800 0.100 0.100 = 0.234 0.483 0.283 0.070 0.900 0.030 [0.22 0.49 0.29] ] [ 0.083 0.067 0.085
其中，[ 0.2 2 0.49 0 .29 ] 向量为各厂7月份的市场占有份额 （订户数与总订户数之比），则8月份A厂拥有全部顾客 的23.4%，B厂为48.3%，C厂为28.3%。
n
n
所 以 AT u为 一 个概率 向量。
8
性质2： 若 A和 B都 为概率矩阵 ， 则 AB 亦 为概率矩阵 ，
A n 亦 为概率矩阵 。
证
用 Ai⋅表示 由 矩阵 A的第 i行 组成 的向量， 由 性 质1知 ， B T Ai⋅都 是概率 向量， 而 A1T⋅ B AB = M AT B n⋅ 故 AB的每一 行 组成 的向量 均 为概率 向量， 即 AB为概率矩阵 ， A n 亦 为概率矩阵 。
1 2 3 L 、 A k L 组成 的 序列 会 ② A的 各 次 方幂 A 、 A 、 A 、
趋 近 于一 个固 定的 方 阵 B，即 A k → B (当 k → ∞ )， 且 B的每一 行 均 为 X T ；
③ 设 为 任 一 维概率 向量，
( A 2 )T u、 ( A 3 )T u、 L、 ( A k )T u L 则 向量 序列 AT u、 趋 近 于 概率 向量 X 即 有 ( A k )T µ → X ( k → ∞ )
13
事实上，有
1 2 2 A = 1 4 5 16 A5 = 11 32
5 1 3 1 3 8 8 2 4 4 3 4 , , A = , A = 3 5 11 3 5 4 16 16 8 8 11 11 21 16 6 32 32 , A = LL → B 21 21 43 32 64 64
11
0 例2 试用正规随机矩阵 A = 1 2 解
1 1 验证上述定理 2
设 概率 向量 X = [ x1 x 2 ]T 满足方 程 组 AT X = X ， 1 x = x1 2 2 于 是 便 得 到方 程 组 x + 1 x = x 1 2 2 2 将 两 个 方 程相加， 得 到恒 等式 ： x1 + x2 ≡ x1 + x 2 故这两 个 方 程 不 是 相 互独立 的。
正规概 率矩阵
0 1 L， Q m = m 1 ， 2 −1 m 4 2
非正规概 率矩阵
0 1 2m
10
概率矩阵具有一下性质： 若A是一个正规概率矩阵，则有 ① 一定 存在 一 个概率 向量 X ， 使 得 AT X = X 成立 ，
且 X 的 各 分量 皆 为 正 数 ；


获
根据以上数据可做以下工作： ①预测未来某时刻各销售者的市场占有率； ②预测将来销售者的市场份额的得失比率； ③预测市场是否会出现市场平衡状态（稳定市场份额）； ④按对市场份额得失分析销售者的推销活动，指导厂家促销。
5
根据以上数据预测8月1日A、B、C三厂的市场占有率， 则8月1日的状态为 A厂的市场份额 = 0.22 × 0.80 + 0.49 × 0.07 + 0.29 × 0.083 = 0.234
12
用 方 程 x1 + x2 = 1来取 代 上述 方 程 组 中 的第 二 个 方 程， 得 到新 的 方 程 组 1 x2 = x1 2 x1 + x2 = 1 解之 得 X = [ x1 x 2 ]T = [ 1 2 T ] 3 3
进 一 步 ， 矩阵 序列 A1、 A 2、 A 3、 LL 趋 近 于 各行 都 以向量 X T 所 构成 的 方 阵 B。 1 3 B= 1 3 2 3 2 3
9
★正规概率矩阵
对 任 一 概率矩阵 P， 若存在 m , 使 得 P m ( m为 大 于1的 正整 数 ) 的 所有 元素都 是 正 数， 则 称 P为 正规 概率矩阵 。 0 P=1 2 1 Q=1 2 1 1 ,P 2 = 2 1 1 2 4 0 1 ,Q2 = 1 3 2 4 1 2 3 4
3
牛奶厂 6月1日顾客数 7月1日顾客数 A 得失 值及 其概 率
A 200 220 160
B 500 490 35
C 300 290 25
pAA = 0.800
20
pBA = 0.070
450
pCA = 0.083
20
B
pAB = 0.100
C 20
pBB = 0.900 pCB = 0.067
Байду номын сангаас
15
第三节
一、一般随机过程
1.定义：
马尔可夫链
依赖 于一 个 变动 参 数 t的一 族 随机变量{ X (t ), t ∈ T }。 其中 ，变动 参 数 t 所有 可取 值 的 集合 T 为 参 数 空间 。 X (t )的 值所 构成 的 集合 S 称 为 随机过程的状态 空间 。
例如 , 从 时 间 t = 0开始 记录 某 电话 总 机 的 呼 叫 次数 ， 设 t = 0时 没 有 呼 叫 ， 至 时 刻 t的 呼 叫 次 数 记 为 N t， 则 随机 变量 族{ N t , t ≥ 0}是 随机 过程 。
i =1 n n n
a1n M a mn ]
∑u a
i =1 i n i
n
i2
L
∑u a
i =1 i n
n
in
则 y T 各 分量 之 和 为
∑ y = ∑∑u a
j =1 i j =1 i =1
ij
= ∑ ui ( ∑ aij ) = ∑ u i = 1
i =1 j =1 i =1