9-连续时间Markov过程

j 0,1, 2
* ** p* [ r V (n 1)]} ij ij j
利用这种迭代, 可知本月无定单, 采用最优 策略,4个月后最大利润为134(万元).
转移概率矩阵: 0 q1 0 0 0 0 P 0 0 0 0 0 0 0 q2 0 0 0 0 0 0 q3 0 0 0 0 0 0 q4 1 0 r1 r2 r3 r4 0 1
令n ，可知 0 为(*)最小正根.
下证(*)有根的条件 : 设G ' (1) (数学期望) . G( z) 构造函数 : f ( z ) , 0 z 1. z G' ( z) z G( z) 显然, f (0) , f (1) 1, f ' ( z ) (0 z 1). 2 z 考虑左右导数: f ' (0) , f ' (1) 1. f "( z) (G" ( z ) z G ' ( z ) G ' ( z ))z 2 2 z (G ' ( z ) z G ( z )) (0 z 1). 4 z 1 3 ( k 0 p k [k (k 1) 2k 2]z k ) 0. z
利润预测 ：某玩具商每月至多接 受2份定单. X (n)表示第n个月的定单数，可设是 齐次 Markov链, 根据过去经营的资料分 析, 接受定单的转移概率为 p 00 P p 10 p 20 r00 R r10 r 20 p 02 0.1 0.3 0.6 p12 0.3 0.3 0.4 , 0.3 0.1 0.6 p 21 p 22 I 0 1 2表示接受的定单数 .相应于P报酬矩阵为 p 01 p11 r02 20 10 20 r11 r12 10 20 40 r00 20表明 10 40 60 r21 r22 这个月无定单 , 下个月还无定单公司赔 20万元. r01
n
命题 ：典范式的性质 （i）当n 时，Q n O； (ii )矩阵E Q可逆， (iii ) N ( E Q ) 1 E Q Q 2 . 其中，s s阶矩阵N ( E Q ) 1 为吸收Markov 链 的基本矩阵.
n n 证： (i )Q对应非常返态, lim p 0 , 显然 lim Q O . ij n n
*
这是一个不动点 .
下证这个不动点还是一 个最小正根. 母函数单调不减， p10 p 0 G (0) G ( z ) z;
2） （n 1 ） （n） p（ G ( p ) G ( z ) z ; ， p G ( p ) G( z) z 10 10 10 10
为寻找公司n个月之内的最大利润决策. 令d i (l), i 0,1,2; l 1,2, , n. 表示第l个月接受i份定单的决策. 最优策略是确定i, l并使总期望最大. Vi** (n ) max {

k

j 0,1, 2
k k * p ij [rij V * (n 1)], j
pi 0 (现在i个个体, 下一代全灭种) P( X (n 1) 0 | X (n) i ) P(Y1 Y2 YX ( n ) 0 | X (n) i ) P(Y1 Y2 Yi 0) P(Y1 0) P(Y2 0) P(Yi 0)
(ii ) ( E Q )(E Q Q 2 Q n 1 ) E Q n . | E Q || E Q Q Q
2 n 1
|| E Q | .
n
由(i ), K ,当n K时, | E Q n | 1 / 2. 即)矩阵E Q可逆.
(n) (n) k (n) p p p ( p ) G ( p ). k 0 k 0 k k0 k 10 10 (n) 结论 : n代灭种, n 1代必灭种.于是p10 单调不减.存在极限. (n) lim p 10 0 . n
对上式两边取极限 .得
0 G ( 0 )
可用于投标风险预测 .
有限状态吸收 Markov链 : 例 : 工程投标决策 .
1预研 阶段
q1
2预审 阶段
q2 r3
3投标 阶段
q3
4决标 阶段
r1 r2
6退出
r4
5中标
q4
转移概率矩阵: 0 q1 0 0 0 0 P 0 0 0 0 0 0 0 q2 0 0 0 0 0 0 q3 0 0 0 0 0 0 q4 1 0 r1 r2 r3 r4 0 1
预测公司 n个月之后的期望利润 . 令Vi (n)表示开始接到 i份定单 , n个月之后的期望利润 .则 Vi (n) jI p ij [rij V j (n 1)]. 初始利润为 0, 即Vi (0) 0. 本月无定单 , 下月平均利润为 : V0 (1) 0.1 (20) 0.3 10 0.6 20 13(万元 ). 本月 1个定单 , 下月平均利润为 : V1 (1) 0.3 (10) 0.3 20 0.4 40 19(万元 ). 本月2个定单 , 下月平均利润为 : V 2 (1) 0.3 10 0.1 40 0.6 60 43(万元 ). 可用 * 式，或 n步转移阵 n个月之后的期望利润 . n 1,2, *
命题 ：从吸收Makov 链任意状态出发，最终 进入吸收 态的概率为 1. 证：对于任意非常返态 , 从他出发，应以概率 1只返回 该状态有穷多次，即以 正的概率有限步转移到 达吸收态.因 状态空间只有有限个 , p 0, 对充分大的步数 k , 使从任意非 常返态出发经公共的 k步转移到达吸收态的概 率不小于p, 反 过来从任意非常返态出 发经公共的k步转移不到达吸收态 的概率小于(1 p ). 利用Makov性, 再连续经k次转移, 与 前k次转移相互独立 .从任意非常返态出发经 公共的2k步转 移不到达吸收态的概率 小于(1 p ) 2 , 类似地, 从任意非常返 态出发经公共的 nk步转移不到达吸收态的 概率小于(1 p ) n , 令n , 命题得证.
i p0 .
结论 : 任意非0状态i都以正的概率可达吸收 态0, 故{0}是基本常返闭集 , 其他状态非常返 . 借助第一章母函数研究 状态转移概率 .
k 令G ( z ) p z . k 0 k
现在i个个体，经n代全灭种，即 i个个体各个灭种 .
(n) i 由独立性可得: pi(0n ) ( p10 ).
应用随机过程
Applied stochastic processes
第三章 Markov过程
离散分支过程 ：X (n)表示第n代个体的数目 , 假定每个个体产生 Y个下一代个体, 其概率分布为: P(Y k ) p k , k 0,1, 且每个个体产生的下一 代数目独立同分布 .于是 X (n 1) Y1 Y2 YX ( n ) . 诸Yi 相互独立, 分布均为Y , 且与X (n)独立. X (n 1) 完全由X (n)确定, 与X (1), X (2),, X (n 1)无关. 是齐次Markov链. 状态空间: I {0,1, , }. p 00 1(现在0个个体，下一代依然 0个个体).0是吸收态. 研究灭种问题, 假定p 0 P(Y 0) 0(否则一旦出生不灭种 )
Makov链有r个吸收态，s个非常返态，其转移 E O 概率矩阵为P R Q , 其中E为r r阶单位矩阵； O为r s阶 0矩阵； R为s r阶矩阵, 表示从非常返态一步转 移到吸收 态的概率； Q为s s阶矩阵；表示从非常返 态一步转移到非常 E O i n 1 返态的概率.P , 其中Rn i 0 Q R. n Rn Q 上述记法称为典范式， 有很好应用价值 .
*
* * * r00 r01 r02 22 8 16 * * * * R r10 r11 r12 12 18 36 r* r* r* 8 36 55 21 22 20 在此条件下，一个月后 期望利润为： * * Vi * 2j 0 pij rij .
分情况讨论： (1) 1(平均产生1个个体以上), 利用连续函数介值 定理, 必有0 z 0 1, 使f ' ( z ) 0.函数f ( x)在(0, z 0 )单调下降, 在( z 0 ,1)单调上升.而f (1) 1, 故f ( z 0 ) 1.这样有 (0, z 0 ) 使f ( ) 1, 即为根, 在X (0) 1的条件下, 群体以概率 灭种, 以1 概率变为; 在X (0) i的条件下, 群体以概率 i 灭种, 以1 i 概率变为. (2) 1(平均产生不超过 1个个体), 知0 z 1, 使f ' ( z ) 0. 函数f ( x)在(0,1)单调下降.而f (1) 1, 故f ( z ) 1.(0,1)内无解. 只有 0 1 G (1).群体以概率 1灭种. 平均生1个以下, 必灭种; 平均生一个以上 , 也以正的概率 灭种, 但生的越多灭种的概率 越小.
( n 1) p10 (现在1个个体, 经n 1代全灭种)
，X (1) k | X (0) 1) k 0 P ( X ( n 1) 0 k 0 P ( X (1) k | X (0) 1)P ( X ( n 1) 0 | X (1) k , X (0) 1)
若公司改进经营策略， 刊登广告、人员培训、 研发改进产品 .转移阵和报酬阵为 :
p 00 * P * p 10 p* 20
*
p 01
* p 11
*
p* 21
p 02 0.05 0.15 0.8 * p 12 0.1 0.2 0.7 , 0.1 0.2 0.7 p* 22
可用于投标风险预测 .
有机毒物排放模型：
1分解
0.1
2在水 中
0.3
0.1 0.3 0.3 0.5 4在土 中 0.6 3浮游 生物中 0.2 0.3
0.3
1 0.1 P 0.5 0.3
0 0.3 0.2 0.1
0 0.3 0.3 0
0 0.3 0 0.6
死亡病因分析:
1其他 死亡 2呼吸 病死亡 3循环 病死亡
0.1
0.001 0.8
0.2 0.01
5呼吸 病
0.1
4健康 0.889
0.7
0.1 6循环 病 0.1
转移概率矩阵: 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 P 0 0.889 0.01 0.1 0.001 0 0 0.2 0 0.7 0.1 0 0 0.1 0.8 0 0.1 0 可用于分析死亡病因 上面例子的共同点是： 状态只有非常返态和吸 收态， 这种有限Markov链称为吸收Markov链.