随机过程的熵率

第四章 随机过程的熵率
马氏链模型
描述一类重要的随机动态系统（过程）的模型
• 离散的时间对应离散的状态 • 系统在每个时刻所处的状态是随机的 • 从当前时刻到下时刻的状态按一定概率转移
• 下时刻状态只取决于本时刻状态和转移概率 已知现在，将来与过去无关（无后效性） 马氏链 (Markov Chain) ——时间、状态均为离散的随机转移过程
本章内容表明：熵H(X1, X2, …Xn)随n以 速率H(X)（渐近地）线性增加，这个速率称 为熵率。
第四章 随机过程的熵率
§4.1 马尔科夫链
马尔科夫 1874年马尔科夫入圣 彼得堡大学，师从切 比雪夫，毕业后留校 任教。 1886年当选为圣彼得 堡科学院院士。 在1906年首先提出了 马尔可夫链的概念。
随机序列中的每个随机变量仅依赖于它的前一个随机变 量，而条件独立于它前面的所有随机变量，这样的过程 称为马尔科夫过程。
第四章 随机过程的熵率
马尔科夫链
定义：如果对n=1,2,…,及所有的 x1, x2,…, xn∈X，有：
Pr{Xn+1=xn+1| Xn=xn, Xn-1=xn-1, …, X1=x1}=Pr{Xn+1=xn+1|
平稳信源的研究是非平稳信源研究的基础。
第四章 随机过程的熵率
离散平稳信源解释
1、若n= 0时(i,j 是大于1的任意整数)，p(xi)=p(xl)=p(x)，则 序列是一维平稳信源。
2、除上述条件外，如果联合概率分布P(xixi+1)也与时间起点 无关，即p(xixi+1)=p(xjxj+1) (i,j为任意整数且i≠j)，则信源称 为二维平稳信源。
Pr{Xn+1=b|Xn=a}=Pr{X2=b|X1=a} 则称马尔科夫链是时不变的。
(4.4)
z 研究时不变马尔科夫链。
如果{Xi}为马氏链，则称Xn为n时刻的状态。时不变马 氏链完全由其初始状态和转移概率矩阵P=[Pij]决定，其 中Pij＝ Pr{Xn+1=j|Xn=i} =Pr{X2=b|X1=a}，i,j∈{1,2,…,m}。
例子
例4.1.1 考虑两状态的马氏链，其转移概率矩阵为
P
=
⎛1−α α
⎜ ⎝
β
1− β
⎞ ⎟ ⎠
如图4.1所示，求平稳分布。
图4.1 两状态的马氏链
第四章 随机过程的熵率
§4.2 熵率 Entropy Rate
定义 假设信源字母序列长度为n，并用(X1, X2,…, Xn)表 示，这是一个随机向量，该随机矢量的联合熵为：
其极限可能不存在。如
此时不存在。
⎧⎪ X i : 1 2 3 "2i
⎨⎪⎩P : 1 / (2i )
4
第四章 随机过程的熵率
熵率存在定理
为方便，引入变量：
H
′(
X
)
=
lim
n→∞
H
(
X
n
|
X1,",
X
n −1
)
Th4.2.1 平稳随机过程的熵率存在，且
(4.14)
H(X)=H’(X)
(4.15)
Th4.2.2 平稳随机过程的H(Xn|Xn-1,…,X1)为单调递减
2
第四章 随机过程的熵率
模型（续）
若概率Pij(n)的取值与n无关，称此类马尔可 夫链为时齐马尔科夫链， 简记为Pij。
k次转移概率：记为
P(k) ij
∑ 转移次数可加性：Pij(k+r) =
P P (k ) (r) il lj
l
可到达iÆj：Pij(n) > 0 ；若iÆj, jÆi，相通。
第四章 随机过程的熵率
注释：若马氏链是非周期不可约的，其平稳状态 分布唯一，从而对任意的初始分布，当nÆ∞时， 分布必趋向于平稳分布，从而Th4.2.4中的熵率计 算公式适合于任意的初始分布，且结果唯一。
第四章 随机过程的熵率
马尔科夫实例
语言文字是一个马尔科夫信源。
英语：26个字母概率不均匀，当前字母的产生 还受前面字母的影响。那么l=?，理论上，可以 有很长的约束关系。
第四章 随机过程的熵率
• 一步转移概率矩阵
如果系统有N个状态，则一步转移概率矩阵如下：
⎡ P11
P
=
⎢ ⎢ ⎢
P21 #
P12
"
P1N ⎤
P22
"
P2 N
⎥ ⎥
#
#⎥
⎢ ⎣
PN
1
PN 2
"
PNN
Leabharlann Baidu
⎥ ⎦
第四章 随机过程的熵率
各态历经
• 定义：各个状态都是遍历态。
• 判定：对任意两个状态i和j，如果存在正整数
在实际应用中，英文字母发生的概率，考虑前 5个左右字母就可以了，即l=5。从而，用5阶马 尔科夫信源来作为英语的信源模型已足够。
结论：恰当选择马尔科夫的阶数来近似实际信 源模型，是一个重要问题。
第四章 随机过程的熵率
熵率计算例子
例. 如图是一个离散平稳 遍历的马氏信源的状 态转移图，信源又三 个源字a, b和c，三种 状态1,2和3。求信源 熵率和马氏编码。
定义：不可约的、非周期的、状态有限的马氏链，其n步 转移概率Pij(n)在nÆ∞时趋于一个与初始状态i无关的 极限概率p(j)，它是方程组
∑ p( j) = p(i) pij , ∑ p( j) = 1
的唯一解，称p(j)为i 马氏链的一个j平稳分布，且p(j)就 是系统此时处于状态j的概率。
第四章 随机过程的熵率
Th4.2.4 设{Xi}为平稳马氏链，其平稳分布为μ， 转移概率矩阵为P，则熵率为
∑ H ( X ) = − μiPij log Pij
ij
第四章 随机过程的熵率
实例及注释
例4.2.1 （两状态马氏链）如图4.1所示的两状
态马氏链的熵率为
H(X)
=
H(X2
|
X1)
=
α
β +
β
H(α)
+
α
α +
β
H(β)
安德烈·马尔科夫
第四章 随机过程的熵率
马尔科夫链的应用
• 马尔科夫链通常用来建模排队理论和统计学中的建 模，还可作为信号模型及熵编码技术，如算术编码。
• 马尔科夫链也有众多的生物学应用，特别是人口过 程，可以模拟生物人口过程的建模。隐马尔科夫模 型还被用于生物信息学，用以编码区域或基因预测。
• 马尔科夫链最近的应用是在地理统计学 （geostatistics）中。其中，马尔科夫链用在基于 观察数据的二到三维离散变量的随机模拟。
∑ 序列。
Th4.2.3(Cesáro值) bnÆa 。
若anÆa，且
bn
=
1 n
n i =1
ai，则
第四章 随机过程的熵率
马氏链熵率
马尔科夫链 对平稳马氏链，熵率为：
H(X)=H’(X)=limH(Xn|Xn-1,…,X1) =limH(Xn|Xn-
1) =H(X2|X1)
(4.25)
其中条件熵可以根据平稳分布计算。
Xn=xn}
(4.2)
则称离散随机过程X1, X2,…是马尔科夫链或马尔科夫过
程。
其联合概率密度函数可写为
p( x1, x2,", xn) = p( x1) p( x2 | x1)"p( xn | ) xn−1
第四章 随机过程的熵率
时不变马尔科夫链
定义：如果条件概率p(xn+1|xn)不依赖于n，即对n=1,2,… 有：
第四章 随机过程的熵率
第四章 随机过程的熵率
Entropy Rates of a Stochastic Process
4.1 马尔科夫链 4.2 熵率 4.3 例子：加权图上随机游动的熵率 4.4 热力学第二定律 4.5 马尔科夫链的函数 要点
第四章 随机过程的熵率
上一章的渐近均分性表明，在平均意义 下，nH(X)比特可以描述n个独立同分布的随 机变量。然而，对于一般的随机过程，如果 信源发出的符号前后不独立，具有相关性， 情况又如何呢？
第四章 随机过程的熵率
模型
源字： {a1,a2 ,",aK }
输出序列：x1x2 " xn
输出概率由自身和前l个源码有关，l个源字组成的
{ } 状态：1,2," , m = K l ，组成信源状态序列：
s1 ,s 2 ," , sm
输出序列：n(i)Æ(n+1)(j)，其概率称为转移概 率，
( Pij(n) = P X n+1 = j | X n = i)
2、正规概率矩阵
i ∈{1, 2,", N}
若概率矩阵P的m次幂Pm的所有元 素皆为正，则该概率矩阵P称为正规概率矩 阵。（各态历经的）。
第四章 随机过程的熵率
平稳分布
若在n+1时刻，状态空间上的分布与在n时刻的分布相 同，则称此分布是平稳的。 如果马尔科夫链的初始状态 服从平稳分布，那么该马尔科夫链为平稳过程。
第四章 随机过程的熵率
§4.3 例子：加权图上随机游动的熵率
随机游动：如图4.2所示为无向图。 假设：m个节点，权重i与j： Wij≥0。粒子做随机游动{Xn}， Xn∈{1,2,…,m}，
∑ 节点i的权重总和：Wi = Wij
转移概率为链接i和j的边权j 重所占所 有与i相连的边的权重之和的比例： 图4.2 图上的随机游动
离散平稳信源
信源模型：信源字母表{a1,a2,…,aK}，输出序列{…x-2, x-1, x0, x1, x2,…, xi,…}。
定义 信源联合概率分布与时间起点无关：
p ( x1, x2,", xn ) = (p x1+l , x2+l ,", xn+l )
则称该随机过程是平稳的。
(4.1)
实际信源在短时间内是平稳的；
还车 风景区
0.2 0
0.2
宾馆 0
0.8 0.6
⎡ p11
p12
p13 ⎤ ⎡0.8 0.2
0⎤
P
=
⎢ ⎢
p21
p22
p23
⎥ ⎥
=
⎢⎢0.2
0
0.8⎥⎥
⎢⎣ p31
p32
p33 ⎥⎦ ⎢⎣0.2 0.2 0.6⎥⎦
3
第四章 随机过程的熵率
• 概率矩阵的特点
N
∑ 1、pij ≥ 0, pij = 1 j =1
n0，使所有n0步转移概率
P(n0 ) ij
>
0
则可知信源是各态历经的。
根据转移次数的可加性知，n次概率转移矩阵与 一次概率转移矩阵之间有关系
( ) P (n) = P (1) n
第四章 随机过程的熵率
马尔科夫链（例子）
• 例：出租公司车站租、还车一步转移概率。
机场 租 风景区 车 宾馆
机场 0.8 0.2 0.2
2. i.i.d.随机变量序列X1, X2,…, Xn。此时的熵率为
H
(
X
)
=
lim
n→∞
H
(
X1,
X
2
,",
X
n
)
/
n
=
lim
n→∞
(nH
(
X1
))
/
n
=
H
(
X
1
)
第四章 随机过程的熵率
熵率的例子（续）
3. 独立但不同分布的序列。此时
n
∑ H ( X1, X 2,", X n ) = H ( Xi ) i =1
H ( X1, X 2,", X n )
则每个源字母的平均熵为：
Hn ( X ) = H ( X1, X 2,", X n ) / n
其极限（若存在）称为该信源的熵率：
H
(
X
)
=
lim
n→∞
H
(
X1,
X
2
,",
X
n
)
/
n
第四章 随机过程的熵率
熵率的例子
1. 打字机。信源等概，符号数为m，假设序列长度 为n，则可产生mn个等概序列，因此H(X1, X2,…, Xn)=logmn，熵率H(X)=logm比特/字符。
状态转移图
过渡态（1），吸收态（6），常返（2，3，4， 5），周期性（4，5），非周期(2,3)，遍历 (2,3)，闭集，不可约。
第四章 随机过程的熵率
相关概念
过渡态（1）：能到达其它某一状态，但不能返回（有 去无回）； 吸收态（6）：不能到达其它任何状态（只进不出）； 常返（2，3，4，5）：经有限步迟早要返回该状态 （迟早要回）； 周期性（4，5）：常返态中，qii(n)，仅当n能被某整数 d整除时返回，周期性返回； 非周期(2,3)：所有n的最大公约数为1； 遍历(2,3)：非周期常返； 闭集：子集内状态不能达到子集外（小团体）； 不可约：最小闭集（小团体内再无小团体）。
第四章 随机过程的熵率
离散马尔科夫信源
• 离散无记忆信源（简单）：所发出的各个符号 之间是相互独立的，发出的符号序列中的各个 符号之间没有统计关联性，各个符号的出现概 率是它自身的先验概率 ；
• 一般平稳信源（复杂）； • 马尔科夫信源：信源发出源字的概率，仅与当
前源字及前有限个源字有关。
1
第四章 随机过程的熵率
3、如果各维联合概率分布均与时间起点无关，那么，信源 是完全平稳。这时有： p(xi) = p(xj) p(xi xi+1) = p(xj xj+1) …… p(xi xi+1 … xi+n ) = p(xj xj+1 … xi+n )
第四章 随机过程的熵率
联合概率与条件概率的关系
p(xixi+1) = p(xi )p(xi+1 | xi ) p(xixi+1xi+2) = p(xi ) p(xi+1 | xi ) p(xi+2 | xixi+1) ⋅⋅⋅⋅⋅⋅ p(xixi+1...xi+n) = p(xi ) p(xi+1 | xi )⋅⋅⋅ p(xi+n | xixi+1 ⋅⋅⋅ xi+n−1)