随机过程的熵速率

Lecture 1：随机过程的熵速率

序列中随机编码相关时候、平稳时的熵速率如何？

本节显示以速率),,,(21n X X X H ")(χH 随着n 线性增加。)(χH 称为过程的熵速率entropy rate. 1. Markov 链

定义1：随机过程的平稳性

},,Pr{},,Pr{1111n l n l n n x X x X x X x X =====++""，对所有的l 和所有的χ∈n x x x ,,,21"

定义2：markov 链或markov 过程

}|Pr{},,|Pr{11111n n n n n n n n x X x X x X x X x X ======+++"，对所有的χ∈+121,,,,n n x x x x "

这种情况下，随机变量的联合概率密度函数可写为

)|()|()()(112121?=n n n x x p x x p x p x x x p ""

定义3：时不变markov 链

}|Pr{}|Pr{121a X b X a X b X n n =====+，对所有的χ∈b a ,

}{i X 是Markov 链，称为时刻n 的状态，对于时不变Markov 链可由初态和概率转移矩

阵n X }|Pr{},,,2,1{,],[1i X j X P m j i P P n n ij ij ===∈=+"来描述其特性。

如果能从Markov 的任何一个状态以正概率通过有限步转移到Markov 过程的任何一个其他的状态，称Markov 链是不可约的(irreducible)

∑+=+n

n n x x x n n P x p x p 1)()(1

如果n+1时刻的状态分布与n 时刻的相同，称为平稳分布。

如果有限状态Markov 链是不可约的且是非周期的，则平稳分布是唯一的，且从任意开始分布，随，状态分布趋于平稳分布。

∞→n n X 2．熵速率

对一有n 个随机变量的序列，问题：随着n 增加序列的熵是怎样增加的？熵速率就是熵增加的速率。

定义4：随机过程的熵速率

}{i X ),,(1

lim

)(1n n X X H n

H "∞→=χ,当极限存在时（每符号的熵） 例1：打字机：每个符号有m 种等该概可能，长为n 的序列熵为

1(,,)log ,()log n n H X X m H χ=="m

例2：12,,n X X X "是i.i.d., 1()()H H X χ=

例3：12,,n X X X "不是i.i.d.，某些情况下),,(1

lim )(1n n X X H n

H "∞→=χ不存在

),,|(lim )('11X X X H H n n n "?∞

→=χ，当极限存在时（给定前导符号时最后一个符号的熵）

对于平稳序列这两个极限存在且相等。

定理4.2.1：平稳随机过程)(')(χχH H =

定理4.2.2：对平稳随机过程，随n 递减并且有极限),,|(11X X X H n n "?)('χH

证明：，由于

是非负递减，所以有极限11121(|,,)(|,,)(|,,)n n n n n n H X X X H X X X H X X X ++≤=""1?"),,|(11X X X H n n "?)('χH

□

定理4.2.3如果∑==→n

i i

n n a n

b a a 11,，则（证明略） a b n →定理4.2.1的证明：

rule chain X X X H n n X X X H n

i i i n ∑=?=1

1121),,|(1),,,(""

)('),,|(11χH X X X H i i →?"

由定理4.2.3， )

('),,|(lim )

,,,(lim

)(1121χχH X X X H n

X X X H H n n n ===?""

平稳随机过程的熵速率是是稳各态历经过程的平均描述长度。

熵率是对所有平稳随机过程定义的，对于Markov 的熵率计算特别容易。 Markov chain ：对于平稳Markov 链，熵率有下式给定：

)|()|(lim ),,|(lim )(')(12111X X H X X H X X X H H H n n n n ====??"χχ

条件熵由给定的平稳分布计算

定理4.2.4：是一个平稳Markov 链，平稳分布为}{i X μ，转移矩阵P 。熵率为

∑?=ij

ij ij i P P H log )(μχ

说明：如果Markov 过程是不可约且非周期，尽管初始分布可能不是周期分布，但是渐进到平稳分布，熵率可以作为描述这一信源的信息速率的下界。 自学加权图上随机游走的熵率。Cover4.3

3．马尔可夫链的函数

令为平稳Markov 链，}{i X )(i i X Y φ=为一与Markov 链状态相对应的过程。

由于Markov 链是平稳的，所以)(i i X Y φ=也是平稳的。如果要计算，需要对所有n 计算并找到极限，由于极限收敛的可能很慢，所以无法知道距离极限有多远，也不知道何时停止。（计算n+1和n 之间的差也是不可靠的）。

)(y H )|(11Y Y Y H n n "?在计算上如果知道从上和下收敛到极限的上界和下界将是非常有帮助的，当上界和下界非常接近时我们就可以停止计算，并且我们得到对极限一个非常好的估计。

我们已经知道从上方单调的收敛于，而下界，我们将使用

，想法中包含一个巧妙的技巧：包含关于的信息与一样多。

)|(11Y Y Y H n n "?)(y H ),,,|(121X Y Y Y H n n "?1X n Y ",,,101?Y Y Y 引理4.4.1 )(),,,|(121y H X Y Y Y H n n ≤?"

Proof:

)

(),,,|(lim ),,,|()

,,,|(),,,,,,|(),,,,,,,,,,|()

,,,,,,,|()

,,,,|(),,,|(1211211210121001121011211121121y H Y Y Y Y H X Y Y Y H Y Y Y Y H Y Y Y Y Y Y H Y Y X X X Y Y Y Y H X X X Y Y Y Y H X Y Y Y Y H X Y Y Y H k n k n k

n n k n k n k n n k k n n k n n n n n n =≤=≤===+++?+++?????????""""""""""""

引理4.4.2

1211211(|,,,)(|,,,,)0n n n n H Y Y Y Y H Y Y Y Y X ???→""1211211112112111121111211111

111(|,,,)(|,,,,)(;|,,,)(;,,,,)()lim (;,,,,)()

lim (;,,,,)lim (;|,,)

(;|,,)

n n n n n n n n n n n n

n n i i n n i i i i H Y Y Y Y H Y Y Y Y X I X Y Y Y I X Y Y Y Y H X I X Y Y Y Y H X I X Y Y Y Y I X Y Y Y I X Y Y Y ?????→∞

??→∞

→∞

=?=?=≤≤==∑"""""""1

∞

∑1Y "

由于这一无限和是有限的且所有项都是非负的，所有项必然趋于0，即

0),,|;(lim 111=?Y Y Y X I n n "

故结合这两个引理，有

定理4.4.1：如果构成平稳markov 链，n X X X ,,,21")(i i X Y φ=，则

12112112112(|,,,)()(|,,,)lim (|,,,)()lim (|,,,)

n n n n n n n n H Y Y Y X H y H Y Y Y Y H Y Y Y X H y H Y Y Y Y ????1≤≤==""""

隐马尔科夫过程（HMM ）)(i i X Y φ=不是确定的，而是概率的马尔可夫链由每一个观察即可知所处状态，而HMM 由观察仅能估计目前所处状态的概率。 隐马尔科夫模型的应用：

隐马尔可夫模型是一种基于转移概率和传输概率的随机模型，最早在IBM 被用于语音识别。它把语音看成由可观察到的符号序列组成的随机过程，符号序列则是发声系统状态序列的输出。在使用HMM 识别时，为每个说话人建立发声模型，通过训练得到状态转移概率矩阵和符号输出概率矩阵。识别时计算未知语音在状态转移过程中的最大概率，根据最大概率对应的模型进行判决。HMM 不需要时间规整，可节约判决时的计算时间和存储量，在目前被广泛应用。缺点是训练时计算量较大。在手写识别中也有广泛的应用

热力学第二定律： 独立系统的熵是非减的。 下面讨论这一第二定律和熵率之间的关系

1． 热力学熵的定义：通常定义为系统中微状态数目的对数，等概时与我们定义的熵类似 以马尔可夫模型描述独立系统，其状态转移遵循物理定律，在这一模型下会发现热力学定律的四个不同的解释

1． 相对熵(||'n n D )μμ随n 递减。'

,n n μμ是马尔可夫模型n 时刻在状态空间上的两个状态

分布，'

1,n n 1μμ++是n+1时刻状态空间上的两个状态分布，

11(,)()(|)n n n n n p x x p x r x x ++=, ,r 为转移函数。 1(,)()(|)n n n n n q x x q x r x x ++=11111((,)||(,))

(()||())(()||())((|)||(|))

n n n n n n n n n n n n D p x x q x x D p x q x D p x q x D p x x q x x ++++++=

=+111

考虑: 1(|)(|)n n n n p x x q x x ++=?

对markov chain 英国和加拿大税收分布系

统

2. 相对熵(||n D )μμ随n 递减，μ为一个平稳分布

3. 如果平稳分布是均匀的熵增加:如果平稳分布是非均匀的，从均匀分布的初态出发，

则渐近的到非均匀平稳分布，熵是减少的。

(||)log ||(n )D n H X μχ=?(||)n D ，μμμ))单调递减?熵单调递增直至极值，这与热力学

第二定律吻合。

4. 条件熵随n 递增 1(|n H X X

5. 置换后()(H TX H X >