3马尔可夫链,随机过程的熵速率

3 讲

上讲要点z互信息

z凸性和凹性

z Jensen不等式

z信息不等式

z数据处理定理

本讲概要z Fano不等式

z随机过程，熵率

z马尔可夫链

z图上的随机游动

z隐式马尔可夫模型

阅读：第四章

简要复习

z 互信息

()()()Y X H X H Y X I |;?=

()()()()

∑=y

x Y X Y X Y X y P x P y x P y x P ,,,,log

()Y X Y X P P P D ||,=

z 互信息的链式准则

()()()12121|;;;,X Y X I Y X I Y X X I +=

()0||≥q p D

z 熵()X H 是的凹函数；

X P 对给定的，互信息X Y P |()Y X I ;是的凹函数；对给定的，互信息X P X P ()Y X I ;是的凸函数。

X Y P |

z ()(Z X I Y X I Z Y X ;;≥?→→)

Fano 引理

假设有两个随机变量序列X 和Y ，Fano 引理给出了基于Y 估计X 时的误差界限

我们可以得到X 的估计量()Y g X

错误概率为()X X

P P r e ≠=?

设有关于误差E 的指示函数，当X X ?=时为1，其他为0，

则有，()0==E P P e

Fano 引理：

()()()Y X H P E H e |1log ≥?+χ

Fano 引理的证明

()()()Y X E H Y X H Y X E H ,|||,+=

()Y X H |=

()()()Y E X H Y E H Y X E H ,|||,+=

()()Y E X H E H ,|+≤ ()E H =

()Y E X H P e ,1|=+

()()Y E H P e

,0|1=?+

()()Y E X H P E H e ,1|=+= ()()1|=+≤E X H P E H e

()()1log ?+≤χe P E H

χ越大，越接近上界。

随机过程

z 一个随机过程是一个时间序列或者随机变量序列

,是一个从Ω到的映射

,...,10X X ∞χ

z 一个随机过程是用联合分布函数表征：

(),,...,,10,...,,10n X X X X X X P n

(),,...,,10n n x x x χ∈ 对 n=0,1,…

z 一个随机过程的熵为

(),...,21X X H

()()...|121++=X X H X H ()...,...|11++?i i X X X H

难点

z 无穷多项求和

z 一般来说，所有项是不同的的

熵速率

一个随机过程的熵速率定义为：

()

n n X H n

lim

∞→ 如果极限存在。例如：

z i.i.d 的 r.v.s 序列 z i.i.d 的 r.v.s 模块

z 一个随机过程是平稳的，如果

()n X X X x x x P n ,...,,10,...,,10 ()n X X X x x x P n l l l ,...,,10,...,,11++=

对每个移位l 和所有()n n x x x χ∈,...,,10。

对平稳随机过程，极限是存在的。

随机过程的熵速率

链式准则：

()()∑=?=n

i i i n X X X H n X X X H n 1

1121,...,|1,...,,1

左边的极限是存在的，当且仅当右边的每一项都有极限时。

对一个随机过程

()()n n n n X X H X X H 2111||++≤

()11|?=n n X X H

故序列()11|?n n X X H 是非减、非负的，所以极限存在。

定理：对平稳随机过程，熵速率为

()()

111|lim 1

lim

?∞

→∞→=n n n n n X X H X H n

马尔可夫链

z 一个离散随机过程如果满足如下条件，就是一个马尔

可夫链

()10,...,|,...,|10??n n X X X x x x P n n

()1||1??=n n X X x x P n n

对和所有的,...2,1=n ()n n x x x χ∈,...,,10

X n ：n 次转换后的状态

— 属于一个有限状态集合，如{1,…,m} — X 0或者是给定的，或者是随机的。

时变马尔可夫过程

转移概率是时不变的

()i X j X P p n n j i ===+|1,

()011,...,,|X X i X j X P n n n ?+===

马尔可夫链可以用概率转移矩阵[]j i p P ,=来表征

问题：平稳和时不变

设()()i X P n r n i ==，且有初始条件，或者是随机初始状态的平均值

关键的迭代公式

()()∑=+i

j i i j p n r n r ,1

或

()()P n r n r →

→=+1

马尔可夫链复习

z P ππ=总是有解么，P 是一个概率向量？

z 这个解是唯一的么？

π？

z 从任何初始状态（随机）开始，都能收敛到

π。一阶递归非周期马尔可夫链，有一个唯一的稳态分布

P n 的每一行都收敛到π。

马尔可夫链的熵速率为：

()

n n X H n

lim

∞→ ()1|lim ?∞

→=n n n X X H

∑?=j

i j i j i i p p ,,,log π

图上的随机游动

例如：一个3×3棋盘的随机游动

1 2 3 4 5 6 7 8 9

????=0,0,0,51.51,51,51,0,51,2j p

在的条件下，观察X 21=?n X n 给出信息量为log 25(bit)。

熵速率为8log 5log 43log 4521πππ++

对n ×n 的棋盘，当，熵速率逼近于log8 ∞→n

图上的随机游动

考虑无向图g ＝(N,E,W), 这里N ，E ，W 是节点，边界和权重。对每个边界都有相关的边界

j i W ,i j j i W W ,,=

∑=j

j i i W W ,

∑>=

j j i j

i W

W :,,

∑=i

i W W 2

我们称随机游动为马尔可夫链，其状态为图中的节点

j i j i W W p ,,=

W i

i 2=

图上的随机游动

检验：和

∑=1i i π∑∑

i i j i i W W W W p ,,2π ∑

j i W

W 2,

W j 2=

j π=

回到上个例子：在3×3棋盘上的随机游动，对所有相连的i ，j ，1,=j i W ，

403

π 4052=π

85=π

图上的随机游动

()12|X X H

()

???

???+?????????=?

?????+???

????=?

?????=?

????????=?=∑∑∑∑

∑∑∑∑∑W W W W W W W W W W W W W W W

W W W W W W W W W W W p p i j i i

i j i j i i j i j i i j i j

i i j i j i j i i j i j i j i i i

j i j i i

i 2log 22log 22log 22log 2log 2log 2log ,,,,,,,,,,,,,,π

熵速率是两个熵的差。

隐式马尔可夫模型

考虑ALOHA无线模型

M个用户使用相同的无线信道发送信息包到一个基站

在每一个时隙，在一个序列中每个用户的信息包到达的概率为p，与其他M－1个用户是独立的。

同样，在每个时隙的初始，如果一个用户至少有一个信息包在序列中，他将以概率q传输一个信息包，并且和其他用户独立。

在接收端，如果两个信息包发生碰撞，则他们都不能成功地传输，滞留在原来各自的序列中。

隐式马尔可夫模型

设表示第i 时刻的随机向量，n (M i n n n X ,...,,21=)m 是第m 个用户序列的信息包的个数，X i 是马尔可夫链。

设有随机向量()m i y y y Y ,...,,21=，如果用户i 在时隙i 中传输，则y i =1，否则y i ＝0。

Y i 是马尔可夫链？

隐式马尔可夫模型

设是平稳马尔可夫链，,...,...,21X X ()i i X Y φ=是一个过程，每一项是和马尔可夫链的每个状态函数对应。

,...,...,21Y Y 构成一个隐式马尔可夫链，但不总是马尔可夫

链，但仍然是平稳的。

它的熵速率是多少？

可以计算()11|?n n Y Y H ，它随n 单调递减。

熵速率需要有下界的。

Genie 技巧

z 构造另一个序列b n ，使其为熵速率()11|lim ?∞→n n n Y Y H 的

更低上界，仍有相同的极限。

z 更低的熵上界：设有一Genie, 她所用的信息量很小,

但是足以跳一格。

z 考察 ()111,|X Y Y H n n ?

注意到：

()()

11111|lim ,|?∞

→?≤n n n n n Y Y H X Y Y H

()()k n n n n X X X Y Y H X Y Y H ???=,...,,|,|0111111

()0

111,,|k k n n Y X Y Y H ???=

()1|??≤n k n Y Y H

所有以前的信息都可以从X 1中得到。

隐式马尔可夫过程

注意：

()()11111,||X Y Y H Y Y H n n n n ???

()0|;111→=?n n Y Y X I

事实上，

()(∑=?∞

→∞

→=n

i i i

n n n Y Y

X I Y

X I 1111

1|;lim ;lim ))

()∑∞

=?=1

111|;i i i Y Y X I 因为是无穷项求和，每一项都是非负的，且其上界是

，所以该项必须趋于0。

(1X H