信息论基础第3章

将该信源近似为离散信源的Ｎ维离散平稳信 源，即计算有限N时的条件熵
H ¥ » H (X N X1X 2 X N -1 )
3.3 离散平稳信源
22
3.4 马尔可夫信源

马尔可夫信源是一种用有限状态的马尔可 夫链来描述的(非平稳的)离散信源。

马尔可夫链(简称马氏链)是一种时间离散、 状态离散的无后效的随机过程。 无后效性表示马氏链将来所处的状态只与 现在时刻所处的状态有关，与以前时刻所 处的状态无关。

当信源符号序列长度 N ¥ 时，平均符号熵 称为离散信源的极限熵，定义为
N ¥
lim H N (X ) = lim
H (X1X 2 X N ) N
N ¥
3.2 离散信源的N次扩展信源
9

离散无记忆信源的N次扩展信源

如果各个分量 Xl (l = 1,2,, N ) 之间统计独立，则 称为离散无记忆信源的N次扩展信源。 N维离散随机矢量的联合概率为 熵为

条件熵 H (X N X1 X 2 X N -1 )随N的增加是非递 增的。 N给定时，平均符号熵≥条件熵，即
H N (X ) ³ H (X N X1 X 2 X N -1 )

平均符号熵 H N (X )随N的增加是非递增的。 离散平稳信源的极限熵
H ¥ = lim H N (X ) = lim H (X N X1X 2 X N -1 )

则该信源称为离散平稳信源。 对于平稳信源来说，其条件概率也与时间起点 无关。
12
3.3 离散平稳信源

(m+1)维离散平稳信源

如果离散平稳信源某时刻发出什么符号只与 前面发出的m个符号有关联，而与更早些时 刻发出的符号无关联，则该信源称为(m+1) 维离散平稳信源。
P (x i +m | x 1 x i +m-1 ) = P (x i +m | x i x i +m-1 )
1 1 2 3
a1 a2 a3
3.2 离散信源的N次扩展信源
1/2 3/4 0
1/2 1/8 1/4
0 1/8 3/4
11
3.3 离散平稳信源

离散平稳信源的定义

如果对于任意的L，信源输出的随机变量序列 X=X1X2…XL的概率分布P(x1x2…xL)与时间起 点无关时有
P (x i ) = P (x j ) P (x i x i +1 ) = P (x j x j +1 ) P (x i +1x i +2 x i +L ) = P (x j +1x j +2 x j +L )

通常假设信源输出的是平稳的随机序列，而 且限定记忆长度。
3.3 离散平稳信源
13

一维离散平稳信源

离散无记忆信源，如果 P (x i ) = P (x 1 ) ，对于 任意的L，随机变量序列X=X1X2…XL的概 率分布P(x1x2…xL)都与时间起点无关，此时 信源为一维离散平稳信源。 平稳：
P (x 1 = 1) = 1/ 2, P (x 1 = 2) = 1/ 4, P (x 1 = 3) = 1/ 4
信源输出符号只与前一个符号有关，其条件概率 P (xl +1 | xl ) (l = 1,2, )具有时间推移不变性，如下表 所示。试问该信源是否为二维离散平稳信源？
xl xl+1 1 2 3
3.4 马尔可夫信源 24

信源在l时刻出现符号ak的概率与此时所处的状 态sl有关，用符号条件概率表示为
P (xl = ak | xl -m xl -m +1 xl -1 ) = P (xl = ak | sl = Ei )
其中

sl Î E = {E1, E2 , Eq m }, i = 1,2, , q m ; k = 1,2, , q
ù é XN ù é a a a N 1 2 q ú ê ú=ê êP (x )ú êP (a ) P (a ) P (a )ú 1 2 êë úû êë qN ú û
3.2 离散信源的N次扩展信源
7

离散信源的N次扩展信源的熵

随机矢量X=(X1X2…XN)的熵为
qN i =1
H (X ) = H (X N ) = H (X1X 2 X N ) = -å P (ai )log P (ai ) = H (X1 ) + H (X 2 | X1 ) + + H (X N | X1X 2 X N -1 )
P (sl +1 = E j | sl = Ei ) = P (E j | Ei ) = Pij
m P ( E | E ) = 1, i , j = 1 , 2 , ,q 其中 å j i E j ÎE

平稳信源的概率分布特性具有时间推移不变 性，而齐次马尔可夫链只要求转移概率具有时 间推移不变性。
P (X ) = P (x 1x 2 x N ) = P (x 1 )P (x 2 )P (x N )
H (X N ) = H (X1X 2 X N ) = H (X1 ) + H (X 2 ) + + H (X N )
3.2 离散信源的N次扩展信源
10

例3.1：某离散信源的单符号概率空间为

(m+1)维离散平稳信源

(m+1)维离散平稳信源的条件熵
lim H (X N | X1X 2 X N -1 ) = H (Xm +1 | X1X 2 Xm )
16
N ¥
3.3 离散平稳信源

例3.3：二维离散平稳信源X，单符号信源的概率 空间为 é ù éa1 a2 a 3 ù 假设发出的符号只与前一个符号有关，其条件概 率P (xl +1 | xl ) 如下. xl xl+1 a1 a2 a3 a1 1/2 3/4 0 a2 1/2 1/8 1/4 a3 0 1/8 3/4
3.4 马尔可夫信源
23

马尔可夫信源的描述


信源发出的消息符号只与前面m个符号有较强 的依赖关系，与更前面发出的符号依赖关系较 弱，可限制随机序列的记忆长度为(m+1)，该 有限记忆长度信源就称为m阶马尔可夫信源。 假定信源输出的随机符号序列为 x 1, x 2, , xl -1, xl , m阶马尔可夫信源可用条件概率表示
3.3 离散平稳信源
21

计算极限熵的处理方法


对于一般离散平稳信源，取N不很大时就能得 出非常接近H ¥ 的 H N (X )或者 H (X N X1 X N -1 ) ， 因此实际中计算极限熵有两种处理方式。 将该信源近似为离散信源的Ｎ次扩展信源，即 计算有限N时的平均符号熵
H¥ » H (X1X 2 X N ) N
3.3 离散平稳信源
18

结论

二维离散平稳信源的极限熵
H ¥ = H (X 2 | X1 )

条件熵和平均符号熵之间的关系为
H (X 2 | X1 ) £ H 2 (X ) £ H (X )

随着N的增加，N次扩展信源的平均符号熵 H N (X ) 递减。
3.3 离散平稳信源
19

平稳离散信源的性质
在l时刻信源符号ak出现后，信源所处的状态sl 将发生变化，转入一个新的状态sl+1，可用一 步状态转移概率来表示
P (sl +1 = E j | sl = Ei )

一步状态转移概率简记为Pij(l)。
25
3.4 马尔可夫信源

如果状态转移概率与时刻l无关时，即状态转 移概率具有时间推移的不变性，则称该马尔可 夫信源是时齐的或齐次的，即满足
3.2 离散信源的N次扩展信源
6

N次扩展信源的数学模型

设单符号离散信源的数学模型为
é X ù é a ù a a 1 2 q ê ú=ê ú êP (x )ú êP (a ) P (a ) P (a )ú 1 2 q ú êë úû êë û
则离散信源X的N次扩展信源的数学模型用 N重概率空间表示
N ¥ N ¥
3.3 离散平稳信源
20

有限维离散平稳信源的极限熵

二维平稳信源的极限熵为
H ¥ = H (X 2 | X1 )

(m+1)维离散平稳信源的极限熵为
H ¥ = H (X m +1 | X1X 2 X m )

简记为Hm+1。 容易理解，二维离散平稳信源的极限熵为H2， 且 H2 = H3 = H4 = = H¥ 。

二维离散平稳信源

P (x i ) = P (x 1 ) P (x i +1 | x i ) = P (x 2 | x 1 )

信源发出的符号只与前一个符号有关：
P (x i +L | x 1 x i +L-1 ) = P (x i +L | x i +L-1 )
3.3 离散平稳信源
14

例3.2：设离散信源X取值于集A={1,2,3}，已知 起始概率为
ê X ú = êê êP (x )ú ê 1 êë úû ê ë2 1 3 ú 1 úú 6 úû
计算条件熵H (X 2 | X1 ), H (X 4 | X 3 ) ； H (X 3 | X 2X1 )。
3.3 离散平稳信源 17

二维离散平稳信源的平均符号熵

例3.3(续)：对二维离散平稳信源输出的符号序 列分组，每N个符号一组。忽略组与组之间关 联性，即假定组与组之间是统计独立的。当 N=1, 2, 100, ∞时，计算N次扩展信源的平均 符号熵。

3.1 离散信源的分类
4

离散信源的分类
3.1 离散信源的分类
5
3.2 离散信源的N次扩展信源

定义


如果由N个符号组成的序列代表一条完整的消 息，而且序列和序列之间相互独立，此时的离 散信源可以等效为一个新的信源。 新信源每次输出长度为N的符号序列，可用N 维离散随机矢量X=(X1X2…XN)来描述，其中 每个分量都是随机变量。称为离散信源X的N 次扩展信源，一般标记为XN。长度为N的符号 序列称为扩展信源符号。
3.3 离散平稳信源
1 1/2 2/3 2/3
2 1/4 0 1/3
3 1/4 1/3 0
15

有限维离散平稳信源的条件熵

二维离散平稳信源

二维离散平稳信源的条件熵满足
N ¥
lim H (X N | X1X 2 X N -1 ) = H (X 2 | X1 )

特殊地
H (X 3 | X1X 2 ) = H (X 3 | X 2 ) = H (X 2 | X1 )
P (xl | x 1x 2 xl -1 ) = P (xl | xl -m xl -m +1 xl -1 )

将l时刻以前出现的m个符号组成的序列定义为 马尔可夫信源在l时刻的状态，记为
sl = (xl -m xl -m +1 xl -1 ), xl -m , xl -m +1,, xl -1 Î X = {a1,a2 ,,aq }
é X ù éêa1 a2 a 3 ùú ê ú=ê êP (x )ú ê 1 1 1 úú êë úû ê ë 2 3 6 úû
(1) 假设为无记忆信源，计算二次扩展信源的熵。 (2) 每两个信源符号组成一个序列，序列间相互独 立，序列中符号之间的条件概率P(x2|x1)如下表所 示，试计算该二次扩展信源的熵和平均符号熵。 x2 a a a x
3.1 离散信源的分类
3

离散信源的N次扩展信源

Leabharlann Baidu
对信源输出的符号序列进行分组，每N个符 号一组，只考虑组内各符号之间的关联性， 而假定组与组之间是统计独立的。 只考虑到信源发出的消息符号与前面有限个 符号的依赖关系，不考虑与更前面发出符号 的依赖关系，即用有限记忆源去近似实际信 源。

马尔可夫信源
信息论基础
第3章 离散信源和熵
通信与信息工程学院 雷维嘉
本章内容

3.1 3.2 3.3 3.4 3.5
离散信源的分类 离散信源的N次扩展信源 离散平稳信源 马尔可夫信源 信源的相关性和剩余度
2
3.1 离散信源的分类


按照离散信源输出的是一个消息符号还是消息 符号序列，可分为单符号离散信源和多符号离 散信源。 按输出符号之间依赖关系分类，多符号离散信 源可分为无记忆信源和有记忆信源。 按照信源输出的符号序列的统计特性是否随时 间变化，多符号离散信源可分为平稳信源和非 平稳信源。

每个扩展信源符号平均包含的信息量，称 为扩展信源的熵，也称为序列熵。单位为 “bit/扩展信源符号”，或者“bit/序列”。
3.2 离散信源的N次扩展信源
8

平均符号熵

每个信源符号平均包含的信息量，单位为 “bit/信源符号”。
1 H N (X ) = H (X1X 2 X N ) N

极限熵