2223离散平稳信源

3 极限熵
介绍平稳信源的平均符号熵、极限熵，极限熵的求解
1
HUST Furong WANG--- Information and Coding Theory
平稳信源
1、所有X i , i 1, 2,...都取值于有限的信源符号集A x1 , x2 ,..., xn 2、随机序列是平稳的，即对所有非负整数i1 , i2 ,..., iN , h 有 P X i1 , X i2 ,..., X iN P X i1 h , X i2 h ,..., X iN h 则称此信源为离散平稳信源。 定义：若信源产生的随机序列X i , i 1, 2,...满足
13
HUST Furong WANG--- Information and Coding Theory
二维平稳信源的熵-例题
例：设二维离散信源X X 1 X 2的原始信源X 的 x1 x2 x3 X 信源模型为 1 4 11 P( X ) 4 9 36 X X 1 X 2中前后两个符号的条件概率如下表。
由于条件熵小于无条件熵，所以 H(X1X2)= H(X1)+ H(X2/X1) H(X1X2)≤H(X1)+ H(X2)
说明二维离散平稳有记忆信源的熵小于等于 二维离散平稳无记忆信源的熵
对于二维离散平稳无记忆信源X2=X1X2来说， X1对X2不产生任何影响。 对于二维离散平稳有记忆信源，由于X1和X2有 统计依赖关系， X1的发生会提供X2的部分相关 信息。
一维平稳信源无论在什么时刻均以 p( x1 ), p( x2 ), ...,p( xn )分布发出符号。
3
HUST Furong WANG--- Information and Coding Theory
二维平稳信源
对于一个一维平稳信源， 如果联合概率分布P( X i X i 1 )也与时间起点无关，即 P( X i X i 1 ) P( X j X j 1 ) 其中i, j为任意整数，且i j 则称为二维平稳信源。
HUST Furong WANG--- Information and Coding Theory
离散平稳信源
1 平稳信源
实际信源常不是简单无记忆信源，而是空间或时间的 离散随机序列，常用联合概率来描述符号间的相互依 存关的联合熵
N n 1
18
N
HUST Furong WANG--- Information and Coding Theory
N维平稳有记忆信源的熵
令X n 1表示集合X 1 X 2 ... X n 1，X X 1 X 2 ... X 则 H ( X) H ( X ) H ( X n X n 1 ) H ( X 1 , X 2 ,..., X N )
N n 1 N
H ( X N ) H ( X 1 , X 2 ,..., X ) H ( X 1 X 1 , X 2 ,..., X ) H ( X 2 X 1 , X 2 ,..., X ＋1 ) ... H ( X N X 1 , X 2 ,..., X N 1 ) H ( X ) H ( X j X j 1 )
8
HUST Furong WANG--- Information and Coding Theory
平稳信源的熵-联合熵
以最简单的二维平稳信源为例,它是N长为2的有记 忆平稳信源。
信源X X 1 X 2，概率空间为 x1 x2 ... xn xn X x1 x1 P( x) p( x x ) p( x x ) ... p( x x ) 1 1 1 2 n n 由熵的定义，可以得到联合熵 H ( X ) H ( X 1 X 2 )＝－ p ( xi x j ) log p( xi x j )
P(X2/X1) X1=x1
X2=x1 7/9
X2=x2 2/9
X2=x3 0
X1=x2
X1=x3
1/8
0
3/4
2/11
1/8
9/11
14
HUST Furong WANG--- Information and Coding Theory
二维平稳信源的熵-例题(续)
解：原始信源的熵为 H ( X ) p( xi ) log2 p ( xi ) 1.542(比特 / 符号)
与离散无记忆信源的二次扩展信源的情况相 同。所以
离散无记忆信源的二次扩展信源可看成是二维 离散平稳信源的特例。 二维离散平稳信源是离散无记忆信源的二次扩 展信源的推广。
／
12
HUST Furong WANG--- Information and Coding Theory
二维平稳信源与二次扩展信源的熵
i 1 n
－ p( xi ) p( x j xi ) log p ( x j xi ) － p ( xi x j ) log p ( x j xi )
i 1 j 1 i 1 j 1
10
n
n
n
n
HUST Furong WANG--- Information and Coding Theory
对于输出为N 长序列的平稳信源在某时刻发出什么样的符号 与它前面发出的k (k N )个符号有关。
5
HUST Furong WANG--- Information and Coding Theory
离散平稳信源
如果各维联合概率分布均与时间起点无关， 即对两个不同的时刻i和j，有 P( X i ) P( X j ) P ( X i X i 1 ) P ( X j X j 1 ) ... P ( X i X i 1 X i 2 ... X i N ) P ( X j X j 1 X j 2 ... X j N ) ... 这种各维联合概率均与时间起点无关的 完全平稳信源称为离散平稳信源。
15
HUST Furong WANG--- Information and Coding Theory
二维平稳信源的熵-例题(续)
信源X X 1 X 2平均每发出一个消息所提供的 信息量，即联合熵为 H ( X1 X 2 ) H ( X1 ) H ( X 2 / X1 ) 1.542 0.870 2.412(比特 / 符号) 即信源X的每一个信源符号所提供的平均信息量为 1 1 H 2 ( X ) H ( X) H ( X 1 X 2 ) 1.206(比特 / 符号) 2 2 显然它小于信源X 提供的平均信息量H ( X )， 这同样是由于符号之间的统计相关性所引起的。
i 1 j 1
9
n
n
HUST Furong WANG--- Information and Coding Theory
二维平稳信源的熵-条件熵
当平稳信源输出一个符号X 1＝xi，那么对于信源的下一个 输出符号X 2＝x j，存在一个平均不确定性H ( X 2 X 1 xi ), 显然该不确定性的大小因xi而异，对所有xi 进行加权平均 即可得当已知一个输出符号，信源输出下一个符号的总 平均不确定性，即 H ( X 2 X 1 ) p ( xi )H ( X 2 X 1 xi )
当前后序列没有依赖关系时,H ( X1, X 2 )＝H ( X1 ) H ( X 2 )表示熵的可加性.
11
HUST Furong WANG--- Information and Coding Theory
二维平稳信源与二次扩展信源
当X1和X2取值于同一集合（概率空间）时，
H(X1)=H(X2)=H(X),H(X)=2H(X)=H(X2)
16
HUST Furong WANG--- Information and Coding Theory
第2章 信源熵
2.2 多符号离散平稳信源
2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 序列信息的熵 离散平稳信源的数学模型 离散平稳信源的信息熵和极限熵 马尔可夫信源 信源冗余度和信息变差



平稳信源发出的符号序列的概率分布与时间起点无关, 即,平稳信源发出的符号序列的概率分布函数可以平移。
2
HUST Furong WANG--- Information and Coding Theory
一维平稳信源
对于随机变量序列 X X 1 X 2 ... X N , 若任意两个不同时刻i和j 信源发出消息的概率分布完全相同，即 P( X i x1 ) P( X j x1 ) p( x1 ) P( X i x2 ) P( X j x2 ) p( x2 ) ... P( X i xn ) P( X j xn ) p ( xn ) 则称这种信源为一维平稳信源。
i 1 3
由表中条件概率可知条 件熵为 H ( X 2 / X 1 ) p( xi ) p( x j / xi ) log2 p ( x j / xi )
i 1 j 1 3 3
0.870(比特 / 符号) 条件熵H ( X 2 / X 1 )比信源熵(无条件熵) H ( X )减少 了0.672 比特 / 符号，这正是符号之间 的依赖性所 造成的。
7
HUST Furong WANG--- Information and Coding Theory
第2章 信源熵
2.2 多符号离散平稳信源
2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 序列信息的熵 离散平稳信源的数学模型 离散平稳信源的信息熵和极限熵 马尔可夫信源 信源冗余度和信息变差
17
HUST Furong WANG--- Information and Coding Theory
极限熵
上一节只讨论了二维平稳有记忆信源，这一节 讨论N>2长平稳有记忆信源系列的熵。
记平稳有记忆N次扩展信源为X N X 1 X 2 ... X N， 各分量X i，i 1， 2， ..., N，均取值于同一符号集 A＝( x1 , x2 ,..., xn ), 信源的熵为 H ( X N ) H ( X 1 , X 2 ,..., X N ) 由熵的性质可知 H ( X )＝ H ( X n X n 1 )
二维平稳信源在任何时刻发出两个符号的概率完全相同。 二维平稳信源的二维联合分布 p( x1 x2 ) 与时间起点无关。
4
HUST Furong WANG--- Information and Coding Theory
N维平稳信源
如果P( X i1 xi1 , X i2 xi 2 ,... X iN xiN ) P( X j1 xi1 , X j2 xi 2 ,... X jN xiN ) P( xi1 xi 2 ...xiN ) 其中i和j为任意整数，i j， xi1 , xi 2 ...xiN A ( x1 , x2 ,...xn )， 则称具有这样性质的信源为N 维平稳信源。
平稳信源的熵-熵的可加性
一般信源发出的符号序列中,前后符号之间总是存在着依赖关系,此时, 将信息熵的关系式H ( X1 , X 2 )＝H ( X1 ) H ( X 2 X 1 )称为熵的强可加性.
两个有相互依赖关系的随机变量X 1和X 2所组成的 随机矢量X X 1 X 2的联合熵H X ，等于第一个 随机变量的熵H X 1 与第一个随机变量X 1已知的前提下， 第二个随机变量X 2的条件熵H X 2 ／X 1 之和。
6
HUST Furong WANG--- Information and Coding Theory
离散平稳有记忆信源
离散平稳信源一般是有记忆信源 发出的各个符号之间具有统计关联关系 统计关联性可用两种方式表示：
用信源发出的一个符号序列的整体概率，即N个 符号的联合概率来反映有记忆信源的特征，这 种信源是发出符号序列的有记忆信源 用信源发出符号序列中各个符号之间的条件概 率来反映记忆特征，这是发出符号序列的马尔 可夫信源。