第2章 多符号信源(研究生)

i 1 j 1
qm qm
马尔可夫信源
例 设信源符号 X∈{x1, x2, x3} ，信源所处的状态S∈{e1, e2, e3, e4, e5} 。各状态之间的转移情况由图2.2.1给出。
马尔可夫信源
• 将图中信源在ei状态下发符号xk 的条件概率p(xk /ei) 用矩阵表示 x x x e • 由矩阵看出： p( x / e ) 1, i 1,2,3,4,5 0 e
极限熵代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量
可以证明，对于二维离散平稳信源，条件熵等于极 限熵，因此条件熵就是二维离散平稳信源的真实熵 对于一般信源，求出极限熵是很困难的，然而，一 般来说，取N不大时就可以得到与极限熵非常接近的条 件熵和平均符号熵，因此可以用条件熵和平均符号熵 来近似极限熵
2．平均互信息量与信源熵、条件熵的关系 I(X;Y)= H（X）-H（X︱Y） I(X;Y)= H（Y）-H（Y︱X） I(X;Y)= H(X)+ H(Y)- H(XY ) (2-35) (2-36) (2-37)
I X ; Y
H Y X
它们之间 的关系可 以用维拉 图表示
H X Y
• m阶马尔科夫信源熵 H

– m阶马尔可夫信源的极限熵 阶条件熵
N
等于m
H lim ( X N / X l ...X N 1 ) H ( X m 1 / X 1 X 2 ...X m )
H H m1 p(ei ) p(e j | ei )log p(e j | ei )
X 1 X 2 a1a1 , a1a2 ,..., aq 1aq , aq aq P( x x ) 1 2 P(ai a j ) P(ai ) P(a j | ai )
根据信息熵的定义，可得： （1）联合熵
H ( X1 X 2 ) P(ai a j ) logP(ai a j )
连续两个信源符号出现的联合概率分布为：
P(ai a j )且 P(ai a j ) 1
i=1 j 1 q q
已知符号 a i出现后，紧跟着 a j 出现的条件概率为： P(ai a j ) P(a j | ai ) P(ai )
由二维离散信源的发出符号序列的特点可以把其分 成每两个符号一组，每组代表新信源 X X1 X 2 中的一个 符号。并假设组与组之间是统计独立的，互不相关的。 得到一个新的离散无记忆信源X 1 X 2 ，其联合概率空间为：
A1=a1a1
A4=a2a1 A7=a3a1
A2=a1a2 A5=a2a2 A8=a3a2
A3=a1a3 A6=a2a3 A9=a3a3
其概率关系为 :
A1
A2
A3
A4
A5 1/4
A6 1/8
A7
A8
A9 1/16
1/16 1/8
1/16 1/8
1/16 1/8
计算可知 H ( X 2 ) 3bit
当符号输出概率与时刻L无关，称为具有时齐性。即
P( xl ak | sl Ei ) P(ak | Ei ), P(ak | Ei ) 1
ak A
马尔可夫信源
（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。
0 P(Sl e j / X l 1 x m , Sl 1 பைடு நூலகம்ei ) 1
其中：
P(i ) P(ai1 ) P(ai 2 )...P(aiN )
根据信息熵的定义：
H ( X N ) P( X N )log P( X N )
XN
可以证明，对于离散无记忆的扩展信源
H ( X N ) NH ( X )
例: 离散无记忆信源的N次扩展信源 离散无记忆信源为：X:{a1,a2,a3}; P(X):{1/4, 1/2, 1/4} 2次扩展信源为：X2:{A1…A9} 信源的9个符号为：
由此可见，信源共有2^2=4种状态
E：{e1=00,e2=01,e3=10,e4=11}
马尔可夫信源 状态之间有转移概率，
p(e2/e1)=p(e3/e4)=0.2
p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5 P(e1/e1)=p(e4/e4)=0.8 其状态转移图如下页。在状态转换图中，把信源的每一种状 态用圆圈表示，用有向箭头表示信源发出某一符号后由一种 状态到另一状态的转移。
马尔可夫信源 0:0.8 1:0.2 01 1:0.5
00
0:0.5 1:0.5 11 1:0.8
0:0.5 10 0:0.2
由上例可知，m阶马尔可夫信源符号集共有q个符号，则 q m 个不同状态。信源在某一时刻时，必然处于某 信源共有 一种状态，等到下一个字符输出时，转移到另外一个状态。
马尔可夫信源
马尔可夫性
• 如果一个过程的“将来”仅依赖“现 在”而不依赖“过去”，则此过程具 有马尔可夫性,或称此过程为马尔可夫 过程
•
X(t+1) = f( X(t) )
马尔科夫链
• 时间和状态都离散的马尔科夫过程称为马尔科 夫链 • 记作{Xn = X(n), n = 0,1,2,…}
– 在时间集T1 = {0,1,2,…}上对离散状态的过程相继观 察的结果
i 1 j 1
q
q
可以表征信源输出长度为2的平均不确定性，或所含 有的信息量。因此可以用 1/ 2H ( X1 X 2 )作为二维平稳信 源的信息熵的近似值
(2)条件熵
H ( X 2 | X1 ai ) P(a j | ai ) log P(a j | ai )
q
则：
j 1
H ( X 2 | X1 ) P(ai ) H ( X 2 | X 1 ai )
1 2 3
3 k 1 k i
1
1 2
• 由图中看出：
P ( S l e2 / X l x1 , S l 1 e1 ) 0 P(S e / X x , S e ) 1 l 1 l 1 l 1 1 P ( S l e2 / X l x2 , S l 1 e1 ) 1 P( S e / X x , S e ) 0 l 3 l 2 l 1 1
• 链的状态空间记做I = {a1, a2,…}, ai∈R. • 条件概率Pij ( m ,m+n)=P{Xm+n = aj|Xm = ai} 为 马氏链在时刻m处于状态ai条件下，在时刻m+n 转移到状态aj的转移概率。
转移概率矩阵
晴天 阴天 下雨
晴天 晴天 0.50
阴天 0.25 0.25
下雨 0.25 0.375
H ( X ) 1.5bit
H ( X ) 2H ( X )
2
离散平稳信源
1、离散平稳信源的数学定义 一般来说，信源的前后消息之间有前后依赖关系， 可以用随机矢量描述： 信源在某一时刻发出什么样的值取决于两方面 1、这一时刻该变量的分布概率 2、这一时刻以前发出的消息 如一个人讲话 讨论平稳的随机序列，所谓平稳是指序列的统计性质 与时间的推移无关（两个任意时刻信源发出符号的概率 分布完全相同）。
多符号离散平稳信源
离散平稳信源的极限熵
平均符号熵
HN (X )
1 H ( X 1 X 2 ... X N ) N
信源平均每发一个符号所提供的信息量
H lim H N ( X ) lim H ( X N | X 1 X 2 ... X N 1 )
N N
称 H 为极限熵。
X (..., X1, X 2 ,... X i ,...)
2、二维平稳信源及其信息熵 最简单的平稳信源——二维平稳信源，信源发出序 列中只有前后两个符号间有依赖关系，我们可以对其二 维扩展信源进行分析。 信源的概率空间:
q X a1 , a2 , , aq P( X ) p(a ), p (a ), , p (a ) 且 p(ai ) 1 i=1 1 2 q
（1）某一时刻信源输出的符号的概率只与当前所处的 状态有关，而与以前的状态无关；
（2）信源的下一个状态由当前状态和下一刻的输出唯 一确定。
马尔可夫信源 （1）某一时刻信源输出的符号的概率只与当前所处的状态有 关，而与以前的状态无关。即
P( xl ak | sl Ei , xl 1 ak1 , sl 1 E j ,) P( xl ak | sl Ei )
H X
H Y
H X , Y
2-7维拉图
2.2 离散无记忆的扩展信源 实际信源输出的消息往往是时间上或空间上的一系 列符号，如电报系统，序列中前后符号间一般是有统 计依赖关系的。
讨论离散无记忆信源，此时，信源序列的前后符号 之间是统计独立的
在二元系统中，可以把两个二元数字看成一组，会 出现四种可能情况：00、01、10和11，可以把这四种 情况看成一个新的信源称为二元无记忆信源的二次扩 展信源，相应的，如果把N个二元数字看成一组，则新 的信源称为二元无记忆信源的N此次扩展信源。
阴天 0.375
下雨
0.25
0.125
0.625
马尔可夫信源
在很多信源的输出序列中，符号之间的依赖关系是 有限的，任何时刻信源符号发生的概率只与前边已经发 出的若干个符号有关，而与更前面的符号无关。
为了描述这类信源除了信源符号集外还要引入状态 集。这时，信源输出消息符号还与信源所处的状态有关。 若一个信源满足下面两个条件，则称为马尔可夫信源：
H ( X1 X 2 ) H ( X 1 ) H ( X 2 ) 2 H ( X )
只有信源统计独立时等号成立。
[例2-15] 设某二维离散信源的原始信源的信源空间 X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)=1.4 bit/符号 可见： H(X2/X1)<H(X) 二维信源的熵：H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X1,X2)=H(X1,X2)/2=1.45 bit/符号。
e3 0 e4 1 e5 1 4
2
1 4 1 2 3 4
0
1 4
0 1 2
1 4 1 2 1 4
e1
e2
e3
e4
e5
e1 1 1 0 1 0 2 4 4 e2 0 1 1 0 0 2 2 e3 0 3 1 0 0 4 4 e4 • 由图中可得状态的一步转移概率： 0 0 0 0 1 e5 0 0 0 3 1 4 4 • 该信源满足马尔可夫信源定义。
条件（2）表明，若信源处于某一状态 Ei ，当它发出 一个符号后，所处的状态就变了，一定转移到另一状态。 状态的转 移依赖于发出的信源符号，因此任何时刻信源处 在什么状态完全由前一时刻的状态和发出的符号决定。
马尔可夫信源 例：二阶马尔可夫信源，原始符号集为{1,0}， 条件概率定为：P(0|00)=P(1|11)=0.8 P(1|00)=P(0|11)=0.2 P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5
i 1
q
P(ai ) P(a j | ai ) log P(a j | ai )
i 1 j 1
q
q
P(ai a j ) log P(a j | ai )
i 1 j 1
q
q
可以证明：
H ( X1 X 2 ) H ( X1 ) H ( X 2 | X1 )
另外还可以得到： H ( X 2 | X1 ) H ( X )
一般情况 设一个离散无记忆信源为：
X a1 a2 ... aq P p p ... p 2 q 1
p
i 1
q
i
1
则该信源的N次扩展信源为：
2 ... q N X N 1 P p(1 ) p( 2 ) ... p( q N )