信息论.第2章离散信源与信息熵

马尔可夫信源
①信源输出仅与当时的信源状态有关，而与以 前的信源状态无关。 ②信源状态由当时输出符号与前一时刻信源状 态唯一确定
15
当时间足够长时，齐次遍历的m阶马尔可夫信源
H lim H X N | X 1 X 2 ... X N 1
N Baidu Nhomakorabea
H X m1 | X1 X 2... X m
P ( m r ) P ( m ) P ( r )
12
若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖 n lim pij p j 于i的极限
pj 0 则称齐次马尔可夫链具有遍历性， p j 1 pj称为平稳分布。其中pi为该马尔 且满足 j 可夫链的初始分布。 p j pi pij i 遍历性的直观意义是不论从哪一个状态出发，当转移步数 足够大时，转移到状态Sj的概率都近似等于某个常数pj。
4
离散无记忆信源
信源 X = ( X1 X2 … XK )
K
p( xi ) p( xi1 xi2 ...xiK ) p( xik )
k 1
离散无记忆K次扩展信源XK
X1 =X2= … =XK=X
H ( X ) KH ( X )
K
5
离散平稳信源
各维联合概率分布均与时间起点无关 一维平稳信源
7
离散平稳信源X有以下几点性质： （1）H ( X N / X 1 X 2 ... X N 1 ) 随N的增加是非递增的；
H ( X1 )
H ( X 2 / X1) H ( X 3 / X1 X 2 )
……
H ( X N / X 1 X 2 ... X N 1 )
（2）H N ( X ) H ( X N / X1 X 2 ...X N 1 ) （3）H N ( X ) 随N的增加是非递增的； lim H N ( X ) 存在。 （4）若 H1 (X) ，则 N
n
13
若马尔可夫链的状态转移矩阵为P，稳态分布为
W=(W1,…,Wr)，则 （1） W j 1
j =1 r
（2）WP=W （3）W是该链的唯一稳态分布。 稳态分布存在定理 设P是齐次马尔可夫链转移矩阵，则该链稳态分布存在的
充要条件是存在一个正整数N,使矩阵PN 中所有元素均大
于零。
14
平稳信源的条件概率与时间起点无关。
p( xi 1 | xi ) p( x j 1 | x j ) p( xi 2 | xi , xi 1 ) p( x j 2 | x j , x j 1 )
...
6
平均符号熵
HK (X K ) 1 H(X K ) k
1 H X1 H X 2 | X1 H 2 ( X1, X 2 ) H ( X1, X 2 ) 2 2
H X 2 / X1 H2 X1, X 2 H X1
H ( X N ) H ( X 1 X 2 ... X N )
H ( X 1 ) H ( X 2 / X 1 ) H ( X 3 / X 1 X 2 ) ... H ( X N / X 1 X 2 ... X N 1 )
H ( X / Y ) E[ I ( xi / y j )] p( xi , y j ) log p( xi / y j )
i 1 j 1
3
n
m
熵函数的性质：H ( X ) E[ I ( xi )] p( xi ) log p( xi )
1.对称性 H ( p1 , p2 ,..., pn ) H ( p2 , p1 ,..., pn ) ... 2 非负性 H ( X ) H ( P) 0 3 确定性 H (1,0) H (1,0,...,0) H (0,1,...,0) ... 0 4 扩展性 lim H n1[ p1 , p2 ,..., pn , ] H n [ p1 , p2 ,..., pn ]
H ( X , Y ) H ( X ) H (Y / X ) H (Y ) H ( X / Y ) p( xi , y j )I ( xi , y j ) p( xi , y j ) log p( xi , y j )
n m n m i 1 j 1 i 1 j 1
则有：H ( X ) lim H ( X N | X 1 X 2 ... X N 1 ) 极限熵代表一般离散平稳有记忆信源平均每发 一个符号提供的信息。
9
10
马尔可夫信源
有限状态马尔可夫链{Xn}
P X n Sin | X n1 Sin 1 , X n2 Sin 2 ,..., X1 Si1 P X n Sin | X n1 Sin 1
第1章要求
• 信息、消息与信号的概念 • 通信系统模型 • 信息论的基本任务
1
第2章 离散信源与信息熵
信息
信源
消息
编码器
信号
信道
干扰
信号+干扰
译码器 消息 信宿
噪声源
通信系统模型
2
离散信源的信息熵
I ( xi , y j ) log p( xi , y j ) I ( y j ) I ( xi / y j )
1 I (x i ) log log P(x i ) P(x i )
I ( xi / y j ) log p( xi / y j )
H ( X ) E[ I ( xi )] p( xi ) log p( xi )
n i 1
I ( xi ) I ( y j / xi )
0
i 1
n
5 可加性 H ( X , Y ) H ( X ) H (Y / X ) H (Y ) H ( X / Y ) 6 上凸性 H是概率分布 ( p1, p2 ,..., pn )的严格上凸函数 1 1 1 7 极值性 H ( X ) H ( p1 , p2 ,..., pn ) H ( , ,..., ) log n n n n 8 信息熵不小于条件熵 H ( X ) H ( X / Y )




状态转移概率
11
如果在马尔可夫链中，P(Xm+1=Sj|Xm=Si)= pij，即从状态i转 移到状态j的概率与时刻m无关，齐次马尔可夫链。 齐次马尔可夫链的初始分布为X0 ，转移矩阵为P X1 = X0 P X2 = X1 P = (X0 P) P = X0 P2 X3 = X0 P3 切普曼-柯尔莫哥洛夫方程 对于具有m+r步转移概率的齐次马尔 可夫链，存在
一个信源符号的熵
H0 H1 H2 ... H N 1 H N H
相关长度越长，信源熵越小，趋于极限熵H 相关长度越短，信源熵越大，趋于最大熵H0
实际熵 剩余度 R 1 最大熵
17
0 H N (X) H N 1 (X) H N 2 (X) ... H1 (X )
8
极限熵
1 H ( X) lim H N ( X) lim H ( X 1 X 2 ...X N ) N N N
对于一个离散平稳信源，若
N
H1 (X)
p( X i x) p( X j x) p( x), x A, i j
二维平稳信源
p( X i x) p( X j x) p( x), x A, i j
p( X i x1 , X i1 x2 ) p( X j x1 , X j1 x2 ) p( x1 , x2 )
H m1 p S j H X | S j
sj
稳态分布
信源处于状态 Sj 时的条件熵
16
信源的相关性和剩余度
等概分布时信源熵最大，Hmax= H0 = logq
H X1 H X 2 | X1 H X 3 | X1 X 2 ... H X N | X1 X 2 ...X N 1