信息论 第三章 信源及信源熵

• （1）求信源熵 • （2）求由m个“0”和（100-m）个“1”构成
的某一特定序列自信息量的表达式
• （3）计算由100个符号构成的符号序列的熵
• 3.3.2离散平稳有记忆信源 • 熵函数的链规则：
X x1，x2，，xN ,其中每个随机变量之间存在统计依赖关系。 H ( X ) H ( X1X 2 X N ) H ( X1) H ( X 2 X1) H ( X 3 X1X 2 ) H (X N X1X 2 X N1)
i
j
则称其具有遍历性，w
为平稳分布
j
• 遍历的马尔可夫信源熵率: • (1)齐次的马尔可夫信源:视作平稳的信源来处理 • 遍历的马尔可夫信源都是齐次的 • 遍历的马尔可夫信源:视作平稳的信源来处理 • (2) m阶马尔可夫信源: 只与最近的m个符号有关.
H
＝
lim
N
H
(
X
N
X1X 2 X N 1)
件不断增加，平均符号熵
及HN (条X) 件熵
• H ( X N X1X 2 X3 X N1) 均随之减少。
• 当 N 时 HN (X)=H ( X N X1X 2 X N1)
• 即为熵率，它表示信源输出的符合序列中，平均 每个符号所携带的信息熵。
• 求熵率的两种途径：
• 1.极限平均符号熵 • 2.极限条件熵
4
)
0
0.5
0
0 0.5 0
0.5 0 0.2
0.5 0
=(w 1
0.8
w2
w3
w4 )
0.2w1 0.5w 2
+0.5w3 =w2 +0.2w4 =w3
lim lim 现在令N ，则有H (X )
H ( X N X1X 2 X N 1)
H N (X)
N
N
lim 即H (X )
H ( X N X1X 2 X N 1) H ( X )
N
lim 因此有H (X )
H ( X N X1X 2 X N 1)
N
• 由于信源输出序列前后符号之间的统计依赖关系， 随着序列长度N的增加，也就是随着统计约束条
lim
N
H
(
X
N
X N M X N M 1 X N 1)(马尔可夫性)
=H ( X m+1 X1X 2 X m )(平稳性)
=H ( X m+1)
m阶马尔可夫信源的极限熵H
等于条件熵H
，
m+1
表示已知前面m个符号的条件下，输出下一个符号的平均不确定性。
Hm+1 =H ( X m+1 X1X 2 X m )
• 如何计算熵率？？？ • 复杂
• 马尔可夫性：某时刻发出的符号仅与在此之前的有限 个符号有关，而与更早些时候发出的符号无关。
• 马尔可夫信源是一类相对简单的有记忆信源，信源在 某一时刻发出某一符号的概率除与该符号有关外，只 与此前发出的有限个符号有关。
• M阶马尔可夫信源只与前面发出的m个符号有关
• 3.3.3马尔可夫信源 • M阶 • 信源有q个可能的输出符号。 • 信源发出一个符号，状态发生改变。 • 信源输出符号不确定性问题变成信源状态转换的
问题。
p(sj / si ) Pr(SL1 sj / SL si )
举例
3.4设一个二元一阶马尔可夫信源，信源符号集为 X {0,1}， 信源输出符号的条件概率为 p(0|0)=0.25,p(0|1)=0.5,p(1|0)=0.75,p(1|1)=0.5 求状态转移概率
• (2)N给定时平均符号熵大于等于条件熵
HN ( X ) H ( X N / X1X 2 X N1)
证明： NHN ( X ) H ( X1X 2 X N ) H ( X1) H ( X 2 X1) H ( X3 X1X 2 ) H ( X N X1X 2 X N1) H ( X N ) H ( X N X N1) H ( X N X1X 2 X N1) NH ( X N X1X 2 X N1)(条件熵小于等于无条件熵)
可得到(N+M )HN+M (X) （N-1）HN-1(X)+(M+1)H( X N X1X 2 X 3 X N 1 )
或H
N+M
(X)
（N-1）H N+M
N-1
(X)+
(M+1) N+M
H(
X
N
X1X 2 X 3 X N 1 )
固定N，并令M ，则得H ( X ) H ( X N X1X 2 X N 1) H N (X)
i
ij
举例3.6
已知此信源是遍历的，设状态的平稳分布为 W=(w1 w2 w3 w4 ), 其中w1=p（s1） w2 =p（s2） w3 =p（s3） w4 =p（s4） 根据马尔可夫遍历性的充要条件：
0.8 0.2 0 0
0.8w1+0.5w3 =w1
WPW=W=1,得(w 1
w2
w3
w
举例
• 3.2 • 设有一离散无记忆信源X，其概率空间为
X P(X)
=
x1 1 2
x2 1 4
x3
1
4
• 求该信源的熵率及其二次扩展信源（信源每次 输出两个符号）的熵
举例3.2
• 有一无记忆信源的符号集为{0，1}，已知信源 的概率空间为
X P(X)
=
0 1 4
0 3 4
• 离散平稳信源：对于离散随机变量序列， X1,X2,. . .在任意两个不同时刻i和j，信 源发出的消息序列的概率分布完全相同。
即对于任意时刻的
N
0，1，2，，X i X i1
X iN 和X
jX
j1
X
具有相同的概率分布，也就是
jN
P(Xi )=P(X j)
P(XiXi+1)=P(X jX j+1)
H＝Nlim
1 N
H (X1X2
XN
)＝ lim N
H(XN
X1X 2 X N 1)
• 3.1证明
lim 1
n 2 H ( X n X n1 / X1 X n2 ) H
• 马尔可夫性：
• 平稳信源输出的符号序列中，符号之间的 相关性可以追溯到最初的一个符号
• 举例
• 一篇文章的最后一句话可以一直追溯到开 篇第一句话。
X P( X
)
x1 1 4
x2 4 9
x3
11
36
输出符号序列中，只有前后两个符号有记忆，条件概率给出，
求熵率，并比较
H
(
X
2
/
X1
),
1 2
H
(
X1
X
2
),
H
(
X
)的大小
1 H(X2 / X1) 2 H(X1X2) H(X )
• 3.5二次扩展信源的熵为 H ( X 2 ) ,而一阶马尔科夫 信源的熵为 H (X2/X1) ,试比较两者的大小，并说明 原因。
• 1阶马尔可夫信源只与前面一个符号有关
• m阶马尔可夫信源，熵率：
H
＝
lim
N
H
(
X
N
X1X 2 X N 1)
lim
N
H
(
X
N
X N m X N m1 X N 1)
H ( X m1 X1X 2 X m )
H ( X m1 X1X 2 X m ) 通常记作Hm1
举例
• 3.3信源X的信源模型为
=H[ p(xi m+1 | x xi1 i2 xim )]
H[ p(xi m+1 | si )]
qm q
p(si )p(xi m+1 | si ) log p(xi m+1 | si )
i1 im+1
p(si )H (X | si )
p(si )p(s j | si ) log p(s j | si )
P(XiXi+1 Xi+N )=P(X jX j+1 X j+N )
各维联合概率分布均与时间起点无关的信源称为离散平稳信源。 特点：统计特性不随时间推移而变化
• 条件概率
P(Xi+1|Xi )=P(X j+1|X j)
P(Xi+N|XiXi+1 Xi+N-1)=P(X j+N|X jX j+1 X j+N-1)
根据熵的非负性及H1( X ),可推出
0 H N ( X ) H N1( X ) H1( X )
说明此数列单调有界，极限
lim
N
H
(
X
)必存在，且为0和H1
(
X
)之间的某一有限值。
H
(
X
)
lim
N
H
(
X
N
X1X 2 X N 1)
我们取
(N+M )HN+M (X)=H ( X1X 2 X N 1)+H ( X N X1X 2 X N 1) + H ( X N M X1X 2 X N 1X N X ) N M 1 反复利用H ( X N 1 X1X 2 X N ) H ( X N X1X 2 X 3 X N 1) 条件越多熵值越小
• 无记忆信源：随机变量统计独立
3.2离散单符号信源
• 特点：消息两两不相容，信源每次输 出其中的一个消息。
• 离散单符号信源的平均不确定性： • 用熵来描述
• 例3.1
举例