二次扩展信源的熵

将求联合熵的问题转化为求 X1的熵和各阶条件熵之和， 但 N 较大时，仍然不太现实。
定理3.1
课本中第31页上边 该定理给出了在离散平稳信源中， 1）条件熵的性质：递减性； 2）平均符号熵的性质：递减性； 3）条件熵与平均符号熵的关系：条件熵小于等于平均 符号熵； 4）求熵率（极限熵）的另一个方法：通过求条件熵 的极限也可以得到。
X X1 X 2 X N X
N
N 次无记忆扩展信源的熵

根据统计独立的多维随机变量的联合熵与信息熵之间 的关系，可得 N 次无记扩展信源的熵为：
H ( X ) H ( X1 X 2 X 3 X N ) H(X ) N H(X )
N
离散平稳无记忆信源的另一种理解

它可以看作是离散单符号信源的 N 次平稳无 记忆扩展信源，当N →∞时的情况。
结论
故有
H 0.870 1 H ( X 1 X 2 )=1.206 2 H ( X )=1.524
所以
1 H H ( X1 X 2 ) H ( X ) 2
如何从理论上解 释这个结果？
解释


H（X）：没有考虑符号间的相关性； H（X1X2）：考虑了两个时刻发出的符号之间 的相关性； H（X2/X1）=H∞：不仅考虑了两个时刻发出的 符号之间的相关性，还考虑了与该两个时刻相 邻时刻发出符号间的相关性。 所以有上述关系。
条件概率 P( X 2 | X 1 )
X2 X1
x1
7பைடு நூலகம்9 1 8 0
x2
2 9 3 4 2 11
x3
0 1 8 9 11
输出符号序列中，只有前 后两个符号之间有记忆， 条件概率空间见右边的表 。求熵率并比较 H(X) 、
x1
x2
H(X2|X1) 、 H(X1X2) /2。
x3
分析

概率空间为对应的离散单符号信源的概率空间 据平稳信源的性质，只有前后两个符号有记忆意味着：
H lim H ( X N / X 1 X 2 X 3 X N 1 )
N
lim H ( X N / X N 1 )
N
H ( X 2 / X1 )
解：
lim H ( X N | X 1 X 2 X N 1 ) lim H ( X N | X N 1 ) 1) H N N H ( X 2 | X1)
解：

离散单符号信源熵
H ( X ) p( xi ) log 2 p( xi ) 1.5
i 1
3
比特/符号

熵率：
H H ( X )＝ 1.5 比特 / 符号

二次扩展信源的熵：
H 2 ( X ) 2 H ( X )＝3 比特 / 二个符号
另一种方法求二次扩展信源熵

比特/符号
2) 如果不考虑符号间的相关性，则信源熵为
1 4 11 H ( X ) H ( , , ) 1.542 比特/符号 4 9 36
3) 如果把信源发出的符号看成是分组发出的，每两个符 号为一组，这个新信源的熵为
H ( X1 X 2 ) H ( X1 ) H ( X 2 | X1 ) 2.412 比特/两个符号
例3.2
设有一离散无记忆信源X，其概率空间为 x1 x2 x3 X 1 1 1 P X 2 4 4 求该信源的熵率及二次扩展信源的熵。


注意：题目中的概率空间不是离散多符号无记忆信源 的概率空间，而是其对应的离散单符号信源的概率空 间。 该例题是对离散平稳无记忆信源求熵率的一个练习，
解（续）
1 2 4 1 3 1 11 2 9 H ( X 2 | X1 ) H ( ) H ( , , ) H ( , ) 4 9 9 8 4 8 36 11 11
1 7 7 1 2 2 4 1 1 log log log 4 9 9 4 9 9 9 8 8 4 3 3 4 1 1 11 2 2 11 9 9 log log log log 9 4 4 9 8 8 36 11 11 36 11 11 0.870
离散平稳无记忆信源的熵率

可看作是 N 次无记忆扩展信源的平均符号熵，当 N→∞时的结果，故有：
1 H lim H N ( X ) lim H ( X 1 X 2 X N ) N N N 1 lim N H ( X ) H ( X ) N N
即离散平稳无记忆信源的熵率等于单符号信源的信源熵。

H lim H ( X N / X 2 X 3 X N 1 )
N
存在的问题

当 N 较大时，求条件熵也不容易 实际中，往往用 N 不太大时的平均符号熵或 条件熵来作为熵率的近似值。

例3.3
信源X的信源模型为
x x x X 1 2 3 1 4 11 P X 4 9 36

但此时，因为有记忆，所以每个随机变量之间存在统 计依赖关系，N 较大时，联合熵不容易求。
借助“熵函数的链规则”求联合熵

如下所示：
H ( X1 X 2 X 3
X N ) H ( X1 ) H ( X 2 / X1 ) H ( X 3 / X1 X 2 ) H ( X N / X1 X 2 X N 1 )
第三章 信源及信源熵
主要学习内容



一、信源的分类及其数学模型 二、离散单符号信源、离散多符号信源的概念 及其信源熵 三、离散平稳无记忆信源、离散平稳有记忆信 源的概念及其信源熵 四、马尔科夫信源及其信源熵 五、信源的相关性、利用率和剩余度
1、离散平稳无记忆信源的概念及其信源熵

离散平稳无记忆信源：输出的符号序列是平稳随机 序列，并且符号之间是无关的，即统计独立的信源。 数学模型为：
二次扩展信源的概率空间：
X 2 1 ( x1 x1 ) 2 ( x1 x2 ) 3 ( x1 x3 ) 4 ( x2 x1 ) 5 ( x2 x2 ) 2 1/ 8 1/ 8 1/ 8 1/16 P( X ) 1/ 4 6 ( x2 x3 ) 7 ( x3 x1 ) 8 ( x3 x2 ) 9 ( x3 x3 ) 1/16 1/ 8 1/16 1/16
X X1 X 2 X 3
离散单符号信源的 N 次平稳无记忆扩展信源（ N 次无记忆扩展信源）

它是一种N 次扩展信源，其每次输出的是 N 长符号序 列，数学模型为 N 维离散随机变量序列（随机矢量）
X X1 X 2 X N
其中每个随机变量之间统计独立。由平稳性知，每个 随机变量统计特性相同，故该信源又可表示为：

二次扩展信源的熵：
H ( X ) H ( X ) p(i )log 2 p(i ) 3
2 i 1
9
2、离散平稳有记忆信源的概念及其信源熵

离散平稳有记忆信源：输出的符号序列是平稳随机序 列，并且符号之间是相关的，即不是统计独立的信源。 数学模型为：
X X1 X 2 X 3
总结

1、离散平稳无记忆信源的概念及其信源熵 2、离散平稳有记忆信源的概念及其信源熵
离散平稳有记忆信源的另一种理解

它可以看作是离散单符号信源的 N 次平稳有 记忆扩展信源，当N →∞时的情况。
离散平稳有记忆信源的熵率

求法：可看作是 N 次有记忆扩展信源的平均符号熵， 当N→∞时的结果，故有：
1 H lim H N ( X ) lim H ( X 1 X 2 X 3 X N ) N N N