信息理论与编码参考答案

说明:
(1)符号之间的相互依赖性造成了信源的条件熵 比信源熵 少。
(2)联合熵 表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为
原因在于 考虑了符号间的统计相关性,平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。
2、20黑白气象传真图的消息只有黑色(B)与白色(W)两种,即信源 ,设黑色出现的概率为 ,白色的出现概率为 。
(1)假设图上黑白消息出现前后没有关联,求熵
(2)假设图上黑白消息出现前后有关联,其依赖关系为 , , , ,求此一阶马尔可夫信源的熵 。
(3)分别求上述两种信源的剩余度,并比较 与 的大小,试说明其物理意义。
解:(1)假设传真图上黑白消息没有关联,则等效于一个DMS,则信源概率空间为
信源熵为
(2)该一阶马尔可夫信源的状态空间集为
解:猜测木球颜色所需要的信息量等于木球颜色的不确定性。令
R——“取到的就是红球”,W——“取到的就是白球”,
Y——“取到的就是黄球”,B——“取到的就是蓝球”。
(1)若布袋中有红色球与白色球各50只,即
则 bit
(2)若布袋中红色球99只,白色球1只,即
则 bit
bit
(3)若布袋中有红,黄,蓝,白色各25只,即
0
1
2
0
1/4
1/18
0
1
1/18
1/3
1/18
2
0
1/18
7/36
求信源的信息熵、条件熵与联合熵,并比较信息熵与条件熵的大小。
解:边缘分布为
条件概率 如下表:
0
1
2
0
9/11
1/8
0
1
2/11
3/4
2/9
2
0
1/8
7/9
所以信源熵为
条件熵:
可知
因为无条件熵不小于条件熵,也可以得出如上结论。
联合熵:
则发生事件B所得到的信息量为
bit
dit
2、5设在一只布袋中装有100只对人手的感觉完全相同的木球,每只上涂有1种颜色。100只球的颜色有下列三种情况:
(1)红色球与白色球各50只;
(2)红色球99只,白色球1只;
(3)红,黄,蓝,白色各25只。
求从布袋中随意取出一只球时,猜测其颜色所需要的信息量。
(2)平均每个回答中含有多少信息量?
(3)如果您问一位女同志,则答案中含有的平均信息量就是多少?
解:对于男性,就是红绿色盲的概率记作 ,不就是红绿色盲的概率记作 ,这两种情况各含的信息量为
bit
bit
平均每个回答中含有的信息量为
bit/回答
对于女性,就是红绿色盲的概率记作 ,不就是红绿色盲的记作 ,则平均每个回答中含有的信息量为
(1)试问这个信源就是否就是平稳的？
(2)试计算 , 及 ;
(3)试计算 并写出 信源中可能有的所有符号。
2、3一副充分洗乱的牌(含52张),试问:
(1)任一特定排列所给出的不确定性就是多少？
(2)随机抽取13张牌,13张牌的点数互不相同时的不确定性就是多少？
解:(1)52张扑克牌可以按不同的顺序排列,所有可能的不同排列数就就是全排列种数,为
因为扑克牌充分洗乱,任一特定排列出现的概率相等,设事件A为任一特定排列,则其发生概率为
bit/回答
联合熵与条件熵
2、9任意三个离散随机变量 、 与 ,求证:
。
证明:
方法一:要证明不等式 成立,等价证明下式成立:
根据熵函数的定义
得证
方法二:因为
所以,求证不等式等价于
因为条件多的熵不大于条件少的熵,上式成立,原式得证。
2、11设随机变量 与 的联合概率空间为
定义一个新随机变量 (普通乘积)。
H =H
H =H
H =H -H
根据对称性,把X与Y互换得
H =H
H =H -H
(3)
根据对称性,得
根据对称性得
2、17设信源发出二次扩展消息 ,其中第一个符号为A、B、C三种消息,第二个符号为D、E、F、G四种消息,概率 与 如下:
A
B
C
1/2
1/3
1/6
D
1/4
3/10
1/6
E
1/4
1/51/2ຫໍສະໝຸດ F可得,该排列发生所给出的信息量为
bit
dit
(2)设事件B为从中抽取13张牌,所给出的点数互不相同。
扑克牌52张中抽取13张,不考虑排列顺序,共有 种可能的组合。13张牌点数互不相同意味着点数包括A,2,…,K,而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为 。因为每种组合都就是等概率发生的,所以
2、23设信源为
试求:
（1）信源的熵、信息含量效率以及冗余度;
（2）求二次与三次扩展信源的概率空间与熵。
解:(1)
（2）假设X为DMS,则
可得二次扩展信源的概率空间
2次扩展信源的熵为
三次扩展信源的概率空间及熵为
2、18设有一个信源,它产生0,1符号的信息。它在任意时间而且不论以前发生过什么符号,均按 的概率发出符号。
(1)计算熵 、 、 、 、 以及 ;
(2)计算条件熵 、 、 、 、 、 、 、 以及 ;
(3)计算互信息量 、 、 、 、 以及 ;
解(1)
bit/symbol
bit/symbol
可得 的概率空间如下
由 得
由对称性可得
(2)
H -
H =H -H
根据对称性,
H =H
H =H -H
H =H -H
根据对称性,
则 bit
2、7设信源为
求 ,井解释为什么 ,不满足信源熵的极值性。
解:
bit/symbol
不满足极值性的原因就是 ,不满足概率的完备性。
2、8大量统计表明,男性红绿色盲的发病率为7%,女性发病率为0、5%,如果您问一位男同志就是否为红绿色盲,她回答“就是”或“否”。
(1)这二个回答中各含多少信息量?
1/4
1/5
1/6
G
1/4
3/10
1/6
求二次扩展信源的联合熵 。
解:联合概率为
可得X,Y的联合概率分布如下:
A
B
C
D
1/8
1/10
1/36
E
1/8
1/15
1/12
F
1/8
1/15
1/36
G
1/8
1/10
1/36
所以
2、19设某离散平稳信源 ,概率空间为
并设信源发出的符号只与前一个相邻符号有关,其联合概率为 如下表所示:
根据题意可得状态的一步转移矩阵
状态极限概率 满足
即
可以解得
,
该一阶马尔可夫信源的熵为
(3)黑白消息信源的剩余度为
一阶马尔可夫信源的剩余度为
由前两小题中计算的 与 比较可知
该结果说明:当信源的消息(符号)之间有依赖时,信源输出消息的不确定性降低。所以,信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵反映了信源的平均不确定性的大小。而信源剩余度反映了信源消息依赖关系的强弱,剩余度越大,信源消息之间依赖关系就越大。