信息理论及编码参考答案

2.3 一副充分洗乱的牌〔含52〕，试问：
〔1〕任一特定排列所给出的不确定性是多少？
〔2〕随机抽取13牌，13牌的点数互不一样时的不确定性是多少？ 解：〔1〕52扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为 因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件A 为任一特定排列，则其发生概率为
可得，该排列发生所给出的信息量为
()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit
〔2〕设事件B 为从中抽取13牌，所给出的点数互不一样。

扑克牌52中抽取13，不考虑排列顺序，共有13
52C 种可能的组合。

13牌点数互不一样
意味着点数包括A ，2，…，K ，而每一种点数有4种不同的花色意味着每个点数可以取4中花色。

所以13牌中所有的点数都不一样的组合数为13
4。

因为每种组合都是等概率发生的，所以
则发生事件B 所得到的信息量为
()()13
213524log log 13.208I B P B C =-=-≈ bit
3.976≈ dit
2.5 设在一只布袋中装有100只对人手的感觉完全一样的木球，每只上涂有1种颜色。

100只球的颜色有以下三种情况：
(1) 红色球和白色球各50只； (2) 红色球99只，白色球1只； (3) 红，黄，蓝，白色各25只。

求从布袋中随意取出一只球时，猜想其颜色所需要的信息量。

解：猜想木球颜色所需要的信息量等于木球颜色的不确定性。

令
R ——"取到的是红球〞，W ——"取到的是白球〞， Y ——"取到的是黄球〞，B ——"取到的是蓝球〞。

〔1〕假设布袋中有红色球和白色球各50只，即 则 ()()2
21
log log 212
I R I W ==-== bit 〔2〕假设布袋中红色球99只，白色球1只，即 则 ()()22log log 0.990.0145I R P R =-=-= bit
()()22log log 0.01 6.644I W P W =-=-=bit
〔3〕假设布袋中有红，黄，蓝，白色各25只，即 则 ()()()()2
1
log 24
I R I Y I B I W ====-= bit 2.7 设信源为 求()()62
log i
i
i
P x P x -
∑，井解释为什么()()622
log log
6i i i
P x P x ->∑，不满足信源熵的
极值性。

解： ()()6
2
log i
i
i
P x P x -
∑
2.657= bit/symbol
不满足极值性的原因是
()6
1.071i
i
P x =>∑，不满足概率的完备性。

2.8 大量统计说明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他答复"是〞或"否〞。

〔1〕这二个答复中各含多少信息量" 〔2〕平均每个答复中含有多少信息量"
〔3〕如果你问一位女同志，则答案中含有的平均信息量是多少"
解：对于男性，是红绿色盲的概率记作()17%P a =，不是红绿色盲的概率记作
()293%P a =，这两种情况各含的信息量为
()()1212100
log 1log 3.837
I a P a ===⎡⎤⎣⎦ bit ()()2222100
log 1log 0.10593
I a P a ===⎡⎤⎣⎦ bit 平均每个答复中含有的信息量为 0.366= bit/答复
对于女性，是红绿色盲的概率记作()10.5%P b =，不是红绿色盲的记作
()299.5%P b =，则平均每个答复中含有的信息量为
0.045= bit/答复
联合熵和条件熵
2.9 任意三个离散随机变量X 、Y 和Z ，求证：
()()()()H XYZ H XY H XZ H X -≤-。

证明：
方法一：要证明不等式()()()()X H X Z H Y X H Y X H
-≤-,,Z ,,成立，等
价证明下式成立： 根据熵函数的定义 得证
方法二：因为
所以，求证不等式等价于
因为条件多的熵不大于条件少的熵，上式成立，原式得证。

2.11 设随机变量12{,}{0,1}X x x ==和12{,}{0,1}Y y y ==的联合概率空间为 定义一个新随机变量Z X Y =⨯〔普通乘积〕。

〔1〕计算熵()H X 、()H Y 、()H Z 、()H XZ 、()H YZ 以及()H XYZ ；
〔2〕计算条件熵(|)H X Y 、(|)H Y X 、(|)H X Z 、(|)H Z X 、(|)H Y Z 、(|)H Z Y 、
(|)H X YZ 、(|)H Y XZ 以及(|)H Z XY ；
〔3〕计算互信息量(;)I X Y 、(;)I X Z 、(;)I Y Z 、(;|)I X Y Z 、(;|)I Y Z X 以及(;|)I X Z Y ；
解 〔1〕()()()131
00,00,1882
p x p x y p x y ====+===+=
()()()log 1i i i
H X P x P x =-=∑ bit/symbol
()()()log 1j j j
H Y p y p y =-=∑ bit/symbol
可得Z XY =的概率空间如下 由()()()p xz p x p z x =得 由对称性可得 〔2〕 H ()=XY -symbol bit /811.181log 8183log 8383log 8381log
81=⎪⎭
⎫
⎝⎛+++ H ()Y X /=H ()XY -H () 1.81110.811/Y bit symbol =-= 根据对称性，
H ()X Y /=H ()|X Y 0.811/bit symbol =
H ()Z X /=H ()XZ -H ()symol bit Z /862.0544.0406.1=-= H ()X Z /=H ()XZ -H ()symol bit X /406.01406.1=-= 根据对称性，
H ()Z Y /=H ()Z X /0.862/bit symbol = H ()Y Z /=H ()X Z /0.406/bit symol =
H ()YZ X /=H ()XYZ -H ()symol bit YZ /405.0406.1811.1=-= 根据对称性，把*和Y 互换得
H ()XZ Y /=H ()YZ X /0.405/bit symbol =
H ()XY Z /=H ()XYZ -H ()symol bit XY /0811.1811.1=-=
(3)
根据对称性，得
根据对称性得
2.17 设信源发出二次扩展消息i i
x y ,其中第一个符号为A 、B 、C 三种消息，第二个符号
为D 、E 、F 、
()i p x ()
i i p y x
求二次扩展信源的联合熵(,)H X Y 。

解：联合概率为
可得*,Y
所以
2.19 设*离散平稳信源X ，概率空间为
并设信源发出的符号只与前一个相邻符号有关，其联合概率为
(,)
i j p a a 如下表所示：
解：边缘分布为 条件概率
()()()
j i j i i p a a p a a p a 如下表：
所以信源熵为 条件熵： 可知
因为无条件熵不小于条件熵，也可以得出如上结论。

联合熵： 说明：
〔1〕符号之间的相互依赖性造成了信源的条件熵21()
H X X 比信源熵)H
X （少。

〔2〕联合熵
12(,)
H X X 表示平均每两个信源符号所携带的信息量。

平均每一个信源符号所
携带的信息量近似为 原因在于
2H X （）
考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符
号相关性的不确定度。

2.20 黑白气象 图的消息只有黑色〔B 〕和白色〔W 〕两种，即信源{}X =B ，W ，设黑色出现的概率为()0.3P =B ，白色的出现概率为()0.7P =W 。

〔1〕假设图上黑白消息出现前后没有关联，求熵)(X H
〔2〕假设图上黑白消息出现前后有关联，其依赖关系为(|)0.9P =W W ，(|)0.1P =B W ，(|)0.2P =W B ，(|)0.8P =B B ，求此一阶马尔可夫信源的熵)(2X H 。

〔3〕分别求上述两种信源的剩余度，并比拟)(X H 和)(2X H 的大小，试说明其物理意义。

解：〔1〕假设 图上黑白消息没有关联，则等效于一个DMS ，则信源概率空间为 信源熵为
〔2〕该一阶马尔可夫信源的状态空间集为 根据题意可得状态的一步转移矩阵 状态极限概率(),()p W p B 满足 即
可以解得
2()3p W =
，1()3
p B = 该一阶马尔可夫信源的熵为
〔3〕黑白消息信源的剩余度为 一阶马尔可夫信源的剩余度为
由前两小题中计算的()H X 和2H 比拟可知
该结果说明：当信源的消息〔符号〕之间有依赖时，信源输出消息的不确定性降低。

所以，信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。

这说明信源熵反映了信源的平均不确定性的大小。

而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。

2.23 设信源为 试求：
（1）信源的熵、信息含量效率以及冗余度； （2）求二次和三次扩展信源的概率空间和熵。

解：〔1〕
（2）假设*为DMS ，则
可得二次扩展信源的概率空间
2次扩展信源的熵为
三次扩展信源的概率空间及熵为
2.18 设有一个信源，它产生0，1符号的信息。

它在任意时间而且不管以前发生过什么符号，均按(0)0.4,(1)0.6p p ==的概率发出符号。

〔1〕试问这个信源是否是平稳的？
〔2〕试计算2
()H X ,312()H X X X 及H ∞；
〔3〕试计算4()H X 并写出4
X 信源中可能有的所有符号。

解：
（1） 该信源在任何时刻发出的符号概率都是一样的，即信源发出符号概率分布与时间起
点无关，因此这个信源是平稳信源。

又因为信源发出的符号之间彼此独立。

所以该信源也是离散无记忆信源。

〔2〕
3()H X =〔信源无记忆〕
〔3〕4
()4()H X H X =〔信源无记忆〕
4X 的所有符号：
2.23 设信源为 试求：
（1）信源的熵、信息含量效率以及冗余度； （2）求二次和三次扩展信源的概率空间和熵。

解：〔1〕
（2）假设*为DMS ，则
可得二次扩展信源的概率空间
2次扩展信源的熵为
三次扩展信源的概率空间及熵为
2.25 设连续随机变量*的概率密度函数为 （1）求*的熵；
（2）求)0>(+=A A X Y 的熵； （3）求X Y 2=的熵。

解：〔1〕 因为 所以 故
〔2〕首先求得Y 的分布函数 Y 的概率密度为 Y 的微分熵为
2
2
log a
bt bt dt
=-⎰
〔令t y A =-〕
因为*，关于Y 没有不确定，常数A 不会增加不确定度，所以从熵的概念上也可判断此时
〔3〕
首先求得Y 的分布函数 Y 的概率密度为 Y 的微分熵为
2
2
2001log log 2a
a
bt bt dt bt dt =--⎰⎰〔令
/2t y =〕
3.2 信道线图如下，试确定该信道的转移概率矩阵
解：按照转移矩阵的排列原则：行对应输入符号，列对应输出符号
3.3 DMC 的转移矩阵如下 〔1〕画出信道线图；
〔2〕假设输入概率为[][]0.50.5X P =，求联合概率、输出概率以及后验概率。

解： 〔1〕 〔2〕
1()P a 乘以][|X Y P 的第1行，2()P a 乘以][|X Y P 的第2行，得联合概率矩阵[]XY
P ：
[]XY P 的各列元素相加得对应的输出概率，写成矩阵形式：
[]XY P 的各列元素除以对应的输出概率，得后验概率矩阵：
3.4 设离散无记忆信源X 通过离散无记忆信道{}
|,,Y X X P Y 传送信息，设信源的概率分布和信道的线图分别为 试求：
〔1〕信源X 的符号1a 和2a 分别含有的自信息；
〔2〕从输出符号(1,2)j b j =所获得的关于输入符号(1,2)i a i =的信息量； 〔3〕信源X 和信道输出Y 的熵；
〔4〕信道疑义度(|)H X Y 和噪声熵(|)H Y X ； 〔5〕从信道输出Y 中获得的平均互信息量。

解：
(1) 11
()log 0.73700.6I a ==bit /符号 21
()log 1.32200.4
I a ==bit /符号
(2)[][]⎡⎤=⎣⎦Y X Y X P P P =[][]0.80.20.60.40.520.480.10.9⎡⎤
=⎢⎥⎣⎦
11111(;)()()=-I a b I b I b a =0.94340.32190.6215-=bit /符号
12221(;)()()I a b I b I b b =- =1.0589 2.3220 1.2631-=-bit /符号 21112(;)()()I a b I b I b a =- =0.9434 3.322 2.3786-=-bit /符号 22222(;)()()I a b I b I b a =-=1.05890.15200.9609-=bit /符号
(3) ()0.60.73700.4 1.32200.971=⨯+⨯=H X bit /符号
()0.520.94340.48 1.05890.9988=⨯+⨯=H Y bit /符号
(4)、(5)
1()(0.8,0.2)0.80.32190.2 2.32200.7219==⨯+⨯=H Y a H bit /符号 2()(0.1,0.9)0.1 3.3220.90.1520.469==⨯+⨯=H Y a H bit /符号
()0.60.72190.40.4690.6207=⨯+⨯=H Y X bit /符号 (;)()()0.99880.62070.3781=-=-=I X Y H Y H Y X bit /符号
又根据 ();()()=-I X Y H X H X Y
()()(;)∴=-H X Y H X I X Y =0.9710.37810.5929-=bit /符号
3.6 举出以下信道的实例，给出线图和转移矩阵。

〔1〕无损的，但不是确定的，也不是对称的； 〔2〕准对称且无损，但不是确定的； 〔3〕无损确实定信道。

解：(1) 满足()0=H X 〔无损〕，()0≠H Y X (不确定)，不具有行列排列性，线图和转移矩阵如下
(2) 无损要求()0=H X Y ；不确定要求()0≠H Y X ，具有行排列性，线图和转移矩阵如下：
(3) 无损、确定信道的线图和转移矩阵如下
3.7 求以下两个信道的信道容量和最正确输入分布，并加以比拟。

其中1=+p p 。

解：
(1) 方法一：利用一般DMC 信道容量解的充要条件，计算各偏互信息，并使之均等于信道容量C ，再结合输出概率的完备性，可以解出信道容量，最后利用全概率公式得出最正确输入分布。

该方法通用，但过程繁琐。

方法二：
观察发现此信道是准对称信道。

信道矩阵中Y 可划分为二个互不相交的子集，如下：
,,
p p p p εεεε--⎡⎤⎢⎥--⎣
⎦，22εε⎡⎤
⎢⎥⎣⎦
而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进展计算。

其中n=2, 2r =，112ε=-M ，24ε=M ，24M ε=，12s =, 21s =，所以
()()()()()()()()()()
11212442log 1log (,,2)2222
2
12log 2log 2log log 2log 2122
12log log log 12C H p p p p p p p p p p εεεε
εεεεεεεεεεεε
εεεεεεε
--=-⨯
-⨯---=--+--+--+-=-+--+---输入等概率分布时到达信道容量。

〔2〕此信道也是准对称信道，现采用准对称信道的信道容量公式进展计算。

此信道矩阵中Y 可划分成两个互不相交的子集为
,,
p p p p εεεε--⎡⎤⎢⎥--⎣
⎦，2002ε
ε⎡⎤
⎢⎥⎣⎦
这两矩阵为对称矩阵。

其中 n=2， 2r =，112ε=-M ，22ε=M ，122s s ==，所以
()()()()()()()()()()2121
1log (,,,)
1212222log 2log (,,2)
2222
2
12log 2log log log 2log 2122
12log log log 2log 2
122log 2
n
k k k s k M M C s H p p p r r H p p p p p p p p p p C εεεεεεεεεεεεεεεε
εεεεεεεε
ε=⎛⎫⎛⎫
'''=-- ⎪ ⎪⎝⎭⎝⎭--=-⨯-⨯---=--+--+--+-=-+--+--+-=+∑输入等概率分布〔121
()()2
P a P a ==
〕时到达此信道容量。

两个信道的噪声熵相等但第二个信道的输出符号个数较多，输出熵较大，故信道容量也较大。

3.8 求以下二个信道的信道容量及其最正确的输入概率分布。

解：图中2个信道的信道矩阵为
矩阵为行列排列阵，其满足对称性，所以这两信道是对称离散信道。

由对称离散信道的信道容量公式得
11
11
1log 4,
,,0.08173
63
6C H ⎛⎫
=-≈ ⎪⎝⎭
比特/符号 ()2log20.02,0.980.858=-≈C H 特/符号
最正确输入分布是输入为等概率分布。

3.9 设信道转移矩阵为
〔1〕求信道容量和最正确输入分布的一般表达式；
〔2〕当0p =和12p =时，信道容量分别为多少？并针对计算结果作一些说明。

解：
〔1〕该信道属一般信道，设最正确输入分布为****
123{(),(),()}X P P a P a P a =，三个输
入概率外加信道容量C ，共4个参数，需列4个方程。

由定理3.6，有 化简得 解得
转移概率(|)j i P b a ，输出分布()j P b 已求出，根据()()(|)=∑j i
j
i i
P b P a P b
a 可求出*()i P a 。

解得
〔2〕 当p =0,此信道为一一对应信道，得
log3 1.585==C bit/信道符号，最正确输入分布为
当12
P =时，log 2C ==1 bit/信道符号，最正确输入分布为
()112P a =
，231
()()4
P a P a == p =0时，信道为确定无损信道，可以从输出端得到信源的全部信息量，信源的最大熵即为信
道容量log3=C 。

但12
=p 时，信道存在干扰，信道容量小于前者。

3.10 信道及它的输入、输出如图题3.1所示
图题 3.1
(1) 求最正确输入分布；
(2) 求1
2
ε=时信道容量； (3) 求当0ε→和1ε→时的最正确输入分布值。

解：参考教材-例3.12 则最正确输入分布为 〔2〕 1
2
ε=时，代入p 的表达式，可得 所以
〔3〕记1A ε
εε-=，则
所以0ε→时Z 信道线图趋于一个无噪无损信道，当输入等概时到达信道容量，等效信道如下：
当1ε→时，原信道趋近于信道
此时(;)()(|)000I X Y H Y H Y X =-=-=，则0C =，无所谓最正确输入分布，任意输入分布均可使信道到达该信道容量。