信息论部分习题及解答

2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。

（2）“两个1同时出现” 这事件的自信息量。

（3）两个点数的各种组合（无序对）的熵或平均信息量。

（4）两个点数之和（即2，3，…，12构成的子集）的熵。

（5）两个点数中至少有一个是1的自信息。

解：
（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log
)(log
)(2
2
==-=x p X I (比特)
（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log
)(log
)(2
2
==-=x p X I (比特)
(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log
18
1536log
36
6)(2
2
=+
=X H (比特/组合)
（4）
22222
2111111()[log 36log 18(
)log 12(
)log 93618
183618
18
11136111()log ]2(
)log 6 3.44(/)
18
18
36
518
18
18
H X =++++++
++⨯++
+
=比特两个点数之和
（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.136
11
log
)(2
=-=X I （比特）
2-6设有一离散无记忆信源，其概率空间为
⎪⎪⎭⎫
⎝⎛=====⎪⎪⎭⎫
⎝⎛8/134
/124
/118
/30
4321x x x x P
X
该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：
（1） 此信息的自信息量是多少？
（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得
序列）（比特/18
.87)3(6)2(12)1(13)0(14=+++=I I I I
（2）符号）（比特/91
.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再
放进去。

求：
（1）一次实验包括的不确定度。

（2）第一次实验X 摸出的是黑球，第二次实验Y 给出的不确定度； （3）第一次实验X 摸出的是白球，第二次实验Y 给出的不确定度； （4）第二次实验Y 包含的不确定度。

解：（1）一次实验）（比特）（/92.02
3
log 323log
312
2
=+=X H （2）一次实验）（比特）（/86.01014
log 1410414
log 1442
2
=+=
X H （3）一次实验）（比特）（/94.09
14log
1495
14log
1452
2=+
=X H
（4）一次实验）（比特）（）（）（/91.03
23121=+
=
X H X H X H
2-11两个试验X 和Y ，{}{}321321,,,,,y y y Y x x x X ==，联合概率ij j i p y x p =)(已给出，
（1） 如果有人告诉你X 和Y 的试验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y 的试验结果，你得到的平均信息量是多少？
（3） 在已知Y 试验结果的情况下，告诉你X 的试验结果，你得到的平均信息量
是多少？
⎪⎪⎪⎭⎫
⎝⎛=⎪⎪⎪⎭⎫ ⎝⎛24/724
/10
24/14/124
/10
24/124
/73332
31
232221131211p p p p p p p p p
解：
（1）符号）（比特）（/3.224log
424
14log 4
12724
log
2472
2
2
=⨯+
+⨯=XY H
（2）符号）（比特）（/58.13log
3
13log
3
13log 312
2
2
=++
=
Y H
（3）符号）（比特）（/72
.0)()(/=-=Y H XY H Y X H 2-12有两个二元随机变量X 和Y ，他们的联合概率如表所示，并定义另一随机变量
Z=XY （一般乘积）。

试计算： (1) H （X ），H （Y ），H （Z ），H （XZ ），H （YZ ）和H （XYZ ）。

(2) H （X/Y ），H （Y/X ），H （X/Z ），H （Z/X ），H （Y/Z ），H （Z/Y ），H （X/YZ ）
H （Y/XZ ）和H （Z/XY ）。

(3) I （X ；Y ），I （X ；Z ），I （Y ；Z ），I （X ；Y/Z ），I （Y ；Z/X ）和I （X ；Z/Y ）。

解：
（1）2
11021=
===）（）（）（）（P P X P X P
2211log 2log 212
2
H
X =+
=（） (比特/符号)
1H Y =（）比特/符号
2
21
22781228
7
8()log ()
(0)log (0)(1)log (1)log log 8
0.54/i i i H Z p z p z p p p p ==-=-+=
+
=∑（）（）（比特符号）
由表得符号）（比特）（/81.12)3
8
log
8
38log
8
1(2
2
=⨯+=XY H
1.41H =（XZ ）比特/符号 1.41H =（YZ ）比特/符号 1.81H =（XYZ ）比特/符号
（2）符号）（比特）（/81
.0181.1)()(/=-=-=Y H XY H Y X H 符号）（比特）（/81.0181.1)()(/=-=-=X H XY H X Y H 符号）（比特）（/87.054.041.1)()(/=-=-=Z H XZ H Z X H 符号）（比特）（/41.0141.1)()(/=-=-=X H XZ H X Z H
符号）（比特）（/87.0/=Z Y H
符号）（比特）（/41.0/=Y Z H
符号）（比特）（/4.041.181.1)()(/=-=-=YZ H XYZ H YZ X H 符号）
（比特）（/081.181.1)()(/=-=-=XY H XYZ H XY Z H
(3) 符号）（比特）（/19.081.01)/()(;=-=-=Y X H X H Y X I
符号）（比特）（/13.087.01)/()(;=-=-=Z X H X H Z X I
符号）（比特）（/13.087.01)/()(;=-=-=Z Y H Y H Z Y I
符号）（比特）（/47.013.04.01);()/()()
;();(/;=--=--=-=Z X I YZ X H X H Z X I YZ X I Z Y X I ;/(;)(;)
()(/)(;)10.40.130.47/I Y X Z I Y Z X I Y Z H Y H Y Z X I Y Z =-=--=--=（）（比特符号）
符号）（比特）（/41.041.0/;==Y Z X I
2-13一个信源发出二重符号序列消息（i , j ），其中第一个符号i 可以是A ，B ，C 中
的任一个，第二个符号j 可以是D ，E ，F ，G 中的任一个。

已知各个
）（）和（i j P i P /值列成如下表。

求这个信源的熵（联合熵）（IJ H ）。

解：符号序列）（比特）（/46.16log
6
13log
3
12log
212
2
2
=+
+
=
I H
)
/(96.16log
36
16log
36
1
2
log
12
16log
36
13
10
log
1012)5log
15
1(
3
10
log
1014)4log 81()
/(log
)/()(/2
22
2
2
2
2
2
2
20
3
符号序列
比特）（=+
+
+
+
+⨯++⨯=-=∑
∑
==i j p i j p i p I J H i j
()符号序列）
（比特）（）（/41.33
log
60
75log
3
130
413log
2
13
2/2
2
2
=-
+
+
+
=
+=
I J H I H IJ
H
2-14在一个二进制信道中，信源消息集X={0，1}，且p(1)=p(0)，信宿的消息集Y={0，1}，信道传输概率p(1/0)=1/4,p(0/1)=1/8。

求：
（1）在接收端收到y=0后。

所提供的关于传输信息x 的平均互信息量I （X ；y=0）。

（1） 该情况所能提供的平均互信息量I （X ；Y ）。

解：
（1）⎪⎪⎭⎫
⎝⎛P
X =⎪⎪⎭
⎫ ⎝⎛212110 信道转移概率矩阵为3144718
8
((|))j i p y x ⎛
⎫=
⎪⎝⎭
由(,)(|)()i j j i i p x y p y x p x =得
31887116
16
(,)X Y ⎛
⎫
⎪⎝
⎭
关于y 的边际分布为7
916
160
1Y ⎛⎫
⎪⎝⎭
由(,)(|)()
i j i j j p x y p x y p y =得信道逆向转移概率矩阵6279717
9
((|))i j p x y ⎛
⎫=
⎪⎝
⎭
所以
1
1
1
2
2
2
(/0)61212;0(/0)log log log 0.41()
7
7
7
7
i i i i p x I X y p x p x ===-=-
-
=∑（）（比特）
2
,(/);()(/)log 0.31()
i j j i j i j
i p x y I X Y p y p x y p x =
=∑
（）（比特）
2-24某一无记忆信源的符号集为{0，1}，已知4/3,4/110==p p 。

（1）求符号的平均熵。

（2）有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100-m ）个“1”）的自信息量的表达式。

（3）计算（2）中的序列的熵。

解：（1）符号）（比特）（/81.03
4
log
434log
412
2
=+
=
X H
（2）)
(59.15.413log 3log
100200)()
4
3()41()(2
2
100比特m m X I m x p m
m +=+-===-
（3）由于该信源是无记忆的符号集，所以 符号序列）（比特）（）（/8181.010*******
=⨯==X H X H
3-1将某六进信源进行二进编码如下表所示。

求 (1)这些码中哪些是唯一可译码？ （2）哪些码是非延长码（即时码）？
（3）所有唯一可译码的平均码长和编码效率。

解：（1）根据kraft 不等式，5C 中8
92
52
2
3
1
6
1
=
⨯+=--=-∑i k i
>1，所以5C 不是唯一
可译码
1C ，2C ，3C ，4C ，6C 中4C 不是唯一可译码。

例如1001010，有2译码方
式
2u 1u 2u 2u 和5u 1u 2u ，所以4C 不是唯一可译的，1C ，2C ，3C ，6C 是唯一
可译码。

（2）根据即时码定义，即时码又叫非前缀码，2C 中1u 是其它码的前缀，故2C 不是
即时码。

因此1C ， 3C ，6C 是即时码。

（3）1C ：平均码长31=k （码字符号/信源符号） 平均信息率
112
1log
3
K k m k ===（比特/符号） ()符号序列）（比特/216log 16
144log
4
12log
2
122
2
=⨯
++=
X H
%7.663
2)(1==
=
K X H η
2C ：211117
123456/2
4
16
8
k =
⨯+⨯+
⨯+++=
（）（比特符号）
178
2
()2
94.1%H X k η==
=
3C ：317
/8
k =
（比特信源符号） 3
()294.1%178
H X k η=
=
=
6C ：61112334 2.5/2
4
16
k =
⨯+
⨯+
⨯⨯=（比特符号）
6
()280%2.5
H X k η=
=
=
3-5某信源有8个符号{}81u u ，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，编成这样的码：000，001，010，011，100，101，110，111。

求 （1）信源的符号熵H （U ）；
（2）出现一个“1”或一个“0”的概率； （3）这种码的编码效率； （4）相应的香农码和费诺码； （5）该码的编码效率。

解：（1）
（2）1121211121111(0)0.82
4
3
8
3
16
3
32
3
64
3
128
3
p =
+
⨯
+
⨯
+
⨯
+
⨯
+
⨯
+
⨯
=
(1)1(0)
p p
=-= （3）%662
log
13984.1)(2
==
=
K
X H η （4）（5）香农码：
)
/(98.12)128log 128
1(
64log
64
132
log
32
116log 16
18log
814log
412log
2
122
2
2222符号比特）（=⨯++
+
+
+
+=u H
1
2
log
1
2
7
128
1
6
64
1
5
32
1
4
16
1
3
8
1
2
4
1
2
1
984
.
1
2
=
⨯
⨯
+
⨯
+
⨯
+
⨯
+
⨯
+
⨯
+
=
η
费诺码：
U8
U 1U 2U 3U 4U 5U 6U 7
费诺码为：0 10 110 1110 11110 111110 1111110 1111111
同样1)(==K
X H η
3-7已知符号集合{},,321 x x x 为无限离散集合，它们的出现概率分别为
2/1)(1=x p ，，4/1)(2=x p 8/1)(3=x p ， ,2/1)(i
i x p =。

（1）用香农编码方法写出各个符号的码字。

（2）计算码子的平均信息传输率。

（3）计算信源编码效率。

解：（1）香农编码如表
(2)
2221
1
11lo g 2lo g 4lo g 2
()2
4
2
1(/)
()i
i
i i
i H X R K
p x k ∞
=+
++
=
==∑
比特码元
(3) 1k =
2()
()
()
()1lo g 1
L
L
L
L
H
X H
X H
X H
X K
k m
k k
η=
=
=
=
=⨯
3-8某信源有6个符号，概率分别为3/8，1/6，1/8，1/8，1/8，1/12，试求三进码元
（012）的费诺码，并求出编码效率。

解：费诺码编码过程
L=1
平均码长 )/8
13
)(6
1
码元（比特=
-=∑=i i i k x p k 平均输出信息率 2213log log 3 2.58(/)8
K k m ==
=比特码元
编码效率 %44.92)
(==
K
X H
L
η
符号）（比特）（/385
.212
log 12
13)8log
8
1
(6log
6
13
8
log
8
3)(log )(22
2
2
2
=+
⨯++
=
-
=∑i i
i L
x p x p X H
3-10设有离散无记忆信源
（1）求该信源符号熵)(X H 。

（2）用哈夫曼编码成二元变长码，计算其编码效率。

解：（1）
符号）
（比特）（/23.203
.01
log
03.007.01
log
07.010
log
1.018
.01
log
18.04log
25.037
.01
log 37.0)(log )(2
2
2
2
2
2
2
6
=+++++=-=∑i i
i L
x p x p X H （2）
故码字分别为11，10，00，010，0111，0110
)/(3.24)03.007.0(31.02)18.025.037.0(符号比特=⨯++⨯+⨯++=k
%96.963
.223.2)
(==
=
k
X H
L
η
}.
03.0,07.0,10.0,18.0,25.0,37.0{)(=X P
0.07
0.03
0.18
1.00
3-11 信源符号X 有6种字母，效率为（0.32，0.22，0.18，0.16，0.08，0.04）。

（1）求符号熵 )(X H
（2）用香农编码编成二进制变长码，计算其编码效率。

（3）用费诺编码编程二进制变长码，计算其编码效率。

（4）用哈夫曼编码编程二进制变长码，计算其编码效率。

（5）用哈夫曼编码编程三进制变长码，计算其编码效率。

（6）若用单个信源符号来编定长二进制码，要求能不出差错的译码，求所需要的每符号的平均信息率和编码效率。

解：（1）
符号）
（比特）（/35.204
.01
log
04.008
.01log
08.016
.01
log
16.018
.01
log
18.022
.01
log
22.032
.01
log 32.0)(log )(2
2
2
2
2
2
2
6
=+++++=-=∑i i
i L
x p x p X H
其码字为00 010 100 101 1110 11110
（3）
x6
x5
其码字为00 01 10 110 1110 1111
%
75.8284
.235.21
5
04.0408.03)16.018.022.0(232.035
.2)
(==
⨯+⨯+⨯+++⨯=
=
k
X H
L
η
%
92
.
97
1
4
)
04
.
08
.
(
3
16
.
2
)
18
.
22
.
32
.
(
35
.
2
)
(
=
⨯
+
+
⨯
+
⨯
+
+
==
k
X
H
L
η
（4）
其码字为11 01 00 101 1001 1000
0.04
0.08
0.16
%
92.971
4
)04.008.0(316.02)18.022.032.0(35
.2)
(=⨯++⨯+⨯++=
=
k
X H
L
η（5）
其码字为0 11 10 122 121 120。

（6）由题意知，要遍个无失真二进制编码，其码字的个数必须大于等于6，
当2=i w 时，只有4个小于6，其编码必失真
当3=i w 时，有8个大于6，编码满足要求，故
)/32log
1
3log
2
2
信源符号比特==
=
m L
K k L
%33.783
35.2)(==
=
k
X H L η。