信息论与编码(第二版)曹雪虹(最全版本)答案范文

《信息论与编码（第二版）》曹雪虹答案
第二章
2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =，
()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下
状态转移矩阵为：
1/21/2
01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭
设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3
由1231WP W W W W =⎧⎨++=⎩得1231132231231
112331223
231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩
计算可得1231025925625W W W ⎧=⎪⎪⎪
=⎨⎪
⎪=⎪⎩ 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，
(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态
图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p ==
(0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
u 1
u 2
u 3
1/2
1/21/3
2/32/3
1/3
于是可以列出转移概率矩阵：0.80.20
0000.50.50.50.500000.20.8p ⎛⎫ ⎪
⎪= ⎪ ⎪⎝⎭
状态图为：
00
01
1011
0.8
0.2
0.5
0.50.50.5
0.2
0.8
设各状态00，01，10，11的稳态分布
概率为W 1,W 2,W 3,W 4 有
41
1
i i WP W W ==⎧⎪⎨=⎪⎩∑ 得 131
132
24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175
14W W W W ⎧
=⎪⎪
⎪=⎪⎨
⎪=⎪⎪⎪=
⎩
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：(1)bit
x p x I x p i i i 170.418
1
log )(log )(18
1
61616161)(=-=-==
⨯+⨯= (2)bit
x p x I x p i i i 170.536
1
log )(log )(36
1
6161)(=-=-==
⨯=
(3)
两个点数的排列如下：
11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66
共有21种组合：
其中11，22，33，44，55，66的概率是3616
161=
⨯ 其他15个组合的概率是18
161612=⨯⨯ symbol bit x p x p X H i
i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛
⨯+⨯-=-=∑
(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
sym bol bit x p x p X H X P X i
i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36
12 )
(log )()(36112181111211091936586173656915121418133612)(=⎪
⎭⎫ ⎝⎛
+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥
⎦⎤⎢⎣⎡∑(5)
bit
x p x I x p i i i 710.136
11
log )(log )(36
11116161)(=-=-==
⨯⨯=
2-4
2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：
设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生）
P(X) 0.25
0.75
设随机变量Y 代表女孩子身高
Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=
求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15
.075
.025.0log )()/()(log
)/(log )/(11111111=⨯-=-=-=
2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？
解：
1）因圆点之和为3的概率1()(1,2)(2,1)18
p x p p =+= 该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率
1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6p x p p p p p p =+++++=
该消息自信息量()log ()log6 2.585I x p x bit =-== 2.7 设有一离散无记忆信源，其概率空间为123401233/81/41/41/8X x x x x P ====⎛⎫⎛⎫
= ⎪
⎪⎝⎭⎝
⎭ （1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：12
2118
()log log 1.415()3
I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++= 平均每个符号携带的信息量为
87.81
1.9545
=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量
symbol bit n X H / 38log log )(2===
二进制脉冲的平均信息量symbol bit n X H / 12log log )(0===
所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 “－” 用三个脉冲 “●”用一个脉冲
(1) I(●)=Log 4()2=
I(－)＝Log 43⎛
⎝⎫
⎪⎭0.415= (2) H= 14Log 4()34Log 43⎛ ⎝⎫
⎪⎭
+0.811= 2-10
(2) P(黑/黑
)=
P(白/黑
)=
H(Y/黑
)=
(3) P(黑/白
)= P(白/白
)=
H(Y/白
)=
(4) P(黑
)= P(白
)=
H(Y)=
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵
解：令X 表示指针指向某一数字，则X={1,2,……….,38} Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）3
112381838
()()log
log 2log 1.24()3823818
j j j H Y p y p y ===+⨯=∑bit/符号 （2）2(,)()log 38 5.25H X Y H X ===bit/符号
（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号
2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为
1112132122233132337/241/2401/241/41/2401/247/24r r r r r r r
r r ⎛⎫⎛⎫
⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭
（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？ （2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？
（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：联合概率(,)i j p x y 为 2
2221
(,)(,)log (,)
72411
2log 4log 24log 4247244
i j i j ij
H X Y p x y p x y ==⨯
+⨯+∑ =2.3bit/符号
X 概率分布 21
()3log 3 1.583
H Y =⨯=bit/符号
(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- Y 概率分布是
=0.72bit/符号
Y y1 y2 y3 P 8/24
8/24
8/24
2.13 有两个二元随机变量X 和Y ，它们的联合概率为
Y X x 1=0 x 2=1 y 1=0 1/8 3/8 y 2=1
3/8
1/8
Y X
y1
y 2 y 3
x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 3
1/24
7/24
X x 1 x 2 x 3 P
8/24
8/24
8/24
并定义另一随机变量Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)
sym bol
bit y p y p Y H y x p y x p y p y x p y x p y p sym bol bit x p x p X H y x p y x p x p y x p y x p x p j
j j i
i i / 1)(log )()(2
1
8183)()()(21
8381)()()(/ 1)(log )()(2
1
8183)()()(21
8381)()()(22212121112212221111=-==
+=+==
+=+==-==
+=+==+=
+=∑∑
Z = XY 的概率分布如下：
sym bol
bit z p Z H z z Z P Z k
k / 544.081log 8187log 87
)()(818710)(2
21=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧===⎥
⎦⎤⎢⎣⎡∑
symbol
bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k
k i k i / 406.181log 8183log 8321log 21
)(log )()(8
1
)()()()()(8
35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-==
=+==-=-=+====+=∑∑
sym bol
bit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j k
k j k j / 406.181log 8183log 8321log 21
)(log )()(8
1)()()()()(8
35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-==
=+==-=-=+====+=∑∑
sym bol
bit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i
j
k
k j i k j i / 811.181log 8183log 8383log 8381log 8
1
)(log )()(8
1
)()()
()()(0
)(8
3)()()()()(8
38121)()()()()()(8/1)()()()()(0
)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=⎪⎭⎫ ⎝⎛+++-=-==
==+====+=-=-==+===+===∑∑∑
(2)
sym bol
bit XY H XYZ H XY Z H sym bol bit XZ H XYZ H XZ Y H sym bol bit YZ H XYZ H YZ X H sym bol
bit Y H YZ H Y Z H sym bol bit Z H YZ H Z Y H sym bol bit X H XZ H X Z H sym bol bit Z H XZ H Z X H sym bol bit X H XY H X Y H sym bol bit Y H XY H Y X H sym bol
bit y x p y x p XY H i j
j i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81
)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑
(3)
symbol
bit YZ X H Y X H Y Z X I symbol bit XZ Y H X Y H X Z Y I symbol bit YZ X H Z X H Z Y X I symbol
bit Z Y H Y H Z Y I symbol
bit Z X H X H Z X I symbol bit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-=
2-14 (1)
P(ij)=
P(i/j)=
(2) 方法1: =
方法2:
2-15
P(j/i)=
2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图
（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。

解：（1）2
21010()0.3log 0.7log 0.881337H X =+=bit/符号 P(黑|白)=P(黑)
P(白|白)＝P(白) 黑
白0.7
0.30.70.3
P(黑|黑)＝P(黑)
P(白|黑)＝P(白) （2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时
间变化）
212
2
2221()(|)(,)log (,)
1110.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2
10.80.3log 0.8i j i j ij H X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑ ＝0.512bit/符号
2.17 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？
解：1)
symbol bit X NH X H symbol
bit n X H N / 101.27103)()(/ 7128log log )(6522⨯=⨯⨯=====
2)symbol
bit X NH X H symbol
bit n X H N / 13288288.131000)()(/ 288.1310000log log )(22=⨯===== 3)158037288
.13101.2)()(6=⨯==X H X H N N 2.20 给定语音信号样值X 的概率密度为1
()2
x p x e λλ-=,x -∞<<+∞,求H c (X)，并证明它小于同样方差的正态变量的连续熵。

解
00201()()log ()()log 2
1()log ()()log 21
1log log ()22
1
11log log ()log ()22211log 2log 22x c x x x x x x x x H X p x p x dx p x e dx
p x dx p x x edx
e e x dx
e
e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞
--∞-∞+∞+∞
-∞-∞
+∞
--∞+∞
--∞+∞
-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰⎰0
1
log log (1)21
2log log log 2x
x dx
e x e e
e λλλλλλ
+∞
-⎡⎤=--+⎣⎦=-+=
22
()0,()E X D X λ==
,22121422()log 2log log log ()22e e e e
H X e H X πππλλλλ⋅===>=
2.24 连续随机变量X 和Y 的联合概率密度为：⎪⎩⎪⎨⎧≤+=其他
1
),(2222
r y x r y x p π，求H(X), H(Y), H(XYZ)和I(X;Y)。

（提示：⎰-=20222log 2sin log ππ
xdx ）
解：
⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰-+-=+
==
-==--=--=--=-+-=--=---=--=-=≤≤--===-------------202020220220202
22202
20
222222222
2222222222
2222
2
22222sin log 22cos 1422cos 1log 4sin log sin 4log sin 4sin log sin 4sin log sin 4)cos (sin log sin 4cos log 4log 2log )(/ log 2
1log log 2
11log 2log log )(2
log log )(2log )( 2log )( )(log )()()( 21)()(22222
22
2πππππππθθθπθθπθθθπθθπθθθπθθθπθθθπθπππππππππd d r d rd d r d r r r r d r r r r x dx x r x r r dx x r r
x r dx
x r x p sym bol bit e r e r r dx x r x p r dx x r x p dx r
x p dx r x r x p dx x p x p X H r x r r x r dy r dy xy p x p r r r r
r r r r r r r r r r r
c x r x r x r x r 令其中：
e e e d e d e d e d e d e d d d e r d r d d r r d d d r d r 220
2220
2202202202220220202
02022
02
022
02020202
0log 212sin log 21log 212cos log 1log 12
2cos 1log 2cos log 2sin log cos cos sin 21sin log 2sin sin log 2sin 12sin sin log 1sin log 2cos 2log 2
11log sin log 2cos 21log sin log 2cos 2)2log 2(2
2sin log 1log sin log 2cos 2sin log 22cos log 2log 2-=--=--=+-=-
=-
=⎪⎪⎭⎫ ⎝
⎛-==+-=--=--+-=-+-=⎰⎰⎰⎰⎰⎰⎰⎰
⎰⎰⎰⎰⎰⎰⎰ππππππππ
π
ππ
π
π
ππππ
θπ
θθπθπθθπθθπθθθθθπθθθθπθ
θπθθθπθ
θθπθ
θθππ
πθπθθθπθθπθθπ
θπ其中： bit/sym bol
e r e r XY H Y H X H Y X I bit/sym bol
r dxdy
xy p r dxdy r xy p dxdy
xy p xy p XY H bit/sym bol e r X H Y H x p y p r y r r y r dx r dx xy p y p c c c c R R
R
c C C y r y r y r y r log log log log log 2 )
()()();( log )(log 1log
)( )(log )()( log 2
1log )()()
()()( 21)()(222
222222222
22222222
222-=--=-+===-=-=-===≤≤--===⎰⎰⎰⎰⎰⎰⎰⎰------πππππππππ
2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。

(1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式；
(3) 计算(2)中序列的熵。

解： (1)symbol bit x p x p X H i i i / 811
.043log 4341log 41)(log )()(=⎪⎭
⎫ ⎝⎛+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.4143log
)(log )(4
34341)(100100100100100+=-=-==⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=--- (3) symbol bit X H X H / 1.81811.0100)(100)(100=⨯==
2-26
P(i)=
P(ij)=
H(IJ)=
2.29 有一个一阶平稳马尔可夫链1,2,,,r X X X ,各X r 取值于集合{}1,2,3A a a a =,已知起始概率P(X r )为1231/2,1/4p p p ===，转移概率如下图所示 j
i
1 2 3
1 1/
2 1/4 1/4
2
3 2/3 2/3 0 1/3 1/3 0
(1) 求123(,,)X X X 的联合熵和平均符号熵
(2) 求这个链的极限平均符号熵
(3) 求012,,H H H 和它们说对应的冗余度
解：（1）
12312132,112132(,,)()(|)(|)()(|)(|)
H X X X H X H X X H X X X H X H X X H X X =++=++ 1111111()log log log 1.5/224444
H X bit =---=符号 X 1，X 2的联合概率分布为 212()()j i j i p x p x x =∑ X 2的概率分布为 那么
21111131131(|)log 4log 4log 4log log3log log348862126212
H X X =++++++ =1.209bit/符号
X 2X 3的联合概率分布为 23()i j p x x 1 2 3 1 7/24
7/48 7/48 2 5/36
0 5/12 3
5/36 5/12 0 那么
32771535535(|)log 2log 4log 4log log 3log log 3244883627236272
H X X =++++++ 12()i j p x x 1
2 3 1 1/4
1/8 1/8 2 1/6
0 1/12 3
1/6 1/12 0 1 2 3 14/24 5/24 5/24
=1.26bit/符号
123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号 所以平均符号熵3123 3.969
(,,) 1.3233H X X X bit ==／符号
（2）设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1
112
442
103
32
103
3P ⎛⎫ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭ 由1i WP W
W =⎧⎪⎨=⎪⎩∑ 得到 1231321231
2
2123311431W W W W W W W W W ⎧++=⎪⎪
⎪+=⎨⎪++=⎪⎪⎩计算得到1234
7
314
3
14
W W W ⎧=⎪⎪⎪
=⎨⎪
⎪=⎪⎩
又满足不可约性和非周期性
3
14111321
()(|)(,,)2(,,0) 1.2572441433i i i H X W H X W H H bit ∞===+⨯=∑
/符号
(3)0log3 1.58H bit ==/符号 11.5H b i t =/符号 21.51.2
091.3552H b i t +==/符号
00 1.25
110.211.58γη=-=-=11 1.25
110.6171.5γη=-=-= 22 1.25
110.0781.355γη=-=-= a 1
a 3
a
21/2
2/31/4
1/3
1/32/3
1/4
2-30 (1) 求平稳概率 P(j/i)= 解方程组
得
到
(2)
信源熵为:
2-31 P(j/i)= 解方程组
得到
W1=
, W2=
, W3=
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。

（1）求信源平稳后的概率分布P(0),P(1),P(2)
（2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。

求近似信源的熵H(X)并与H ∞进行比较 0
12
1-p
p/21-p
p/2
p/2
p/2p/2p/2
1-p
图2-13
解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
311i i WP W W ==⎧⎪⎨=⎪⎩∑ 得到 12311232123(1)2
2(1)221p p p W W W W p p W p W W W W W W ⎧-++=⎪⎪⎪+-+=⎨⎪++=⎪⎪⎩ 计算得到1
3131
3
W W W ⎧=⎪⎪
⎪=⎨⎪⎪
=⎪⎩
由齐次遍历可得
112
()(|)3(1,,)(1)log log 3221i i i p p H X W H X W H p p p p p ∞==⨯-=-+-∑
,()log3 1.58/H X bit ==符号 由最大熵定理可知()H X ∞
存在极大值
或者也可以通过下面的方法得出存在极大值:
()
121log(1)(1)log log 1222(1)H X p p p
p p p p p p ∞⎡⎤∂-=---+-++⋅⋅=-⎢⎥∂--⎣⎦
112(1)22(1)p p p =-+-- 又01p ≤≤所以[]0,2(1)p
p ∈+∞-当p=2/3时12(1)p
p =-
0<p<2/3时()
log 02(1)H X p
p p ∞∂=->∂-
2/3<p<1时()log 02(1)H X p
p p ∞∂=-<∂-
所以当p=2/3时()H X ∞ 存在极大值,且max () 1.58/H X bit ∞=
符号
所以,()()H X H X ∞≤
2-33 (1)
解方程组
:
得p(0)=p(1)=p(2)=
(2)
(3) 当p=0或p=1时 信源熵为0
练习题：有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为0121/4,1/4,1/2p p p ===，设计两个独立的实验去观察它，其结果分别为{}{}120,1,0,1Y Y ∈∈，已知条件概率: P(y 1|x) 0 1 0 1 2
1 0 1/2
1 1 1/2
验好些 (1) 求1(;)I X Y 和2(;)I X Y ，并判断哪一个实验比做Y 1
(2) 求12(;)I X Y Y ，并计算做Y 1和Y 2两个实
和Y 2中的一个实验可多得多少关于X 的信息 (3) 求12(;|)I X Y Y 和21(;|)I X Y Y ，并解释它们的含义 解:(1)由题意可知 Y 1 X
0 1
0 1/4 0 1 0 1/4 2 1/4
1/4
P(y 1=0)=p(y 1=1)=1/2 p(y 2=1)=p(y 2=1)=1/2
11111111
(;)()(|)log 2log log 2log 2
42424
I X Y H Y H Y X ∴=-=---⨯=0.5bit/符号
222111
(;)()(|)log 2log1log1log11/442
I X Y H Y H Y X bit =-=---=符号>1(;)I X Y
所以第二个实验比第一个实验好
P(y 2|x) 0 1 0 1 2
1 1 0
0 0 1
Y 2 X
0 1
0 1/4 0 1 1/4 0 2
1/2
（2）因为Y 1和Y 2 相互独立，所以1212(|)(|)(|)p y y x p y x p y x =
y 1y 2 00
01
10 11 p 1/4 1/4
1/4
1/4
121212111
(;)(,)(|)log 4log1log12log 2
444
I X Y Y H Y Y H Y Y X ∴=-=---⨯bit/符号 =1.5bit/符号
由此可见，做两个实验比单独做Y 1可多得1bit 的关于X 的信息量，比单独做Y 2多得0.5bit 的关于X 的信息量。

（3）
12112212212122(;|)(|)(|,)(,)()[()(;,)]
[()(;)][()(;,)](;,)(;)
I X Y Y H X Y H X Y Y H X Y H X H X I X Y Y H X I X Y H X I X Y Y I X Y Y I X Y =-=---=---=-
=1.5-1=0.5bit/符号
表示在已做Y2的情况下，再做Y1而多得到的关于X 的信息量 同理可得
21121(;|)(;,)(;)I X Y Y I X Y Y I X Y =-=1.5-0.5=1bit/符号
表示在已做Y1的情况下，再做Y2而多得到的关于X 的信息量
P(y 1y
2x)
00 01 10 11
0 1/4 0 0 0 1 0 0 1/4 0 2
0 1/4 0
1/4 P(y 1y 2|x) 00 01
10
11
0 1 0 0 0 1 0 0 1 0 2
1/2
1/2
欢迎下载！ 第三章
3.1 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢
⎢⎢⎣⎡323
13132
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1)
sym bol
bit Y X H X H Y X I sym bol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I sym bol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p sym bol
bit x y p x y p x p X Y H sym bol
bit x p X H j
j i
j
i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()
/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167
.03
2
413143)/()()/()()()()(5833.031
413243)/()()/()()()()(/ 918.0 10
log )3
2
lg 324131lg 314131lg 314332lg 3243( )
/(log )/()()/(/ 811.0)41
log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=
+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑
2)
2221122
max (;)log log 2(lg lg )log 100.082 /3333
mi C I X Y m H bit symbol ==-=++⨯=其最佳输入分
布为1
()2
i p x =
3-2某信源发送端有2个符号，i x ，i ＝1，2；()i p x a =，每秒发出一个符号。

接受端有3
种符号i y ，j ＝1，2，3，转移概率矩阵为1/21/201/21/41/4P ⎡⎤
=⎢
⎥⎣⎦。

（1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量。

解：1/21/201/21/41/4P ⎡⎤
=⎢
⎥
⎣⎦
联合概率(,)i j p x y
X
Y 1y
2y 3y
1x /2a /2a 0
2x
(1)/2a -
(1)/4a - (1)/4a -
则Y 的概率分布为
Y
1y 2y 3y
1/2 (1)/4a + (1)/4a -
（1）11+414
()log 2log log 24141a a H Y a a
-=+++-
2
11161log 2log log 24141a a a a -=++-+ 211111log 2log16log log 244141a a a a -=+++-+ 23111log 2log log 24141a a a a
-=++-+ 取2为底
222
3111()(log log )24141a a H Y bit a a
-=++-+ （2）11111111(|)log log log log log 2
222224444a a a a a H Y X ---⎡⎤
=-++++⎢⎥⎣⎦ 3(1)
log 2log 22
a a -=-+
3log 22
a -= 取2为底
3(|)2
a
H Y X bit -=
[]2()()()111max (;)max ()(|)max log 2log log 24141i i i p x p x p x a
a a c I X Y H Y H Y X a a -⎛⎫∴==-=++ ⎪-+⎝⎭取e 为底
2
111(ln 2ln ln )24141a a a a a a
-∂++-+∂
21121111ln 2ln ()24141411a a a a a a a -=+++---+-+ 221112ln 2ln 22(1)4141a a a a a a -=++--+- 111ln 2ln 241a a
-=++ = 0
1114
a a -=+ 35a ∴=
9
251311131
log 2log log 2541454c ∴=⨯++⨯- 312531log 2log log 10416204
=++
3153
log 2log log 2102410=
+- 15log 24=
3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。

解：
由题意可知该二元信道的转移概率矩阵为：
0.990.010.010.99P ⎡⎤=⎢⎥⎣⎦
为一个BSC 信道
所以由BSC 信道的信道容量计算公式得到：
2
11
log ()log 2log
0.92/1
1000920/sec
i i i
t C s H P p bit sign p C C C bit t
==-=-====∑
3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e =0和1/2时的信道容量C
的大小。

解: 信道矩阵P=⎥⎥
⎥⎦
⎤⎢⎢⎢⎣⎡-e 1e 0e e 10001
－,此信道为非奇异矩阵,又r=s,可利用方程组求解
3
1
(|)j i j j P b a b =å
=3
1
(|)log (|)j i j i j P b a P b a =å (i=1,2,3)
X 0
Y 0
1 1 1
2
2
1－e
1－e
e
e
123230(1)(1)log(1)log (1)log (1)log(1)
b e b eb e e e e eb e b e e e e ì=ïïï
-+=--+íïï+-=+--ïïî 解得10b =
23(1)log(1)log b b e e e e ==--+
所以
C=log 2j
j
b å=log[20+2×2(1-e )log(1-e )+log e e ]
=log[1+21-H(e )]=log[1+2(1)(1)e e --e e ]
2311(1)1()2(1)3211()2212(1)12(1)()212(1)()2()C C H C C P b P b P b P b e e e e e b e e
b b e e e e e e -------ìïï====ïï+-+ïïï-ï
==íï+-ïïï==ïïïïïî 而 3
1
()()(|)j i j i i P b P a P b a ==å (j=1,2,3)
得11223323()()()()(1)()()()()(1)
P b P a P b P a P a P b P a P a e e e e ì=ïïï=-+íïï=+-ïïî 所以 P(a 1)=P(b 1)=(1)1
12(1)e e
e e -+-
2323(1)(1)()()()()12(1)P a P a P b P b e e
e e
e e e e --====
+- 当e =0时,此信道为一一对应信道,得
C=log3, 1231()()()3P a P a P a ===
当e =1/2时,得 C=log2, 11()2P a =,231
()()4
P a P a ==
3.5 求下列二个信道的信道容量，并加以比较
（1）⎪⎪⎭
⎫
⎝
⎛----εε
ε
εεε
22p p p p （2）⎪⎪⎭
⎫
⎝⎛----εε
εεε
ε20
02p p p p 其中p+p =1 解：
（1）此信道是准对称信道，信道矩阵中Y 可划分成三个互不相交的子集 由于集列所
组成的矩阵⎪⎪⎭⎫
⎝⎛----εε
εεp p p p ,⎪⎪⎭
⎫
⎝⎛εε22而这两个子矩阵满足对称性，因此可直接利用准对
称信道的信道容量公式进行计算。

C1=logr-H(p1’ p2’ p3’)-Mk k N k log 2
1∑=
其中r=2,N1=M1=1-2ε N2=ε2 M2=4ε 所以
C1=log2-H(ε-p ,p-ε,2ε)-(1-2ε)log(1-2ε)-2εlog4ε
=log2+(ε-p )log(ε-p )+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+(ε-p )log(ε-p )+(p-ε)log(p-ε) 输入等概率分布时达到信道容量。

（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。

先采用准对称
信道的信道容量公式进行计算，此信道矩阵中Y 可划分成两个互不相交的子集，
由子集列所组成的矩阵为⎪⎪⎭⎫
⎝
⎛----εε
εε
p p p p ，⎪⎪⎭
⎫
⎝⎛εε2002这两矩阵为对称矩阵 其中r=2,N1=M1=1-2ε N2=M2=2ε，所以 C=logr-H(p -ε,p-ε,2ε,0)-∑=2
1log k Mk Nk
=log2+(p -ε)log(p -ε)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε
=log2-(1-2ε)log(1-2ε)+( p -ε)log(p -ε)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(p -ε)log(p -ε)+(p-ε)log(p-ε) =C1+2εlog2
输入等概率分布（P （a1）=P （a2）=1/2）时达到此信道容量。

比较此两信道容量，可得C2=C1+2εlog2
3-6 设有扰离散信道的传输情况分别如图3－17所示。

求出该信道的信道容量。

X
Y
1/2
1/21/21/21/2
1/21/2
1/2
图3-17
解：11
22
11221
122112200000000⎡⎤⎢⎥
⎢⎥⎢⎥
⎢⎥⎣⎦
对称信道
log (|)i C m H Y a =- 1
log 42log 22
=-⨯
取2为底 1C =bit/符号
3-7 (1) 条件概率
，联合概
率，后验概率
p y0()13
:=
，
p y1()12
:=
，p y2
()16
:=
（2） H(Y/X)=
（3）
当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为： P(x1/y2)=15，P(x2/y2)=15，P(x3/y2)=3
5 其中错误概率为： Pe=P(x1/y2)+P(x3/y2)=1
5
35
+
0.8
=
（4）平均错误概率为
（5）仍为0.733
（6）此信道不好
原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 （7）
H(X/Y)=
16Log 2()110Log 5()+
115Log 52⎛
⎝⎫
⎪⎭+
215Log 52⎛ ⎝⎫⎪⎭+110Log 5()+110Log 53⎛ ⎝⎫⎪⎭+130Log 10()+310Log 53⎛ ⎝⎫
⎪⎭+ 1.301= 3. 8 设加性高斯白噪声信道中，信道带宽3kHz ，又设{(信号功率+噪声功率)/噪声功
率}=10dB 。

试计算该信道的最大信息传输速率C t 。

解：
3. 9 在图片传输中，每帧约有2.25 106个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。

试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB ）。

解：
s
bit t I C bit NH I symbol bit n H t / 101.560
10910
10941025.2/ 416log log 56
6622⨯=⨯===⨯=⨯⨯=====
z
15049)1000
1(log 105.11log 1log 25
H P P C W P P W C N X t
N X t =+⨯=⎪
⎪⎭⎫ ⎝⎛+=⎪
⎪⎭⎫
⎝
⎛+=
3-10 一个平均功率受限制的连续信道，其通频带为1MHZ ，信道上存在白色高斯噪声。

（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
（3）若信道通频带减小为0.5MHZ 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？
解：（1）2log (1)C W SNR =+ 62110log (110)=⨯+ 3.159Mbps =
（2）222log (15) 3.459C W Mbps =+=
223.159 1.338log 6
M
W MHZ ∴=
= （3）'332log (1) 3.459C W SNR Mbps =+=
'2 3.459
log (1)0.5
SNR += 120SNR ∴=
欢迎下载！ 第四章
第五章 5-1 将下表所列的某六进制信源进行二进制编码，试问：
消息 概率
1C 2C 3C 4C 5C 6C u 1 u 2 u 3 u 4 u 5 u 6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 0 10 110 1110
11110
0 10 1101 1100 1001 1111 1
000
001
010
110
110
01 001 100 101 110 111 (1) 这些码中哪些是唯一可译码？
(2) 哪些码是非延长码？
(3) 对所有唯一可译码求出其平均码长和编译效率。

解：首先，根据克劳夫特不等式，找出非唯一可译码
31123456231244135236:621
63:22222216463:
164
:22421:2521
:2521C C C C C C --------------⨯<+++++=
<<++⨯=+⨯>+⨯<
5C ∴不是唯一可译码，而4C ：
又根据码树构造码字的方法
1C ，3C ，6C 的码字均处于终端节点
∴他们是即时码
5-2
(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms
当信源等概率分布时,信源熵为H(X)=log(4)=2
平均信息传递速率为bit/ms=200bit/s
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-3
5-5
(1) 1
21
4
1
8
1
16
1
32
1
64
1
128
1
128
H(U)=1
2Log2()
1
4
Log4()
+
1
8
Log8()
+
1
16
Log16
()
+
1
32
Log32
()
+
1
64
Log64
()
+
1
128
Log128
()
+
1
128
Log128
()
+ 1.984
=
(2) 每个信源使用3个二进制符号,出现0的次数为
出现1的次数为
P(0)=
P(1)=
(3)
(4) 相应的香农编码
信源符号xi 符号概
率pi
累加概
率Pi
-Logp(x
i)
码长Ki 码字
x1 1/2 0 1 1 0
x2 1/4 0.5 2 2 10
x3 1/8 0.75 3 3 110
x4 1/16 0.875 4 4 1110 x5 1/32 0.938 5 5 11110 x6 1/64 0.969 6 6
x7 1/128 0.984 7 7
x8 1/128 0.992 7 7
相应的费诺码
信源符号xi 符号概率pi 第一次分组 第二次分组 第三次分组 第四次分组 第五次分组 第六次分组 第
七
次
分
组
二元码 x1
1/2 0 0 x2
1/4 1 0 10 x3
1/8 1 0 110 x4
1/16 1 0 1110 x5
1/32 1 0 11110 x6
1/64 1 0 x7
1/128 1 0 x8
1/128 1
（5）香农码和费诺码相同
平均码长为
编码效率为：
5.6
5.7
5.10
(2)
5-11
（1）信源熵
（2）香农编码：
信源符符号概累加概-Logp(x码长Ki 码字
号xi
率pi 率Pi i) x1
0.32 0 1.644 2 00 x2
0.22 0.32 2.184 3 010 x3
0.18 0.54 2.474 3 100 x4
0.16 0.72 2.644 3 101 x5
0.08 0.88 3.644 4 1110 x6
0.04 0.96 4.644 5 11110
平均码长： 编码效率为
（3）费诺编码为
信源
符号
xi
符号概率pi 1 2 3 4 编码 码长 x1
0.32 0 0 00 2 x2
0.22 1 01 2 x3
0.18 1 0 10 2 x4
0.16 1 0 110 3 x5
0.08 1 0 1110 4 x6 0.04 1 1111 4
平均码长为：
编码效率：
（4）哈夫曼编码
信源符号xi
符号概
率pi 编码过程
编码 码长 x1 0.32 0.32
0.38
0.40 0.60 1 01 2 x2 0.22 0.22 0.32 0.38
0.40 10 2 x3 0.18 0.18 0.22 0.32
11 2 x4 0.16 0.16 0.18
000 3 x5 0.08 0.12
0010 4
x6
0.04 0011 4 平均码长为：
编码效率：
5.12
5.14
5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序列编算术码，并计算此
序列的平均码长。

解：根据算术编码的编码规则，可得：P(s=) = P2(0)P6(1) = (3/4)6 (1/4)2 7)(1log =⎥⎥⎤⎢⎢⎡=S P l 根据（
4.129）可得： F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P()
= 1–∑≥s
y y P )(= 1 – P() – P() – P() – P()
= 1– P() = 1– (3/4)6 = 0.82202 = 0.1
又P(S) = A(S)= 0.11001，所以F(S) + P(S) = 0.
即得C = 0. 得S 的码字为 平均码长L 为 0.875。