信息理论基础第四版北京航空航天大学出版社出版

· 1 ·
2.1 同时掷出一对质地均匀的骰子，也就是各面朝上发生的概率均为1/6，试求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量；
(3) “两个点数中至少有一个是1”这事件的自信息量。

解： (1)
bit
x p x I x p i i i 17.418
1
log )(log )(18
161616161)(=-=-==⨯+⨯=
(2)
bit
x p x I x p i i i 17.536
1
log )(log )(36
16161)(=-=-==⨯=
(3)
bit x p x I x p i i i 71.136
11
log
)(log )(36
11116161)(=-=-==⨯⨯=
2.4 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m 以上的，而女孩中身高1.6m 以上的占总数的一半。

假如我们得知“身高1.6m 以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X 代表女孩子学历
X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75
设随机变量Y 代表女孩子身高
Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=
求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15
.075
.025.0log )()/()(log
)/(log )/(11111111=⨯-=-=-=
2.5 一副充分洗乱了的牌（含52张牌），试问： (1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：
(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：
· 2 ·
!
521)(=
i x p bit x p x I i i 581.225!52log )(log )(==-=
(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
bit C x p x I C x p i i i 208.134
log
)(log )(4)(1352
13
13
52
13=-=-==
2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量bit n X H 24log log )(1=== 八进制脉冲的平均信息量bit n X H 38log log )(2=== 二进制脉冲的平均信息量bit n X H 12log log )(0===
所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.9 如有6行8列的棋型方格，若有2个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为),(A A Y X 、),(B B Y X ，但A 和B 不能落入同一方格内。

试求： (1) 若仅有质点A ，求A 落入任一方格的平均自信息量； (2) 若已知A 已入，求B 落入的平均自信息量；
(3) 若A 、B 是可分辨的，求A 、B 同时落入的平均自信息量。

解：
(1) b i t
n X H x p i 58.548log log )(48
1
)(====
(2) bit
n x y p x y p x p X Y H x y p x p i
j
i j i j i i j i 55.547log log )/(log )/()()/(47
1
)/(48
1)(===-==
=
∑∑
(3) bit X Y H X H XY H 14.1155.558.5)/()()(=+=+=
· 3 ·
2.10 一个消息由符号0，1，2，3组成，已知83)0(=p ，41)1(=p ，4
1)2(=p ，1
(3)8p =。

试求
由60个符号构成的消息的平均信息量。

解：
bit
X H bit
x p x p X H i
i i 36.114906.160)(60 906.1 )125.0log 125.025.0log 25.025.0log 25.0753.0log 753.0( )
(log )()(=⨯==+++-=-=∑ 2.13 已知信源发出1a 和2a 两种消息，且5.0)()(21==a p a p 。

此消息在二进制对称信道上传输，信道传输特性为
εε==-==)/()/( ,1)/()/(12212211a b p a b p a b p a b p
求互信息量);(11b a I 和);(22b a I 。

解：
εεεεεεεε-=-⨯+⨯-⨯==-=⨯+-⨯-⨯==∑∑1)
1(2121)1(21
)/()()/()()/(121)1(21)1(21
)/()()/()()/(222222111111i i i i i i a b p a p a b p a p b a p a b p a p a b p a p b a p
bit
a p
b a p b a I bit
a p
b a p b a I )1log(12
1)
1(log )
()/(log );( )1log(12
1)
1(log )
()/(log );(2222211111εεεε-+=-==-+=-==
2.15 黑白传真机的消息元只有黑色和白色两种，即X ={黑，白}，一般气象图上，黑色的出现概率P(黑) = 0.3，白色的出现概率P(白) = 0.7。

假设黑白消息视为前后无关，求信息熵H(X)。

解：
bit x p x p X H i
i i 881.0)7.0log 7.03.0log 3.0()(log )()(=+-=-=∑
2.17 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：
· 4 ·
若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；
(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。

解： (1)
根据忙闲的频率，得到忙闲的概率分布如下：
bit
x p x p X H x x X P X i i
i 096.021039log 2103921063log 21063)(log )()(2103921063闲忙)(2
21=⎪⎭⎫ ⎝⎛+-=-=⎪⎭
⎪⎬⎫⎪⎩⎪⎨⎧=⎥
⎦⎤⎢⎣⎡∑
(2)
设忙闲为随机变量X ，天气状态为随机变量Y ，气温状态为随机变量Z
bit
z y x p z y x p XYZ H i
j
k
k j i k j i 198.2 21012log 210122104log 210421015log 210152108log 2108 21016log
2101621027log 210272108log 210821012log 21012
)
(log )()(=⎪
⎭
⎫
++++ ⎝⎛+++-=-=∑∑∑ bit
YZ H XYZ H YZ X H bit z y p z y p YZ H j k
k j k j 938.0809.1198.2)()()/( 809.1 21028log 2102821013log 2101321023log 2102321020log 21020)(log )()(=-=-==⎪
⎭⎫ ⎝⎛+++-=-=∑∑
(3)
bit YZ X H X H YZ X I 211.0938.0096.0)/()();(=-=-=
2.18 有两个二元随机变量X 和Y ，它们的联合概率分布函数如题表2.1所列。

题表 2.1
忙
晴
雨
冷 12
暖 8 暖 16 冷 27
闲
晴
雨
冷 8
暖 15 暖 12
冷 4
· 5 ·
Y X
0 1 0 1/8 3/8 1
3/8
1/8
同时定义另一随机变量Z = XY （一般乘积）。

试计算： (1) 熵H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2) 条件熵H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)
bit x p x p X H y x p y x p x p y x p y x p x p i
i i 1)(log )()(2
1
8183)()()(218381)()()(2212221111=-==+=+==+=
+=∑
bit y p y p Y H y x p y x p y p y x p y x p y p j
j j 1)(log )()(2
1
8183)()()(218381)()()(2221212111=-==+=+==+=
+=∑
Z = XY 的概率分布如下：
bit
z p z p Z H z z Z P Z k k
k 544.081log 8187log 87
)(log )()(818710)(2
21=⎪⎭⎫ ⎝⎛+-=-=⎪⎭
⎪
⎬⎫
⎪⎩⎪⎨
⎧===⎥⎦⎤⎢⎣⎡∑
bit
z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k
k i k i 406.181log 8183log 8321log 21
)(log )()(8
1
)()()()()(8
35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-==
=+==-=-=+====+=∑∑
· 6 ·
)()()(8
35.087)()()()()()(5.0)()(0)()()()(2221211112121111112121111z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p +==-=-=+====+=
bit
z y p z y p YZ H z p z y p j k
k j k j 406.181log 8183log 8321log 21
)(log )()(8
1)()(222=⎪⎭⎫ ⎝⎛++-=-==
=∑∑
bit
z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i
j
k
k j i k j i 811.181log 8183log 8383log 8381log 81
)(log )()(8
1
)()()
()()(0
)(8
3)()()()()(8
38121)()()()()()(8/1)()()()()(0
)(0)(0)(2222222222122122121121221211211111121111111211111111211111212221211=⎪⎭
⎫ ⎝⎛+++-=-==
==+====+=-=-==+===+===∑∑∑
(2)
· 7 ·
bit
XY H XYZ H XY Z H bit XZ H XYZ H XZ Y H bit YZ H XYZ H YZ X H bit
Y H YZ H Y Z H bit Z H YZ H Z Y H bit
X H XZ H X Z H bit
Z H XZ H Z X H bit X H XY H X Y H bit Y H XY H Y X H bit
y x p y x p XY H i j
j i j i 0811.1811.1)()()/( 405.0406.1811.1)()()/( 405.0406.1811.1)()()/( 406.01406.1)()()/( 862.0544.0406.1)()()/( 406.01406.1)()()/( 862.0544.0406.1)()()/( 811.01811.1)()()/( 811.01811.1)()()/( 811.181log 8183log 8383log 8381log 81
)(log )()(=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑ (3)
bit
Z Y H Y H Z Y I bit Z X H X H Z X I bit Y X H X H Y X I 138.0862.01)/()();( 138.0862.01)/()();( 189.0811.01)/()();(=-=-==-=-==-=-= bit
YZ X H Y X H Y Z X I bit XZ Y H X Y H X Z Y I bit YZ X H Z X H Z Y X I 406.0405.0811.0)/()/()/;( 406.0405.0811.0)/()/()/;( 457.0405.0862.0)/()/()/;(=-=-==-=-==-=-=
2.19 有两个随机变量X 和Y ，其和为Z = X + Y ，若X 和Y 相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。

证明： (1)
)
()()/()()
()(log )()( )/(log )/()()/(log )()/()(
0)( )()()/(Z H Y H X Z H Z H Y H y p y p x p x z p x z p x p x z p z x p X Z H Y x z Y
x z y p x z p x z p Y
X Z i j j j i i k i k i k i i k i k k i i k i k j i k i k ≤∴≥=⎥⎦
⎤
⎢⎣⎡-=⎥
⎦⎤
⎢⎣⎡-=-=⎩⎨
⎧∉-∈-=-=∴+=∑∑∑∑∑∑ 同理可得)()(Z H X H ≤。

(3)
· 8 ·
)
()(0)/()()/()()()()/()()(Z H XY H XY Z H Z H XY Z H XY H XYZ H Z H Z XY H Z H XYZ H ≥∴=≥+=∴≥+=
2.20 对于任意三个随机变量X 、Y 、Z ，求证：
)
()()()()/;()/()()(X H XZ H XY H XYZ H X Y Z I X Y H XZ H XYZ H -≤--+=
证明：
[][][])
()/()()/()/()/()()/()/()/()/()()/()
/;()/()(XYZ H XY Z H XY H XY Z H X Z H X Y H X H X Z H XY Z H X Z H X Y H X H X Z H X Y Z I X Y H XZ H =+=+-++=--++=-+
)
()()()()
()()/()()()/()/()/(0)/()/()/()/()/;(0
)/;(X H XZ H XY H XYZ H X H XZ H X Z H XY H XYZ H XY Z H X Z H XY Z H XY Z H X Z H XY Z H X Z H X Y Z I X Y Z I -≤-∴-=-=≤∴≥-∴-=≥
2.21 证明：)/()/(13213X X H X X X H ≤
证明：
)
/()/(0)/()/()/()/()/;(0
)/;(131231231312313123123X X H X X X H X X X H X X H X X X H X X H X X X I X X X I ≤∴≥-∴-=≥
2.26 已知信源包含8个数字信息0，1，2，3，4，5，6，7。

为了在二进制信道上传输，用信源编码器将这8个十进制数编成三位二进制代码组，信源各消息的先验概率及相应的代码组见题表2.2。

题表 2.2 i u
0 1 2 3 4 5 6 7
代码组
000z y x
100z y x 010z y x 110z y x 001z y x 101z y x 011z y x 111z y x 000
001
010
011
100
101
110
111
· 9 ·
()i u p 41 41 81 81 161 161 161 16
1 求：
(1) 互信息量);(03x u I ，);(103y x u I ，);(1103z y x u I ；
(2) 在0x 给定的条件下，各消息与1y 之间的条件互信息量； (3) 在10y x 给定的条件下，各消息与1z 之间的条件互信息量。

解： (1)
bit u p x u p x u I 415.08
161
log )
()
/(log );(30303===
bit u p y x u p y x u I 28
121
log )
()
/(log );(3103103===
bit u p z y x u p z y x u I 38
11
log )
()/(log );(311031103===
(2)
bit x u p x y u p x y u I 585.16121
log )
/()
/(log )/;(02012012===
bit x u p y x u p x y u I 585.16
121
log )
/()
/(log )/;(03103013===
bit x y u I x y u I x y u I x y u I x y u I x y u I 0)/;()/;()/;()/;()/;()/;(017016015014011010======
(3)
bit y x u p z y x u p y x z u I 12
11
log )
/()/(log
)/;(10311031013===
bit y x z u I y x z u I y x z u I y x z u I y x z u I y x z u I y x z u I 0)/;()/;()/;()/;()/;()/;()/;(1017101610151014101210111010=======
3.1 设有一离散无记忆信源，其概率空间为
· 10 ·
⎭
⎬⎫
⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。

求：
(1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？
解： (1)
此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是：
6
2514814183⎪⎭
⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p
此消息的信息量是：bit p I 811
.87log =-=
(2)
此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==
3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡4/34/110
)(X P X
(1) 求信息符号的平均熵；
(2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)
bit x p x p X H i
i i 811.043log 4341log 41
)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑
(2)
bit m x p x I x p m
i i m m
m i 585.15.414
3
log
)(log )(4
34341)(100
100100
100100+=-=-==⎪
⎭
⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=---
(3)
bit X H X H 1.81811.0100)(100)(100=⨯==
3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。

题表 3.2
信源
0u 1u 2u 3u p
1/2
1/4 1/8 1/8 代码
10
110
111
(1) 求信息的符号熵；
(2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。

进而用这一结果求码序列中的一个二进制码的熵；
(3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。

解： (1)
bit x p x p X H i
i i 75.181log 8181log 8141log 4121log 21
)(log )()(=⎪⎭⎫ ⎝⎛+++-=-=∑
(2)
bit
X H L X H N X H l x p l E L N i
i i i 1)(1
)(1)(75.1381
381241121)()(====⨯+⨯+⨯+⨯=
==∑
(3)
设消息序列长为N ，则0u 、1u 、2u 、3u 的个数分别为8/ ,8/ ,4/ ,2/N N N N 个。

则0的个数为8708181412N N N N N =⨯+⨯+⨯+⨯ 而1的个数为8
738281402N
N N N N =⨯+⨯+⨯+⨯
因而5.010==p p
212
141/ 21212121/21212121/ 21
2141
/1111/11010
/10000/01101
/0====⨯===⨯
=
====p p p p p p p p p p p p
3.7 设有一个信源，它产生0，1序列的信息。

该信源在任意时间而且不论以前发生过什么消息符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。

(1) 试问这个信源是否是平稳的；
(2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；
(3) 试计算H(X 4)并写出X 4
信源中可能有的所有符号。

解： (1)
这个信源是平稳无记忆信源。

因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……” (2)
bit
X H X X X X H H bit x p x p X H X X X H bit
X H X H N N N N i
i i 971.0)().../(lim 971.0)6.0log 6.04.0log 4.0()(log )()()/( 942.1)6.0log 6.04.0log 4.0(2)(2)(12132132====+-=-===+⨯-==-∞
>-∞∑
(3)
1111
111011011100101110101001100001110110010101000011001000010000的所有符号：
884.3)6.0log 6.04.0log 4.0(4)(4)(44X bit X H X H =+⨯-==
3.11 有一马尔可夫信源，已知转移概率为3/2)/(11=S S p ，3/1)/(12=S S p ，1)/(21=S S p ，
0)/(22=S S p 。

试画出状态转移图，并求出信源熵。

解：
bit
S S p S S p S p H S p S p S p S p S p S p S p S p S p S p S p S S p S p S S p S p S p S S p S p S S p S p S p i
j
i j i j i 689.0 31log 314332log 3
2
43 )
/(log )/()(4
/1)(4
/3)(1
)()()(31)()(31)()()(32)()
/()()/()()()/()()/()()(212112
1221112122222121111=⎪
⎭⎫ ⎝⎛⨯+⨯-=-=⎩⎨
⎧==⎪⎩⎪⎨
⎧
=+=⎪⎪⎩
⎪⎪⎨
⎧
=+=⎩⎨
⎧+=+=∑∑∞ S 1
S 2
2/3
1
1/3
3.21黑白传真机的信息元只有黑色和白色两种X ={黑，白}，一般气象图上黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7，黑白消息前后没有关联，其转移概率为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8。

求该一阶马尔可夫信源的不确定性H(X/X)，并画出该信源的状态转移图。

解：
bit
S S p S S p S p H S p S p S p S p S p S p S p S p S p S p S p S p S S p S p S S p S p S p S S p S p S S p S p S p i
j
i j i j i 553.0 9.0log 9.0321.0log 1.0322.0log 2.0318.0log 8.031 )
/(log )/()(3
/2)(3/1)(1)()()(2)()(2.0)(9.0)()(1.0)(8.0)()/()()/()()()/()()/()()(21211212221112122222121111=⎪
⎭
⎫
⎝⎛⨯+⨯+⨯+⨯-=-=⎩⎨
⎧==⎩⎨
⎧=+=⎩⎨
⎧+=+=⎩⎨
⎧+=+=∑∑∞
3.23 设信源产生A, B, C 三种符号2/1)/(=B B p ，4/1)/()/(==B C p B A p ，8/5)/(=A A p ，
4/1)/(=A B p ，8/1)/(=A C p ，8/5)/(=C C p ，4/1)/(=C B p ，8/1)/(=C A p 。

试计算冗余
度。

解：
A C
B
1/4
1/
8
1/4
5/8
1/2
5/8
1/
4
1/
81/4
⎪⎪
⎪
⎩
⎪
⎪
⎪⎨⎧
++=++=++=)(85)(41)(81)()(41)(21)(41)()(81)(41)(85)(C B A C C B
A B C B A A s p s p s p s p s p s p s p s p s p s p s p s p 黑
白
p(黑/黑)=0.8
S 1
S 2
p(白/白)=0.9
p (白/白)=0.1
p(白/黑)=0.2
138.03
log 366
.111 366.1 85log 853141log 413181log 8131 41
log
413121log 213141log 4131 81log
813141log 413185log 8
5
31 )
/(log )/()(3/1)(3/1)(3/1)(1)()()()()()(03
3
3
=-=-==⎥
⎦
⎤
⨯+⨯+⨯+⨯+⨯+⨯+⎢⎣⎡⨯+⨯+⨯-=-=⎪⎩⎪
⎨⎧===⎩⎨
⎧=++==∞∞∑∑∑H H R bit
p e e p e e p e p H s p s p s p s p s p s p s p s p s p i
j
k
i j i j i C
B A
C B A C B A
3.26 一阶马尔可夫信源的状态图如下图所示。

信源X 的符号集为{0, 1, 2}。

(1) 求平稳后信源的概率分布； (2) 求信源的熵H ∞。

S 3
S 1
S 2
a 2=1/4
a 1
=1/4a 3
=1
/3
a 1=3/4
a 2=2/3
a 3=3/4
解： (1)
⎪⎪
⎪
⎩
⎪
⎪
⎪⎨⎧
+=+=+=)(43)(31)()(41)(32)()(4
1)(43)(323122311
s p s p s p s p s p s p s p s p s p
⎪⎩⎪
⎨⎧===⎪⎩⎪⎨⎧==11/4)(11/3)(11/4)()(4
3)()()(3
211231s p s p s p s p s p s p s p
(2)
bit
e e p e e p e p H i
j
k
i j i j i 840.0 43log 4311441log 41114 31
log
3111332log 32113 41log
4111443log 4
3
114 )
/(log )/()(333
=⎥
⎦
⎤
⨯+⨯+⨯+⨯+⎢⎣⎡⨯+⨯-=-=∑∑∑∞ 4.1 设有一离散无记忆信源，其概率空间为
⎭
⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 它们通过一干扰信道，信道输出端的接收符号集为Y = { y1, y2 }，信道转移概率如题图4.1
所示。

求：
(1) 信源X 中事件x 1和事件x 2分别含有的自信息； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息。

解：
信道转移矩阵为：⎥⎥⎥⎦
⎤⎢⎢⎢
⎣⎡414
3616
5
1)
bit
x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(2211=-=-==-=-=
2)
5/6
1/4 3/4 1/6 1
x 2
x 2
y
1y 题图 4.1
bit
y p x y p y x I bit
y p x y p y x I bit
y p x y p y x I bit
y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 322.02
.04
/3log )()/(log
);( 093.08.04
/1log )()/(log );( 263.02.06
/1log )()/(log );( 059.08.06
/5log )()/(log );(2
.04
1
4.0616.0)/()()/()()(8
.043
4.0656.0)/()()/()()(2222212112212211111122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=
3)
bit
y p y p Y H bit
x p x p X H j
j j i
i i 722.0)2.0log 2.08.0log 8.0()(log )()( 971.0)4.0log 4.06.0log 6.0()(log )()(=+-=-==+-=-=∑∑
4)
∑∑-=i
j
i j i j i x y p x y p x p X Y H )/(log )/()()/(
bit
Y H X Y H X H Y X H Y X H Y H X Y H X H bit 964.0722.0715.0971.0 )()/()()/()/()()/()( 715.0 43log 434.041log 414.061log 616.065log 656.0 =-+=-+=∴+=+=⎪
⎭⎫ ⎝
⎛
⨯+⨯+⨯+⨯-=
5)
bit Y X H X H Y X I 0075.0964.0971.0)/()();(=-=-=
4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D 四个字母。

该信道的正确转移概率为1/2，错误转移概率平均分布在其他三个字母上。

验证在该信道上每个字母传输的平均信息量为0.21 bit 。

解：
该信道为强对称信道，并且信源符号等概率分布，因此平均互信息量达到信道容量。

即信道上每个字母传输的平均信息量都达到最大，都等于信道容量。

()()bit p n p p p p n C 21.0 142/1log 211log 2114log 1log
1log 1log =⎥⎦⎤⎢⎣⎡-+⎪⎭
⎫
⎝⎛-⎪⎭⎫ ⎝⎛-+=⎥⎦⎤⎢⎣⎡
-+--+=
4.5 考虑一二元删除信道
3
2
)1/1( ,61)1?/( ,32)1/0(61
)0/1( ,61)0?/( ,32)0/0(3
2
)1( ,31)0(=
==================
===X Y p X Y p X Y p X Y p X Y p X Y p X p X p
求);( )/( ),/( ),( ),(Y X I X Y H Y X H Y H X H 和。

解：
信道转移矩阵为：⎥⎥⎥⎦
⎤⎢⎢⎢
⎣⎡32616161613
2
该信道行可排列，列不可排列，是准对称信道。

3
1
32613132)/()()/()()( 918.032log 3231log 31
)(log )()(1010000=
⨯+⨯=+==⎪⎭⎫ ⎝⎛+-=-=∑x y p x p x y p x p y p bit
x p x p X H i
i i
bit X Y H Y H Y X I bit Y H X Y H X H Y X H Y X H Y H X Y H X H bit
x y p x y p x Y H X Y H bit
y p y p Y H x y p x p x y p x p y p x y p x p x y p x p y p j
i j i j i j j j 207.0252.1459.1)/()();( 711.0459.1252.1918.0)()/()()/()
/()()/()( 252.161log 6161log 6132log 3
2
)
/(log )/()/()/( 459.121log 2161log 6131log 31
)(log )()(21
32323161)/()()/()()(6132613161)/()()/()()(11101011?10?0?=-=-==-+=-+=∴+=+=⎪⎭⎫ ⎝⎛++-=-===⎪⎭⎫ ⎝⎛++-=-==
⨯+⨯=+==⨯+⨯=+=∑∑
4.19 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。

现已知2 K Ω阻值的电阻中80%是0.125W ，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？
解：
对本题建立数学模型如下：
)
;(求：2.0)/( ,8.0)/(36.064
.04/18
/1)(瓦数 3.07.052)(阻值12112121Y X I x y p x y p y y Y P Y x x X P X ==⎭
⎬⎫
⎩⎨⎧===⎥⎦⎤⎢⎣⎡⎭⎬⎫⎩⎨⎧KΩ=KΩ==⎥⎦⎤⎢⎣⎡
求解过程如下：
()()bit
y p y p Y H bit
x p x p X H y x p y p y x p y x p y x p y p y x p y p y x p y x p y x p y p x y p x p y x p x y p x p y x p j
j j i
i i 943.036.0log 36.064.0log 64.0)(log )()( 881.03.0log 3.07.0log 7.0)(log )()(22
.014.036.0)()()()
()()(08.056.064.0)()()()
()()(14.02.07.0)/()()(56.08.07.0)/()()(212222221211112121111212111111=⨯+⨯-=-==⨯+⨯-=-==-=-=∴+==-=-=∴+==⨯===⨯==∑∑
()bit
XY H Y H X H Y X I bit y x p y x p XY H i
j
j i j i 186.0638.1943.0881.0)()()();( 638.1 22.0log 22.008.0log 08.014.0log 14.056.0log 56.0 )
(log )()(=-+=-+==⨯+⨯+⨯+⨯-=-=∑∑
4.20 设二元对称信道的传递矩阵为⎥⎥⎥
⎦
⎤
⎢⎢⎢⎣⎡32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解： 1)
bit
Y X H X H Y X I bit Y H X Y H X H Y X H Y X H Y H X Y H X H XY H bit
y p y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p bit
x y p x y p x p X Y H bit
x p x p X H j
j j i
j
i j i j i i
i i 062.0749.0811.0)/()();( 749.0980.0918.0811.0)()/()()/()
/()()/()()( 980.0)4167.0log 4167.05833.0log 5833.0()(log )()(4167
.03
2
413143)/()()/()()()()(5833
.031
413243)/()()/()()()()( 918.0 32log 324131log 314131log 314332log 3
2
43 )
/(log )/()()/( 811.041log 4143log 43
)(log )()(2221212221221211112111=-==-==-+=-+=+=+==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⎪
⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=-==⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑∑∑∑
2)
2
1
)( 082.032log 3231log 31
2log )/(log );(max =
=⎪⎭⎫ ⎝⎛⨯+⨯+=-==i i x p bit
x Y H m Y X I C
4.22 证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元素。

证明：
[P]每列有一个且只有一个非零元素 =〉 H(X/Y) = 0
取[P]的第j 列，设0)/(≠k j x y p 而其他),...,2,1 ,( 0)/(n i k i x y p i j =≠=
)( 0)
(0
)
()
/()()
()()/(1
)
/()()/()()
/()()
/()()()()/(k i y p y p x y p x p y p y x p y x p x y p x p x y p x p x y p x p x y p x p y p y x p y x p j j i j i j j i j i k j k k j k i
i j i k j k j j k j k ≠==
=
=
==
=
=
∑
bit
y x p y x p y p y x p y x p Y X H x y p x y p y x p j i j i j i j i
j
j i j i i j i j j i 0 )/(log )/()( )
/(log )()/(0
)/( 10
)/( 0)/(=⎥
⎦
⎤
⎢⎣⎡-=-=⎩⎨
⎧≠==∴∑∑∑∑
4.26 设有扰离散信道的传输情况分别如题图4.3所示。

试求出这种信道的信道容量。

解：
该信道的转移矩阵为：⎥⎥⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎢
⎢⎢⎢⎣⎡210
2
1212100021210
002121
行列都可排列，此信道为对称信道。

4
1
)( 121log 2121log 21
4log )/(log );(max =
=⎪⎭⎫ ⎝⎛⨯+⨯+=-==i i x p bit
x Y H m Y X I C
4.28 求下列各离散信道的容量（其条件概率P(Y/X)如下：）
（1）⎥⎦
⎤⎢
⎣⎡----εεε
εε
ε22p p p p （2）⎥⎦
⎤⎢
⎣⎡----εεε
εε
ε200
2p p p p 解： 1)
行可排列，列不可排列，此信道是准对称信道。

()
()()()
()(
)()()()[]
ε
εεεεεεεεεε
εεε
εεεεε2log 2log log )
/(log )/()/(2log 2221log 21)(log )()(2221
221)/()()/()()(2212121)/()()/()()(2212121)/()()/()()(2
/1)()(23213132221212212111121+--+---=-=⎥
⎦⎤
⎢⎣⎡+---=-==⨯+⨯=+=-=
-⨯+-⨯=+=-=-⨯+-⨯=
+===∑∑p p p p x y p x y p x Y H y p y p Y H x y p x p x y p x p y p p p x y p x p x y p x p y p p p x y p x p x y p x p y p x p x p j
i j i j i j j j ()()()
()()[]
()()
()()()2
21log
21log log 2log 2log log 2log 2221log 21 )
/()(ε
εεεεεεεεεεεεεεε-----+--=+--+--+⎥⎦
⎤
⎢⎣⎡+---=-=p p p p p p p p x Y H Y H C i
2)
行可排列，列不可排列，此信道是准对称信道。

题图 4.3
X
Y
1/21/21/21/21/2
1/2
1/2
1/2
· 21 ·
()
()()()
()(
)()()()[]
()()()
()()[]
()()
()()()ε
ε
εεεεεε
εεεεεεεεεεεεεεεεεεεε
εε
εε
εεεεε22
21log 21log log 2log 2log log log 2221log 21 )
/()(2log 2log log )
/(log )/()/(log 2221log 21)(log )()(221
021)/()()/()()(021
221)/()()/()()(2212121)/()()/()()(2212121)/()()/()()(2
/1)()(242141423213132221212212111121+-----+--=+--+--+⎥⎦
⎤
⎢⎣⎡+---=-=+--+---=-=⎥
⎦⎤
⎢⎣⎡+---=-==⨯+⨯=+==⨯+⨯=+=-=
-⨯+-⨯=+=-=-⨯+-⨯=
+===∑∑p p p p p p p p x Y H Y H C p p p p x y p x y p x Y H y p y p Y H x y p x p x y p x p y p x y p x p x y p x p y p p p x y p x p x y p x p y p p p x y p x p x y p x p y p x p x p i j
i j i j i j j j 比较：
ε2 ,1212=->C C C C ，因为ε2)()( ),()(1212=->Y H Y H Y H Y H
4.29 设下述消息将通过一个二进制无记忆对称信道进行传送。

001=M ，012=M ，103=M ，
114=M ，这四种消息在发送端都是等概率分布的。

试问，输入是1M 和输出第一个数字是0的互信息是多少？如果知道第二个数字也是0，这时又带来多少附加的信息？
解：
()()()()()()()()()bit
p p p M I M I bit
p p M p M p M I bit
p p M p M p M I log 1log 1log 220;00; log 2225.0log 00/log 00; log 125
.02
/log 0/log
0;112
111111+=+-+=-+===+===
4.31 若有二个串接的离散信道，它们的信道矩阵都是
⎥⎥
⎥⎥
⎦
⎤
⎢
⎢⎢⎢⎣⎡=
0100005.05.010001000
P 并设第一个信道的输入符号} , , ,{4321x x x x X =是等概率分布。

求);(Z X I 和);(Y X I ，并加以
· 22 ·
比较。

解： (1) );(Z X I
()()()()()
()()()()()()()()()bit
X Z H Z H Z X I bit
z p Z H z p z p z p z p x z p x p z p x p x z p k
k i
i k i k i 5.121log 214121log 2
1
4175.1/; 75.141log 4121log 2181log 8181log 81
4
1
,21,81,81/4
1
005.05.0100001000100 0100005
.05.0100
0100
00100005.05.0100
01000]/[4321=⎪
⎭⎫ ⎝⎛⨯⨯+⨯⨯+=-==⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=-==
=====
⎥⎥⎥⎥⎦
⎤⎢
⎢⎢⎢⎣⎡=
⎥⎥
⎥⎥
⎦
⎤⎢⎢⎢
⎢⎣⎡⨯⎥⎥⎥⎥⎦⎤⎢
⎢⎢
⎢⎣⎡=∑∑
(2) );(Y X I
()()()()()
∑==
⎥⎥⎥⎥⎦
⎤⎢
⎢⎢⎢⎣⎡=
i
i j i j i x y p x p y p x p x y p /4
1
01
00005.05.010001000]/[
· 23 ·
()()()()()()()()()bit
X Y H Y H Y X I bit
y p Y H y p y p y p y p j
j 5.121log 214121log 2
1
4175.1/; 75.121log 2141log 4181log 8181log 81
2
1
,41,81,814321=⎪
⎭⎫ ⎝⎛⨯⨯+⨯⨯+=-==⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=-==
===∑
(3) 比较
()Z X I Y X I ;);(=
4.35 求题图4.4中信道的信道容量及其最佳的概率分布。

并求当0=ε和0.5时的信道容量。

解：
⎥⎥
⎥⎦
⎤⎢⎢⎢⎣⎡--=εεεε1010001
][p 该信道是一般信道。

(1) 求信道容量和最佳概率分布
()()()()()()()()()()()
()[
]
()[]()
()()()()()()()()()()()()()()()⎪⎪⎩
⎪
⎪⎨⎧
-+-=
===+==⎪⎩
⎪
⎨⎧-+=+-==⎪⎪⎪
⎩
⎪⎪⎪⎨⎧==-+-==+===-+=⨯+==⎩⎨
⎧+--===⎪⎩
⎪
⎨⎧-+=+--+-=+--=-------+---+---∑εε
ε
εεβε
εεε
βεεεβε
ε
εεεεβεεεεεεεεεεεεεεεεεεββββ
εεβεεεεεββεεεεεβεε132321113233221123121121log 011log 1log 10321323211211)()()(211)(1)(1)()(2)(12112)(21122)(121log 222log 2
log log 1log 101log 1log 11log 1log 101111y p y p x p x p y p x p x p x p y p x p x p y p x p y p y p y p y p y p C H C C
H C j
j
1-ε Y X
0 1
1
0 题图 4.4
2
2
1 1-ε ε
ε
· 24 ·
(2) 当0=ε时
该信道为无噪无损信道。

()3
1 585.13log =
==i x p bit C
(3) 当5.0=ε时
该信道为无噪无损信道。

()[]
()()()()()()4
1121121
1211 12log 2121121log 121log 113211212111=
-+-====-+===⎥⎥⎦
⎤⎢⎢⎣⎡⎪
⎭⎫ ⎝⎛-+=-+=-----ε
ε
ε
ε
ε
εεεεεεεε
εεεx p x p x p bit C
4.36 求题图4.5中信道的信道容量及其最佳的概率分布。

解： (a)
⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=313161616161313
1][p 该信道是行列都可排列的对称信道。

[]bit
H Y H X Y H Y H Y X I C mi 082.0 61log 6231log 3
2
4log )()/()(max );(max max =⎪
⎭⎫ ⎝⎛⨯+⨯+=-=-==
(b)
1/3 X
Y
题图 4.5
1/3
1/3 1/3 1/6 1/6
1/6
1/6 (a)
X
1/2
1/6
1/3 Y
1/21/31/6 1/6
1/2
1/3
(b)
· 25 ·
⎥⎥⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢
⎢⎢⎣⎡=216
13
131********
21][p 该信道是行列都可排列的对称信道。

[]bit
H Y H X Y H Y H Y X I C mi 126.0 61log 6121log 2131log 3
1
3log )()/()(max );(max max =⎪
⎭⎫ ⎝⎛⨯+⨯+⨯+=-=-==
4.37 有一个二元对称信道，其信道矩阵如题图4.6所示。

设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设p(0) = p(1) = 1/2，问从消息传输的角度来考虑，10s 内能否将这消息序列无失真的传送完？
解：
⎥
⎦
⎤
⎢⎣⎡=98.002.002.098.0][p []bit
H Y H X Y H Y H Y X I C mi 859.0 )02.0log 02.098.0log 98.0(2log )()/()(max );(max max =⨯+⨯+=-=-==
也就是说每输入一个信道符号，接收到的信息量是0.859比特。

已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是：
s bit symbol bit s symbol I / 1288/859.0/15001=⨯=
现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是
bit
I 14000 )5.0log 5.05.0log 5.0(14000=⨯+⨯⨯=
要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s ，超过了信道每秒钟传输的能力（1288 bit/s ）。

所以10秒内不能将消息序列无失真的传递完。

4.38 把n 个二元对称信道串接起来，每个二元对称信道的错误传递概率为p 。

证明这n 个串接信道可以等效一个二元对称信道，其错误传递概率为
()[]
n
p 2112
1--。

并证明0);(l i m 0=∞
→n n X X I ，设0≠p 或1。

信道的串接如题图4.7所示。

二元对称信道1
X 0
X 1
X 2。

X n
二元对称信道2
二元对称信道n
题图 4.7
0.98
0.98 0.02 0.02 0 1
1
题图 4.6
· 26 ·
证明：
利用归纳法证明。

n 个二元对称信道传接起来，每个二元对称信道的错误传递概率为p ，一般2
1
<
p ，而且),...,,(10n X X X 组成马尔可夫链。

所以，总的信道传递矩阵等于个二元对称信道传递矩阵的联乘。

第一步、特殊值。

当1=n 时：
[]()[
]()[]()
[]()[]
⎥⎦⎤⎢⎣⎡--=⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡-+-----+=p p p p p p p p p n n n n 11211212112121121211211 第二步、假设当1-=k n 时成立，即：
[]()[]()[]()
[]()[]
⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡-+-----+=-----1
111121121211212112121121k k k k k p p p p p 第三步、考察当k n =时是否成立：
[][][]()[]()[]()
[]()[]
⎥⎦⎤⎢⎣⎡--⎥⎥⎥⎦
⎤
⎢⎢⎢⎣⎡-+-----+==-----p p p p p p p p p p p k k k k k k 1121121211212112121121111111 其中错误概率为：
()[]()[]
()()()()()[]
()[
]
k k k k k p p p p p p p p p p p p 212
112112121121121211211
11
1-+=----+-+=---+-+---- 所以命题成立。

[]()[]()[]()[
]()[]⎥
⎥⎥⎦
⎤
⎢⎢⎢⎣⎡-+-----+=n
n n n
n p p p p p 21121
211212112
121121 当∞→n 时
[]()()()[]0
11lim ;lim 21212121lim 0=-=-=⎥
⎥⎥
⎦
⎤⎢⎢⎢⎣⎡=∞
→∞
→∞→p H Y H X X I p n n n n n 5.1 有一信源，它有6个可能的输出，其概率分布如题 5.1表所示，表中给出了对应的码
E D C B A ,,,, 和
F 。

题表 5.1
消息
p(a i )
A
B
C
D
E
F
a 1
1/2
000
· 27 ·
a 2 1/4 001 01 10 10 10 100 a 3 1/16 010 011 110 110 1100 101 a 4 1/16 011 0111 1110 1110 1101 110 a 5 1/16 100 01111
11110
1011 1100 111 a 6
1/16
101
011111 111110
1101
1111
011
(1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。

解：
(1) 唯一可译码：A ，B ，C
A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。

B 是非即时码，前缀码，是唯一可译码。

C 是即时码，是唯一可译码。

D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。

10625.132********
321≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。

1142121214
21≤=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。

1125.1521213
1≥=⨯⎪⎭
⎫
⎝⎛+⎪⎭⎫ ⎝⎛=∑-i
l i
r
(2) 非延长码：A ，C (3)
3125.1616
1
5161416131612411213
=⨯+⨯+⨯+⨯+⨯+⨯=
⋅===∑i
i i C B A l p L L L 5.7 设离散信源的概率空间为
⎭⎬⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡05.010.015.020.025.025.0654321
s s s s s s P S
对其采用香农编码，并求出平均码长和编码效率。

解：
· 28 ·
x i p(x i )
p a (x i )
k i
码字 x 1 0.2 0 3 000 x 2 0.19 0.2 3 001 x 3 0.18 0.39 3 011 x 4 0.17 0.57 3 100 x 5 0.15 0.74 3 101 x 6 0.1 0.89 4 1110 x 7
0.01
0.99
7
1111110
()%7.897
.2423
.2)( 423.205.0log 05.0...25.0log 25.0log )(7
.2505.041.0315.032.0225.0225.0===
=⨯++⨯-=-==⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑∑L S H bit p p S H l p L i
i i i
i i η
5.8 设无记忆二元信源，其概率995.0 ,005.021==p p 。

信源输出100=N 的二元序列。

在长为100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。

(1) 求码字所需要的长度；
(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？
解： (1)
码字中有0个“1”，码字的个数：10
100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：161700
3100=C 18
35.17166751log log 166751
161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q
r C C C C q i
(2)
码字中有0个“1”，错误概率：()
100
995.01=a p
码字中有1个“1”，错误概率：()005.0995.099
2⨯=a p
· 29 ·
s7
s8
s9s6
s5
s1
s2s3
s4
s10s12
s11
0.07
0.25
0.53
码字中有2个“1”，错误概率：()()2
98
500.0995.03
⨯=a p
码字中有3个“1”，错误概率：()()3
97
500.0995.04⨯=a p
()()0017
.09983.0119983
.0 161700005.0995.04950005.0 995.0100005.0995.01995.0 397298991003100
2100110001004321=-=-==⨯⨯+⨯⨯+⨯⨯+⨯=+++=N E a a a a N G p p C p C p C p C p G p εε
5.9 设有离散无记忆信源
⎭⎬
⎫⎩
⎨⎧=⎥⎦⎤⎢⎣⎡02.005.008.010.015.018.020.022.087654321
s s s s s s s s P S 码符号集}2 ,1 ,0{=X ，现对该信源S 进行三元哈夫曼编码，试求信源熵)(S H ，码平均长度L 和编码效率η。

解：
满树叶子节点的个数：(){}... ,9 ,7 ,5 ,3231=+=-+k r k r ，8=q ，不能构成满树。

i i i l w s 1s 1 1 2s 22 2
3s 21 2 4s 20 2
5s 02 2 6s 01 2 7s 000 3 8s 001 3
85.1302.0305.0208.021.0215.0218.022.0122.0=⨯+⨯+⨯+⨯+⨯+⨯+⨯+⨯=⋅=∑i
i i l p L
()%
9.933log 85.175
.2log )( 75.202.0log 02.0...22.0log 22.0log )(=⨯===⨯++⨯-=-=∑r L S H bit
p p S H i
i i η
5.10 设有离散无记忆信源，其概率空间为。