信息论与编码-曹雪虹-第二章-课后习题答案

2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，
()21|1/2p u u =，()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，
()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。

解：状态图如下
状态转移矩阵为：
1/21/2
01/302/31/32/30p ⎛⎫ ⎪= ⎪ ⎪⎝⎭
设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3
由1231WP W W W W =⎧⎨++=⎩得1231132231231
112331223
231W W W W W W W W W W W W ⎧++=⎪⎪⎪+=⎪⎨⎪=⎪⎪⎪++=⎩
计算可得1231025925625W W W ⎧=⎪⎪⎪
=⎨⎪
⎪=⎪⎩
2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2，
(1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。

画出状态图，并计算各状态的稳态概率。

解：(0|00)(00|00)0.8p p == (0|01)
(10|01)p p == (0|11)(10|11)0.2p p == (0|10)(00|10)p p == (1|00)(01|00)0.2p p == (1|01)(11|01)p p
==
(1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
于是可以列出转移概率矩阵：0.80.20
0000.50.50.50.500000.20.8p ⎛⎫ ⎪
⎪= ⎪ ⎪⎝⎭
状态图为：
设各状态00，01，10，11的稳态分布概率为W 1,W 2,W 3,W 4 有
41
1i i WP W W ==⎧⎪⎨
=⎪⎩∑ 得 131
132
24324412340.80.50.20.50.50.20.50.81W W W W W W W W W W W W W W W W +=⎧⎪+=⎪⎪+=⎨⎪+=⎪+++=⎪⎩ 计算得到123451417175
14W W W W ⎧=⎪⎪
⎪=⎪⎨⎪=⎪⎪⎪=
⎩
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解：
(1)
bit x p x I x p i i i 170.418
1
log
)(log )(181
61616161)(=-=-==
⨯+⨯=
(2)
bit
x p x I x p i i i 170.536
1
log )(log )(36
1
6161)(=-=-==
⨯=
(3)
两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66
共有21种组合：
其中11，22，33，44，55，66的概率是36
16161=⨯ 其他15个组合的概率是18
161612=⨯⨯
symbol bit x p x p X H i
i i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛
⨯+⨯-=-=∑
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
sym bol
bit x p x p X H X P X i
i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36
12 )
(log )()(36112181111211091936586173656915121418133612)(=⎪
⎭⎫ ⎝⎛
+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨
⎧=⎥⎦⎤⎢⎣⎡∑(5)
bit
x p x I x p i i i 710.136
11
log )(log )(36
11116161)(=-=-==
⨯⨯=
2-4
2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。

假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X 代表女孩子学历
X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75
设随机变量Y 代表女孩子身高
Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5
已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=
求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15
.075
.025.0log )()/()(log
)/(log )/(11111111=⨯-=-=-=
2.6 掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？ 解：
1）因圆点之和为3的概率1()(1,2)(2,1)18
p x p p =+=
该消息自信息量()log ()log18 4.170I x p x bit =-== 2）因圆点之和为7的概率
1()(1,6)(6,1)(2,5)(5,2)(3,4)(4,3)6
p x p p p p p p =+++++=
该消息自信息量()log ()log6 2.585I x p x bit =-==
2.7 设有一离散无记忆信源，其概率空间为123401233/8
1/41/41/8X x x x x P ====⎛⎫⎛⎫=
⎪ ⎪⎝⎭⎝⎭
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解：12
2118
()log log 1.415()3
I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有：123414()13()12()6()87.81I I x I x I x I x bit =+++=
平均每个符号携带的信息量为
87.81
1.9545
=bit/符号 2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2-9 “－” 用三个脉冲 “●”用一个脉冲
(1) I(●)=Log 4()2= I(－)＝Log 4
3⎛ ⎝⎫⎪⎭
0.415=
(2) H= 14
Log 4()34Log 43⎛
⎝⎫
⎪⎭
+
0.811=
2-10
(2) P(黑/黑)= P(白/黑)=
H(Y/黑)=
(3) P(黑/白)= P(白/白)=
H(Y/白)=
(4) P(黑)= P(白)=
H(Y)=
2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。

（1）如果仅对颜色感兴趣，则计算平均不确定度
（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵
解：令X 表示指针指向某一数字，则X={1,2, (38)
Y 表示指针指向某一种颜色，则Y={l 绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）3
1
12381838
()()log log 2log 1.24()3823818j
j
j H Y p y p y ==
=+⨯=∑bit/符号
（2）2(,)()log 38 5.25H X Y H X ===bit/符号
（3）(|)(,)()()() 5.25 1.24 4.01H X Y H X Y H Y H X H Y =-=-=-=bit/符号 2.12 两个实验X 和Y ，X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为
1112132122233132337/241/2401/241/41/2401/247/24r r r r r r r
r r ⎛⎫⎛⎫
⎪ ⎪= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭
（1） 如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？
（2） 如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？
（3） 在已知Y 实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：联合概率(,)i j p x y 为
2
2221(,)(,)log (,)
72411
2log 4log 24log 4247244
i j i j ij
H X Y p x y p x y ==⨯
+⨯+∑ =2.3bit/符号
21
()3log 3 1.583
H Y =⨯=bit/符号
(|)(,)() 2.3 1.58
H X Y H X Y H Y =-=- =0.72bit/符号
2.13 有两个二元随机变量X 和Y ，它们的联合概率为
并定义另一随机变量Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)
sym bol
bit y p y p Y H y x p y x p y p y x p y x p y p sym bol
bit x p x p X H y x p y x p x p y x p y x p x p j
j j i
i i / 1)(log )()(2
1
8183)()()(21
8381)()()(/ 1)(log )()(2
1
8183)()()(21
8381)()()(22212121112212221111=-==
+=+==
+=+==-==
+=+==
+=+=∑∑
Z = XY 的概率分布如下：
sym bol
bit z p Z H z z Z P Z k
k / 544.081log 8187log 87
)()(818710)(2
21=⎪⎭⎫ ⎝⎛+-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨
⎧===⎥⎦⎤⎢⎣⎡∑
symbol
bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k
k i k i / 406.181log 8183log 8321log 21
)(log )()(8
1)()()()()(8
35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-==
=+==-=-=+====+=∑∑
sym bol
bit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j k
k j k j / 406.181log 8183log 8321log 21
)(log )()(8
1
)()()()()(8
35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=⎪⎭⎫ ⎝⎛++-=-==
=+==-=-=+====+=∑∑
sym bol
bit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i
j
k
k j i k j i / 811.181log 8183log 8383log 8381log 8
1
)(log )()(8
1)()()
()()(0
)(8
3)()()()()(8
38121)()()()()()(8/1)()()()()(0
)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=⎪⎭⎫ ⎝⎛+++-=-==
==+====+=-=-==+===+===∑∑∑
(2)
sym bol
bit XY H XYZ H XY Z H sym bol bit XZ H XYZ H XZ Y H sym bol bit YZ H XYZ H YZ X H sym bol bit Y H YZ H Y Z H sym bol bit Z H YZ H Z Y H sym bol bit X H XZ H X Z H sym bol bit Z H XZ H Z X H sym bol bit X H XY H X Y H sym bol bit Y H XY H Y X H sym bol
bit y x p y x p XY H i j
j i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81
)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==⎪⎭⎫ ⎝⎛+++-==-=∑∑ (3)
sym bol
bit YZ X H Y X H Y Z X I sym bol bit XZ Y H X Y H X Z Y I sym bol bit YZ X H Z X H Z Y X I sym bol
bit Z Y H Y H Z Y I sym bol
bit Z X H X H Z X I sym bol bit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-=
2-14 (1)
P(ij)= P(i/j)=
(2) 方法1:
=
方法2:
2-15
P(j/i)=
2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。

解：（1）221010
()0.3log 0.7log 0.881337
H X =+=bit/符号 P(黑|白)=P(黑)
P(白|白)＝P(白)
P(黑|黑)＝P(黑) P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）
212
2222
1()(|)(,)log (,)
111
0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2
10.80.3log 0.8
i j i j ij
H X H X X p x y p x y ∞===⨯+⨯+⨯+⨯∑
＝0.512bit/符号
2.17 每帧电视图像可以认为是由3 105
个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： 1)
symbol
bit X NH X H symbol
bit n X H N
/ 101.27103)()(/ 7128log log )(6
5
22⨯=⨯⨯=====
2)
symbol
bit X NH X H symbol
bit n X H N
/ 13288288.131000)()(/ 288.1310000log log )(22=⨯=====
3)
158037
288.13101.2)()(6
=⨯==X H X H N N
2.20 给定语音信号样值X 的概率密度为1()2
x
p x e λλ-=,x -∞<<+∞,求H c (X)，并证明它小于同样方差的正态变量的连续熵。

解：
201()()log ()()log 21
()log ()()log 211log log ()2211
1log log ()log
()222
11
log 2log 22x
c x x x x x x
x x
H X p x p x dx p x e dx
p x dx p x x edx
e e x dx
e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞
--∞-∞+∞
+∞
-∞-∞+∞
--∞
+∞
--∞+∞-=-=-=---=-+=-+⋅-+=-+⎰⎰⎰⎰⎰⎰⎰
⎰0
1log log (1)212log log log
2x x dx
e x e e e λλλλλλ
+∞
-⎡⎤=--+⎣⎦=-+= 2
2
()0,()E X D X λ
==
,221214()log 2log ()22e H X e H X ππλλ===>=
2.24 连续随机变量X 和Y 的联合概率密度为：⎪⎩⎪
⎨⎧≤+=其他
01
),(2222
r y x r y x p π，
求H(X), H(Y), H(XYZ)和I(X;Y)。

（提示：⎰-
=20
222log 2
sin log π
π
xdx ）
解：
⎰⎰⎰
⎰
⎰⎰⎰⎰⎰⎰
⎰⎰⎰⎰⎰⎰
⎰
-+-=+
==-==--=--=--=-+-=--=---=--=-=≤≤--===----------
---202020
220
2
20
20
22220
2
20
2222
22222
2222222222
22222
222
22sin log 2
2cos 1422cos 1log 4
sin log sin 4
log sin 4
sin log sin 4
sin log sin 4)
cos (sin log sin 4cos log 4log 2log )(/ log 2
1
log log 2
1
1log 2log log )(2log log )(2
log )( 2log )( )(log )()()( 21)()(2
2222
22
2π
π
π
π
π
ππθ
θθ
πθθπθ
θθπ
θθπθθθπθθθπθθθπθπππππππππd d r d rd d r d r r r r d r r r r x dx x r x r r dx x r r x r dx
x r x p sym bol
bit e r e
r r dx
x r x p r dx
x r x p dx r
x p dx r
x r x p dx
x p x p X H r x r r
x r dy r dy xy p x p r r
r r
r
r r r r r r r
r r
r c x r x r x r x r 令其中：
e
e e d e d e d e d e d e
d d d e
r d r d d r r d d d r d r 220
2220
220
22
0220
2220
220
20
20
20
220
20
220
20
20
20
20
log 2
1
2sin log 21log 212cos log 1log 122cos 1log 2
cos log 2
sin log cos cos sin 21
sin log 2sin sin log 2sin 12sin sin log 1
sin log 2cos 2
log 2
1
1log sin log 2cos 2
1log sin log 2cos 2
)2log 2
(2
2sin log 1
log sin log 2cos 2
sin log 2
2cos log 2
log 2
-=--=--=+-
=-=-=⎪⎪⎭
⎫
⎝⎛-==
+-=-
-=-
-
+
-
=-
+
-
=
⎰⎰⎰⎰⎰
⎰⎰
⎰
⎰
⎰
⎰⎰
⎰
⎰⎰π
π
ππ
π
π
π
π
π
π
π
π
π
π
π
π
π
θ
πθ
θπ
θπθ
θ
πθ
θπ
θ
θ
θθ
θπ
θθθθπθ
θπθ
θθπθ
θθπθ
θθππ
π
θπ
θ
θθπθθπθθπ
θπ
其中：
bit/sym bol
e r e r XY H Y H X H Y X I bit/sym bol r dxdy xy p r dxdy r xy p dxdy
xy p xy p XY H bit/sym bol
e r X H Y H x p y p r y r r y r dx r dx xy p y p c c c c R
R
R
c C C y r y r y r y r log log log log log 2 )()()();( log )(log 1
log
)( )(log )()( log 2
1
log )()()
()()
( 21
)()(222222222
222
2222
2222
22
2-=--=-+===-=-=-===≤≤--===⎰⎰⎰⎰⎰⎰⎰
⎰
---
---πππππππππ
2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。

(1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)
symbol bit x p x p X H i
i i / 811.043log 4341log 41
)(log )()(=⎪⎭⎫ ⎝⎛+-=-=∑
(2)
bit m x p x I x p m
i i m m
m
i 585.15.414
3
log
)(log )(4
34341)(100
100100
100100+=-=-==⎪
⎭
⎫
⎝⎛⨯⎪⎭⎫ ⎝⎛=---
(3)
symbol bit X H X H / 1.81811.0100)(100)(100=⨯==
2-26
P(i)=
P(ij)=
H(IJ)=
2.29 有一个一阶平稳马尔可夫链1,2,,,r X X X ,各X r 取值于集合{}1,2,3A a a a =,已知起始概率P(X r )为1231/2,1/4p p p ===，转移概率如下图所示
(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求012,,H H H 和它们说对应的冗余度 解：（1）
12312132,112132(,,)()(|)(|)
()(|)(|)
H X X X H X H X X H X X X H X H X X H X X =++=++
1111111
()log log log 1.5/224444
H X bit =---=符号
，X 的联合概率分布为
212()()j i j i
p x p x x =∑
X 2的概率分布为
那么
21111131131
(|)log 4log 4log 4log log3log log348862126212
H X X =
++++++ =1.209bit/符号
X 2X 3的联合概率分布为
那么
32771535535
(|)log 2log 4log 4log log 3log log 3244883627236272
H X X =
++++++ =1.26bit/符号
123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号
所以平均符号熵3123 3.969
(,,) 1.3233
H X X X bit =
=／符号 （2）设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为1112442
10332103
3
P ⎛⎫ ⎪ ⎪
⎪= ⎪ ⎪ ⎪ ⎪⎝⎭
由1i WP W W =⎧⎪⎨=⎪⎩∑ 得到 123132123122123311431W W W W W W W W W ⎧++=⎪⎪⎪+=⎨⎪++=⎪⎪⎩计算得到12347314314W W W ⎧=⎪⎪
⎪=⎨⎪
⎪=⎪⎩
又满足不可约性和非周期性
31
4111321
()(|)(,,)2(,,0) 1.2572441433i i i H X W H X W H H bit ∞===+⨯=∑ /符号
(3)0log3 1.58H bit ==/符号 1 1.5
H b i t =/符号 2 1.5 1.209
1.3552
H b i t +==/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25
110.0781.355
γη=-=-=
2-30
(1) 求平稳概率
P(j/i)=
解方程组
得到
(2)
信源熵为:
2-31
P(j/i)= 解方程组 得到W1= , W2= , W3=
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。

（1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。

求近似信源的熵H(X)并与H ∞进行比较
图2-13
解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -⎡⎤⎢⎥=-⎢⎥⎢⎥-⎣⎦
令状态0,1,2平稳后的概率分布分别为W1,W2,W3
3
1
1
i i WP W W ==⎧⎪⎨
=⎪⎩∑ 得到 1231
1232123(1)2
2
(1)221p p p W W W W p p W p W W W W W W ⎧
-++=⎪⎪
⎪+-+=⎨⎪++=⎪⎪⎩
计算得到131313W W W ⎧=⎪⎪
⎪
=⎨⎪
⎪=⎪⎩
由齐次遍历可得
112
()(|)3(1,,)(1)log log 3221i i i
p p H X W H X W H p p p p p ∞==⨯-=-+-∑
,
()log3 1.58/H X bit ==符号 由最大熵定理可知()H X ∞
存在极大值
或者也可以通过下面的方法得出存在极大值:
()121log(1)(1)log log
1222(1)H X p p p
p p p p p p ∞⎡⎤∂-=---+-++⋅⋅=-⎢⎥∂--⎣
⎦
112(1)22(1)p p p =-+-- 又01p ≤≤所以[]0,2(1)p p ∈+∞-当p=2/3时12(1)
p
p =-
0<p<2/3时()log 02(1)H X p
p p ∞∂=->∂-
2/3<p<1时()log 02(1)
H X p
p p ∞∂=-<∂-
所以当p=2/3时()H X ∞
存在极大值,且max () 1.58/H X bit ∞= 符号 所以,()()H X H X ∞≤
2-33
(1)
解方程组
:
得p(0)=p(1)=p(2)=
(2)
(3)
当p=0或p=1时 信源熵为0
练习题：有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为
0121/4,1/4,1/2p p p ===，设计两个独立的实验去观察它，其结果分别为
{}{}120,1,0,1Y Y ∈∈，已知条件概率:
(1) 求1(;)I X Y 和2(;)I X Y ，并判断哪一个实验好些
(2) 求12(;)I X Y Y ，并计算做Y 1和Y 2两个实验比做Y 1和Y 2中的一个实验可多得多少关于
X 的信息
(3) 求12(;|)I X Y Y 和21(;|)I X Y Y ，并解释它们的含义
P(y 1=0)=p(y 1=1)=1/2 p(y 2=1)=p(y 2=1)=1/2
11111111
(;)()(|)log 2log log 2log 242424I X Y H Y H Y X ∴=-=---⨯=0.5bit/符号
222111
(;)()(|)log 2log1log1log11/442
I X Y H Y H Y X bit =-=---=符号>1(;)I X Y
所以第二个实验比第一个实验好
（2）因为Y 1和Y 2 相互独立，所以1212(|)(|)(|)p y y x p y x p y x =
121212111
(;)(,)(|)log 4log1log12log 2444
I X Y Y H Y Y H Y Y X ∴=-=---⨯bit/符号
=1.5bit/符号
由此可见，做两个实验比单独做Y 1可多得1bit 的关于X 的信息量，比单独做Y 2多得0.5bit 的关于X 的信息量。

（3）
12112212212122(;|)(|)(|,)(,)()[()(;,)][()(;)][()(;,)](;,)(;)
I X Y Y H X Y H X Y Y H X Y H X H X I X Y Y H X I X Y H X I X Y Y I X Y Y I X Y =-=---=---=-
=1.5-1=0.5bit/符号
表示在已做Y2的情况下，再做Y1而多得到的关于X 的信息量 同理可得
21121(;|)(;,)(;)I X Y Y I X Y Y I X Y =-=1.5-0.5=1bit/符号
表示在已做Y1的情况下，再做Y2而多得到的关于X 的信息量
欢迎下载！。