信息论与编码_习题解答
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息论与编码_习题解答
2.5 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?
解:
设随机变量X 代表女孩子学历
X x 1(是大学生) x 2(不是大学生)
P(X) 0.25 0.75
设随机变量Y 代表女孩子身高
Y y 1(身高>160cm ) y 2(身高<160cm )
P(Y) 0.5
0.5
已知:在女大学生中有75%是身高160厘米以上的即:bit x y p 75.0)/(11=
求:身高160厘米以上的某女孩是大学生的信息量即:bit y p x y p x p y x p y x I 415.15
.075
.025.0log )()/()(log
)/(log )/(11111111=?-=-=-=
2.7 设有一离散无记忆信源,其概率空间为123401233/81/41/41/8X x x x x P ====
= ? ?????
(1)求每个符号的自信息量
(2)信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量和平均每个符号携带的信息量解:12
2118
()log log 1.415()3
I x bit p x === 同理可以求得233()2,()2,()3I x bit I x bit I x bit ===
因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有:123414()13()12()6()87.81I I x I x I x I x bit =+++=
平均每个符号携带的信息量为
87.81
1.9545
=bit/符号 2.13 有两个二元随机变量X 和Y ,它们的联合概率为
并定义另一随机变量Z = XY (一般乘积),试计算:(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ);
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和
H(Z/XY);
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解: (1)
symbol
bit y p y p Y H y x p y x p y p y x p y x p y p symbol
bit x p x p X H y x p y x p x p y x p y x p x p j
j j i
i i / 1)(log )()(2
1
8183)()()(21
8381)()()(/ 1)(log )()(2
1
8183)()()(21
8381)()()(22212121112212221111=-==
+=+==
+=+==-==
+=+==
+=+=∑∑
Z = XY 的概率分布如下:
symbol
bit z p Z H z z Z P Z k
k / 544.081log 8187log 87
)()(818710)(2
21=??? ??+-=-=????
===∑
symbol
bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k
k i k i / 406.181log 8183log 8321log 21
)(log )()(8
1
)()()()()(8
35.087)()()()()()(5.0)()(0)()()()(22222212111121211111121211 11=??? ??++-=-==
=+==-=-=+====+=∑∑
symbol
bit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j k
k j k j / 406.181log 8183log 8321log 21
)(log )()(8
1)()()()()(8
35.087)()()()()()(5.0)()(0)()()()(22222212111121211111121211
11=??? ??++-=-==
=+==-=-=+====+=∑∑
symbol
bit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i j
k
k j i k j i / 811.181log 8183log 8383log 8381log 8
1
)(log )()(8
1
)()()
()()(0
)(8
3)()()()()(8
38121)()()()()()(8/1)()()()()(0
)(0)(0)(2222222222212212212112122121121111112111111 1211111111211111212221211=??? ??+++-=-==
==+====+=-=-==+===+===∑∑∑
(2)
symbol
bit XY H XYZ H XY Z H symbol bit XZ H XYZ H XZ Y H symbol bit YZ H XYZ H YZ X H symbol
bit Y H YZ H Y Z H symbol bit Z H YZ H Z Y H symbol bit X H XZ H X Z H symbol bit Z H XZ H Z X H symbol bit X H XY H X Y H symbol bit Y H XY H Y X H symbol
bit y x p y x p XY H i j
j i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/