《信息理论与编码》,答案,考试重点(1--3章)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
《信息理论与编码》习题参考答案
1. 信息是什么信息与消息有什么区别和联系
答:信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容,而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么
答:语法信息是最基本最抽象的类型,它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述,不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础,不仅要考虑状态和状态之间关系以及它们的含义,还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。
第2章
1. 一个布袋内放100个球,其中80个球是红色的,20个球是白色的,若随机摸取一个球,猜测其颜色,求平均摸取一次所能获得的自信息量
答:依据题意,这一随机事件的概率空间为
120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
其中:
1
x 表示摸出的球为红球事件,
2
x 表示摸出的球是白球事件。
a)如果摸出的是红球,则获得的信息量是
()()11log log0.8
I x p x =-=-(比特)
b)如果摸出的是白球,则获得的信息量是
()()22log log0.2
I x p x =-=-(比特)
c) 如果每次摸出一个球后又放回袋中,再进行下一次摸取。则如此摸取n 次,红球出现的次数为
()
1np x 次,白球出现的次数为
()
2np x 次。随机摸取n 次后总共所获得信息量为
()()()()
1122np x I x np x I x +
d)则平均随机摸取一次所获得的信息量为
()()()()()()()()()112211221
log log 0.72 H X np x I x np x I x n
p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次
2. 居住某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量
答:设事件A 为女孩是大学生;设事件B 为女孩身高1.6米以上。
根据题意,则知:
()0.25P A = ()0.50P B = ()0.75P B A =
而“身高1.6米以上的某女孩是大学生”这消息表明是在B 事件发生的条件下,A
事件发
生。所以其概率为()
P A B
根据贝叶斯定律可得
()()()
()()()
0.250.75
0.3750.5
P A P B A P AB P A B P B P B ⨯=
=
=
=
则得知“身高1.6米以上的某女孩是大学生”这消息,能获得的信息量
()()log log0.375 1.415I A B P A B =-==-≈(比特)
3. 设一个系统传送10个数字:0,1,2,…,9。奇数在以的概率传送时,接收端有可能错误地判断成为另外的奇数,而其他数字完全正确地接收。求收到一个数字后平均得到的信息量
答:发送集合{}0,1,,9,X =…接收集合{}0,1,,9,Y =… 其中
()()1
0,2,4,6,810
p y i i ==
=
因为
()()
()()
1,1,3,5,7,981
,1,3,5,7,9
2p y i x j i j i j p y i x j i j i j ===
=≠===
==
所以
()()(),1(),1,3,5,7,910
i j
p y i p x j p y i x j i j ======
=∑
最后得:
()()()9
log log10 3.232i H Y p y i p y i ==-====∑(比特/符号)
4. 某一无记忆信源的符号集为{0,1},已知信源的概率空间为013
144X P ⎡⎤⎡⎤⎢
⎥=⎢⎥⎢
⎥⎣⎦⎣⎦
。 (1) 求信源熵。
(2) 求由m 个“0”和(100-m )个“l ”构成的某一特定序列的自信息量的表达式。 (3) 计算由100个符号构成的符号序列的熵。 答:
(1)信源熵为
()134
log 4log 0.8113 443
H X =+=比特/符号
(2)该特定序列用A 表示则
()()
10013log 4441.5 1.585 (bit)
m
m I m -⎛⎫⎛⎫=- ⎪ ⎪
⎝⎭⎝⎭
≈+A (3)因为信源是无记忆信源,所以
()()10010081.13 H X H X ==比特/符号序列
5. 有一离散无记忆信源,其输出为{}0,1,2X ∈,相应的概率为01/4p =,11/4p =,21/2p =,设计两个独立实验去观察它,其结果分别为{}10,1Y ∈,{}20,1Y ∈。
已知条件概率如表2-4所示。
表2-4 习题5表
(1) 求()1;I X Y 和()2;I X Y ,并判断作哪一个实验好些。
(2) 求()12;,I X Y Y ,并计算作Y 1和Y 2两个实验比作Y 1或Y 2中的一个实验各可多得多少关于X 的信息。
(3) 求()12;I X Y Y 和()21;I X Y Y ,并解释它们的含义。