信息论与编码试卷及答案
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
信息论考试题,考前必看
dr)填空
(1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
(2)必然事件的自信息是_0 _______ o
(3)离散平稳无记忆信源X的N次扩展信源的爛等于离散信源X的爛的N倍°
(4)对于离散无记忆信源,当信源熾有最大值时,满足条件为一信源符号等槪分布一。
(5)若一离散无记忆信
源的信源爛H(X)
等于2.5,对信源进
行等长的无失真二
进制编码,则编码
长度至少为
3 ____ 。
(6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是 _______________。(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_____________ 个码元错误,最多能纠正—个码元错误。
(8)设有一离散无记忆平稳信道,英信道容量为C,只要待传送的信息传输率R 一小于一C (大于、小于或者等于),
则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与— __________ 和_编码方法_有关
二、(99判断
(1)信息就是一种消息。(x )
(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(7 )
(3)概率大的事件自信息量大。(x )
(4)互信息量可正、可负亦可为零。(”)
(5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。
(x )
(6)对于固左的信源分布,平均互信息量是信道传递概率的下凸函数。(7 )
(7)非奇异码一定是唯一可译码,唯一可译码不一泄是非奇异码。(x )
(8)信源变长编码的核心问题是寻找紧致码(或最佳码),霍夫曼编码方法构造的是最佳码。
(7 )
(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. (x )
三、(50居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量?
解:设A表示“大学生”这一事件,B表示“身高1.60以上”这一事件,则
P(A)二0.25 p(B)二0.5 p(B|A)=0. 75 (2分)
故p(A B)二p (AB)/p (B)二p (A) p (B A)/p (B)二0. 75*0. 25/0. 5=0. 375 (2分)I(A B)=-log0. 375=1.42bit (1分)
四、(59证明:平均互信息量同信息嫡之间满足
I(X;Y)=H(X)+H(Y)-H(XY)
证明:
=-工2>(兀兀)bg P M- -工工卩(絆)iog p(x i\yj)(2分)
X Y L X Y _
= H(X)-H(X\Y)
同理
l(X y Y)=H(Y)-H(Y\X)(1 分)
//(y|x)=//(r)-/(x;y)
因为
H(XY)= H(X)+ H(r|X)(1分)
故
H(XY)= H(X)+ H(Y)-/(X;K)
即
I(X;Y)= H(X)+ H(Y)- H(XY)(1 分)
五、(189 .黑白气象传真图的消息只有黑色和白色两种,求:
1)黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求爛H(X):
2)假设黑白消息出现前后有关联,苴依赖关系为戸白/白)= °T,尸(黑f白)=0.1, 黑) = 0.2,卩(黑/黑)=0一8,求其熾孔(X)。
3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。
解:1)信源模型为|\=黑叶白](1分)
0. 3 0. 7
■ ■
2
H(X)= -工尸(吗)1昭2 Pg = 0.881加/符号(2分)
2)由题意可知该信源为一阶马尔科夫信源•由
竹)二工®)尸(也J), 2 1,2 戸(曲)仃心尸1 得极限状态概率(2分)(4分)
响=1 尸(黑)冷
2 2
血(£)=
佩)尸他仏)1馆2尸他仏)=0-5533城/符号 (3分)
2-1
3)
Z1=1-^2 = 0.119
1Og 22
(1分)
〃 =1—H")
=0.447
' 呃2
(1分)
说明:当信源的符号之间有依赖时,信源输出消息的不确左性减弱。而信源冗余度正是反
映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大。(2分)
六、(189) •信源空间为
曼码,计算其平均码长和编码效率(要求有编码过程)。
(2分)
・试分别构造二元香农码和二元霍夫
X P(X )
信源消息 蒋号坷
符号概 率(©)
累加概 率片
■log p (吗)
码字长 度1,
码字
%
0.20 0 232 3 000
0.19 0.2 239 3 001 a
3 0.18 0.39 2.47 3 011 a
4
0.17 0.57 2・56 3 100
0.15 0.74 2.74 3 101 “6
0.10 0.89 3.32 4 1110 dr
0.01
0.99
6.64
7
1111110
_ 7 Z = £/X^)/,=3.14 /■I
0. 20 0. 20 0. 19 0. 19 0. 18 0. 18 0. 17 0. 15 0. 10丄 0. 17 0. 15 信源符号©
概率"(q) 码字'、;
•
码长h
0.20 1() 2 “2 0.19 11
2 ©
0.18 000 3
0.17 001 3
0.15 ()10 3
0.10 0110 4 (1.
0.01 0111
4
0. 11 J
fl. 26 3.14 = 0-831
尺=竺)2.61 L
0. 17
0. 20 0. 19 0. 18 "竺亠“96
L 2.72
比特/符号
0. 01 _U
_
7
L = X P MI C = 2.12
C=1
码元/符号