《信息论基础》试卷(期末)(B2卷)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
试题编号:
重庆邮电大学2008/2009学年2学期
《信息论基础》试卷(期末)(B卷)(开卷)
一、填空题(共25分,每空1分)
1、连续信源的绝对熵为。
2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到。
3、无记忆信源是指。
4、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用码,对概率小的符号用码,这样平均码长就可以降低,从而提高。
5、为了提高系统的有效性可以采用,为了提高系统的可靠性可以采用。
6、八进制信源的最小熵为,最大熵为。
《信息论基础》试卷第1页
7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为
时,信源具有最大熵,其值为。
8、即时码是指。
9、无失真信源编码定理指出平均码长的理论极限值为,此时编码效率为,编码后的信息传输率为。
10、一个事件发生概率为0.125,则自信息量为。
11、信源的剩余度主要来自两个方面,一是,二是。
12、m阶马尔可夫信源的记忆长度为,信源可以有个不同的状态。
13、同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为
比特,当得知“面朝上点数之和为8”所获得的信息量为比特。14、在下面空格中选择填入数学符号“=,≥,≤,>”或“<”
()
+()()X
H
Y
H+。
H|
Y
XY
H
H()()Y
X
《信息论基础》试卷第2页
二、(5分)已知信源的概率密度函数为
1
()
a x
b p x b a
⎧
≤≤
⎪
=-
⎨
⎪⎩其他
,
计算信源的相对熵。
三、(10分)一个平均功率受限的连续信道,信道带宽为1MHz,信道噪声为高斯白噪声。(1)已知信道上的信号与噪声的平均功率比值为20,计算该信道的信道容量。
(2)如果信道上的信号与噪声的平均功率比值降为10,要达到相同的信道容量,信道带宽应为多少?
(3)如果信道带宽降为0.5MHz,要达到相同的信道容量,信道上的信号与噪声的平均功率比值应为多少?
《信息论基础》试卷第3页
《信息论基础》试卷第4页
四、(16分)一个离散无记忆信源
1
23456()1/81/81/81/81/41/4X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
1) 求()H X 和冗余度;
2) 编成Fano 码,计算编码效率; 3) 编成Huffman 码,计算编码效率
《信息论基础》试卷第5页
五、(16分)设一个离散无记忆信源的概率空间为
它们通过干扰信道,信道输出端的接收符号集为[]21,b b Y =,已知信道传输概率如下图所示。
试计算:
(1)信源X 中事件1x 和2x 分别含有的自信息量;(2分) (2)收到信息)2,1(=j y j 后,获得的关于1x 的信息量;(2分) (3)信源X 的信息熵;(2分)
(4)条件熵()1|x Y H ,()2|x Y H ;(2分)
(5)共熵)(XY H 、信道疑义度(|)H X Y 和噪声熵(|)H Y X ;(6分) (6)收到消息Y 后获得的关于信源X 的平均信息量。(2分)
《信息论基础》试卷第6页
《信息论基础》试卷第7页
六、(12分)设某信道的传递矩阵为
(1)若输入符号()()4/121==x P x P ,()2/13=x P ,求(|)H X Y 和(;)I X Y 。 (2)计算该信道的信道容量,并说明达到信道容量的最佳输入概率分布。
《信息论基础》试卷第8页
七、(16分)有一个二元二阶马尔可夫信源,其信源符号集为{0,1},初始概率大小为
1(0)3P =,2
(1)3
P =。条件概率定为
(0|00)(1|11)0.8P P ==
(1|00)(0|11)0.2P P ==
(0|01)(0|10)(1|01)(1|10)0.5P P P P ====
(1) 画出该信源的状态转移图。 (2) 计算达到稳定后状态的极限概率。 (3) 该马尔可夫信源的极限熵H ∞。
(4) 计算达到稳定后符号0和1的概率分布。
《信息论基础》试卷答案
一、填空题(共25分,每空1分)
1、连续信源的绝对熵为 无穷大。(或()()lg lim lg p x p x dx +∞
-∞
∆→∞
-
-∆⎰
)
2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。
3、无记忆信源是指 信源先后发生的符号彼此统计独立 。
4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号
的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均
码长就可以降低,从而提高 有效性(传输速率或编码效率) 。
5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠
《信息论基础》试卷第9页
性可以采用 信道编码 。
6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。
7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为
高斯分布(或()0,1x N
或
2
2
x -)时,信源具有最大熵,其值为 0.6155hart(或1.625bit 或
1
lg 22
e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。
9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或
()
lg H s r
),此时编码效率为 1 ,编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。
11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,
二是 信源符号概率分布的不均匀性 。
12、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q m
个
不同的状态。
13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信
息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息