2004信息论基础试题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
2004信息论基础试题
xx年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章,该文用 2 对信源的不确定性的度量,是衡量信息量大小的一个尺度;用 3 来度量两事件的依赖程度,表现在通信领域就是输入和输出两事件的相互的信息量,若把它取最大值,就是通信线路的 4 ,若把它取最小值,就是 5 ;无失真压缩的理论依据: 6 ,限失真压缩理论依据: 7 ;香农第一定理又称 8 编码定理,编码后的码符号信源尽可能为 11 ,使每个码符号平均所含的信息量达到 9 ,要做到无失真编码,变换每个信源符号平均所需最少的r元码元数就是信源的 10 。
二简答题
1.简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少?
2.连续信源的绝对熵多大,你想到了什么?
3.用一个实例说明你对信号、消息、信息的理解。
4.写出香农公式,并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。
5.解释下图阴影部分含义。
R(D)1R'(D)(实际)R(D)
1/2D
6.比较信息熵和互信息两个概念的异同之处及相互关
系。
7.解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最佳码的每符号平均码长最小为多少?编码效率最高可达多少?
8.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系。
9.二元无记忆信源,有求:
某一信源序列100个二元符号组成,其中有m个“1”,求其自信息量?求100个符号构成的信源序列的熵。
10.求一一对应确定信道P1的信道容量:三计算题
1.黑白气象传真图的消息只有黑色和白色两种,求:
1)黑色出现的概率为,白色出现的概率为。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵
;
2)假设黑白消息出现前后有关联,其依赖关系为:,
,求其熵H∞;
,,
3)比较H(X)和H∞的大小,并说明其物理含义。 2.二元对称信道如图。
1)若,,求和;
2)求该信道的信道容量和最佳输入分布。
3.信源空间为
试构造二元霍夫曼码,计算其平均码长和编码效率。
4.二元对称信道的信道矩阵为,信道传输速度为1500二元符号/秒,设信源为
等概率分布,信源消息序列共有13000个二元符号,问:1)试计算能否在10秒内将信源消息序列无失真传送完?
2)若信源概率分布为多长时间?
,求无失真传送以上信源消息序列至少需要
xx年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章,该文用 3 对信源的不确定性的度量,是衡量信息量大小的一个尺度;表现在通信领域里,发送端发送什么有一个不确定量,通过信道传输,接收端收到信息后,对发送端发送什么仍然存在一个不确定量,我们把这两个不确定量差值用
4 来度量,若把它取最大值,就是通信线路的
5 ,若把它取最小值,就是
6 ,它是限失真压缩的理论基础,它给出了在指定的
7 条件下,信源熵H(X)所能压缩的
8 ,但没有给出具体的压缩方法。
3、在香农第一定理里,用信源的 9 来衡量信源的有效性,它是无失真压缩的理论基础,它告诉了无失真压缩的极限,同时给出具体的压缩方法是: 10 。
二简答题用信息论的理论简单解释下列现象 1我们知道,“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备,它可以在一
个音频电话线上传输二进制数据,并且没有太高的错误率。现在,我们上网用的“猫”的速度已可达到56Kbps了,但是,如果你用网络蚂蚁或其它软件从网上下载东西时,你会发现很多时候网络传输的速度都很低,远低于56Kbps 2 一场颠峰对决的球赛总是激情四射,能把赛场气氛推到沸点,相反一场毫无悬念的球赛显得平淡乏味。
3 摘自美国国防部信息研究所研究员Jacob D. Bekenstein:
如果你问别人物理世界是什么构成的,他很可能告诉你是“物质和能量”。但只要我们学过一点工程、生物和物理的话,就知道:只给汽车厂的机器人金属和塑料,它们不可能做出任何有用的东西,只有给它们下达如何焊接的指令它们才能组装出汽车。我们身体细胞中的核糖体拥有阿米诺酸组建模块和ATP合成为ADP过程中释放的能量,但如果没有细胞核中DNA所携带的信息,同样无法合成任何蛋白质。请对这段话做出结论:
4一个最古老的问题:已知12个球中有一个球的重量与其它球不同,其它球均等重。用无砝码的天平至少须称3次才能找出此球。
三计算题
1、从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%。
若问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这
两个回答中各含多少信息量,从计算的结果得出一个什么结论
在第一问中,平均每个回答中含有多少信息量?
如果问一位女士,问她回答前后不确定性各为多少?
2、黑白气象传真图的消息只有黑色和白色两种,即信源X={黑,白}。设黑色出现的概率为P(黑) = ,白色出现的概率为P(白) = 。 (1) 假设图上黑白消息出现前后没有关联,求熵H(X); (2) 假设消息只与前一个消息有关联,其依赖关系为P(白/白) = ,P(黑/白) = ,P(白/黑) = ,P(黑/黑) = ,求信源的熵H2(X);
(3) 分别求上述两种信源的剩余度,比较H(X)和H2(X)的大小,并说明其物理含义。
3、有一个二元对称信道,其信道矩阵为。设该信源以2000二元符号/秒的速
度传输输入符号。现有一消息序列共有14000个二元符号,并设P(0) = P(1) = 1/2,问从消息传输的角度来考虑,10秒钟内能否将这消息序列无失真的传递完?