信息论与编码习题

合集下载

信息论与编码习题

1 0 G 0 0 0 0 0 1 1 0 1 0 0 0 1 1 0 1 0 1 1 1 0 0 1 1 0 1
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，（） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能不同，指的是信息的（） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知收到的符号，被告知发出的符号能得到的信息量是（）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)

2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。

设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。

问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。

则该消息序列含有的信息量＝14000(bit/symbol)。

下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。

2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。

信息论与编码试题与答案

1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

信息论与编码习题

• 对等C 称概 D分lo Mg 布m C信时H 道，(Y 的可|容达xi)量到l：其o gm 当信道信 jm 1 容道p ij量输lo g 入p i符j 号
• BSC信道的容量：m＝2 • 准对称信道的容量
3
3
带限波形信道的容量
• 条件：
– 信道带宽W受限 – 噪声为加性高斯白噪声（均值为零，功率谱
2，3，转移概率矩阵为其最佳输入分布为
p ( xi )
1 2
（1）计算接受端的平均不确定度；
（2）计算由于噪声产生的不确定度；
（3）计算信道容量。
设有扰离散信道的传输情况分别如图 3－17 所示。求出该信道的信道容量。
1/2
X
Y
1/2
1/2
1/2 1/2
1/2
1/2
1/2
图3-17
• (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
• 某信源发送端有2个符号Xi ，i＝1，2；，每
秒发出一个符号。接受端有3种符号y ，j＝1， 1 1 2 2 C m a x I ( X ; Y ) l o g 2 m H m i l o g 2 2 ( 3 l g 3 3 l g 3 ) l o g 2 1 0 0 . 0 8 2 b i t / s y m b o l j
平均信息传递速率为
bit/ms=200bit/s
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-5
111 1 1 1 1 1
(1)
2 4 8 16 32 64 128 128
H(U)=
1
1
1
1
1
1
1

信息论与编码选择题复习题

第一章信息1. 信息论的创始人是（）A. 维纳B. 朗格C. 香农D. 哈特莱2. 下列叙述错误的是（）A.在信息度量公式中，底数为2时，计量单位为比特B.信息是人们对事物了解的不确性的消除或减少C.信噪比是指信号功率和噪声功率之比D.信道是在物理线路上划分的物理通道3. 下列关于图灵机的叙述中，错误的是（）A.凡是可计算的函数，理论上都可以用图灵机实现B.图灵机是用于实现图灵测试的计算机C.图灵机的工作原理蕴含了存储程序的思想D.图灵机是一种抽象计算模型4. 智能技术是对人类（）功能的扩展和延伸A.效应器官B. 感觉器官C. 传导神经网络D. 思维器官5. 下列关于信息编码的叙述，错误的是（）A.字符代码主要用于设备间的信息传送B.汉字内部码两个字节的最高位都为0C.汉字内部码是双字节编码D.基本ASCII码采用7位二进制编码6. 在台湾、香港的电脑系统中，普遍采用的繁体汉字编码是（）A.GB2312码B. ASCII码C. Unicode码D. BIG5码7. 同时扔一对均匀的骰子，骰子面朝上的点数之和为4的信息量是（取以2为底的对数函数计算机）（）A.Log(1/36)+log(1/36)+log(1/36)B.Log(36/3)+ Log(36/3)+ Log(36/3)C.Log(36/3)D.Log(3/36)8. 下列（）不属于计算机采用二进制的优点A.元器件不易损坏B. 运算规则简单C. 信息容易表示D. 简化电路设计9. 依据右图所示逻辑门电路，判断输出端Q的逻辑值是（）A.10B. 2C. 0D. 110. 下列关于信息的叙述，正确的是（）A.信息本质上就是数据B.信息可通过信号传递C.信息等同于消息D. 信息就是不确性的增加11. 为表彰在计算机科学和技术领域做出杰出贡献的科学家，特设立（）A.诺贝尔奖B. 菲尔兹奖C. 图灵奖D. 南丁格式奖12. 信息技术“四基元”不包括（）技术A.多媒体技术B. 计算机与智能技术B. C. 通信技术 D. 控制技术13. 在已知今天是星期三的情况下，问你的同学“明天是星期几？”则正确答案中蕴含的信息量是（）A．以2为底的log(1/7) B.以2为底的log6C.以2为底的log7D.以2为底的log114. 下列四个进制数中，最大的一个数是（）A. 十六进制ABB. 二进制数10101100C. 八进制数246D. 十进制数16115．造纸和印刷术的出现是第（）次信息技术革命的标志A.二B. 三C. 四D. 一第二章：硬件系统1. （）个人计算机（PC机）问世A.1946年2月B. 20世纪60年代C. 1958年D. 20世纪80年代2. 某计算机地址总线宽度为10位，这台计算机可管理（）个地址单元A.8291B. 80C. 10D. 10243. 以下哪类光盘的存储容量最大（）A. DVD光盘B. CD光盘C. PCD光盘D. BD光盘4. 64位计算机中的64指的是（）A. 具有64根地址总线B. 具有64根数据总线C. 计算机一次能处理64位十进制数D. 具有64根控制总线5. 微型计算机基本存储单位是（）A. 字长B. 位C. 字节D. 字6. 下列关于“存储程序、顺序控制”原理的叙述，错误的是（）A. 计算机的指令和数据都可以统一存储B. 计算机由控制器、运算器、存储器、输入设备和输出设备五大部分C. 计算机可以采用二进制D. 计算机的指令与数据分离7. 下列不能作为输出设备使用的是（）A. 相变型光盘B. 磁光盘C. CD-ROMD. CD-R8. 一张标准CD-ROM光盘的容量约是（）A. 650KBB. 650MBC. 1.7GBD. 17GB9. 云计算机是一种基本（）的计算模式A. 小型计算机B. 大型计算机C. PC机D. 计算机集群10. 存储的数据断电后不会丢失的是（）A. Flash MemoryB. CacheC. 寄存器D. RAM11. 下列关于总线的叙述中，错误的是（）A. 总线分为内部总线、系统总线和外部总线B. 控制总线的位数决定CPU的字长C. 系统总线分为地址总线、数据总线和控制总线D. 当前PC机的外部总线多数是PCI总线13. 下列关于计算机接口的叙述，错误的是（）A. 并行口传输稳定、可靠、适合长距离传送B. 串行口传输稳定、可靠、适合长距离传送C. 1394接口支持外设热插拔D. USB接口支持外设热插拔和即插即用14. 某CD-ROM驱动器写有“32X”的标识，则该光驱的最大传输速度为（）A. 5MB/sB. 32KB/sC. 5KB/sD. 32MB/s15. 我国第一台计算机被命名为（）A. DJS-103B. ENIACC. 曙光-ID. 银河-I第三章：软件系统1. 下列中，开放源代码的软件是（）A. Ms officeB. LinuxC. PhotoshopD.Windows 72. CPU能够直接访问的存储器是（）A. RAMB. CDROMC. Flash MemoryD. ROM3. CAD的中文含义是（）A. 计算机辅助制造B. 计算机集成化制造C. 计算机辅助计算D. 计算机辅助设计4. 下列关于虚拟存储器的叙述中，错误的是（）A.虚拟存储器逻辑上扩大内存存储空间B.虚拟存储器物理上扩大内存存储空间C.虚拟存储器的容量可远远大于物理内存D.虚拟存储器利用硬盘的存储空间5. 下列特性中，（）不是操作系统的主要特性A.共享性B. 独立性C. 并发性D. 异步性6. 为解决计算机系统中各部件速度差异的矛盾，引入（）A. 缓冲技术B. 虚拟存储C. 中断处理D. PCB7. 苹果公司开发的操作系统平台是（）A. UbuntuB. WindowsC. Mac OSD. Unix8. 按计算机软件分类国家标准，QQ属于（）软件A. 服务B. 支持C.系统D. 应用9. 下列关于进程状态转换的叙述中，错误的是（）A.运行态可直接转换为就绪态B.等待态可直接转换为运行态C.运行态可直接转换为等待态D.等待态可直接转换为就绪态10. 微软公司为了修补系统安全漏洞经常（）A. 招回并修正系统软件的逻辑错误B. 在网络上发布windows系统的各种补丁程序C. 提供安全的系统软件，让用户下载D. 开放操作系统的源代码，让用户修正错误第四章：多媒体技术1. 下列关于光盘的叙述中，错误的是（）A. 采用video-CD标准的光盘，可以存储MPEG-1压缩编码格式的视频和音乐B. 采用DVD标准的光盘，可以存储MPEG-2压缩编码格式的视频和音乐C. 采用CD-ROM标准的光盘，可以存储视频和音乐D. 采用CD-DA标准的光盘，可以存储视频和音乐2. 一段声音的频率范围在200Hz-2000Hz之间，为能够保证其转换后的数字音频还原时不失真，理想的采样频率至少应为（）A. 4000HzB. 200HzC. 2000HzD. 400Hz3. 下列关于图像数字化过程的叙述中，错误的是（）A. 图像的存储容量与图像最大颜色数目无关B. 量化字长越大，越能真实的反应原有图像的颜色C. 图像数字化过程分为采样、量化和编码三个步骤D. 图像的采样是在水平与垂直方向上进行划分的4. 用画图打开一幅16色BMP格式的图像文件，不经任何处理直接另存为GIF格式的图像文件，则下列叙述中，正确的是（）A. 新图像的存储容量减少B. 新图像显示的颜色数增多C. 新图像的存储容量增加D. 新图像显示的颜色数减少5. 在因特网上，（）格式已成为主页图片的标准格式A. PSDB. BMPC. PNGD. GIF6. 按国际电信联盟对媒体的定义，打印机属于（）媒体A. 显示媒体B. 感觉媒体C. 表示媒体D. 传输媒体7. 用22.05KHZ的采样频率采样，量化位数选用32位，录制2分钟的立体声节目，其波形文件的大小约为（）A. 10MBB. 20KBC. 20MBD. 10KB8. 假设光盘的存储容量为700MB,上面存放的数字图像能以每秒25幅画面(每幅画面为800*600的真彩（24位）图像)播放一小时，则该光盘的数字图像压缩比约为（）A. 20000倍B. 2000倍C. 20倍D. 200倍9.下列音频格式中，（）文件记录的是指令而不是数字化后的波形数据A. VOC格式B. WAV格式C. MIDI格式D.CD-DA格式10. 下列关于矢量图和位图比较的叙述中，错误的是（）A. 矢量图任意放大、缩小后不失真B. 失量图有结构便于修改C. 位图任意放大、缩小后不失真D. 位图无结构不便于修改11. 法国、俄罗斯采用的电视信号制式是（）A. SECAMB. PALC. YUVD. NTSC12. 一幅采用16位量化字长处理后的图像，最多能够显示（）颜色A.128种B. 65536种C. 16种D. 256种第五章：数据库技术1. 下列（）语言是非过程化语言A. FORTRANB. SQLC. PASCALD. BASIC2. MS Access是一种（）软件A. DBSB. DBMSC. DBD. DBA3. 设某数据库有3个数据表，结构如下，student（学号，姓名），学号为主键；grade（学号，成绩），无主键；course （课程号，课程名），课程号为主键，下列叙述正确的是（）A. Student表可以与grade表建立一对一的联系B. Course表可以与grade表建立一对多的联系C. Course表可以与grade表建立一对一的联系D. Student表可以与grade表建立一对多的联系4. 要统计一个表中的记录条数，一般用（）函数A. Count()B. Max()C. Sum()D. Avg()5. 使用通配符查找不确定内容是数据库普遍采用的技术，（）是access中代表多个字符的通配符A. *B. ?C. -D. %6. 数据库系统与文件系统相比，错误的是（）A. 数据库系统的数据冗余度高B. 数据库系统的数据共享性高C. 数据库系统的数据由DBMS统一管理D. 数据库系统的数据结构化程度高7.下列关于关系模型性质的叙述中，错误的是（）A. 关系中不允许存在两个完全相同的元组B. 关系中每个属性值是不可分解的C．关系中同一列的属性性可以取自不同值域D. 关系中不允许存在两个同名的列8. SQL语言中，用于创建基本表的语句是（）A. selectB. dropC. createD. alter9. 常用于表示实体-关系模型的图形工具是（）A. E-R图B. 数据流图C. N-S图D.流程图第六章：算法与软件工程1. 用（）方式可以将C语言源程序转化为机器语言程序A. 汇编B. 解释C. 编译D. 链接2. 类用来描述一组对象共有的属性和行为，下列各级对象适合定义成同一个类的是（）A. 飞机，导弹，自行车B. 电视，冰箱，洗衣机C. 学生，教授，教学楼D. 病人，医生，手术室3. 下列关于面向对象程序设计的叙述中，错误的是（）A. 数据抽象定义了对象的属性B. 抽象包括方法抽象和事件抽象C. 封闭可有效的保护程序中数据的安全性和完整性D. 继承可提高软件的复用、降低编码工作量4. 下列关于算法和程序的叙述中，错误的是（）A. 可以用不同的程序实现同一个算法B. 算法不能用自然语言描述C. 算法是对解题步骤的描述D. 程序可以作为算法的一种描述5. 若要设计一个能求解n!的算法，用（）能实现A. 分治法B. 递归法C. 枚举法D.列举法6. 计算机历史上，第一种高级语言是（）A. 汇编语言B. FORTRAN语言C. C语言D. BASIC语言7. 下列（）语言是面向对象的程序设计语言A. BASICB. C++C. COBOLD. C8. （）程序能够直接被计算机执行A. 汇编语言B. 机器语言C. FORTRAN语言D. BASIC语言9. 下列关于二叉树遍历的叙述中，正确的是（）A. 后续遍历先访问根节点B. 三种遍历都先访问根节点C. 先序遍历先访问根节点D. 中序遍历先访问根节点10. 下列不属于线性结构的是（）A.队列B.栈C.线性表D.树形结构11. 先序遍历如右图所示的二叉树，各节点的访问顺序是（）A . DBEGACF B. DGEBFCA C. ABDEGCF D. ABCDEFG12. 下列不能作为算法好坏评价原则的是（）A 智能性B 健壮性C 复杂性D 可读性13. 下列叙述中，不属于面向对象程序设计优点的是（）A. 易于软件的维护和功能的增减B．利用继承的方式减少程序开发时间C．程序可以按照预先设定的路径执行D．具有更好的工作界面。

《信息论与编码》部分课后习题参考答案

i
1 5 1 5 1 1 1 1 1 1 1 1 = − 2 × log + 2 × log + 2 × log + 2 × log + 2 × log + log 6 36 6 36 9 9 12 12 18 18 36 36 = 3.274 bit / symbol
2.2 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，从别人的答案中你能获得多少信息量（假设已知星期一至星期日得排序）？答：若不知道今天是星期几，则答案可能有 7 种，这 7 种都是有价值的，所以答案的信息量为：
2.5 4 个等概率分布的消息 M1、M2、M3、M4 被送入如题所示的信道进行传输，通过编码使 M1=00，M2=01、M3=10、M4=11.求输入是 M1 和输出的第一个符号是 0 的互信息量是多少?如果知道第二个符号也是 0，这时带来多少附加信息量？ X 0 p p 1 1-p 1-p Y
I(X N ) I (Y )
=
2.1 × 106 13.29
= 1.58 ×105 字
2.4 某居住地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的，而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学生”的
消息，问获得多少信息量？答：设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高>160cm） P(Y) 0.5
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求：（1）事件“2 和 6 同时出现”的自信息量；（2）事件“两个 3 同时出现”的自信息量；（3）事件“两个点数中至少有一个是 5”的自信息量；（4）两个点数之和的熵。答：（1）事件“2 和 6 同时出现”的概率为：

信息论与编码理论习题答案

第二章信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。

3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7；（b) 12。

问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。

585 bit (2）可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。

17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。

208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。

解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。

信息论与编码技术练习题

一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。

（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。

（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。

（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。

（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。

（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。

（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。

（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。

（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。

（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。

（√）14、互信息的统计平均为平均互信息量，都具有非负性。

（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。

（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。

（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。

（×）18、在信息处理过程中，熵是不会增加的。

（√）19、熵函数是严格上凸的。

（√）20、信道疑义度永远是非负的。

（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。

信息论与编码习题参考答案

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ (4)信源空间： bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。

（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。

信息论与编码习题集

第2章2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？2.2 平均互信息量(;)I X Y 与信源概率分布()p x 有何关系？与(/)p y x 又是什么关系？2.3 熵是对信源什么物理量的度量？2.4 设信道输入符号集是12{,,,}k x x x L ，则平均每个信道输入符号所能携带的最大信息量为什么？2.5 互信息量(;)i j I a b 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？2.6 教材习题。

P70,2.19-2.22除外第3章3.1 设信源消息集为{0,1}X =，信宿消息集{0,1}Y =，信源等概率分布，通过二进制信道，信道转移概率矩阵为0.760.240.320.68⎛⎫ ⎪⎝⎭求：(1) 该系统的平均互信息量；(2) 接收到0y =后，所提供的关于x 的平均互信息量(;0)I X 。

3.2 教材 3.1,3.2,3.3,3.6,3.7(4),3.8,3.11,3.14,3.15,3.18,3.19第4章信息率失真函数4.1 当信息率失真函数R (D )取什么值的时候，表示不允许有任何失真。

4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值时什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？4.3 给定二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.05.0)(321x x x X P X ，失真度测度矩阵[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011302120d ，求信息率失真函数的定义域和值域。

4.4 其他练习题见教材第5章5.1 请问即时码一定是唯一可译码码？反过来说唯一可译码一定是即时码吗？5.2 离散无记忆信源，熵为()H x ，对信源的L 长序列进行等长编码，码长是长为n 的m 进制符号串，问：(1)满足什么条件时，可实现无失真编码；(2)L 增大，编码效率η也随之增大吗？5.3 信源有4个消息，对其进行二进制编码，问：(1)若信源等概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/14/14/14/1)(4321x x x x X P X ，则每个消息至少需要几位二进制代码？ (2)若信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x X P X ，如何编码才能获得最佳码？5.4 已知一个离散无记忆信源，其概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡12/14/13/13/1)(4321x x x x X P X ，试： (1)对该信源进行二进制霍夫曼编码；(2)证明存在两个不同的最佳码长集合，即证明码长集合{1，2，3，3}和{2，2，2，2}都是最佳的。

信息论与编码习题1及答案1

一、dr)填空题(1)1948年.美国数学家_____________________ 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论.(2)必然事件的自信息是_0 ___________ 。

(3)离散平稳无记忆信源X的N次扩展信源的嫡等于离散信源X的嫡的N倍°(4)对于离散无记忆信源，当信源爛有最大值时，满足条件为.信源符号等槪分術一(5)若一离散无记忆信源的信源爛H (X)等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 _____ ・(6)对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 __________________ 。

(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出2 个码元错误.最多能纠正—1_个码元错误.(8)设有一离散无记忆平稳信道，其信道容董为C,只要待传送的信息传输率R_小于_C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

(9)平均错误概率不仅与信道本身的统计特性有关,还与— ___________ 和_编码方巷—有关二、(9 )判斷题(1)信息就是一种消息。

( )(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

( )(3)概率大的事件自信息量大。

( )(4)互信息量可正、可负亦可为零。

( )(5)信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。

( )(6)对于固定的信源分布，平均互信息董是信道传递概率的下凸函数。

( )(7)非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

( )(8)信源变长编码的核心问题是寻找紧致码(或最佳码)，霍夫曼编码方法构造的是最佳码。

( )(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1o 6米以上的,而女孩中身爲1・6米以上的占总数的一半。

信息论与编码期末考试题(全套)

7、某二元信源，其失真矩阵，则该信源的 =.
三、本题共4小题，满分50分.
1、某信源发送端有2种符号 , ；接收端有3种符号，转移概率矩阵为 .
（1）计算接收端的平均不确定度；
（2）计算由于噪声产生的不确定度；
（3）计算信道容量以及最佳入口分布.
2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为 .
二、填空题共6小题，满分20分.
1、码的检、纠错能力取决于.
2、信源编码的目的是；信道编码的目的是.
3、把信息组原封不动地搬到码字前位的码就叫做.
4、香农信息论中的三大极限定理是、、.
5、设信道的输入与输出随机序列分别为和，则成立的
条件.
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.
七、信道编码（21分）
现有生成矩阵
1.求对应的系统校验矩阵Hs。（2分）
2求该码字集合的最小码字距离d、最大检错能力、最大纠错能力tmax。（3分）
2.填写下面的es表（8分）
e
s
0000000
0000001
0000010
0000100
0001000
0010000
0100000
1000000
4.现有接收序列为，求纠错译码输出。（4分）
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为 bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。

信息论与编码考试题(附答案版)

1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。

3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。

4.数据处理过程中信息具有（不增性）。

5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。

6.单符号连续信道的信道容量取决于（信噪比）。

7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。

8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。

9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。

10.立即码指的是（接收端收到一个完整的码字后可立即译码）。

11.算术编码是（非）分组码。

12.游程编码是（无）失真信源编码。

13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。

14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。

15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。

16.卷积码的自由距离决定了其（检错和纠错能力）。

（对）1、信息是指各个事物运动的状态及状态变化的方式。

（对）2、信息就是信息，既不是物质也不是能量。

（错）3、马尔可夫信源是离散无记忆信源。

（错）4、不可约的马尔可夫链一定是遍历的。

（对）5、单符号连续信源的绝对熵为无穷大。

（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。

（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。

信息论与编码习题答案

信息论与编码习题答案信息论与编码习题答案信息论与编码是一门研究信息传输、存储和处理的学科，它的基本原理和方法被广泛应用于通信、数据压缩、密码学等领域。

在学习信息论与编码的过程中，习题是不可或缺的一部分。

下面将为大家提供一些信息论与编码习题的答案，希望能对大家的学习有所帮助。

习题一：请解释信息熵的概念。

答案：信息熵是信息论中的一个重要概念，用来衡量一个随机变量的不确定性。

对于一个离散型随机变量X，其信息熵H(X)定义为：H(X) = -Σ P(x)log2P(x)其中，P(x)表示随机变量X取值为x的概率。

信息熵的单位是比特（bit），表示信息的平均不确定性。

信息熵越大，表示随机变量的不确定性越高，反之亦然。

习题二：请计算以下离散型随机变量的信息熵。

1. 对于一个均匀分布的随机变量，其取值范围为{1, 2, 3, 4}，请计算其信息熵。

答案：由于均匀分布，每个取值的概率相等，即P(1) = P(2) = P(3) = P(4) = 1/4。

代入信息熵的计算公式可得：H(X) = - (1/4)log2(1/4) - (1/4)log2(1/4) - (1/4)log2(1/4) - (1/4)log2(1/4)= - (1/4)(-2) - (1/4)(-2) - (1/4)(-2) - (1/4)(-2)= 22. 对于一个二值随机变量，其取值为{0, 1}，且P(0) = 0.8，P(1) = 0.2，请计算其信息熵。

答案：代入信息熵的计算公式可得：H(X) = - 0.8log2(0.8) - 0.2log2(0.2)≈ 0.7219习题三：请解释信道容量的概念。

答案：信道容量是指在给定的信道条件下，能够传输的最大信息速率。

在信息论中，信道容量是衡量信道传输效率的重要指标。

对于一个离散无记忆信道，其信道容量C定义为：C = max{I(X;Y)}其中，X表示输入信号集合，Y表示输出信号集合，I(X;Y)表示输入信号X和输出信号Y之间的互信息。

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。

解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。

解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。

信息论与编码试题集与答案（新）Word版

信息论与编码试题集与答案（新）Word版一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

信息论与编码习题答案

信息论与编码习题答案信息论与编码是通信和数据传输领域的基础学科，它涉及到信息的量化、传输和编码。

以下是一些典型的信息论与编码习题及其答案。

# 习题1：信息熵的计算问题：给定一个随机变量X，其可能的取值为{A, B, C, D}，概率分别为P(A) = 0.3, P(B) = 0.25, P(C) = 0.25, P(D) = 0.2。

计算X的熵H(X)。

答案：H(X) = -∑(P(x) * log2(P(x)))= -(0.3 * log2(0.3) + 0.25 * log2(0.25) + 0.25 *log2(0.25) + 0.2 * log2(0.2))≈ 1.846# 习题2：信道容量的计算问题：考虑一个二进制信道，其中传输错误的概率为0.01。

求该信道的信道容量C。

答案：C = log2(2) * (1 - H(error))= 1 * (1 - (-0.01 * log2(0.01) - 0.99 * log2(0.99))) ≈ 0.98 nats# 习题3：编码效率的分析问题：一个编码器将4位二进制数字编码为8位二进制码字。

如果编码器使用了一种特定的编码方案，使得每个码字都具有相同的汉明距离，求这个编码方案的效率。

答案：编码效率 = 信息位数 / 总位数= 4 / 8= 0.5# 习题4：错误检测与纠正问题：给定一个(7,4)汉明码，它能够检测最多2个错误并纠正1个错误。

如果接收到的码字是1101100，请确定原始的4位信息位是什么。

答案：通过汉明码的生成矩阵和校验矩阵，我们可以计算出接收到的码字的校验位，并与接收到的码字的校验位进行比较，从而确定错误的位置并纠正。

通过计算，我们发现原始的4位信息位是0101。

# 习题5：数据压缩问题：如果一个文本文件包含10000个字符，每个字符使用8位编码，如何通过霍夫曼编码实现数据压缩？答案：首先，我们需要统计文本中每个字符的出现频率。

信息论与编码试卷及答案（DOC）

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。

使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分）则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分）故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

信息论与编码题库(最新整理六套)

（一）一、填空题1. 在无失真的信源中，信源输出由H (X )来度量；在有失真的信源中，信源输出由R (D )来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为-1.6dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式h(x)=31x x ++。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝0，R (D min )＝1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝0.5，R (D max )＝0，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。