信息论与编码复习题目
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试题
1、按发出符号之间的关系来分，信源可以分为（）和（）2、连续信源的熵是（），不再具有熵的物理含义。
3、对于有记忆离散序列信源，需引入（）描述信源发出的符号序列内各个符号之间的统计关联特性3、连续信源X,平均功率被限定为P时，符合（）分布才具有最大熵，最大熵是（）。
4、数据处理过程中信息具有（）。
5、信源冗余度产生的原因包括（）和（）。
6、单符号连续信道的信道容量取决于（）。
7、香农信息极限的含义是（）。
8、对于无失真信源编码，平均码长越小，说明压缩效率（）。
9、对于限失真信源编码，保证D的前提下，尽量减少（）。
10、立即码指的是（）。
11、算术编码是（）分组码。
12、游程编码是（）失真信源编码。
13、线性分组码的（）就是该码空间的对偶空间的生成矩阵。
14、若（n，k）线性分组码为MDC码，那么它的最小码距为（）。
15、完备码的特点是（）。
16、卷积码的自由距离决定了其（）。
（）1、信息是指各个事物运动的状态及状态变化的方式。
（）2、信息就是信息，既不是物质也不是能量。
（）3、马尔可夫信源是离散无记忆信源。
（）4、不可约的马尔可夫链一定是遍历的。
（）5、单符号连续信源的绝对熵为无穷大。
（）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
（）8、信源X,经过处理后，输出为Y，H(Y)小于H(X), 说明信息不增。
（）9、如果一个消息包含的符号比表达这个消息所需要的符号多，那么该消息存在冗余度。
（）10、有噪无损离散信道的输入为X,输出为Y，那么其信道容量Ｃ＝ｍａｘＨ（Ｙ）。
（）11、非高斯噪声信道的信道容量比高斯噪声信道的信道容量小。
（）12、信息率失真函数具有单调递减性。
（）13、异前缀码不能及时可译。
（）14、用码树构造的一定是及时码。
（）15、香农编码压缩了符号相关造成的冗余。
（）16、有失真信源编码指的是保真度准则下的信源编码。
信息论与编码复习题
一、填空题1. 设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2 __。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能纠正__1____个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y )___。
5._信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目的是保证通信的 安全性 。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8__时，信源熵达到最大值，为___3____。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。
9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的__不均匀性__。
10.最大后验概率译码指的是 译码器要在已知r 的条件下找出可能性最大的发码 作为译码估值 ，即令 =maxP( |r)_ __。
11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
二、单项选择题1.下面表达式中正确的是（A ）。
A.∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j iy y x p )(),(ω D.∑=ii j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
信息论与编码复习题
一、填空题（共10小题，每题1分）1.即时码又称为（非延长码），有时叫做（异前缀码）。
d）。
2.码的纠检错能力取决于码字的（最小距离min3.如果信源为X，信宿为Y，那么信道疑义度为（），噪声熵为（）。
4.把信息组原封不动地搬到码字前k位的（n,k）码就叫做（系统码）。
5.循环码的任何一个码字的循环移位仍是码字，因此用一个基底就足以表示循环码的特征。
所以描述循环码的常用数学工具是（码多项式）。
6.香农于1948年发表了（通信的数学理论），这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。
7.冗余度来自两个方面，一是（信源符号之间的相关性），二是（信源符号分布的不均匀性）。
8.差错控制的途径是：（增大信道容量C），（减小码率R），（增加码长N）。
9.信源编码的主要任务是(减少冗余，提高编码效率)。
10.汉明码是能纠正1个随机错误码元的完备码，它的码长n与监督位长度m（=n-k）之间的关系式为( )。
11.信道编码的主要目标是(提高信息传送的可靠性)。
12.信源可分为两大类，及（）信源和（）信源。
13.唯一可译码又分为（）码和（）码。
14.游程编码的码字通常由（）和（）组合而成。
15.从系统的角度，运用纠/检错码进行差错控制的基本方式有（）、（）和（）。
16.常用的译码方法有（）译码和（）译码。
二、判断题（共10小题，每题1分）1.由于构成同一线性分组码空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集。
2.可以用生成多项式来描述任何线性分组码。
3.只要传信率R大于信道容量C，总存在一种信道码及解码器，可以以所要求的任意小的差错概率实现可靠通信。
4.码字长度i k符合克劳夫特不等式，是唯一可译码存在的充分必要条件。
5.对于m阶马尔科夫信源来说，在某一时刻出现的符号，取决于前面已出现的m个符号。
6.根据熵的可加性，序列的熵等于组成序列的各符号熵之和。
7.哈夫曼码在编码时充分考虑了信源符号分布的不均匀性和符号之间的相关性。
信息论与编码选择题复习题
第一章信息1. 信息论的创始人是（）A. 维纳B. 朗格C. 香农D. 哈特莱2. 下列叙述错误的是（）A.在信息度量公式中，底数为2时，计量单位为比特B.信息是人们对事物了解的不确性的消除或减少C.信噪比是指信号功率和噪声功率之比D.信道是在物理线路上划分的物理通道3. 下列关于图灵机的叙述中，错误的是（）A.凡是可计算的函数，理论上都可以用图灵机实现B.图灵机是用于实现图灵测试的计算机C.图灵机的工作原理蕴含了存储程序的思想D.图灵机是一种抽象计算模型4. 智能技术是对人类（）功能的扩展和延伸A.效应器官B. 感觉器官C. 传导神经网络D. 思维器官5. 下列关于信息编码的叙述，错误的是（）A.字符代码主要用于设备间的信息传送B.汉字内部码两个字节的最高位都为0C.汉字内部码是双字节编码D.基本ASCII码采用7位二进制编码6. 在台湾、香港的电脑系统中，普遍采用的繁体汉字编码是（）A.GB2312码B. ASCII码C. Unicode码D. BIG5码7. 同时扔一对均匀的骰子，骰子面朝上的点数之和为4的信息量是（取以2为底的对数函数计算机）（）A.Log(1/36)+log(1/36)+log(1/36)B.Log(36/3)+ Log(36/3)+ Log(36/3)C.Log(36/3)D.Log(3/36)8. 下列（）不属于计算机采用二进制的优点A.元器件不易损坏B. 运算规则简单C. 信息容易表示D. 简化电路设计9. 依据右图所示逻辑门电路，判断输出端Q的逻辑值是（）A.10B. 2C. 0D. 110. 下列关于信息的叙述，正确的是（）A.信息本质上就是数据B.信息可通过信号传递C.信息等同于消息D. 信息就是不确性的增加11. 为表彰在计算机科学和技术领域做出杰出贡献的科学家，特设立（）A.诺贝尔奖B. 菲尔兹奖C. 图灵奖D. 南丁格式奖12. 信息技术“四基元”不包括（）技术A.多媒体技术B. 计算机与智能技术B. C. 通信技术 D. 控制技术13. 在已知今天是星期三的情况下，问你的同学“明天是星期几？”则正确答案中蕴含的信息量是（）A．以2为底的log(1/7) B.以2为底的log6C.以2为底的log7D.以2为底的log114. 下列四个进制数中，最大的一个数是（）A. 十六进制ABB. 二进制数10101100C. 八进制数246D. 十进制数16115．造纸和印刷术的出现是第（）次信息技术革命的标志A.二B. 三C. 四D. 一第二章：硬件系统1. （）个人计算机（PC机）问世A.1946年2月B. 20世纪60年代C. 1958年D. 20世纪80年代2. 某计算机地址总线宽度为10位，这台计算机可管理（）个地址单元A.8291B. 80C. 10D. 10243. 以下哪类光盘的存储容量最大（）A. DVD光盘B. CD光盘C. PCD光盘D. BD光盘4. 64位计算机中的64指的是（）A. 具有64根地址总线B. 具有64根数据总线C. 计算机一次能处理64位十进制数D. 具有64根控制总线5. 微型计算机基本存储单位是（）A. 字长B. 位C. 字节D. 字6. 下列关于“存储程序、顺序控制”原理的叙述，错误的是（）A. 计算机的指令和数据都可以统一存储B. 计算机由控制器、运算器、存储器、输入设备和输出设备五大部分C. 计算机可以采用二进制D. 计算机的指令与数据分离7. 下列不能作为输出设备使用的是（）A. 相变型光盘B. 磁光盘C. CD-ROMD. CD-R8. 一张标准CD-ROM光盘的容量约是（）A. 650KBB. 650MBC. 1.7GBD. 17GB9. 云计算机是一种基本（）的计算模式A. 小型计算机B. 大型计算机C. PC机D. 计算机集群10. 存储的数据断电后不会丢失的是（）A. Flash MemoryB. CacheC. 寄存器D. RAM11. 下列关于总线的叙述中，错误的是（）A. 总线分为内部总线、系统总线和外部总线B. 控制总线的位数决定CPU的字长C. 系统总线分为地址总线、数据总线和控制总线D. 当前PC机的外部总线多数是PCI总线13. 下列关于计算机接口的叙述，错误的是（）A. 并行口传输稳定、可靠、适合长距离传送B. 串行口传输稳定、可靠、适合长距离传送C. 1394接口支持外设热插拔D. USB接口支持外设热插拔和即插即用14. 某CD-ROM驱动器写有“32X”的标识，则该光驱的最大传输速度为（）A. 5MB/sB. 32KB/sC. 5KB/sD. 32MB/s15. 我国第一台计算机被命名为（）A. DJS-103B. ENIACC. 曙光-ID. 银河-I第三章：软件系统1. 下列中，开放源代码的软件是（）A. Ms officeB. LinuxC. PhotoshopD.Windows 72. CPU能够直接访问的存储器是（）A. RAMB. CDROMC. Flash MemoryD. ROM3. CAD的中文含义是（）A. 计算机辅助制造B. 计算机集成化制造C. 计算机辅助计算D. 计算机辅助设计4. 下列关于虚拟存储器的叙述中，错误的是（）A.虚拟存储器逻辑上扩大内存存储空间B.虚拟存储器物理上扩大内存存储空间C.虚拟存储器的容量可远远大于物理内存D.虚拟存储器利用硬盘的存储空间5. 下列特性中，（）不是操作系统的主要特性A.共享性B. 独立性C. 并发性D. 异步性6. 为解决计算机系统中各部件速度差异的矛盾，引入（）A. 缓冲技术B. 虚拟存储C. 中断处理D. PCB7. 苹果公司开发的操作系统平台是（）A. UbuntuB. WindowsC. Mac OSD. Unix8. 按计算机软件分类国家标准，QQ属于（）软件A. 服务B. 支持C.系统D. 应用9. 下列关于进程状态转换的叙述中，错误的是（）A.运行态可直接转换为就绪态B.等待态可直接转换为运行态C.运行态可直接转换为等待态D.等待态可直接转换为就绪态10. 微软公司为了修补系统安全漏洞经常（）A. 招回并修正系统软件的逻辑错误B. 在网络上发布windows系统的各种补丁程序C. 提供安全的系统软件，让用户下载D. 开放操作系统的源代码，让用户修正错误第四章：多媒体技术1. 下列关于光盘的叙述中，错误的是（）A. 采用video-CD标准的光盘，可以存储MPEG-1压缩编码格式的视频和音乐B. 采用DVD标准的光盘，可以存储MPEG-2压缩编码格式的视频和音乐C. 采用CD-ROM标准的光盘，可以存储视频和音乐D. 采用CD-DA标准的光盘，可以存储视频和音乐2. 一段声音的频率范围在200Hz-2000Hz之间，为能够保证其转换后的数字音频还原时不失真，理想的采样频率至少应为（）A. 4000HzB. 200HzC. 2000HzD. 400Hz3. 下列关于图像数字化过程的叙述中，错误的是（）A. 图像的存储容量与图像最大颜色数目无关B. 量化字长越大，越能真实的反应原有图像的颜色C. 图像数字化过程分为采样、量化和编码三个步骤D. 图像的采样是在水平与垂直方向上进行划分的4. 用画图打开一幅16色BMP格式的图像文件，不经任何处理直接另存为GIF格式的图像文件，则下列叙述中，正确的是（）A. 新图像的存储容量减少B. 新图像显示的颜色数增多C. 新图像的存储容量增加D. 新图像显示的颜色数减少5. 在因特网上，（）格式已成为主页图片的标准格式A. PSDB. BMPC. PNGD. GIF6. 按国际电信联盟对媒体的定义，打印机属于（）媒体A. 显示媒体B. 感觉媒体C. 表示媒体D. 传输媒体7. 用22.05KHZ的采样频率采样，量化位数选用32位，录制2分钟的立体声节目，其波形文件的大小约为（）A. 10MBB. 20KBC. 20MBD. 10KB8. 假设光盘的存储容量为700MB,上面存放的数字图像能以每秒25幅画面(每幅画面为800*600的真彩（24位）图像)播放一小时，则该光盘的数字图像压缩比约为（）A. 20000倍B. 2000倍C. 20倍D. 200倍9.下列音频格式中，（）文件记录的是指令而不是数字化后的波形数据A. VOC格式B. WAV格式C. MIDI格式D.CD-DA格式10. 下列关于矢量图和位图比较的叙述中，错误的是（）A. 矢量图任意放大、缩小后不失真B. 失量图有结构便于修改C. 位图任意放大、缩小后不失真D. 位图无结构不便于修改11. 法国、俄罗斯采用的电视信号制式是（）A. SECAMB. PALC. YUVD. NTSC12. 一幅采用16位量化字长处理后的图像，最多能够显示（）颜色A.128种B. 65536种C. 16种D. 256种第五章：数据库技术1. 下列（）语言是非过程化语言A. FORTRANB. SQLC. PASCALD. BASIC2. MS Access是一种（）软件A. DBSB. DBMSC. DBD. DBA3. 设某数据库有3个数据表，结构如下，student（学号，姓名），学号为主键；grade（学号，成绩），无主键；course （课程号，课程名），课程号为主键，下列叙述正确的是（）A. Student表可以与grade表建立一对一的联系B. Course表可以与grade表建立一对多的联系C. Course表可以与grade表建立一对一的联系D. Student表可以与grade表建立一对多的联系4. 要统计一个表中的记录条数，一般用（）函数A. Count()B. Max()C. Sum()D. Avg()5. 使用通配符查找不确定内容是数据库普遍采用的技术，（）是access中代表多个字符的通配符A. *B. ?C. -D. %6. 数据库系统与文件系统相比，错误的是（）A. 数据库系统的数据冗余度高B. 数据库系统的数据共享性高C. 数据库系统的数据由DBMS统一管理D. 数据库系统的数据结构化程度高7.下列关于关系模型性质的叙述中，错误的是（）A. 关系中不允许存在两个完全相同的元组B. 关系中每个属性值是不可分解的C．关系中同一列的属性性可以取自不同值域D. 关系中不允许存在两个同名的列8. SQL语言中，用于创建基本表的语句是（）A. selectB. dropC. createD. alter9. 常用于表示实体-关系模型的图形工具是（）A. E-R图B. 数据流图C. N-S图D.流程图第六章：算法与软件工程1. 用（）方式可以将C语言源程序转化为机器语言程序A. 汇编B. 解释C. 编译D. 链接2. 类用来描述一组对象共有的属性和行为，下列各级对象适合定义成同一个类的是（）A. 飞机，导弹，自行车B. 电视，冰箱，洗衣机C. 学生，教授，教学楼D. 病人，医生，手术室3. 下列关于面向对象程序设计的叙述中，错误的是（）A. 数据抽象定义了对象的属性B. 抽象包括方法抽象和事件抽象C. 封闭可有效的保护程序中数据的安全性和完整性D. 继承可提高软件的复用、降低编码工作量4. 下列关于算法和程序的叙述中，错误的是（）A. 可以用不同的程序实现同一个算法B. 算法不能用自然语言描述C. 算法是对解题步骤的描述D. 程序可以作为算法的一种描述5. 若要设计一个能求解n!的算法，用（）能实现A. 分治法B. 递归法C. 枚举法D.列举法6. 计算机历史上，第一种高级语言是（）A. 汇编语言B. FORTRAN语言C. C语言D. BASIC语言7. 下列（）语言是面向对象的程序设计语言A. BASICB. C++C. COBOLD. C8. （）程序能够直接被计算机执行A. 汇编语言B. 机器语言C. FORTRAN语言D. BASIC语言9. 下列关于二叉树遍历的叙述中，正确的是（）A. 后续遍历先访问根节点B. 三种遍历都先访问根节点C. 先序遍历先访问根节点D. 中序遍历先访问根节点10. 下列不属于线性结构的是（）A.队列B.栈C.线性表D.树形结构11. 先序遍历如右图所示的二叉树，各节点的访问顺序是（）A . DBEGACF B. DGEBFCA C. ABDEGCF D. ABCDEFG12. 下列不能作为算法好坏评价原则的是（）A 智能性B 健壮性C 复杂性D 可读性13. 下列叙述中，不属于面向对象程序设计优点的是（）A. 易于软件的维护和功能的增减B．利用继承的方式减少程序开发时间C．程序可以按照预先设定的路径执行D．具有更好的工作界面。
信息论与编码期末考试题(全套)
（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性.（ ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0.（ ）10.必然事件和不可能事件的自信息量都是0.（ ）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是 ；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是 、 、 . 5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = . 三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号iy )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1） 计算接收端的平均不确定度()H Y ； （2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示， 信源X 的符号集为}2,1,0{. （1）求信源平稳后的概率分布； （2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较. 4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码. （二）一、填空题（共15分，每空1分）1、信源编码的主要目的是 ，信道编码的主要目的是 。
信息论与编码复习题
第二章 复习题一、填空题1、信息的 可度量性 是建立信息论的基础。
2、 统计度量 是信息度量最常用的方法。
3、 熵 是香农信息论最基本最重要的概念。
4、事物的不确定度是用时间统计发生 概率的对数 来描述的。
5、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
6、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
7、自信息量的单位一般有 比特、奈特和哈特 。
8、必然事件的自信息是 0 。
9、不可能事件的自信息量是 ∞ .10、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
11、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
12、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
13、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
14、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。
15、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
二、判断题1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H .（ 对 ）2.必然事件和不可能事件的自信息量都是0（错） 3.信息就是一种消息。
（ 错 ）4、概率大的事件自信息量大。
错 ） 5、互信息量可正、可负亦可为零,(对 ）6、信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
错 ）7、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
对 ）8、自信息量是p （a i ）的单调递减函数。
（对）9、单符号离散信源的自信息和信源熵都具有非负性。
（对）10、单符号离散信源的自信息和信源熵都是一个确定值。
（错）11、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。
信息论与编码期末考试题
、判断题1. 当随机变量X和丫相互独立时，条件熵H(X|Y)等于信源熵H(X). ()2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集 ()3•—般情况下，用变长编码得到的平均码长比定长编码大得多()4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信()5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件•()6. 连续信源和离散信源的熵都具有非负性(7•信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. ()9. 率失真函数的最小值是0 . (10. 必然事件和不可能事件的自信息量都是0. ()二、填空题1、码的检、纠错能力取决于_________________ . ______________2、信源编码的目的是_____________________ ;信道编码的目的是 ____________ . ________3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做______________________ .4、香农信息论中的三大极限定理是________________ 、__________ 、___________ .5、设信道的输入与输出随机序列分别为X和丫，则I(X N,Y N) NI(X,Y)成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 _________________ .X 0 1 0 a7、某二元信源，其失真矩阵D ，则该信源的D max= _______P(X) 1/2 1/2 a 0三、计算题.1、某信源发送端有2种符号X i (i 1,2) , p(xj a ；接收端有3种符号y i (j 1,2,3)，转移概率矩阵为1/2 1/2 0 P .1/2 1/4 1/4(1)计算接收端的平均不确定度H (Y)；(2)计算由于噪声产生的不确定度H(Y|X)；(3)计算信道容量以及最佳入口分布.一、填空题1、信源编码的主要目的是_______ ，信道编码的主要目的是________ 。
信息论与编码考试试题
3、（12分）已知（7，3）分组码的生成矩阵为100111001001111010011G ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦（1）、写出所有许用码组，并求出监督矩阵。
（2）、该码的编码效率为多少？（3）、若译码器输入的码组为l010001，请计算其校正子，并指出此接收码组中是否包含错误。
4、（12分）设有信源12345678()0.40.140.10.10.070.060.050.04X a a a a a a a a P X ⎛⎫⎡⎤=⎪⎢⎥⎝⎭⎣⎦(1) 求信源熵)(X H 和信源的冗余度；(2) 完成二进制费诺编码，并计算其平均码长及编码效率。
(3) 完成二进制霍夫曼编码，并计算其平均码长及编码效率。
5、（12分）信源分布123911()102020xx x X P X ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦，信道转移概率矩阵511682415124681158246P ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦， 信道输出符号Y = {y 1, y 2, y 3}。
（1） 若信源等概分布，对其按最大后验概率准则译码，并求平均错误概率。
（2） 若信源等概分布，对其按最大似然准则译码，并求平均错误概率。
6、（18分） 已知（7，3）循环码的生成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=100110111011101010001G（1）、试写出该（7，3）循环码的生成多项式g （x ）。
（2）、若输入信息码为101，试写出对应的循环码码组。
（3）、若接收到的码组为1010100，试恢复出正确的信息位。
（4）、该码能纠正几位错。
信息论与编码试卷及答案
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
一、概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
信息论与编码题集
信息论与编码题集一、选择题1. 下列关于信息量的说法中，正确的是（）A. 信息量是对信息不确定性的度量，不确定性越大，信息量越大B. 信息量与事件发生的概率成正比，概率越大，信息量越大C. 信息量的单位是比特，一个二进制符号所含的信息量为1比特D. 信息量只与信息的内容有关，与信息的形式和传递方式无关答案：A解释：信息量是对信息不确定性的度量，不确定性越大，信息量越大，A选项正确；信息量与事件发生的概率成反比，概率越小，信息量越大，B选项错误；信息量的单位是比特，一个二进制符号所含的信息量为1比特，这只是信息量的一种常见表示方式，实际上信息量的单位可以根据具体情况而定，C选项表述不全面；信息量不仅与信息的内容有关，还与信息的形式和传递方式有关，D选项错误。
2. 在信息论中，信息熵是用于描述（）A. 信息的不确定性B. 信息的准确性C. 信息的冗余度D. 信息的有效性答案：A解释：信息熵是用于描述信息的不确定性，它表示信息的平均不确定性程度，A选项正确；信息熵与信息的准确性无关，B选项错误；信息熵可以反映信息的冗余度，但它本身并不是用于描述冗余度的，C 选项不准确；信息熵主要用于描述信息的不确定性，而不是有效性，D选项错误。
3. 假设一个随机事件有四种可能的结果，它们发生的概率分别为0.2、0.3、0.4和0.1，那么该事件的信息熵为（）A. 1.5比特B. 1.8比特C. 2.0比特D. 2.5比特答案：B解释：信息熵的计算公式为H(X) = Σp(x)log₂p(x)，其中p(x)为事件发生的概率。
将概率代入公式计算可得：H(X) = (0.2log₂0.2 + 0.3log₂0.3 + 0.4log₂0.4 + 0.1log₂0.1) ≈ 1.8比特，B选项正确。
4. 对于两个相互独立的随机事件A和B，它们的信息熵分别为H(A)和H(B)，那么事件A和B同时发生的信息熵为（）A. H(A) + H(B)B. H(A) H(B)C. H(A) × H(B)D. H(A) + H(B) H(A × B)答案：A解释：对于两个相互独立的随机事件A和B，它们同时发生的信息熵等于它们各自信息熵的和，即H(A, B) = H(A) + H(B)，A选项正确。
信息论与编码期末考试题----学生复习用
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22212x f x eσπσ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
三、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
（2分）（1）010101111.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为：1234560001100101110111S S S S S S ====== （2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号（4）() 2.53bit0.9732.6H S R L ===码元其中，()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号 （5）()()0.973log H S H S L rLη===四、某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
信息论与编码期末试卷
信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一．选择题（每小题3分，共15分）1）设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX，则此信源的熵为：比特/符号A） 1.25 B） 1.5 C） 1.75 D） 22）对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 33）对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ，其中熵最小A） X B） Y C） Z D）无法计算4）信源编码的变长编码中，下面说法不正确的是A）无失真r进制变长码平均码长不得低于信源r进制符号熵B）变长编码时，随着信源序列长度的增大，编码效率会提高C）变长码要求各个码字的长度各不相同D）变长编码的编码效率通常高于定长码5）以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一 参考答案一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）解：1）二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223）极限熵∞H 为稳态时各个状态熵的数学期望三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）解：由第一个信道的转移矩阵，以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到：()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时：β四．信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分） 解：编码过程如下： 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五．设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）解：根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分） 解：1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。
信息论与编码复习题1(1)
一、填空题1.设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___Pi=1/4___时，信源熵达到最大值，为__2bit_，此时各个消息的自信息量为____2bit_______。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3_____个随机错，最多能 纠正___INT(1.5)__个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I （X ：Y ）=H （X ）-H （X/Y ）5.__信源__编码的目的是提高通信的有效性，_信道_编码的目的是提高通信的可靠性，__加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目的是保证通信的 安全性 。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8_____时，信 源熵达到最大值，为___3bit/符号_________。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越__小____。
9.信源的冗余度来自两个方面，一是信源符号之间的_相关性__，二是信源符号分布的 __不均匀性___。
10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移码估值 。
11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。
二、单项选择题1.下面表达式中正确的是（ A ）。
A.∑=ji j x y p 1)/( B.∑=ii j x y p 1)/(C.∑=jj j i y y x p )(),(ω D.∑=ii j i x q y x p )(),(2.彩色电视显像管的屏幕上有5×105个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
信息论与编码期末考试题（全套）
信息论与编码期末考试题（全套）（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性.（）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码.（）9. 率失真函数的最小值是0.（）10.必然事件和不可能事件的自信息量都是0. （）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =???，其失真矩阵00a D a ??=，则该信源的max D = . 三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为}2,1,0{.图2-13（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较. 4、设二元)4,7(线性分组码的生成矩阵为=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码.（二）一、填空题（共15分，每空1分）1、信源编码的主要目的是，信道编码的主要目的是。
《信息论与编码》复习试题
填空1.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
2.信息的 可度量性 是建立信息论的基础。
3.统计度量 是信息度量最常用的方法。
4.熵 是香农信息论最基本最重要的概念。
5.事物的不确定度是用时间统计发生 概率的对数 来描述的。
6.单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
7.一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
8.自信息量的单位一般有 比特、奈特和哈特 。
9.必然事件的自信息是 0 。
10.不可能事件的自信息量是 ∞ 。
11.两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
12.数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
13. 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
14. 离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
15. 对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
16. 一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
17.平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
18.对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
19.对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
20.若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
21.若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
22.同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。
信息论与编码试题集与答案考试必看
信息基础论必备考卷1. 在无失真的信源中，信源输出由H(X) 来度量；在有失真的信源中，信源输出由R(D) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后一加密_ 编码，再_信道. 编码，最后送入信道。
3. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是C Wlog(1 SNR);当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时E b/N o为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
信道4.保密系统的密钥量越小，密钥熵C)就越大。
H(K)就越小，其密文中含有的关于明文的信息量I(M ;5. 已知n= 7的循环码g(x)3h(x)= —x x 1 x4 2x x 1，则信息位长度k为_3_，校验多项式6. 设输入符号表为X= {0 , 1}，输出符号表为Y= {0,1}。
输入信号的概率分布为p = (1/2,1/2)，失真函数为d(0, 0) = d(1, 1) = 0 , d(0, 1) =2 , d(1 , 0) = 1，则D min= _0_, R(D min) 1 0[p(y/x)] = ；D max= 0.5 , R(D max)=0 11bit/symbol，相应的编码器转移概率矩阵1L，相应的编码器转移概率矩阵[p(y/x)] = 111,则(n)7.已知用户A的RSA公开密钥(e,n)=(3,55)，p 5,q密钥(d,n) = (27,55)。
若用户B向用户A发送m=2的加密消息，则该加密后的消息为40 ___ ，他的秘密、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
()2. 线性码一定包含全零码。
()3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。
(X)4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
信息论与编码复习题
1.已知一（3，1，3）卷积码编码器，输入输出关系为：试给出其编码原理框图。
答：2.求以下信道的信道容量：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=00101000000101001P ， 答：P1为一一对应确定信道，因此有。
3.设某二元码书C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？②采用最小距离译码准则，当接收序列为001010时，应译成什么码字？4.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按(0)0.6,(1)0.4P P ==发出符号，求)/(),(2132X X X H X H 和平均符号熵)(1lim 1N N X X H N∧∞→ ？5.二元无记忆信源，有31(0),(1),44P P ==求： （1）某一信源序列由100个二元符号组成，其中有m 个“1”，求其自信息量？ （2）求100个符号构成的信源序列的熵。
（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率e P 最小，并求此?=e P 6.设有一离散信道，其信道矩阵为⎥⎦⎤⎢⎣⎡=7.01.02.02.01.07.0P ，求： （1）最佳概率分布？（2）当3.0)(,7.0)(21==x p x p ，时，求平均互信息?);(=Y X I 信道疑义度?)/(=Y X H 答：1）是准对称信道，因此其最佳输入概率分布为5.0)()(21==x p x p 。
2）当3.0)(,7.0)(21==x p x p ，时，有则符号/18.0);(bit Y X I =3）此时可用最大似然译码准则，译码规则为且有7.二元对称信道的信道矩阵为⎥⎦⎤⎢⎣⎡9.01.01.09.0，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问： （1）试计算能否在10秒内将信源消息序列无失真传送完？（2）若信源概率分布为3.0)1(,7.0)0(==p p ，求无失真传送以上信源消息序列至少需要多长时间？答：1）信道容量为信源序列信息量为而10秒内信道能传递的信息量为故不能无失真地传送完。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论复习提纲
第一章绪论
1．通信系统模型；
2．香浓信息的概念；
3．信源、信道、信源编码和信道编码研究的核心问题。
第二章离散信源及信源熵
1．离散信息量、联合信息量、条件信息量、互信息量定义；
2．信源熵、条件熵、联合熵定义；
3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；
4．最大信源熵定理及证明；
5．本章所有讲过的例题；
第三章离散信源的信源编码
1．信息传输速率、编码效率定义；
2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明；
3．码组为即时码的充要条件；
4．单义可译定理（Kraft不等式）及应用；
5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题；
第四章离散信道容量
1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离
散信道、准对称离散信道）；
2．本章讲过的例题；
第五章连续消息和连续信道
1．相对熵的定义；
2．均匀分布、高斯分布、指数分布的相对熵及证明；
3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；
4．香农公式及意义；
5．本章所有讲过的例题；
第六章差错控制
1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）；
3．本章所有讲过的例题；
第七章线性分组码
1．线性分组码定义；
2．线性分组码的最小距离与最小重量的关系及证明；
3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；
4．制作标准阵列并利用标准阵列译码；
5．本章所有讲过的例题；
第八章循环码
1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；
2． 生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典
型形式；
3．本章所有讲过的例题； 习题：
1.
已知随机变量X 和Y 的联合分布如下：
计算：、I(X;Y)。
2. 具有归并性能的无噪信道的信道矩阵P=⎥⎥⎥⎥
⎥⎥⎦⎤⎢
⎢⎢⎢⎢⎢⎣⎡100
010*********，求其信道容量及达
到信道容量时信源的概率分布。
3. 信道矩阵[P]=⎥
⎦⎤
⎢⎣
⎡8/18/12/14/18/18/14/12/1，计算[P]代表的信道的信道容量。
4. 设二元对称信道的传递矩阵为213
31
23
3⎡⎤
⎢⎥⎢⎥⎢⎥⎣⎦
(1) 若()()(0)34,(1)14,(),,(;)P P H X H X Y H Y X I X Y ==求和；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。
5. 设有信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣
⎡1.012.014.014.015.015.02.0(7654321
x x x x x x x X P X ） （1）
对该信源编二进制费诺；
（2） 计算其平均码长。
6. 设有信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣
⎡128/1128/164/132/116/18/14/12/1(87654321
x x x x x x x x X P X ） （1）
对该信源编二进制霍夫曼码，计算其平均码长；
（2） 对该信源编三进制霍夫曼码，计算其平均码长；
（3）对该信源编四进制霍夫曼码，计算其平均码长；
7. 设有一个无记忆信源发出符号A和B，已知p(A) = 1/4, p(B) = 3/4。
（1）计算该信源熵；
（2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率；
（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。
8. 设一个[7, 4]码的生成矩阵为
1000111 0100101 0010011 0001110⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦
（1）求出该码的全部码字；（2）求出该码的一致校验矩阵；
(3) 作出该码的标准译码码表。
9. 设二元线性码L的生成矩阵为
11010
01010
⎛⎫
= ⎪
⎝⎭
G，建立码L的标
准阵并且对字11111和10000分别进行译码。
10. 令108542
()1
g x x x x x x x
=++++++是 (15, 5)循环码的生成多项式，写出该码的系统码形式的G和H矩阵标准形式；
11. 给定X的概率密度函数为拉普拉斯分布
+∞
<
<
-∞
=-x
e
x
p x,
2
1
)
(λ
λ
，求
相对熵Hc(X)。
2014年《信息论与编码》研究生考试试题
注：满分100分，所有答案写在答题纸上，该试卷写上名字后交回．姓名：
一．叙述题（5分×4＝20分）
1．写出香农公式，并解释其意义．
2．叙述平均码长界定定理．
3．叙述香农第一定理．
4．分别叙述峰值功率受限和平均功率受限条件下的最大熵定理．二．计算题（共70分）
１．（10分）设信源⎭
⎬⎫⎩⎨⎧=⎥
⎦⎤⎢
⎣⎡17.016.017.018.019.02.0)(654321
x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6，不满足最大熵定理．
2. （10分）利用最大后验概率译码准则，给出译码方案，并计算错误传
输概率E P .
信源的概率空间为⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡414121x x x )X (p X 3
21
，信道矩阵为⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=2/13/16/16/12/13/13/16/12/1P ．
3．（15分）信源概率空间为⎥⎦
⎤
⎢⎣⎡=⎥⎦⎤⎢⎣⎡04.008.016.018.022.032.06
54321x x x x x x P X ， 分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码．
4．（20分）()3,6 线性分组码的生成矩阵⎥⎥
⎥⎦
⎤
⎢⎢⎢⎣⎡=011100110110011011G ． （1）写出一致校验矩阵． （2）给出所有码字． （3）给出标准阵列表．
（4）如果接收1111001=R ，1000012=R ，0010113=R ，给出译码． 5．（15分）令108542()1g x x x x x x x =++++++是 (15, 5)循环码的生成多
项式，
写出生成矩阵G 和一致校验矩阵H 的标准形式．
三． 证明题（共
10分）
证明：),(k n 线性分组码构成n 维线性空间的k 维子空间．。