信息论与编码选择题
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试卷及问题详解
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分）I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是 0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高米以上的，而女孩中身高米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高以上”这一事件，则P(A)= p(B)= p(B|A)= （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=*= （2分）I(A|B)== （1分）四、（5）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY) 证明：()()()()()()()()()()Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i XYi j i j i -=⎥⎦⎤⎢⎣⎡---==∑∑∑∑∑∑log log log; （2分）同理()()()X Y H Y H Y X I -=; （1分） 则()()()Y X I Y H X Y H ;-= 因为()()()X Y H X H XY H += （1分） 故()()()()Y X I Y H X H XY H ;-+=即()()()()XY H Y H X H Y X I -+=; （1分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为，白色出现的概率为。
信息论与编码选择题复习题
第一章信息1. 信息论的创始人是（）A. 维纳B. 朗格C. 香农D. 哈特莱2. 下列叙述错误的是（）A.在信息度量公式中，底数为2时，计量单位为比特B.信息是人们对事物了解的不确性的消除或减少C.信噪比是指信号功率和噪声功率之比D.信道是在物理线路上划分的物理通道3. 下列关于图灵机的叙述中，错误的是（）A.凡是可计算的函数，理论上都可以用图灵机实现B.图灵机是用于实现图灵测试的计算机C.图灵机的工作原理蕴含了存储程序的思想D.图灵机是一种抽象计算模型4. 智能技术是对人类（）功能的扩展和延伸A.效应器官B. 感觉器官C. 传导神经网络D. 思维器官5. 下列关于信息编码的叙述，错误的是（）A.字符代码主要用于设备间的信息传送B.汉字内部码两个字节的最高位都为0C.汉字内部码是双字节编码D.基本ASCII码采用7位二进制编码6. 在台湾、香港的电脑系统中，普遍采用的繁体汉字编码是（）A.GB2312码B. ASCII码C. Unicode码D. BIG5码7. 同时扔一对均匀的骰子，骰子面朝上的点数之和为4的信息量是（取以2为底的对数函数计算机）（）A.Log(1/36)+log(1/36)+log(1/36)B.Log(36/3)+ Log(36/3)+ Log(36/3)C.Log(36/3)D.Log(3/36)8. 下列（）不属于计算机采用二进制的优点A.元器件不易损坏B. 运算规则简单C. 信息容易表示D. 简化电路设计9. 依据右图所示逻辑门电路，判断输出端Q的逻辑值是（）A.10B. 2C. 0D. 110. 下列关于信息的叙述，正确的是（）A.信息本质上就是数据B.信息可通过信号传递C.信息等同于消息D. 信息就是不确性的增加11. 为表彰在计算机科学和技术领域做出杰出贡献的科学家，特设立（）A.诺贝尔奖B. 菲尔兹奖C. 图灵奖D. 南丁格式奖12. 信息技术“四基元”不包括（）技术A.多媒体技术B. 计算机与智能技术B. C. 通信技术 D. 控制技术13. 在已知今天是星期三的情况下，问你的同学“明天是星期几？”则正确答案中蕴含的信息量是（）A．以2为底的log(1/7) B.以2为底的log6C.以2为底的log7D.以2为底的log114. 下列四个进制数中，最大的一个数是（）A. 十六进制ABB. 二进制数10101100C. 八进制数246D. 十进制数16115．造纸和印刷术的出现是第（）次信息技术革命的标志A.二B. 三C. 四D. 一第二章：硬件系统1. （）个人计算机（PC机）问世A.1946年2月B. 20世纪60年代C. 1958年D. 20世纪80年代2. 某计算机地址总线宽度为10位，这台计算机可管理（）个地址单元A.8291B. 80C. 10D. 10243. 以下哪类光盘的存储容量最大（）A. DVD光盘B. CD光盘C. PCD光盘D. BD光盘4. 64位计算机中的64指的是（）A. 具有64根地址总线B. 具有64根数据总线C. 计算机一次能处理64位十进制数D. 具有64根控制总线5. 微型计算机基本存储单位是（）A. 字长B. 位C. 字节D. 字6. 下列关于“存储程序、顺序控制”原理的叙述，错误的是（）A. 计算机的指令和数据都可以统一存储B. 计算机由控制器、运算器、存储器、输入设备和输出设备五大部分C. 计算机可以采用二进制D. 计算机的指令与数据分离7. 下列不能作为输出设备使用的是（）A. 相变型光盘B. 磁光盘C. CD-ROMD. CD-R8. 一张标准CD-ROM光盘的容量约是（）A. 650KBB. 650MBC. 1.7GBD. 17GB9. 云计算机是一种基本（）的计算模式A. 小型计算机B. 大型计算机C. PC机D. 计算机集群10. 存储的数据断电后不会丢失的是（）A. Flash MemoryB. CacheC. 寄存器D. RAM11. 下列关于总线的叙述中，错误的是（）A. 总线分为内部总线、系统总线和外部总线B. 控制总线的位数决定CPU的字长C. 系统总线分为地址总线、数据总线和控制总线D. 当前PC机的外部总线多数是PCI总线13. 下列关于计算机接口的叙述，错误的是（）A. 并行口传输稳定、可靠、适合长距离传送B. 串行口传输稳定、可靠、适合长距离传送C. 1394接口支持外设热插拔D. USB接口支持外设热插拔和即插即用14. 某CD-ROM驱动器写有“32X”的标识，则该光驱的最大传输速度为（）A. 5MB/sB. 32KB/sC. 5KB/sD. 32MB/s15. 我国第一台计算机被命名为（）A. DJS-103B. ENIACC. 曙光-ID. 银河-I第三章：软件系统1. 下列中，开放源代码的软件是（）A. Ms officeB. LinuxC. PhotoshopD.Windows 72. CPU能够直接访问的存储器是（）A. RAMB. CDROMC. Flash MemoryD. ROM3. CAD的中文含义是（）A. 计算机辅助制造B. 计算机集成化制造C. 计算机辅助计算D. 计算机辅助设计4. 下列关于虚拟存储器的叙述中，错误的是（）A.虚拟存储器逻辑上扩大内存存储空间B.虚拟存储器物理上扩大内存存储空间C.虚拟存储器的容量可远远大于物理内存D.虚拟存储器利用硬盘的存储空间5. 下列特性中，（）不是操作系统的主要特性A.共享性B. 独立性C. 并发性D. 异步性6. 为解决计算机系统中各部件速度差异的矛盾，引入（）A. 缓冲技术B. 虚拟存储C. 中断处理D. PCB7. 苹果公司开发的操作系统平台是（）A. UbuntuB. WindowsC. Mac OSD. Unix8. 按计算机软件分类国家标准，QQ属于（）软件A. 服务B. 支持C.系统D. 应用9. 下列关于进程状态转换的叙述中，错误的是（）A.运行态可直接转换为就绪态B.等待态可直接转换为运行态C.运行态可直接转换为等待态D.等待态可直接转换为就绪态10. 微软公司为了修补系统安全漏洞经常（）A. 招回并修正系统软件的逻辑错误B. 在网络上发布windows系统的各种补丁程序C. 提供安全的系统软件，让用户下载D. 开放操作系统的源代码，让用户修正错误第四章：多媒体技术1. 下列关于光盘的叙述中，错误的是（）A. 采用video-CD标准的光盘，可以存储MPEG-1压缩编码格式的视频和音乐B. 采用DVD标准的光盘，可以存储MPEG-2压缩编码格式的视频和音乐C. 采用CD-ROM标准的光盘，可以存储视频和音乐D. 采用CD-DA标准的光盘，可以存储视频和音乐2. 一段声音的频率范围在200Hz-2000Hz之间，为能够保证其转换后的数字音频还原时不失真，理想的采样频率至少应为（）A. 4000HzB. 200HzC. 2000HzD. 400Hz3. 下列关于图像数字化过程的叙述中，错误的是（）A. 图像的存储容量与图像最大颜色数目无关B. 量化字长越大，越能真实的反应原有图像的颜色C. 图像数字化过程分为采样、量化和编码三个步骤D. 图像的采样是在水平与垂直方向上进行划分的4. 用画图打开一幅16色BMP格式的图像文件，不经任何处理直接另存为GIF格式的图像文件，则下列叙述中，正确的是（）A. 新图像的存储容量减少B. 新图像显示的颜色数增多C. 新图像的存储容量增加D. 新图像显示的颜色数减少5. 在因特网上，（）格式已成为主页图片的标准格式A. PSDB. BMPC. PNGD. GIF6. 按国际电信联盟对媒体的定义，打印机属于（）媒体A. 显示媒体B. 感觉媒体C. 表示媒体D. 传输媒体7. 用22.05KHZ的采样频率采样，量化位数选用32位，录制2分钟的立体声节目，其波形文件的大小约为（）A. 10MBB. 20KBC. 20MBD. 10KB8. 假设光盘的存储容量为700MB,上面存放的数字图像能以每秒25幅画面(每幅画面为800*600的真彩（24位）图像)播放一小时，则该光盘的数字图像压缩比约为（）A. 20000倍B. 2000倍C. 20倍D. 200倍9.下列音频格式中，（）文件记录的是指令而不是数字化后的波形数据A. VOC格式B. WAV格式C. MIDI格式D.CD-DA格式10. 下列关于矢量图和位图比较的叙述中，错误的是（）A. 矢量图任意放大、缩小后不失真B. 失量图有结构便于修改C. 位图任意放大、缩小后不失真D. 位图无结构不便于修改11. 法国、俄罗斯采用的电视信号制式是（）A. SECAMB. PALC. YUVD. NTSC12. 一幅采用16位量化字长处理后的图像，最多能够显示（）颜色A.128种B. 65536种C. 16种D. 256种第五章：数据库技术1. 下列（）语言是非过程化语言A. FORTRANB. SQLC. PASCALD. BASIC2. MS Access是一种（）软件A. DBSB. DBMSC. DBD. DBA3. 设某数据库有3个数据表，结构如下，student（学号，姓名），学号为主键；grade（学号，成绩），无主键；course （课程号，课程名），课程号为主键，下列叙述正确的是（）A. Student表可以与grade表建立一对一的联系B. Course表可以与grade表建立一对多的联系C. Course表可以与grade表建立一对一的联系D. Student表可以与grade表建立一对多的联系4. 要统计一个表中的记录条数，一般用（）函数A. Count()B. Max()C. Sum()D. Avg()5. 使用通配符查找不确定内容是数据库普遍采用的技术，（）是access中代表多个字符的通配符A. *B. ?C. -D. %6. 数据库系统与文件系统相比，错误的是（）A. 数据库系统的数据冗余度高B. 数据库系统的数据共享性高C. 数据库系统的数据由DBMS统一管理D. 数据库系统的数据结构化程度高7.下列关于关系模型性质的叙述中，错误的是（）A. 关系中不允许存在两个完全相同的元组B. 关系中每个属性值是不可分解的C．关系中同一列的属性性可以取自不同值域D. 关系中不允许存在两个同名的列8. SQL语言中，用于创建基本表的语句是（）A. selectB. dropC. createD. alter9. 常用于表示实体-关系模型的图形工具是（）A. E-R图B. 数据流图C. N-S图D.流程图第六章：算法与软件工程1. 用（）方式可以将C语言源程序转化为机器语言程序A. 汇编B. 解释C. 编译D. 链接2. 类用来描述一组对象共有的属性和行为，下列各级对象适合定义成同一个类的是（）A. 飞机，导弹，自行车B. 电视，冰箱，洗衣机C. 学生，教授，教学楼D. 病人，医生，手术室3. 下列关于面向对象程序设计的叙述中，错误的是（）A. 数据抽象定义了对象的属性B. 抽象包括方法抽象和事件抽象C. 封闭可有效的保护程序中数据的安全性和完整性D. 继承可提高软件的复用、降低编码工作量4. 下列关于算法和程序的叙述中，错误的是（）A. 可以用不同的程序实现同一个算法B. 算法不能用自然语言描述C. 算法是对解题步骤的描述D. 程序可以作为算法的一种描述5. 若要设计一个能求解n!的算法，用（）能实现A. 分治法B. 递归法C. 枚举法D.列举法6. 计算机历史上，第一种高级语言是（）A. 汇编语言B. FORTRAN语言C. C语言D. BASIC语言7. 下列（）语言是面向对象的程序设计语言A. BASICB. C++C. COBOLD. C8. （）程序能够直接被计算机执行A. 汇编语言B. 机器语言C. FORTRAN语言D. BASIC语言9. 下列关于二叉树遍历的叙述中，正确的是（）A. 后续遍历先访问根节点B. 三种遍历都先访问根节点C. 先序遍历先访问根节点D. 中序遍历先访问根节点10. 下列不属于线性结构的是（）A.队列B.栈C.线性表D.树形结构11. 先序遍历如右图所示的二叉树，各节点的访问顺序是（）A . DBEGACF B. DGEBFCA C. ABDEGCF D. ABCDEFG12. 下列不能作为算法好坏评价原则的是（）A 智能性B 健壮性C 复杂性D 可读性13. 下列叙述中，不属于面向对象程序设计优点的是（）A. 易于软件的维护和功能的增减B．利用继承的方式减少程序开发时间C．程序可以按照预先设定的路径执行D．具有更好的工作界面。
信息论与编码考题标准答案
信 息 论 与 编 码 考题与标准答案第一题 选择题1．信息是（ b ）a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2．下列表达式哪一个是正确的（e ）a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3．离散信源序列长度为L ，其序列熵可以表示为（ b ）a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。
a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5．对于平均互信息);(Y X I ，下列说法正确的是（ b ）a. 当)(i x p 一定时，是信道传递概率)(i j x y p 的上凸函数，存在极大值b. 当)(i x p 一定时，是信道传递概率)(i j x y p 的下凸函数，存在极小值c.当)(i j x y p 一定时，是先验概率)(i x p 的上凸函数，存在极小值d.当)(i j x y p 一定时，是先验概率)(i x p 的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道，接收符号为Y={y 1,y 2}，信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求：(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。
信息论与编码技术练习题
一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）14、互信息的统计平均为平均互信息量，都具有非负性。
（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）18、在信息处理过程中，熵是不会增加的。
（√）19、熵函数是严格上凸的。
（√）20、信道疑义度永远是非负的。
（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论与编码试题集与答案考试必看(Word最新版)
信息论与编码试题集与答案考试必看通过整理的信息论与编码试题集与答案考试必看相关文档，渴望对大家有所扶植，感谢观看！信息论与编码试题集与答案考试必看在无失真的信源中，信源输出由H(X)来度量；在有失真的信源中，信源输出由R(D)来度量。
1. 要使通信系统做到传输信息有效、牢靠和保密，必需首先信源编码，然后_____加密____编码，再______信道_____编码，最终送入信道。
2. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是出名的香农公式是；当归一化信道容量C/W趋近于零时，也即信道完全丢失了通信实力，此时Eb/N0为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
3. 保密系统的密钥量越小，密钥熵H(K)就越小，其密文中含有的关于明文的信息量I(M；C)就越大。
4. 已知n＝7的循环码，则信息位长度k为3 ，校验多项式h(x)= 。
5. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。
输入信号的概率分布为p＝(1/2，1/2)，失真函数为d(0，0) = d(1，1) = 0，d(0，1) =2，d(1，0) = 1，则Dmin＝0 ，R(Dmin)＝1bit/symbol ，相应的编码器转移概率矩阵[p(y/x)]＝；Dmax＝0.5 ，R(Dmax)＝0 ，相应的编码器转移概率矩阵[p(y/x)]＝。
6. 已知用户A的RSA公开密钥(e,n)=(3,55)，,则40，他的隐私密钥(d,n)＝(27,55) 。
若用户B向用户A发送m=2的加密消息，则该加密后的消息为8 。
二、推断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（Ö ）2. 线性码确定包含全零码。
（Ö ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将确定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。
（×）4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
信息论与编码试题集与答案（新）
信息论与编码试题集与答案（新）1. 在⽆失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须⾸先信源编码，然后_____加密____编码，再______信道_____编码，最后送⼊信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的⾹农公式是log(1)C W SNR =+；当归⼀化信道容量C/W 趋近于零时，也即信道完全丧失了通信能⼒，此时E b /N 0为 -1.6 dB ，我们将它称作⾹农限，是⼀切编码⽅式所能达到的理论极限。
4. 保密系统的密钥量越⼩，密钥熵H (K )就越⼩，其密⽂中含有的关于明⽂的信息量I (M ；C )就越⼤。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输⼊符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输⼊信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001??；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010??。
7. 已知⽤户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若⽤户B 向⽤户A 发送m =2的加密消息，则该加密后的消息为 8 。
⼆、判断题1. 可以⽤克劳夫特不等式作为唯⼀可译码存在的判据。
（√ ）2. 线性码⼀定包含全零码。
（√ ）3. 算术编码是⼀种⽆失真的分组信源编码，其基本思想是将⼀定精度数值作为序列的编码，是以另外⼀种形式实现的最佳统计匹配编码。
信息编码论期末考试试题
信息编码论期末考试试题一、单项选择题（每题2分，共20分）1. 信息论的奠基人是：A. 爱因斯坦B. 牛顿C. 香农D. 麦克斯韦2. 下列哪个不是编码的基本原则？A. 唯一性B. 可识别性C. 可逆性D. 复杂性3. 熵是衡量信息量的一个指标，它在信息论中的定义是：A. 信息的不确定性B. 信息的确定性C. 信息的有序性D. 信息的无序性4. 在信息编码中，冗余度是指：A. 编码中多余的部分A. 编码中重复的部分C. 编码中必需的部分D. 编码中缺失的部分5. 以下哪个编码方式不是基于概率的？A. 霍夫曼编码B. 香农-费诺编码C. 游程编码D. ASCII编码二、填空题（每题2分，共20分）1. 信息论中的信息量通常用______来衡量。
2. 信息的传输速率是指单位时间内传输的______。
3. 在编码理论中，______编码是一种无损压缩编码。
4. 信息论中的信噪比是指______与______的比例。
5. 编码的目的是减少信息的______，提高信息的传输效率。
三、简答题（每题10分，共30分）1. 简述信息论中熵的概念及其计算公式。
2. 描述霍夫曼编码的基本原理及其在数据压缩中的应用。
3. 阐述信道容量的概念，并解释如何通过信道编码来逼近信道容量。
四、计算题（每题15分，共30分）1. 给定一组字符及其出现概率：A(0.4), B(0.25), C(0.15), D(0.1), E(0.1)。
请使用霍夫曼编码为这组字符设计一个最优编码方案，并计算该编码方案的平均码长。
2. 假设一个信道的信噪比为10dB，信道带宽为3000Hz，请计算该信道的最大数据传输速率（香农极限）。
五、论述题（共20分）1. 论述信息编码在现代通信系统中的重要性，并举例说明其在实际应用中的作用。
请考生在规定的时间内完成以上试题，注意保持答题卡的整洁，字迹清晰。
祝您考试顺利！。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码期末考试题1
（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ）6. 连续信源和离散信源的熵都具有非负性. （ ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0. （ ） 10.必然事件和不可能事件的自信息量都是0. （ ） 二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是 ；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是 、 、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的 条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = .三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）计算接收端的平均不确定度()H Y ；（2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量以与最佳入口分布.（二）一、填空题1、信源编码的主要目的是 ，信道编码的主要目的是 。
信息论与编码题集
信息论与编码题集一、选择题1. 下列关于信息量的说法中，正确的是（）A. 信息量是对信息不确定性的度量，不确定性越大，信息量越大B. 信息量与事件发生的概率成正比，概率越大，信息量越大C. 信息量的单位是比特，一个二进制符号所含的信息量为1比特D. 信息量只与信息的内容有关，与信息的形式和传递方式无关答案：A解释：信息量是对信息不确定性的度量，不确定性越大，信息量越大，A选项正确；信息量与事件发生的概率成反比，概率越小，信息量越大，B选项错误；信息量的单位是比特，一个二进制符号所含的信息量为1比特，这只是信息量的一种常见表示方式，实际上信息量的单位可以根据具体情况而定，C选项表述不全面；信息量不仅与信息的内容有关，还与信息的形式和传递方式有关，D选项错误。
2. 在信息论中，信息熵是用于描述（）A. 信息的不确定性B. 信息的准确性C. 信息的冗余度D. 信息的有效性答案：A解释：信息熵是用于描述信息的不确定性，它表示信息的平均不确定性程度，A选项正确；信息熵与信息的准确性无关，B选项错误；信息熵可以反映信息的冗余度，但它本身并不是用于描述冗余度的，C 选项不准确；信息熵主要用于描述信息的不确定性，而不是有效性，D选项错误。
3. 假设一个随机事件有四种可能的结果，它们发生的概率分别为0.2、0.3、0.4和0.1，那么该事件的信息熵为（）A. 1.5比特B. 1.8比特C. 2.0比特D. 2.5比特答案：B解释：信息熵的计算公式为H(X) = Σp(x)log₂p(x)，其中p(x)为事件发生的概率。
将概率代入公式计算可得：H(X) = (0.2log₂0.2 + 0.3log₂0.3 + 0.4log₂0.4 + 0.1log₂0.1) ≈ 1.8比特，B选项正确。
4. 对于两个相互独立的随机事件A和B，它们的信息熵分别为H(A)和H(B)，那么事件A和B同时发生的信息熵为（）A. H(A) + H(B)B. H(A) H(B)C. H(A) × H(B)D. H(A) + H(B) H(A × B)答案：A解释：对于两个相互独立的随机事件A和B，它们同时发生的信息熵等于它们各自信息熵的和，即H(A, B) = H(A) + H(B)，A选项正确。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
信息论与编码期末试卷
信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一．选择题（每小题3分，共15分）1）设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX，则此信源的熵为：比特/符号A） 1.25 B） 1.5 C） 1.75 D） 22）对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 33）对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ，其中熵最小A） X B） Y C） Z D）无法计算4）信源编码的变长编码中，下面说法不正确的是A）无失真r进制变长码平均码长不得低于信源r进制符号熵B）变长编码时，随着信源序列长度的增大，编码效率会提高C）变长码要求各个码字的长度各不相同D）变长编码的编码效率通常高于定长码5）以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一 参考答案一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）解：1）二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223）极限熵∞H 为稳态时各个状态熵的数学期望三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）解：由第一个信道的转移矩阵，以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到：()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时：β四．信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分） 解：编码过程如下： 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五．设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）解：根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分） 解：1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。
信息论与编码期末考试题
精品文档（一）一、判断题.. )XH()YX|H(YX等于信源熵1. 当随机变量（和相互独立时，条件熵）.同一码集可生成矩阵有能生成的基底不是唯一的，所以不同的基底或2. 由于构成同一空间（）.（3.一般情况下，用变长编码得到的平均码长比定长编码大得多）. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信4.（）. ）（5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 6. 连续信源和离散信源的熵都具有非负性（）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确.定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码（）.09. 率失真函数的最小值是（）.010.必然事件和不可能事件的自信息量都是（）二、填空题.、码的检、纠错能力取决于1.；信道编码的目的是2、信源编码的目的是.),k(n k码就叫做、把信息组原封不动地搬到码字前位的3、、.香农信息论中的三大极限定理是4、NN)Y(X,X,Y)?NI(I成立的YX，则5、设信道的输入与输出随机序列分别为和 ..条件.费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是6、对于香农-0a??1X0????D .?D，其失真矩阵某二元信源，则该信源的=7、???????max0a2)1/1/2P(X??????三、计算题.xya?(x)p(j?1,2(i?1,2),3)，种符符端信1、某源发送有2种号号转移概率矩,阵为3接；收端有1ii1/21/20??.P???1/21/41/4??H(Y)；1）计算接收端的平均不确定度（H(Y|X)；2（）计算由于噪声产生的不确定度.计算信道容量以及最佳入口分布（3）（二）一、填空题精品文档．精品文档1、信源编码的主要目的是，信道编码的主要目的是。
2、信源的剩余度主要来自两个方面，一是，二是。
3、三进制信源的最小熵为，最大熵为。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
(完整word版)信息论与编码试卷及答案分解
-、(11'填空题(1) 1948年，美国数学家香农_________ 发表了题为"通信的数学理论”的长篇论文，从而创立了信息论。
(2) 必然事件的自信息是_0 ________ 。
(3) 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍 _________ 。
(4) 对于离散无记忆信源，当信源熵有最大值时，满足条件为「信源符号等概分布_(5) 若一离散无记忆信源的信源熵H(X)等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为」________ 。
(6) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
(7) 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2 _________ 个码元错误，最多能纠正1__个码元错误。
(8) 设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R _小于_ C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9) 平均错误概率不仅与信道本身的统计特性有关，还与—译码规则_______________ 和_编码方法___有关三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高 1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示"大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ( 2 分)故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 ( 2分) I(A|B)=-Iog0.375=1.42bit ( 1 分)四、(5)证明：平均互信息量同信息熵之间满足l(X;Y)=H(X)+H(Y)-H(XY)证明：< p(x yj )l(X;Y) = Z 送pgy j )og ----------- -----X Y p(x )=-Z Z p(xy j )og pg )—」—E Z p(xy j Jog p(x y ji (2分)X Y X Y=H X -H XY同理I X;Y =HY -HYX (1分)则HYX 二H Y -I X;Y因为H(XY )=H(X )+H(Y|X ) (1 分)故H XY =HX H Y -I X;Y即I X;Y = H X H Y - H XY (1 分)五、（18' •黑白气象传真图的消息只有黑色和白色两种，求：X的数学模型。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
单项选择题
1.下面表达式中正确的是（A ）。
A.
∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i
y y x p )(),(ω D.∑=i
i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
每秒传送25帧图像所需要的信道容量（C ）。
A. 50⨯106
B. 75⨯106
C. 125⨯106
D. 250⨯106
3.已知某无记忆三符号信源a,b,c 等概分布，接收端为二符号集，其失真矩阵为d=⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡1 21 12 1,则信源的最大平均失真度max D 为（ D ）。
A. 1/3
B. 2/3
C. 3/3
D. 4/3
4.线性分组码不具有的性质是（ C ）。
A.任意多个码字的线性组合仍是码字
B.最小汉明距离等于最小非0重量
C.最小汉明距离为3
D.任一码字和其校验矩阵的乘积c m H T =0
5.率失真函数的下限为（ B ）。
A .H(U) B.0 C.I(U; V) D.没有下限
6.纠错编码中，下列哪种措施不能减小差错概率（ D ）。
A. 增大信道容量
B. 增大码长
C. 减小码率
D. 减小带宽
7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（ A ）。
A. 0bit
B. log6bit
C. 6bit
D. log240bit
8.下列陈述中，不正确的是（ D ）。
A.离散无记忆信道中，H （Y ）是输入概率向量的凸函数
B.满足格拉夫特不等式的码字为惟一可译码
C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、
纠错能力越强
D.满足格拉夫特不等式的信源是惟一可译码
9.一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ C ）。
A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit
10.下列离散信源，熵最大的是（ D ）。
A. H （1/3,1/3,1/3）；
B. H （1/2,1/2）；
C. H （0.9,0.1）；
D. H （1/2,1/4,1/8,1/8)
11.下列不属于消息的是（ B ）。
A.文字
B.信号
C.图像
D.语言
12.为提高通信系统传输消息有效性，信源编码采用的方法是（ A ）。
A.压缩信源的冗余度
B.在信息比特中适当加入冗余比特
C.研究码的生成矩阵
D.对多组信息进行交织处理
13.最大似然译码等价于最大后验概率译码的条件是（ D ）。
A.离散无记忆信道
B.无错编码
C.无扰信道
D.消息先验等概
14.下列说法正确的是（ C ）。
A.等重码是线性码
B.码的生成矩阵唯一
C.码的最小汉明距离等于码的最小非0重量
D.线性分组码中包含一个全0码字
15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出 u1:一个1发出 v0 :一个0收到 v1:一个1收到
则已知收到的符号，被告知发出的符号能得到的信息量是（ A ）。
A. H(U/V)
B. H(V/U)
C. H(U,V)
D. H(UV)
16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ B ）。
A. －log36bit
B. log36bit
C. －log (11/36)bit
D. log (11/36)bit
17.下列组合中不属于即时码的是（ A ）。
A. { 0，01，011}
B. {0，10，110}
C. {00，10，11}
D. {1，01，00}
18.已知某（6，3）线性分组码的生成矩阵⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=011101110001111010G ，则不用计算就可判断出下列码中不是该码集里的码是（ D ）。
A. 000000 B. 110001 C. 011101 D. 111111
19.一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ C ）。
A. 0.5bit/符号
B. 0.72bit/符号
C. 1bit/符号
D. 1.44bit/符号
20.设有一个无记忆信源发出符号A 和B ，已知4341
)(,)(==B p A p ，发出二重符号序列消息的信源，无记忆信源熵
)(2X H 为（ A ）。
A.0.81bit/二重符号
B.1.62bit/二重符号
C.0.93 bit/二重符号 D .1.86 bit/二重符号
21.下列哪一项不属于最简单的通信系统模型（ ）
A.信源
B.加密
C.信道
D.信宿
22.同时掷一对均匀的骰子，骰子的各面呈现的概率都是1/6，则“3和5同时出现”这个事
件的自信息量是 （ B ）
A 4.17 tet
B 4.17 bit
C 4.17 tet
D 5.17 bit
23.信道剩余度与下列哪个变量无关 （ C ）
A 信道容量C
B 信源通过信道实际传输的平均信息量I(x;y)
C 信源的熵H(X)
D 以上都不对
24.下列说法错误的是 ( A )
A 条件熵121(|)N n H X X X X 随着N 的增加是递增的
B 121()(|)N N N H X H X X X X -≥
C ()N H X 随着N 的增加是非递增的
D lim ()N N H H X ∞→∞=存在，且121lim ()lim (|)N N N N N H H X H X X X X ∞-→∞→∞== 25.在传输图片时，每帧有2.25⨯610个像素，每个像素有12个等概率出现的亮度等级，信噪比为30dB ，若每3min 传送一张图片，则所需的信道带宽为 （ A ）
A 4.5kHz
B 5.5kHz
C 8.96kHz
D 44.81kHz
26.输入和输出存确定的在一一对应关系的信道称为 （ D ）
A 有噪有损信道
B 无噪有损信道
C 有噪无损信道
D 无噪无损信道
27.设信源S={q S S S ,,,21 }，码符号集为X={r X X X ,,,21 }，又设码字为q W W W ,,,21 ，其分别对应的码长为q l l l ,,,21 ，则下列说法正确的是 （ A ）
A 唯一可译码一定满足不等式11i q
i l r =-≤∑
B 满足不等式11i q
i l r =-≤∑的码一定是唯一可译码
C 如果满足不等式11i q
i l r
=-≤∑，则不一定能构成唯一可译码
D 以上说法都不对
28.下列编码方法中，不属于变长编码的是 （ C ）
A 莫尔斯电报码
B 费诺码
C BC
D 码 D 霍夫曼码
29.设信源123111()244s s s S p s ⎛⎫⎛⎫ ⎪= ⎪ ⎪⎝⎭⎝⎭
，则其信源剩余度为 （ B ） A 0 B 1/4 C 1/2 D 3/4
30.下列说法中，正确的是 （ B ）
A 在任一码中，码的最小距离min D 与该码的译码错误概率无关
B 在任一码中，码的最小距离min D 与该码的译码错误概率有关
C 在有噪信道中，传输的平均错误概率E P 与编码方法有关而与译码方法无关
D 在有噪信道中，传输的平均错误概率
E P 与编码方法无关而与译码方法有关。