南京工程学院信息论参考试卷D

合集下载

信息论试卷含答案资料讲解

《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。

()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。

三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分）（5）计算编码效率η。

南京工程学院试卷

南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：一二三四五六七八九十总分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：总一二三四五六七八九十分题号得分南京工程学院试卷（A）共7页第1页2007/2008 学年第 1 学期课程所属部门：机械工程学院课程名称：互换性与技术测量制造051/052、机电051/052、机设051/052、考试方式：闭卷使用班级：城轨051汽车051/052、流体051、装备051、工程051命题人：李翔英教研室主任审核：主管领导批准：。

南京工程学院试卷D

南京工程学院试卷D一填空题（本题15空 ,每空1分,共15分）3R（D）函数是在限定失真为D的条件下，信源的最（）信息速率，被定义为（）。

4信源序列往往具有很强的相关性，要提高信源的效率首先要解除信源的相关性。

预测编码解除信源相关性的方法是在（）域中进行，而变换编码是在（）域中进行。

5常用的检纠错方法有（）、检错重传和混合纠错三种。

二判断题（本题10小题,每小题1分,共10分）（2）预测编码是通过在频域上解除序列的相关性来压缩码率的。

（）（3）信源的冗余度=1-信源效率。

（）（4）用信噪比换取频带是现代扩频通信的基本原理。

（）（5）互信息I(X;Y)与信源熵H(X)的关系为：I(X;Y)≤H(X)。

（）（6）R(D)是关于失真度D的严格递减函数。

（）（7）若要求能检测出5个独立随机错误，则要求最小码距dmin=6。

（）（8）信源编码的基本途径有2个：一是使序列中的各个符号尽可能相互独立；二是使各个符号出现的概率尽可能地相等。

（）（9）信息在处理过程中，具有信息不增性。

（）（10）任意非系统线性分组码都可等价为相应的系统分组码。

（）三名词解释（本题4小题,每小题5分,共20分）1 极限熵2 最佳变长码3 TCM4 信道容量四计算题（本题3小题,共25分）1 布袋中有手感完全相同的3个红球和3个兰球，每次从中随机取出一个球，取出后不放回布袋。

用Xi表示第i次取出的球的颜色，i=1,2, (6)求：1）H(X1)、H(X2)；2）H(X2/X1)；3）随k的增加，H(Xk/X1…Xk-1)是增加还是减少？请解释。

(4+2+2=8分)2 某办公室和其上级机关的自动传真机均兼有电话功能。

根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7，但发传真时约有5%的次数对方按电话接续而振铃，拨电话时约有1%的次数对方按传真接续而不振铃。

求：（1）上级机关值班员听到电话振铃而对此次通信的疑义度；（2）接续信道的噪声熵。

信息071信息论试卷-A

南京工程学院试卷
共 6 页
第 5 页
五、综合题（本题 3 小题,共 25 分）
1 1 1 0 1 0 1、某二进制线性分组码的生成矩阵为 G 1 1 0 0 0 1 ，求 0 1 1 1 0 1
（1）用系统码[ I P ]的形式表示 G ，并写出系统码的校验矩阵 H ；（2）计算该码的最小距离 dmin。（3）若收码 R=100110，求其对应的伴随式 S 并检验 R 是否为码字。（4+2+4=10 分）
南京工程学院试卷
共 6 页
第 6 页
2、某二元（3，1，2）卷积码的转移函数矩阵 G(D)=(1,1+D,1+D+D2) （1）分别求出当前时刻、延迟 1 个时刻和 2 个时刻的生成子矩阵 G0, G1 和 G2 （2）画出该卷积码的编码器结构图。（3+3=6 分）
3、由符号集{0,1}组成的二阶马尔可夫链，其转移概率为 p(0|00)= p(0|01)= p(0|10) = p(0|11) = 0.5。（1）画出该二阶马尔可夫信源的状态转移图；（2）求各状态的平稳分布 Wi；（3）求该信源的极限熵 H 。 (3+3+3=9 分 )
南京工程学院试卷南京工程学院试卷
共 6 页
共6 页第 2 页第 3 页
3、（ 5 对信源符号）已知收到的符号，求被告知发出的符号得到的信息量 X={a1,a2,a3,a4}进行二元信源编码， 4 个信源符号对应码字的码长分别为 H(X/Y)； K1=1，（6 K ），K3=3，K3=3Y ，满足这种码长组合的码一定是唯一可译码。后，所提供的关于信源 X 的平均互信息量 I(X;Y) （12 分）（ 2=2求收到的符号）

信息071信息论试卷-A-answer

共5页第 5 页
3、解（1）状态转移图如图所示（3 分）（2）该信源的一步状态转移矩阵为
(0)1/2
1 / 2 0 P 1 / 2 0 1/ 2 0 1/ 2 0 0 1/ 2 0 1/ 2 0 1/ 2 0 1 / 2
00 (1)1/2 01 (1)1/2 10 (0)1/2 (1)1/2 11 (1)1/2 (0)1/2 (0)1/2
j 1, 2 , 3
i 1
= min {1 / 2 ,1 / 2 ,1 / 4} 1 / 4
j 1 , 2 , 3
（2 分）（2 分）
（4）R(Dmax)=0 4、解（1）
概率 0.4 0.2 0.2 0.1 0.1 0 1 0.4 0.2 0.2 0.2 0 1 0.4 0.4 0.2 0 1 0.6 0.4 0 1.0 1
南京工程学院评分标准及参考答案
共5页第 4 页
五、综合题（本题 3 小题,共 25 分）
1 1、解：（1）系统生成矩阵 G 0 0 0 1 0 0 0 1 1 1 0 1 1 1 1 0 1
（2 分）
1 校验矩阵 H 1 1 1 1 0 0 1 1 1 0 0 0 1 0 0 0 1
设稳态分布的概率矢量 W=( W1,W2,W3,W4) 根据 WP=W 和 W i 1 ，求 Wi W1=W2=W3=W4=1/4 （3 分）
（3） H

3
p ( si ) H ( X / si )
i0
H ( X / s 0 ) H ( p (0 / 00), p (1 / 00)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s1 ) H ( p (0 / 01), p (1 / 01)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s 2 ) H ( p (0 / 10), p (1 / 10)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s 3 ) H ( p (0 / 1 1), p (1 / 1 1)) H (1 / 2,1 / 2 ) 1 bit/符号

信息论参考答案

信息论参考答案信息论参考答案信息论是一门研究信息传输和编码的学科，它的核心概念是信息的度量和传输。

信息论的发展可以追溯到上世纪40年代，由克劳德·香农提出，并逐渐成为计算机科学、通信工程等领域的重要理论基础。

本文将从信息的定义、信息的度量以及信息的传输三个方面，探讨信息论的相关知识。

一、信息的定义信息是指能够改变接收者知识状态的事实或数据。

在信息论中，信息的基本单位是比特（bit），它表示一个二进制的选择，即0或1。

比特是信息论中最小的单位，可以用来表示一个简单的选择问题，如是或否、真或假等。

当然，在实际应用中，比特往往被扩展为更大的单位，如字节、千字节等。

二、信息的度量信息的度量是信息论的核心问题之一。

克劳德·香农提出了信息熵的概念，用来度量信息的不确定性或者说信息的平均量。

信息熵的计算公式为：H(X) = -ΣP(x)log2P(x)，其中H(X)表示随机变量X的信息熵，P(x)表示随机变量X取值为x的概率。

信息熵越大，表示信息的不确定性越高，反之亦然。

除了信息熵，信息论还引入了条件熵、相对熵和互信息等概念。

条件熵表示在已知某些信息的情况下，对另一个随机变量的不确定性进行度量。

相对熵用来衡量两个概率分布之间的差异，而互信息则表示两个随机变量之间的相关程度。

三、信息的传输信息的传输是信息论的另一个重要问题。

在信息论中，通过信道来传输信息。

信道可以是有线的或者无线的，可以是噪声的或者非噪声的。

为了保证信息的可靠传输，需要对信息进行编码和解码。

编码是将信息转化为能够在信道中传输的信号的过程。

常见的编码方法有霍夫曼编码、香农-费诺编码等。

编码的目标是尽量减少信息的冗余，提高信息的传输效率。

解码是将经过信道传输的信号恢复为原始信息的过程。

解码的目标是尽量减少信息的失真，保证信息的可靠性。

常见的解码方法有最大似然解码、Viterbi解码等。

信息论的应用广泛，不仅在通信领域发挥着重要作用，还在数据压缩、密码学、人工智能等领域有着广泛的应用。

南京工程学院试卷样本

共页第1页南京工程学院试卷( 2卷)20 /20 年第学期课程所属部门: 自动化学院课程名称: 微机原理及应用考试方法: 闭卷使用班级:命题人: 课程组教研室主任审核: 主管领导同意:题号一二三四五六七八九十总分得分一、单项选择题(请在每小题4个备选答案中, 选出一个最好答案, 本题15题 ,每空1题,共15分）1. 若十进制数为100, 则该数二进制表示为（）。

A ．1100100B ．1000000C ．01111100D ．101100102. 完成二进制数无符号数01111101与00000101减法运算正确结果是（）。

A ．10010101 B ．01111000 C ．00100010 D ．100000103. 完成二进制数01110001和00001111逻辑“或”运算正确结果是（）。

A ．01110000B ．01110001C ．01111111D ．00001111 4. 十进制数10.05BCD 数为（）。

A ．10000. 0101B ．10000.00000101C ．00010000.00000101D ．00010000.1015. 堆栈指针SP 是微处理器中用于指示（）专用寄存器。

A ．栈底地址B ．栈顶地址C ．堆栈基地址D ．中止服务程序或子程序入口地址 6. 下列指令中, 不正确指令是（）。

A ．PUSH AXB ．POP BXC ．PUSH CLD ．POP DX 7. 下列引发CPU 程序中止4种情况中, （）需要设备提供中止类型号。

本题班级学号姓名。

信息论试卷与答案

2.简述最大离散熵定理。对于一个有 m 个符号的离散信源，其最大熵是多少？
答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为
。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
一、概念简答题（每题 5 分，共 40 分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
概念简答题（每题 5 分，共 40 分） 1. 2. 3.答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的 U 型凸函数。 4. 5 6 7.答：当 R＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8. 二、综合题（每题 10 分，共 60 分）
8.什么是保真度准则？对二元信源求 a>0 时率失真函数的和？
答：1）保真度准则为：平均失真度不大于允许的失真度。
，其失真矩阵
，
2）因为失真矩阵中每行都有一个 0，所以有。
二、综合题（每题 10 分，共 60 分） 1.黑白气象传真图的消息只有黑色和白色两种，求：

信息论考试卷及答案解析

考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。

A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。

问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。

信息论试卷-k

南京工程学院试卷
共 6 页
第 4 页
3. 已知(7， 3)循环码的全部码字： 0000000） 0011101） 0111010） 1101001） 1010011）（、（、（、（、（、、。（0100111）（1001110）（1）写出该循环码的生成多项式 g(x) （2）写出该循环码的生成矩阵 G；（3）写出一致监督矩阵 H。（3×3=9 分）
南京工程学院试卷
共 6 页
第 6 页
2. 设有一信源，它在开始时以 p(a)=0.6，p(b)=0.3，p(c)=0.1 的概率发出 X1。如果 X1 为 a 时， X2 为 a，b，c 的概率为 1/3；X1 为 b 时，X2 为 a，b，c 的概率为 1/3；X1 为 c 时，X2 为 a， b 的概率为 1/2。且后面发出 Xi 的概率只与 Xi-1 有关，p(Xi/Xi-1)=p(X2/X1)，i≥3。（1）写出符号转移概率矩阵；（2）计算条件熵 H(X2/X1)和联合熵 H(X1X2)；（3）画出该马尔克夫信源的状态转移图；（4）该信源最终会达到稳态码？如果是，求出该信源的稳态概率；（5）计算该信源的极限熵 H∞。（2+4+2+4+4=16 分）
（（（（（（（（
本题得分
））））））））
信道编码的最终目的是提高传输的有效性。
三. 简答题（本题 2 小题，共 20 分）
1. 写出二进制均匀信道的数学表达式，并画出信道容量 C 与信道转移概率 p 的曲线图。 10 分）（
2. 目前对卷积码有哪些描述方法？这些描述方法分别是从什么角度考虑的？（10 分）
南京工程学院试卷

信息论考试卷与答案..

考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。

问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。

信息论试卷含答案

《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。

信息论与编码(南信工复习题_2010参考)

信息论复习题一、问答题1、信息论是怎样的一门学科？信息论的研究目的和内容是什么？信息论是通信技术与概率论、随机过程、数理统计相结合逐步发展而形成的一门新兴科学。

通常认为信息论的奠基人是香农，他于1948年发表的著名论文通信的数学理论为信息论的发展和诞生奠定了理论基础。

（2分）其研究目的是发现信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。

（2分）其研究内容为香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。

（2分）2、什么是信息？就狭义而言，通信系统中对信息的表达分为哪三个层次？各有什么关系？答：信息是信息论中最基本、最重要的概念，既抽象又复杂，信息不同于日常生活中的“消息”、“知识”、“情报”、“信号”等概念。

（1分）到目前为止，已有百种有关信息的定义，它们从不同的侧面和不同的层面揭示了信息的本质。

香农对信息的定义为：信息是事物运动状态或存在方式的不确定性的描述。

该定义可以对信息进行定性和定量描述。

（2分）就狭义而言，通信系统中对信息的表达分为信号、消息和信息三个层次。

（1分）它们是既有区别又有联系的三个不同的概念：消息中包含信息，是信息的载体；信号携带着消息，它是消息的运载工具。

信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。

而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。

（2分）3、信息熵是如何定义的？解释信息熵的含义，并列出信息熵的性质？答：信息熵定义为自信息的数学期望，即：平均自信息量H r (X)。

（2分）其含义是：熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。

信源输出后，信息熵表示每个消息提供的平均信息量；信源输出前，信息熵H(X) 表示信源的平均不确定性；信息熵表征了变量的随机性。

《信息论》试题（精华）及答案（精华版）

期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率一，某地区的人群中就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事的发生 ,故其概率为依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。

南京工程学院信息论参考试卷信息论与编码的学习要点

信息论与编码的学习要点自信息自信息表示随机事件xi发生前的不确定性或发生后所包含的信息量，其定义为：互信息互信息表示已知事件y j后所消除的关于事件x i的不确定性，等于事件xi本身的不确定性I(xi)—已知事件y j后对xi仍然存在的不确定性I(xi/yj)，其定义为：平均自信息平均自信息表示整个信源（用随机变量X表示）的平均不确定性，它等于随机变量X的每一个可能取值的自信息I(xi)的统计平均值，其定义为：离散信源的最大熵离散信源中各消息等概率出现时熵最大，也称最大离散熵定理：联合熵联合熵表示二维随机变量XY的平均不确定性，它等于联合自信息的统计平均值，其定义为：条件熵条件熵表示已知随机变量X后，对随机变量Y仍然存在的平均不确定性，其定义为：各类熵之间的关系为：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)≤H(X)+H(Y)X,Y统计独立时，H(XY)=H(X)+H(Y)平均互信息平均互信息表示收到一个符号集（用随机变量Y表示）后消除的关于另一个符号集（X）的不确定性，也就是从Y所获得的关于X的平均信息量，其定义为：平均互信息和各类熵之间的关系：I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)当X和Y统计独立时，I(X;Y)=0数据处理定理如果随机变量X，Y，Z构成一个马尔可夫链，则有：I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z)等号成立的条件是对于任意的x，y，z，有p(x/yz)=p(x/z)和p(z/xy)=p(z/x)数据处理定理中不等式I(X;Z)≤I(X;Y)表明从Z所获得的关于X的信息量小于等于从Y所获得的关于X的信息量。

如果将Y→Z看成数据处理系统，则通过数据处理后，虽然可以满足我们的某种具体要求，但是从信息量来看，处理后会损失一部分信息，最多保持原来获得的信息，即对收到的数据Y进行处理后，决不会减少关于X的不确定性。

南京工程学院信息论参考试卷iJ

一填空题（本题15空，每空1分，共15分）1 设在一8行×8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，让乙猜测棋子所在的位置。

如将方格按顺序编号64;......,3;2;188332211→→→→y x y x y x y x ，则令乙猜测棋子所在方格顺序号的信息量为（log 264=6）bit ；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（3）bit 。

2 信源的平均自信息量指的是（平均每个符号所能提供的信息量）；信源熵用来表征信源的（平均不确定度）；平均互信息量I(X;Y)的物理含义是（Y 已知后所获得的关于X 的信息），I(Y ; X)的物理含义是（X 已知后所获得的关于Y 的信息）。

3 传输信道中常见的错误有（随机错误）、（突发错误）和混合错误三种；差错控制方式主要有（检错重发）、（前向纠错）和混合方式三种。

4 设C = {11100, 01001, 10010,00111}是一个二元码，该码的最小距离dmin =（3），则该码最多能检测出（2）个随机错，最多能纠正（1）个随机错。

5 设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij1，⎩⎨⎧=-≠=j i j i Pjiεε1，则失真矩阵[d ij ]=（1001⎛⎫⎪⎝⎭），平均失真D=（ ε ）。

二判断题（本题10小题,每小题1分,共10分）1．√2．×3．√4．√5．×6．×7．√8．√9．√10．× （1）对于独立信源，不可能进行预测编码。

（）（2）信息率失真函数的意义是：对于给定的信源，在满足保真度准则*D D ≤的前提下，信息率失真函数R(D)是信息率允许压缩到的最大值。

南京工程学院信号与处理题库(含答案)

§第一章精选试题X1.1 试确定下列信号周期：(1)()3cos(4)3x t t π=+ C ;(A)2π (B) π (C)2π (D)2π(2)()2cos()sin()2cos()4826x k k k k ππππ=+-+ B 。

(A)8 (B)16 (C)2 (D)4 X1.2 下列信号中属于功率信号的是。

(A)cos ()tu t (B)1()e u t - (C)1()te u t - (D)te - X1.3 设()0,3f t t =〈,试确定下列信号为0的t 值： (1) (1)(2)f t f t -+- C ;(A) 21t t 〉-〉-或 (B) 12t t ==或 (C) 1t 〉- (D) 2t 〉- (2)(1)(2)f t f t -- D ;(A) 21t t 〉-〉-或 (B) 12t t ==或 (C) 1t 〉- (D) 2t 〉-(3) ƒ(3t) C 。

(A) 3t 〉 (B) 0t = (C) 9t 〈 (D) 3t =X1.4 下列表达式中正确的是 A 。

(A)(2)()t t δδ= (B)1(2)()2t t δδ= (C)(2)2()t t δδ= (D)12()()2t t δδ=X1.5 某连续时间系统的输入()f t 和输出()y t 满足()()(1)y t f t f t =--,则该系统为 B 。

(A)因果、时变、非线性 (B) 非因果、时不变、非线性 (C)非因果、时变、线性 (D)因果、时不变、非线性X1.6 微分方程'''()3()2()(10)y t y t y t f t ++=+所描述的系统是。

(A)时不变因果系统 (B) 时不变非因果系统 (C) 时变因果系统 (D) 时变非因果系统 X1.7()(1)y k f k =-+所描述的系统不是。

(A)稳定系统 (B)非因果系统 (C)非线性系统 (D)时不变系统X1.8 某连续系统输入、输出关系为21()()t y t f d ττ--∞=⎰，该系统为。

南京工程学院信息论参考试卷重修题

一填空题（本题15空，每空1分，共15分）
1.信源熵H(X)的定义为，在时取得
最大值。

条件熵H(Y/X)定义为，它与H(X)的大小关系为。

2.对于平均符号熵为H L(X)的离散平稳无记忆信源，一定存在一种无失真编
码方法，使平均信息率K满足不等式。

最佳码指的是，用衡量各种编码方法与最佳码的差距。

3.限失真信源编码中失真函数的定义为，平均失真定义
为。

4.线性分组码的伴随式定义为，其中错误图案E指的
是。

在一定的差错范围内，利用来判断收码是否有误。

如信道中产生差错，则成立。

在H T固定的前提下，RH T仅与有关，与无关。

2 某一阶马尔可夫信源的状态转移如下图所示，信源符号集为X：{0, 1, 2}，并定义。

试求：
1）状态的极限概率Wi；
2）信源的极限熵H￥；
3）p取何值时H￥取最大值。

（3+3+3=9分）。