南京工程学院信息论与编码复习试卷
信息论与编码试卷与答案
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则6.解释无失真变长信源编码定理。
.答：只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
南京工程学院信息论参考试卷信息论与编码的学习要点
信息论与编码的学习要点自信息自信息表示随机事件xi发生前的不确定性或发生后所包含的信息量，其定义为：互信息互信息表示已知事件y j后所消除的关于事件x i的不确定性，等于事件xi本身的不确定性I(xi)—已知事件y j后对xi仍然存在的不确定性I(xi/yj)，其定义为：平均自信息平均自信息表示整个信源（用随机变量X表示）的平均不确定性，它等于随机变量X的每一个可能取值的自信息I(xi)的统计平均值，其定义为：离散信源的最大熵离散信源中各消息等概率出现时熵最大，也称最大离散熵定理：联合熵联合熵表示二维随机变量XY的平均不确定性，它等于联合自信息的统计平均值，其定义为：条件熵条件熵表示已知随机变量X后，对随机变量Y仍然存在的平均不确定性，其定义为：各类熵之间的关系为：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)≤H(X)+H(Y)X,Y统计独立时，H(XY)=H(X)+H(Y)平均互信息平均互信息表示收到一个符号集（用随机变量Y表示）后消除的关于另一个符号集（X）的不确定性，也就是从Y所获得的关于X的平均信息量，其定义为：平均互信息和各类熵之间的关系：I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)当X和Y统计独立时，I(X;Y)=0数据处理定理如果随机变量X，Y，Z构成一个马尔可夫链，则有：I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z)等号成立的条件是对于任意的x，y，z，有p(x/yz)=p(x/z)和p(z/xy)=p(z/x)数据处理定理中不等式I(X;Z)≤I(X;Y)表明从Z所获得的关于X的信息量小于等于从Y所获得的关于X的信息量。
如果将Y→Z看成数据处理系统，则通过数据处理后，虽然可以满足我们的某种具体要求，但是从信息量来看，处理后会损失一部分信息，最多保持原来获得的信息，即对收到的数据Y进行处理后，决不会减少关于X的不确定性。
信息论与编码期末考试题----学生复习
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。
（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。
二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。
(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0。
5。
计算:（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。
信息071信息论试卷-A
南京工程学院试卷
共 6 页
第 5 页
五、综合题（本题 3 小题,共 25 分）
1 1 1 0 1 0 1、某二进制线性分组码的生成矩阵为 G 1 1 0 0 0 1 ，求 0 1 1 1 0 1
（1）用系统码[ I P ]的形式表示 G ，并写出系统码的校验矩阵 H ； （2）计算该码的最小距离 dmin。 （3）若收码 R=100110，求其对应的伴随式 S 并检验 R 是否为码字。 （4+2+4=10 分）
南京工程学院试卷
共 6 页
第 6 页
2、某二元（3，1，2）卷积码的转移函数矩阵 G(D)=(1,1+D,1+D+D2) （1）分别求出当前时刻、延迟 1 个时刻和 2 个时刻的生成子矩阵 G0, G1 和 G2 （2）画出该卷积码的编码器结构图。 （3+3=6 分）
3、 由符号集{0,1}组成的二阶马尔可夫链， 其转移概率为 p(0|00)= p(0|01)= p(0|10) = p(0|11) = 0.5。 （1）画出该二阶马尔可夫信源的状态转移图； （2）求各状态的平稳分布 Wi； （3）求该信源的极限熵 H 。 (3+3+3=9 分 )
南京工程学院试卷 南京工程学院试卷
共 6 页
共6 页 第 2 页 第 3 页
3、 （ 5 对信源符号 ） 已知收到的符号，求被告知发出的符号得到的信息量 X={a1,a2,a3,a4}进行二元信源编码， 4 个信源符号对应码字的码长分别为 H(X/Y)； K1=1， （6 K ） ，K3=3，K3=3Y ，满足这种码长组合的码一定是唯一可译码。 后，所提供的关于信源 X 的平均互信息量 I(X;Y) （12 分） （ 2=2求收到的符号 ）
南京工程学院信息论参考试卷A
一、填空题（本题15空,每空1分,共15分 ）1一个消息来自于四符号集{a ，b ，c ，d}，四符号等概出现。
由10个符号构成的消息“abbbccddbb ”所含的信息量为（ ）bit ，平均每个符号所包含的信息量为（ ）bit 。
2两个二元信道的信道转移概率矩阵分别为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=2/16/13/13/12/16/16/13/12/1,10000121P P ，则此信道的信道容量C1=（ ）bit/符号，信道2的信道容量C2=（ ）bit/符号。
两信道串联后，得到的信道转移概率矩阵为（ ），此时的信道容量C=（ ）bit/符号。
3条件熵H(Y/X)的物理含义为（ ），所以它又称为（ ）。
4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。
第一次实验包含的信息量为（ ）bit/符号；第二次实验包含的信息量为（ ）bit/符号。
5线性分组码的伴随式定义为（ ），其中错误图案E 指的是（ ）。
二进制码中，差错个数可等效为（ ）。
6设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij01，⎩⎨⎧=-≠=j i j i P jiεε1，则失真矩阵[d ij ]=（ ），平均失真D=（ ）。
二、判断题（本题10小题,每小题1分,共10分）1、I(p i ) = - logp i 被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。
（ ） 2、异前置码一定是唯一可译码。
（ ）3、无记忆离散消息序列信道，其容量C ≥各个单个消息信道容量之和。
（ ）4、冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。
（ ）5、当信道固定时，平均互信息),(Y X I 是信源分布的∪型凸函数。
信息论与编码复习题B答案
《信息论与编码》期末复习题B 答案一、填空题（每小题4 分，共 24 分）1.根据信息论的各种编码定理和通信系统的指标，编码问题可分解为3类 信源 编码、 信道 编码和 加密 编码 。
为了提高通信系统的传输效率，应该采用 信源编码 。
2. 限峰功率最大熵定理指出，对于定义域被限定在[a,b]的随机变量X ，当它是 平均 分布时具有最大熵，其值为 log(b-a) 。
3.根据信道参数与时间的关系不同，信道可分为 固定参数 信道和 连续参数 信道，根据信道中噪声种类的不同，可分为 随机差错 信道和 突发差错 信道。
4.最常用的失真函数有 均方失真 、 绝对失真 、 相对失真 和 误码失真 。
5.常用信源编码方法有 游程编码 、 算术编码 、 预测编码 和 变换编码 等。
6.在信道编码中，按照构码理论来分，有 代数码 、 几何码 、 算术码 和组合码等。
二、简答题（每小题 8 分，共 32 分）1.简述自信息的性质。
答：（1） ； （2） ； （3）非负性 ； （4）单调递减性：若 则 ； （5）可加性。
评分标准：前2条每条1分，后3条每条2分。
2.什么是二进制对称信道（BSC ）？答：二进制对称信道（BSC ）是二进制离散信道的一个特例，如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输出的信道为二进制对称信道。
评分标准：前2条每条2分，最后结论4分。
3.简述哈弗曼编码方法。
答：(1)将q 个信源符号按概率分布的大小，以递减次序排列起来，设(2)用“0”和“1”码符号分别代表概率最小的两个信源符号，并将这两个概率最小的符号合并成一个符号，合并的符号概率为两个符号概率之和，从而得到只包含q-1个符号的新信源，称为缩减信源。
(3)把缩减信源的符号仍旧按概率大小以递减次序排列，再将其概率最小的两个信源符号分别用“0”和“1”表示，并将其合并成一个符号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
南京工程学院试卷A
一填空题（本题15空 ,每空1分,共15分）
1一个消息来自于四符号集{a，b，c，d}，四符号等概出现。
由10个符号构成的消息“abbbccddbb”所含的信息量为（）bit，平均每个符号所包含的信息量为（）bit。
3条件熵H(Y/X)的物理含义为（），
所以它又称为（）。
4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。
第一次实验包含的信息量为（）bit/符号；第二次实验包含的信息量为（）bit/符号。
5线性分组码的伴随式定义为（），其中错误图案E指的是
（）。
二进制码中，差错个数可等效为（）。
二判断题（本题10小题,每小题1分,共10分
1）I(p i) = - logp i被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。
（）
（2）异前置码一定是唯一可译码。
（）
（3）无记忆离散消息序列信道，其容量C≥各个单个消息信道容量之和。
（）
（4）冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。
（）
（5）当信道固定时，平均互信息是信源分布的∪型凸函数。
（）
（6）BCH码是一类线性循环码，其纠错能力强、构造方便。
（）
（7）R(D)被定义为在限定失真为D的条件下，信源的最大信息速率。
（）
（8）设P为某马尔可夫信源的转移概率矩阵，若存在正整数N使得中的元素全都为0，
则该马尔可夫信源存在稳态分布。
（）
（9）信道容量随信源概率分布的变化而变化。
（）
（10）如果两个错误图样e1、e2的和是一个有效的码字，则它们具有相同的伴随式。
（）
三名词解释（本题4小题,每小题5分,共20分）
1 极限熵
2最佳变长码
3 限失真信源编码
4 信道容量
四计算题（本题3小题,共25分）
2 彩色电视显像管的屏幕上有5×105个像元，设每个像元有64种彩色度，每种彩色
度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
试：
1）计算一帧图像所包含的信息量；
2）计算每秒传送25帧图像所需要的信道容量；
3）如果信道上信号与噪声平均功率的比值为30dB，为实时传送彩色电视图像，信道的通频带应为多大？（3+3+3=9分）
五综合题（本题3小题,共30分）
2 设某卷积码的转移函数矩阵为G（D）=（1+D，1+D2），
1）试画出该卷积码的编码器结构图；
2）求该卷积码的状态图；
3）求该码的自由距离d f。
（3+4+3=10分）
3 设有一个二进制二阶马尔可夫信源，信源符号集为{0，1}。
条件概率为：
p(0|00)=p(1|11)=p(1|00)=p(0|11)=0.5=p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5。
试：1）求出状态转移矩阵[P ji]=[P(S j/S i)]；
2）画出该马氏信源的状态转移图；
3）求出各状态的平稳分布W i；
4）求出该信源的极限熵Hm。
(3+3+3+3=12分 )。