南京工程学院信息论与编码复习试卷
信息论与编码试卷与答案
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则6.解释无失真变长信源编码定理。
.答：只要，当N足够长时，一定存在一种无失真编码。
7.解释有噪信道编码定理。
答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
南京工程学院信息论参考试卷信息论与编码的学习要点
信息论与编码的学习要点自信息自信息表示随机事件xi发生前的不确定性或发生后所包含的信息量，其定义为：互信息互信息表示已知事件y j后所消除的关于事件x i的不确定性，等于事件xi本身的不确定性I(xi)—已知事件y j后对xi仍然存在的不确定性I(xi/yj)，其定义为：平均自信息平均自信息表示整个信源（用随机变量X表示）的平均不确定性，它等于随机变量X的每一个可能取值的自信息I(xi)的统计平均值，其定义为：离散信源的最大熵离散信源中各消息等概率出现时熵最大，也称最大离散熵定理：联合熵联合熵表示二维随机变量XY的平均不确定性，它等于联合自信息的统计平均值，其定义为：条件熵条件熵表示已知随机变量X后，对随机变量Y仍然存在的平均不确定性，其定义为：各类熵之间的关系为：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)≤H(X)+H(Y)X,Y统计独立时，H(XY)=H(X)+H(Y)平均互信息平均互信息表示收到一个符号集（用随机变量Y表示）后消除的关于另一个符号集（X）的不确定性，也就是从Y所获得的关于X的平均信息量，其定义为：平均互信息和各类熵之间的关系：I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY)当X和Y统计独立时，I(X;Y)=0数据处理定理如果随机变量X，Y，Z构成一个马尔可夫链，则有：I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z)等号成立的条件是对于任意的x，y，z，有p(x/yz)=p(x/z)和p(z/xy)=p(z/x)数据处理定理中不等式I(X;Z)≤I(X;Y)表明从Z所获得的关于X的信息量小于等于从Y所获得的关于X的信息量。
如果将Y→Z看成数据处理系统，则通过数据处理后，虽然可以满足我们的某种具体要求，但是从信息量来看，处理后会损失一部分信息，最多保持原来获得的信息，即对收到的数据Y进行处理后，决不会减少关于X的不确定性。
信息论与编码期末考试题----学生复习
《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性,二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r （S））。
5、当R=C或（信道剩余度为0）时，信源与信道达到匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为，则输出信号幅度的概率密度是高斯分布或正态分布或时，信源具有最大熵，其值为值。
9、在下面空格中选择填入数学符号“”或“"（1）当X和Y相互独立时，H（XY)=H(X）+H（X/Y）=H（Y)+H（X）。
（2)（3）假设信道输入用X表示，信道输出用Y表示.在无噪有损信道中，H(X/Y)〉 0, H（Y/X)=0,I(X；Y）<H(X)。
二、若连续信源输出的幅度被限定在【2，6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少.=2bit/自由度该信源的绝对熵为无穷大.三、已知信源(1）用霍夫曼编码法编成二进制变长码;（6分)（2）计算平均码长;（4分）（3）计算编码信息率；（2分）（4）计算编码后信息传输率；（2分）（5)计算编码效率。
(2分）(1)编码结果为：（2）（3）（4）其中，（5)四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0。
5。
计算:（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
解：（1）（2）五、一个一阶马尔可夫信源，转移概率为.（1) 画出状态转移图。
信息071信息论试卷-A
南京工程学院试卷
共 6 页
第 5 页
五、综合题（本题 3 小题,共 25 分）
1 1 1 0 1 0 1、某二进制线性分组码的生成矩阵为 G 1 1 0 0 0 1 ，求 0 1 1 1 0 1
（1）用系统码[ I P ]的形式表示 G ，并写出系统码的校验矩阵 H ； （2）计算该码的最小距离 dmin。 （3）若收码 R=100110，求其对应的伴随式 S 并检验 R 是否为码字。 （4+2+4=10 分）
南京工程学院试卷
共 6 页
第 6 页
2、某二元（3，1，2）卷积码的转移函数矩阵 G(D)=(1,1+D,1+D+D2) （1）分别求出当前时刻、延迟 1 个时刻和 2 个时刻的生成子矩阵 G0, G1 和 G2 （2）画出该卷积码的编码器结构图。 （3+3=6 分）
3、 由符号集{0,1}组成的二阶马尔可夫链， 其转移概率为 p(0|00)= p(0|01)= p(0|10) = p(0|11) = 0.5。 （1）画出该二阶马尔可夫信源的状态转移图； （2）求各状态的平稳分布 Wi； （3）求该信源的极限熵 H 。 (3+3+3=9 分 )
南京工程学院试卷 南京工程学院试卷
共 6 页
共6 页 第 2 页 第 3 页
3、 （ 5 对信源符号 ） 已知收到的符号，求被告知发出的符号得到的信息量 X={a1,a2,a3,a4}进行二元信源编码， 4 个信源符号对应码字的码长分别为 H(X/Y)； K1=1， （6 K ） ，K3=3，K3=3Y ，满足这种码长组合的码一定是唯一可译码。 后，所提供的关于信源 X 的平均互信息量 I(X;Y) （12 分） （ 2=2求收到的符号 ）
南京工程学院信息论参考试卷A
一、填空题（本题15空,每空1分,共15分 ）1一个消息来自于四符号集{a ，b ，c ，d}，四符号等概出现。
由10个符号构成的消息“abbbccddbb ”所含的信息量为（ ）bit ，平均每个符号所包含的信息量为（ ）bit 。
2两个二元信道的信道转移概率矩阵分别为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡=2/16/13/13/12/16/16/13/12/1,10000121P P ，则此信道的信道容量C1=（ ）bit/符号，信道2的信道容量C2=（ ）bit/符号。
两信道串联后，得到的信道转移概率矩阵为（ ），此时的信道容量C=（ ）bit/符号。
3条件熵H(Y/X)的物理含义为（ ），所以它又称为（ ）。
4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。
第一次实验包含的信息量为（ ）bit/符号；第二次实验包含的信息量为（ ）bit/符号。
5线性分组码的伴随式定义为（ ），其中错误图案E 指的是（ ）。
二进制码中，差错个数可等效为（ ）。
6设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij01，⎩⎨⎧=-≠=j i j i P jiεε1，则失真矩阵[d ij ]=（ ），平均失真D=（ ）。
二、判断题（本题10小题,每小题1分,共10分）1、I(p i ) = - logp i 被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。
（ ） 2、异前置码一定是唯一可译码。
（ ）3、无记忆离散消息序列信道，其容量C ≥各个单个消息信道容量之和。
（ ）4、冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。
（ ）5、当信道固定时，平均互信息),(Y X I 是信源分布的∪型凸函数。
信息论与编码复习题B答案
《信息论与编码》期末复习题B 答案一、填空题（每小题4 分，共 24 分）1.根据信息论的各种编码定理和通信系统的指标，编码问题可分解为3类 信源 编码、 信道 编码和 加密 编码 。
为了提高通信系统的传输效率，应该采用 信源编码 。
2. 限峰功率最大熵定理指出，对于定义域被限定在[a,b]的随机变量X ，当它是 平均 分布时具有最大熵，其值为 log(b-a) 。
3.根据信道参数与时间的关系不同，信道可分为 固定参数 信道和 连续参数 信道，根据信道中噪声种类的不同，可分为 随机差错 信道和 突发差错 信道。
4.最常用的失真函数有 均方失真 、 绝对失真 、 相对失真 和 误码失真 。
5.常用信源编码方法有 游程编码 、 算术编码 、 预测编码 和 变换编码 等。
6.在信道编码中，按照构码理论来分，有 代数码 、 几何码 、 算术码 和组合码等。
二、简答题（每小题 8 分，共 32 分）1.简述自信息的性质。
答：（1） ； （2） ； （3）非负性 ； （4）单调递减性：若 则 ； （5）可加性。
评分标准：前2条每条1分，后3条每条2分。
2.什么是二进制对称信道（BSC ）？答：二进制对称信道（BSC ）是二进制离散信道的一个特例，如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输出的信道为二进制对称信道。
评分标准：前2条每条2分，最后结论4分。
3.简述哈弗曼编码方法。
答：(1)将q 个信源符号按概率分布的大小，以递减次序排列起来，设(2)用“0”和“1”码符号分别代表概率最小的两个信源符号，并将这两个概率最小的符号合并成一个符号，合并的符号概率为两个符号概率之和，从而得到只包含q-1个符号的新信源，称为缩减信源。
(3)把缩减信源的符号仍旧按概率大小以递减次序排列，再将其概率最小的两个信源符号分别用“0”和“1”表示，并将其合并成一个符号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
完整word版信息论与编码理论复习题一
信息论与编码理论复习题（一）一、填空题（1）1948 年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是。
（3）离散平稳无记忆信源X 的 N 次扩展信源的熵等于离散信源X 的熵的。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为___。
（5）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是。
（6）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R____C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，使译码错误概率任意小。
（7）平均错误概率不仅与信道本身的统计特性有关，还与______________和 ______有关。
二、综合题1..黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X 的数学模型。
假设图上黑白消息出现前后没有关联，求熵H X ；2）假设黑白消息出现前后有关联，其依赖关系为，，，，求其熵。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
2.信源空间为X x1x2x3x4x5x6x7，试构造二元霍夫曼码，计算其平均P(X)0.2 0.19 0.18 0.170.150.10.01码长和编码效率（要求有编码过程）。
3..二元对称信道如图。
3， p 111）若p 0，求H X 、H X|Y和I X;Y ；442）求该信道的信道容量。
0 0 0 1 11 4.设一线性分组码具有一致监督矩阵H0 1 1 0 011 0 1 0 111）求此分组码n=?,k=?共有多少码字？2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。
参考答案：填空（1）香农（ 2）0 （ 3）N 倍（ 4）信源符号等概分布综合题1.解： 1）信源模型为2）由题意可知该信源为一阶马尔科夫信源。
信息论与编码期末试卷
信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一．选择题（每小题3分，共15分）1）设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX，则此信源的熵为：比特/符号A） 1.25 B） 1.5 C） 1.75 D） 22）对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 33）对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ，其中熵最小A） X B） Y C） Z D）无法计算4）信源编码的变长编码中，下面说法不正确的是A）无失真r进制变长码平均码长不得低于信源r进制符号熵B）变长编码时，随着信源序列长度的增大，编码效率会提高C）变长码要求各个码字的长度各不相同D）变长编码的编码效率通常高于定长码5）以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一 参考答案一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）解：1）二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223）极限熵∞H 为稳态时各个状态熵的数学期望三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）解：由第一个信道的转移矩阵，以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到：()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时：β四．信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分） 解：编码过程如下： 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五．设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）解：根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分） 解：1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。
南京工程学院 信息论与编码期末试卷a 2009-2010
一、填空题（本题 10 空 ,每空 1 分,共 10 分 ） 1、1948 年，美国数学家___________发表了题为“通信的数学理论”的论文， 从而创立了信息论。
姓名
本题 得分
2、一信源 X={a，b，c，d}，四个符号等概出现，则符号“a”的自信息量为_______bit， 此信源的熵为__________bit/符号。 3、一离散无记忆信源发出 A、B、C 三种符号，其概率分别为 5/9，1/3，1/9，若对序列 （C，A，B，A）进行算术编码，则编码后的码字长度为 4、一个（2，2，3）卷积码的约束长度为 离可用 法和 法计算。 。
3、设某卷积码的转移函数矩阵为 G（D）=（1+D，1+D2） ， （1）试画出该卷积码的编码器结构图； （5 分） （2）求该卷积码的状态图； （3 分） （3）求该码的自由距离 df。 （2 分）
南Hale Waihona Puke 工程学院试卷共6 页第 5 页
五、综合题（本题共 2 小题；第一小题 10 分，第二小题 20 分，共 30 分） 1、某语音信号，其最高频率为 4KHz，经取样、量化编成等长二元码，
南京工程学院试卷
共 6 页
第 6 页
2、已知一线性分组码码集里的全部码字为：00000， （1）求出 n、k 的值以及码率 R； （2 分）
01101，
10111，
11010，
（2）能否说此码是系统码？应如何编码才能说该码集是系统码集？（2 分） （3）算出此码的最小距离及检错和纠错个数； （3 分） （4）求出此系统码的生成矩阵 G 和系统一致校验矩阵 H； （4 分） （5）当接收序列为 00101 时，如何判断是否为发码，若采用最小距离译码准则，求出这个收码 被译成的发码码字； （2 分） （6）判断该码集是否完备码，说明理由（2 分） （7）当差错图样为 00100 时，其对应的伴随式是什么？（2 分） （8）对于一无记忆二元对称信道，错误转移概率 p＝0.01，求传输该码的译码错误概率 PE （3 分）
南京工程学院信息论参考试卷iI
一 填空题（本题15空,每空1分,共15分 ）1 某地二月份的天气概率分布为⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡81,81,41,21)(),(),(),()(4321snow x rain x cloudy x fine x X P X ，这四种气候的自信息量分别为：fine （ 1 ）bit 、cloudy （ 2 ）bit 、rain （ 3 ）bit 、snow （ 3 ）bit 。
可以看出，自信息量具有（随机变量的）性质，在（ p(xi)=1 ）时为0。
2 平均互信息I(X;Y)是输入变量分布p(x)的（上凸）函数，存在最（大）值，将这个值定义为（ 信道容量C ）。
3 设信源X 包含n 个不同离散消息，当且仅当X 中各个消息出现的概率（ 相等 ）时，信源熵达到最大，为（ n 2l o g）bit 。
4 用公开密钥（e ,n ）=（3, 55）将报文“HIG ”按A=01，B=02，…，Z=26进行加密，“H ”的加密结果为（17），“I ”为（14），“G ”为（13）。
5 已知X ，Y ∈{0，1}，XY 构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，则H （X ）=（ 1 bit/符号 ），H （XY ）=（ 1.8 bit/符号 ）。
二、判断题（本题10小题,每小题1分,共10分）（1） 任意两个事件之间的互信息量不可能大于其中任一事件的自信息量。
（ ） （2） 熵H(X,Y)称为联合熵，共熵，，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。
（ ） （3） 码字集合{100，101，0，11}是唯一可译码。
（ ） （4） 用哈夫曼编码方法编出的码字是唯一的。
（ ） （5） 平均失真被定义为失真函数的数学期望。
（ ） （6） 若要求发现2个独立随机错误，则最小码距d min 大于2即可。
（ ） （7） 信道容量C 不仅与信源有关，还是信道转移概率的函数，不同的信道有不同的信道容量。
南京工程学院信息论参考试卷iJ
一 填空题（本题15空，每空1分，共15分）1 设在一8行×8列共64个方格的正方形棋盘上，甲随意将一粒棋子放在棋盘的某个方格，让乙猜测棋子所在的位置。
如将方格按顺序编号64;......,3;2;188332211→→→→y x y x y x y x ，则令乙猜测棋子所在方格顺序号的信息量为（log 264=6）bit ；如方格按行和列编号，甲将棋子所在方格的行编号告诉乙后，在令乙猜测棋子所在列所需的信息量为（3）bit 。
2 信源的平均自信息量指的是（平均每个符号所能提供的信息量 ）；信源熵用来表征信源的（平均不确定度 ）；平均互信息量I(X;Y)的物理含义是（Y 已知后所获得的关于X 的信息 ），I(Y ; X)的物理含义是（X 已知后所获得的关于Y 的信息 ）。
3 传输信道中常见的错误有（随机错误）、（突发错误）和混合错误三种；差错控制方式主要有（检错重发）、（前向纠错 ）和混合方式三种。
4 设C = {11100, 01001, 10010,00111}是一个二元码，该码的最小距离dmin =（3），则该码最多能检测出（2）个随机错，最多能纠正（1）个随机错。
5 设有一个二元等概信源：u={0，1}，P 0=P 1=1/2，通过一个二进制对称信道BSC ，其失真函数d ij 与信道转移概率P ji =p(v j /u i )分别定义为⎩⎨⎧=≠=j i j i dij1，⎩⎨⎧=-≠=j i j i Pjiεε1，则失真矩阵[d ij ]=（1001⎛⎫⎪⎝⎭），平均失真D=（ ε ）。
二判断题（本题10小题,每小题1分,共10分）1．√2．×3．√4．√5．×6．×7．√8．√9．√10．× （1） 对于独立信源，不可能进行预测编码。
（ ）（2） 信息率失真函数的意义是：对于给定的信源，在满足保真度准则*D D ≤的前提下，信息率失真函数R(D)是信息率允许压缩到的最大值。
信息论试卷-k
南京工程学院试卷
共 6 页
第 4 页
3. 已知(7， 3)循环码的全部码字： 0000000） 0011101） 0111010） 1101001） 1010011） （ 、 （ 、 （ 、 （ 、 （ 、 、 。 （0100111）（1001110） （1）写出该循环码的生成多项式 g(x) （2）写出该循环码的生成矩阵 G； （3）写出一致监督矩阵 H。 （3×3=9 分）
南京工程学院试卷
共 6 页
第 6 页
2. 设有一信源，它在开始时以 p(a)=0.6，p(b)=0.3，p(c)=0.1 的概率发出 X1。如果 X1 为 a 时， X2 为 a，b，c 的概率为 1/3；X1 为 b 时，X2 为 a，b，c 的概率为 1/3；X1 为 c 时，X2 为 a， b 的概率为 1/2。且后面发出 Xi 的概率只与 Xi-1 有关，p(Xi/Xi-1)=p(X2/X1)，i≥3。 （1）写出符号转移概率矩阵； （2）计算条件熵 H(X2/X1)和联合熵 H(X1X2)； （3）画出该马尔克夫信源的状态转移图； （4）该信源最终会达到稳态码？如果是，求出该信源的稳态概率； （5）计算该信源的极限熵 H∞。 （2+4+2+4+4=16 分）
（ （ （ （ （ （ （ （
本题 得分
） ） ） ） ） ） ） ）
信道编码的最终目的是提高传输的有效性。
三. 简答题（本题 2 小题，共 20 分）
1. 写出二进制均匀信道的数学表达式，并画出信道容量 C 与信道转移概率 p 的曲线图。 10 分） （
2. 目前对卷积码有哪些描述方法？这些描述方法分别是从什么角度考虑的？（10 分）
南京工程学院试卷
信息论与编码(南信工复习题_2010参考)
信息论复习题一、问答题1、信息论是怎样的一门学科？信息论的研究目的和内容是什么？信息论是通信技术与概率论、随机过程、数理统计相结合逐步发展而形成的一门新兴科学。
通常认为信息论的奠基人是香农，他于1948年发表的著名论文通信的数学理论为信息论的发展和诞生奠定了理论基础。
（2分）其研究目的是发现信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。
（2分）其研究内容为香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。
（2分）2、什么是信息？就狭义而言，通信系统中对信息的表达分为哪三个层次？各有什么关系？答：信息是信息论中最基本、最重要的概念，既抽象又复杂，信息不同于日常生活中的“消息”、“知识”、“情报”、“信号”等概念。
（1分）到目前为止，已有百种有关信息的定义，它们从不同的侧面和不同的层面揭示了信息的本质。
香农对信息的定义为：信息是事物运动状态或存在方式的不确定性的描述。
该定义可以对信息进行定性和定量描述。
（2分）就狭义而言，通信系统中对信息的表达分为信号、消息和信息三个层次。
（1分）它们是既有区别又有联系的三个不同的概念：消息中包含信息，是信息的载体；信号携带着消息，它是消息的运载工具。
信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。
（2分）3、信息熵是如何定义的？解释信息熵的含义，并列出信息熵的性质？答：信息熵定义为自信息的数学期望，即：平均自信息量H r (X)。
（2分）其含义是：熵是从整个集合的统计特性来考虑的，它从平均意义上来表征信源的总体特征。
信源输出后，信息熵表示每个消息提供的平均信息量；信源输出前，信息熵H(X) 表示信源的平均不确定性；信息熵表征了变量的随机性。
信息理论与编码期末试卷A及答案
信息理论与编码期末试卷A 及答案1 / 6一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
南京工程学院信息论参考试卷C
一 填空题（本题15空，每空1分,共15分）1 设信源X 包含n 个不同离散消息，当且仅当X 中各个消息出现的概率（ ）时，信源熵达到最大值，为（ ）。
2 离散平稳有记忆信源的平均符号熵H N （X ）的表达式为（ ），极限熵H ∞的表达式为（ ）。
3 如纠错码的最小距离为d min ，则可以检出任意小于等于（ ）个随机差错，可以纠正任意小于等于（ ）个随机差错。
4 一个（2，1，3）卷积码的约束长度为（ ），共有（ ）种状态。
卷积码的自由距离的定义为（ ），可用（ ）法和（ ）法计算自由距离。
5 根据密码算法所使用的加密密钥和解密密钥是否相同，可将密码体制分成（ ）和（ ）。
6 算术编码是发展迅速的一种（ ）失真信源编码方法，其基本思想是（ ）二 判断题（本题10小题,每小题1分,共10分）（1） 离散信源的最大熵的值取决于符号状态数，状态数越多，熵越大。
（ ） （2） 只要已知某一个信源符号的先验概率及相应的转移概率，就可以得到相应的互信息量。
（ ）（3） 限失真信源编码逆定理说明在允许失真D 的条件下，信源最小的、可达的信息传输率是信源的)(D R 。
（ ）（4） 如X 可以唯一确定Y ，则H(Y/X)=0。
（ ）（5） 马尔可夫序列的联合概率具有时间推移不变性。
（ ） （6） 码组{0，01，011，0111}属于不等长的即时码。
（ ） （7） 极限熵H ∞=有记忆信源的最小平均消息熵。
（ ）（8） 若码]111100[],101111[==βα，则βα和之间的汉明距离为3),(=βαD （ ）（9） 设（7，4）循环码的生成多项式为g(x)=x 3+x+1，当接收码字为0010011时，接收码字中有错。
（ ） （10）条件熵H(Y/X)称为疑义度，可疑度，它表示接收者收到Y 后，对信源X 仍然存在的平均不确定度。
（ ）四 计算题（本题3小题,共25分） 1．设（7，4）循环码的生成多项式1)(3++=x x x g ，求：1）监督多项式；2）此循环码的生成矩阵（非系统码和系统码形式）； 3）一致监督矩阵； 4）若输入321)(xx x u ++=，试求系统码形式的输出码字。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
南京工程学院试卷A
一填空题（本题15空 ,每空1分,共15分）
1一个消息来自于四符号集{a，b，c，d}，四符号等概出现。
由10个符号构成的消息“abbbccddbb”所含的信息量为（）bit，平均每个符号所包含的信息量为（）bit。
3条件熵H(Y/X)的物理含义为（），
所以它又称为（）。
4一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。
第一次实验包含的信息量为（）bit/符号；第二次实验包含的信息量为（）bit/符号。
5线性分组码的伴随式定义为（），其中错误图案E指的是
（）。
二进制码中，差错个数可等效为（）。
二判断题（本题10小题,每小题1分,共10分
1）I(p i) = - logp i被定义为单个信源消息的非平均自信息量，它给出某个具体消息信源的信息度量。
（）
（2）异前置码一定是唯一可译码。
（）
（3）无记忆离散消息序列信道，其容量C≥各个单个消息信道容量之和。
（）
（4）冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。
（）
（5）当信道固定时，平均互信息是信源分布的∪型凸函数。
（）
（6）BCH码是一类线性循环码，其纠错能力强、构造方便。
（）
（7）R(D)被定义为在限定失真为D的条件下，信源的最大信息速率。
（）
（8）设P为某马尔可夫信源的转移概率矩阵，若存在正整数N使得中的元素全都为0，
则该马尔可夫信源存在稳态分布。
（）
（9）信道容量随信源概率分布的变化而变化。
（）
（10）如果两个错误图样e1、e2的和是一个有效的码字，则它们具有相同的伴随式。
（）
三名词解释（本题4小题,每小题5分,共20分）
1 极限熵
2最佳变长码
3 限失真信源编码
4 信道容量
四计算题（本题3小题,共25分）
2 彩色电视显像管的屏幕上有5×105个像元，设每个像元有64种彩色度，每种彩色
度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
试：
1）计算一帧图像所包含的信息量；
2）计算每秒传送25帧图像所需要的信道容量；
3）如果信道上信号与噪声平均功率的比值为30dB，为实时传送彩色电视图像，信道的通频带应为多大？（3+3+3=9分）
五综合题（本题3小题,共30分）
2 设某卷积码的转移函数矩阵为G（D）=（1+D，1+D2），
1）试画出该卷积码的编码器结构图；
2）求该卷积码的状态图；
3）求该码的自由距离d f。
（3+4+3=10分）
3 设有一个二进制二阶马尔可夫信源，信源符号集为{0，1}。
条件概率为：
p(0|00)=p(1|11)=p(1|00)=p(0|11)=0.5=p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5。
试：1）求出状态转移矩阵[P ji]=[P(S j/S i)]；
2）画出该马氏信源的状态转移图；
3）求出各状态的平稳分布W i；
4）求出该信源的极限熵Hm。
(3+3+3+3=12分 )。