信道编码习题解答
信息论与编码习题与答案第三章
由于 ，每个二元符号的信息量为1bit,14000个符号14000bit的信息，传输14000bit的信息需要时间
不能无失真的传输
=
bit/symbol
（3）当接收为 ，发为 时正确，如果发的是 则为错误，各自的概率为：
则错误概率为：
（4）
从接收端看平均错误概率为
（5）从发送端看的平均错误概率为：
（6）能看出此信道不好。原因是信源等概率分布，从转移信道来看正确发送的概率x1→y1的概率0.5有一半失真；x2→y2的概率0.3有严重失真；x3→y3的概率0完全失真。
(1)接收端收到一个符号后得到的信息量H(Y);
(2)计算噪声熵 ;
(3)计算接收端收到一个符号 的错误概率；
(4)计算从接收端看的平均错误概率；
(5)计算从发送端看的平均错误概率；
(6)从转移矩阵中能看出该新到的好坏吗？
(7)计算发送端的H(X)和 。
解：(1)
（2）联合概率 ，后验概率
H(Y/X)=
解：由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道所以由BSC信道的信道容量计算公式得到：
3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。
解：信道转移概率矩阵为P= 该信道为离散对称信道DMC
3-7发送端有三种等概率符号 ， ,接收端收到三种符号 ，信道转移概率矩阵为
3.1设二元对称信道的传递矩阵为
(1)若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2)求该信道的信道容
其最佳输入分布为
3.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
周炯盘《通信原理》第3版课后习题(信道编码)【圣才出品】
周炯槃《通信原理》第3版课后习题第9章信道编码9.1求下二元码字之间的汉明距离：（1）0000，0101（2）01110，11100（3）010101，101001（4）1110111，1101011解：根据汉明距离的定义可得知上述4种情况下的汉明距依次为2、2、4、3。
9.2某码字的集合为00000001000111010101100111011101100101101001101101110001试求：（1）该码字集合的最小汉明距离；（2）确定其检错和纠错能力。
解：方法一（1）通过两两比较（共有种组合），这8个码字可得最小汉明距离为4。
（2）由t＋1＝4，该码可以保证检3位错；由2t＋1＝4，该码可以保证纠1位错。
方法二（1）就本题的具体情况，可以验证这8个码字构成了线性码。
事实上，令c1＝1000111、c2＝0101011、c3＝0011101，则c1、c2、c3线性无关，而1101100＝c1＋c2，1011010＝c1＋c3，0110110＝c2＋c3，1110001＝c1＋c2＋c3。
再由线性码的最小码距是非0码的最小码重这一性质得知这8个码字之间的最小汉明距离为4。
（2）同方法一。
9.3假设二进制对称信道的差错率P＝10-2。
（1）（5，1）重复码通过此信道传输，不可纠正错误的出现概率是多少？（2）（4，3）偶校验码通过此信道传输，不可检出错误的出现概率是多少？解：（1）（5，1）重复码中发生3个或者更多错误时不可纠正，因此不可纠正错误的出现概率为（2）（4，3）偶校验码中发生偶数个错时不可检出，这样的概率是9.4有一组等重码（每个码字具有相同的汉明重量），每个码字有5个码元，其中有3个“1”。
试问该等重码是线性码吗？请说明理由。
答：因为该码的所有码字都有相同数目的“1”，因此它不包括全0码字，但线性码必然包含全0码字，所以该码不是线性码。
9.5若已知一个（7，4）码生成矩阵为请生成下列信息组的码字：（1）（0100）；（2）（0101）；（3）（1110）；（4）（1001）。
《数字通信原理》习题库
《数字通信原理》例题讲解1、信源编码和信道编码有什么区别？为什么要进行信道编码? 解：信源编码是完成A/D 转换。
信道编码是将信源编码器输出的机内码转换成适合于在信道上传输的线路码,完成码型变换。
2、模拟信号与数字信号的主要区别是什么？解：模拟信号在时间上可连续可离散,在幅度上必须连续,数字信号在时间,幅度上都必须离散。
3、某数字通信系统用正弦载波的四个相位0、2π、π、23π来传输信息，这四个相位是互相独立的.(1） 每秒钟内0、2π、π、23π出现的次数分别为500、125、125、250，求此通信系统的码速率和信息速率；（2) 每秒钟内这四个相位出现的次数都为250，求此通信系统的码速率和信息速率。
解： (1） 每秒钟传输1000个相位,即每秒钟传输1000个符号，故 R B =1000 Bd每个符号出现的概率分别为P(0）=21，P ⎪⎭⎫ ⎝⎛2π=81,P （π）=81，P ⎪⎭⎫ ⎝⎛23π=41，每个符号所含的平均信息量为H （X )=(21×1+82×3+41×2）bit/符号=143bit/符号信息速率R b =（1000×143）bit/s=1750 bit/s（2) 每秒钟传输的相位数仍为1000，故 R B =1000 Bd此时四个符号出现的概率相等，故 H （X ）=2 bit/符号R b =（1000×2)bit/s=2000 bit/s4、已知等概独立的二进制数字信号的信息速率为2400 bit/s 。
（1) 求此信号的码速率和码元宽度；（2) 将此信号变为四进制信号,求此四进制信号的码速率、码元宽度和信息速率。
解：(1) R B =R b /log 2M =(2400/log 22）Bd=2400 Bd T =B R 1=24001 s=0.42 ms(2) R B =(2400/log 24）Bd=1200 BdT=B R 1=12001 s=0.83 ms R b =2400 b/s5、黑白电视图像每帧含有3×105个像素，每个像素有16个等概出现的亮度等级。
信息论与编码考题标准答案
信 息 论 与 编 码 考题与标准答案第一题 选择题1．信息是（ b ）a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2．下列表达式哪一个是正确的（e ）a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3．离散信源序列长度为L ，其序列熵可以表示为（ b ）a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。
a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5．对于平均互信息);(Y X I ，下列说法正确的是（ b ）a. 当)(i x p 一定时，是信道传递概率)(i j x y p 的上凸函数，存在极大值b. 当)(i x p 一定时，是信道传递概率)(i j x y p 的下凸函数，存在极小值c.当)(i j x y p 一定时，是先验概率)(i x p 的上凸函数，存在极小值d.当)(i j x y p 一定时，是先验概率)(i x p 的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道，接收符号为Y={y 1,y 2}，信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求：(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。
第五章 信道编码 习题解答
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
(精品)第章信道编码
第9章 信道编码习题解答1．解：设三个码字分别为]001010[0=A ，]111100[1=A ，]010001[2=A 。
两两码字之间的距离为： 4)(),(1010=+=A A W A A d4)(),(2020=+=A A W A A d 4)(),(2121=+=A A W A A d此码的最小码距40=d 。
（1）此码用于检错，最多能检3)1(0=-d 位错误；（2）此码用于纠错，能纠小于等于5.12/)1(0=-d 位错误，由于个数应为整数，因此可纠一位错误。
（3）此码用于同时检错和纠错时，能检和能纠的个数e 和t 与最小码距之间应有如下关系： 10++≥t e d （)t e >可见，当40=d 时，有1124++≥，得2=e ，1=t 。
即同时用于检错和纠错时，纠1位错同时最多能检2位错误。
2．解：（1）。
将信息矩阵]000[=M ~]111[代入G M A ⋅=即可求得所有码字。
如下：0 0 0 0 0 0 0 1 0 0 0 1 1 1 0 0 1 1 1 0 1 1 0 1 1 0 1 0 0 1 0 1 1 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 1 1 1 1 0 1 0 0 （2）典型监督矩阵可写成：][r PI H =。
此题中437=-=-=k n r 。
典型生成矩阵有格式：][T k P I G =，对照已知的生成矩阵可得⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=101101111110T P进而有⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=101011111110P 代入典型监督矩阵][r PI H =求得⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010001100101110001110H （3）由码字即可求得码距。
所有码字中除全0码字外，最小码字重量即为此码的最小码距。
由上述得到的码字，得最小码距40=d 。
此码用于检错，最多能检3位错误；用于纠错，最多能纠1 位错误。
第六章 信道编码练习题
，伴 ， 行
随式 S 可能的值有 生成矩阵 G 为
种,差错图案 e 的长度为 行的矩阵，系统校验矩阵 H 为
T 的矩阵，G 和 H 满足的关系式是 GH
5. 循环码的生成多项式 g(x)有如下性质： 1) g(x)是循环码码多项
式中的一个唯一的
多项式； 2) 它具有首 1 末 1 的 ； 4)它
10.
对于（n，k）循环码，寻找其生成多项式 g(x)需要将 xn+1 因 次因式即为生成多项式 g(x)，而其 ， 其为 次多项式。 利用生成多项
式分解，找到其中的 余因式 h(x)为
式 g(x)，可以很方便地得到对应的生成矩阵 G，其方法是：将生 成多项式 g(x)对应的码字作为 k 行生成矩阵 G 的第 k 行；再利 用循环码的循环移位特性，将 g(x)整体左移一位，得到的码字依 次生成矩阵 G 的第 k-1，k-2 行直到第 1 行。由 h(x)可以得到一 致校验矩阵 H， 其方法是： 将生成多项式 h(x)对应的反序多项式 h*(x)的对应的码字作为 r 行校验矩阵 H 的第 r 行，其余行的产 生方式与生成矩阵 G 产生方式类似。
第六章 信道编码练习题
一、 填空题
1. 信道编码——根据信源消息 m 进行信道编码产生码字 c, 通常 c
为一个 n 长的序列。 信道编码的目的是动状态或存在方， 信道编 码称为冗余编码的原因是动状态或存在方， 信道编码被称为纠错 编码，原因是动或存在方。
2. 纠错码结构是信息位+校验位，常用的三种检纠错编码方法是：
动状态或存在，动状态或，动状态或。
3. 信道编码的汉明距离是动状态或存在方, 最小汉明距离是动状
态或存在方，体现信道编码检纠错能力的定理内容是动状 或存在方， 其中最关键的量是最小汉明距离。 信道译码时遵循的 原则的最大似然译码原则， 实际操作时就是将接收向量译码为与 其汉明距离最小的许用码。
信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品)
第六章：信道编码(本章复习大纲我重新修改了一下，尤其要关注红色内容)1、基本概念：差错符号、差错比特；差错图样：随机差错、突发差错；纠错码分类：检错和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码；矢量空间、码空间及其对偶空间； 有扰离散信道的编码定理：-()NE R e P e （掌握信道编码定理的内容及减小差错概率的方法）；线形分组码的扩展与缩短（掌握奇偶校验码及缩短码的校验矩阵、生成矩阵与原线形分组码的关系）。
2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G 和H 、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码。
作业：6-1、6-3、6-4、6-5和6-6选一、6-7 6-8和6-9选一 6-1 二元域上4维4重失量空间的元素个数总共有24=16个，它们分别是(0,0,0,0),(0,0,0,1)…(1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二维子空间含有的元素个数为22个，选取其中一个自然基底为(0,0,0,1)和(0,0,1,0)，则其二维子空间中所包含的全部矢量为(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注选择不唯一)；上述子空间对应的对偶子空间可以有三种不同的选择：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。
(注意本题中所包含的关于矢量空间的一些基本概念)6-3 由题设可以写出该系统(8,4)码的线形方程组如下：736251403320231012100321v u v u v u v u v u u u v u u u v u u u v u u u=⎧⎪=⎪⎪=⎪=⎪⎨=++⎪⎪=++⎪=++⎪⎪=++⎩(注：系统码高四位与信息位保持一致，u i 为信息位) 把上述方程组写成矩阵形式，可以表示为 V =U G ，其中V 为码字构成的矢量，即V =(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U =( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：[]44*41000110101001011G I |P 0010011100011110⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎣⎦由系统生成矩阵和校验矩阵的关系可得：4*441101100010110100H P |I 0111001011100001T ⎡⎤⎢⎥⎢⎥⎡⎤==⎣⎦⎢⎥⎢⎥⎣⎦由校验矩阵可以看出，矩阵H 的任意三列都是线性无关的(任意三列之和不为0)，但存在四列线性相关的情况(如第1、5、6、8列，这四列之和为0)，即校验矩阵H 中最小的线性相关的列数为4，从而得该线性分组码的最小码距为4。
地面数字电视接收设备的信道编码考核试卷
D. ASK
14.地面数字电视接收设备中，以下哪些因素会影响调制效果？（）
A.信道编码方式
B.信号幅度
C.信号相位
D.信号频率
15.以下哪些技术可以用于提高地面数字电视信号的抗干扰能力？（）
A.信道编码
B.信号加密
C.天线技术
C. 64-QAM
D. FM调制
4.在地面数字电视接收设备中，Turbo编码相较于其他编码方式有哪些优势？（）
A.更高的编码效率
B.更好的错误纠正能力
C.更低的误码率
D.更快的译码速度
5.以下哪些因素会影响地面数字电视接收设备的信道编码效果？（）
A.信号传输距离
B.信道质量
C.调制方式
D.接收设备的灵敏度
D. OFDM
15.在地面数字电视接收设备中，以下哪个因素会影响信道编码性能？（）
A.信号传输距离
B.信号传输速率
C.信号干扰
D.所有以上因素
16.下列哪种编码方式在地面数字电视接收设备中不属于前向纠错编码？（）
A.卷积编码
B.里德-所罗门编码
C. Turbo编码
D.汉明编码
17.在地面数字电视接收设备中，信道编码与解码器的关系是（）
A.卷积编码
B. Turbo编码
C.汉明编码
D. LDPC编码
13.在地面数字电视接收设备中，LDPC编码的主要优点是（）
A.抗干扰性能好
B.编码简单
C.译码速度快
D.适合高速数据传输
14.下列哪种调制方式在地面数字电视接收设备中具有最高的频谱利用率？（）
A. QPSK
B. 16-QAM
C. 64-QAM
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息理论与编码课后答案第5章
第5章 有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。
掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。
5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。
信道译码模型如图5.1所示。
5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。
译码函数又称译码规则。
5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。
j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。
信息论与编码理论信道容量习题解答071102
第3章信道容量习题解答解：(1) 若 P(aJ 3/4,P(a 2)1/4，求 H(X), H (Y), H (X |Y), H(Y|X)和 l(X;Y)。
3 3 1 1log( —) log(—) 0.8113(bit/ 符号) 44 4 4 32 117 p(b 1)=p(a 1)p(b 1|aj+p(a 2)p(b 1|&)=4 3 4 3 12 3 1125 p(b 2)=p(a 1)p(b 2|aj+p(a 2)p(b 2|a 2)=4 3 4 31222H(Y|X)=p(q ,b j )logp(b j |ajp(b j |a j )logp(b j |aji,jjI log(|) 1 log(1) 0.9183(bit/符号) I(X;Y)=H(Y) H(Y|X)=0.9799 0.9183 0.0616(bit/ 符号)H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(bit/ 符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。
二进制对称信息的信道容量H(P)= -plog(p) -(1-p)log(1-p) 1 1 22C=1-H(P)=1+丄log( -) + log( )=0.0817(bit/符)33333-1设二进制对称信道的转移概率矩阵为2/3 1/3 1/3 2/3H(X)=P(a i )log p(aji=1H(Y)=p(b j )log(b j )=j=10.9799(bit/ 符号)BSC信道达到信道容量时，输入为等概率分布，即：{0.5, 0.5} 注意单位3-4 设BSC 信道的转移概率矩阵为1)写出信息熵H(Y)和条件熵H(Y|X)的关于H( 1)和H( 2)表达式，其中H( ) log (1 )log(1 )。
2)根据H ( )的变化曲线，定性分析信道的容道容量，并说明当1 2的信道容量。
解：(1)设输入信号的概率颁布是{p,1-p}p(b1) p(a1) p(b1 |a1) p(a2) p(b1 |a2)p (1 1) (1 p) 2p(b2) p(a1) p(b2 |a1) p(a2) p(b2 |a2)p1(1 p) (1 2)H(Y) p(b1)log p(b1) p(b2)log p(b2)[p (1 1) (1 p) 2 ]log[ p (1 1) (1 p) 2 ] [p 1 (1 p) (1 2)]log[ p 1 (1 p) (1 2 )]H[p (1 1) (1 p) 2]H(Y|X) 2 p(ai)p(b j |a i )log p(b j |a i)i ,j 1p [(1 1)log(1 1) 1log( 1)](1 p)[(1 2)log(1 2) 2 log( 2)]p H( 1) (1 p) H( 2)(2) H ( ) 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道容量。
信息论及编码理论习题答案
2 2
p(
y
|
x)
1 4
,2
y
x
2
，求：
0, 其他
(a)Y 的概率密度( y)
(b) I (X ;Y )
(c)若对 Y 做如下硬判决
1, y 1 V 0, 1 y 1
1, y 1
求 I (X ;V ) ，并对结果进行解释。
.
.
解：(a) 由已知，可得
p(
y
|
x
1)
=
1 4
3
y
1
0else
(a) 上式(c)左右两边加上 H (Y | X ) ，可得
H (Y | X ) + H (Z | X ,Y ) H (Y | X ) + H (Z | X )
于是 H (Y, Z | X ) H (Y | X ) + H (Z | X )
1,1
2.28
令概率空间
X
1
,
1
，令
Y
是连续随机变量。已知条件概率密度为
8
4
I (u1;00) = log
p(00 | u1 ) = log (1 p)2
p(00)
1/ 4
= 2[1 log(1 p)]
bit
p(000) = 1 [(1 p)3 3(1 p)2 p 3(1 p) p2 p3 ] = 1
信息论与编码习题答案
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
第9章信道编码
第9章 信道编码习题解答1．解：设三个码字分别为]001010[0=A ，]111100[1=A ，]010001[2=A 。
两两码字之间的距离为： 4)(),(1010=+=A A W A A d4)(),(2020=+=A A W A A d4)(),(2121=+=A A W A A d此码的最小码距40=d 。
（1）此码用于检错，最多能检3)1(0=-d 位错误；（2）此码用于纠错，能纠小于等于5.12/)1(0=-d 位错误，由于个数应为整数，因此可纠一位错误。
（3）此码用于同时检错和纠错时，能检和能纠的个数e 和t 与最小码距之间应有如下关系： 10++≥t e d （)t e >可见，当40=d 时，有1124++≥，得2=e ，1=t 。
即同时用于检错和纠错时，纠1位错同时最多能检2位错误。
2．解：（1）。
将信息矩阵]000[=M ~]111[代入G M A ⋅=即可求得所有码字。
如下： 0 0 0 0 0 0 0 1 0 0 0 1 1 1 0 0 1 1 1 0 1 1 0 1 1 0 1 0 0 1 0 1 1 1 0 1 1 0 1 0 0 1 0 1 1 0 0 1 1 1 1 1 0 1 0 0（2）典型监督矩阵可写成：][r PI H =。
此题中437=-=-=k n r 。
典型生成矩阵有格式：][T k P I G =，对照已知的生成矩阵可得⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=101101111110T P进而有⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=101011111110P 代入典型监督矩阵][r PI H =求得 ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010001100101110001110H （3）由码字即可求得码距。
所有码字中除全0码字外，最小码字重量即为此码的最小码距。
由上述得到的码字，得最小码距40=d 。
此码用于检错，最多能检3位错误；用于纠错，最多能纠1 位错误。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第五章 信道编码 习题解答1．写出与10011的汉明距离为3的所有码字。
解：共有10个：01111，00101，00000，01010，01001，00110，11101，10100，11000，11110。
2． 已知码字集合的最小码距为d ，问利用该组码字可以纠正几个错误？可以发现几个错误？请写出一般关系式。
解：根据公式：(1)1d e ≥+ 可发现e 个错。
(2)21d t ≥+ 可纠正t 个错。
得出规律：（1）1d = ，则不能发现错及纠错。
（2）d 为奇数：可纠12d -个码元错或发现1d -个码元错。
（3）d 为偶数：可纠12d-个码元错，或最多发现1d -个码元错。
（4）码距越大，纠、检错能力越强。
3．试计算（8，7）奇偶校验码漏检概率和编码效率。
已知码元错误概率为410e p -=。
解：由于410e p -=较小，可只计算错两个码元（忽略错4或6个码元）的情况：228788!10 2.8106!2!e p C p --==⨯=⨯⨯ 787.5%8η==4．已知信道的误码率410e p -=，若采用“五三”定比码，问这时系统的等效（实际）误码率为多少？ 解：由于410e p -=较小，可只计算错两个码元的情况1125211283232(1)610e e e p C C p p C C p --=-≈=⨯5．求000000，110110，011101，101011四个汉明码字的汉明距离，并据此求出校正错误用的校验表。
解：先求出码字间距离：000000 110110 011101 101011000000 4 4 4 110110 4 4 4 011101 4 4 4 101011 4 4 4 汉明距离为4，可纠一位错。
由于一个码字共有6个码元，根据公式：21617rn ≥+=+= 得 3r = 即每个码字应有3位监督码元，6-3=3位信息码元。
直观地写出各码字：123456000000110110011101101011x x x x x x 令456x x x 为监督码元，观察规律则可写出监督方程：413523612x x x x x x x x x=⊕⎧⎪=⊕⎨⎪=⊕⎩从而写出校验子方程：113422353126s x x x s x x x s x x x *********⎧=⊕⊕⎪=⊕⊕⎨⎪=⊕⊕⎩列出校验表：6．写出信息位6k =，且能纠正1个错的汉明码。
解：汉明码的信息码元为六个，即：6k =。
监督码元数r 应符合下式：217rk r r ≥++=+ 取满足上式的最小r ：4r =，即为(10，6)汉明码。
其码字由10个码元构成：12345678910x x x x x x x x x x 。
先设计校验表根据校验表写出校验子方程：****11237****21458****32469****435610s x x x x s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎪⎨=⊕⊕⊕⎪⎪=⊕⊕⊕⎩ 写出监督方程，即监督码元与信息码元之间的关系：71238145924610356x x x x x x x x x x x x x x x x =⊕⊕⎧⎪=⊕⊕⎪⎨=⊕⊕⎪⎪=⊕⊕⎩根据监督方程编码，写出（10)：7. 已知纠正一位错的（7，4）汉明码的生成矩阵为：10001100100101[]00100110001111G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1）请写出其监督矩阵； 2）请写出其校验表；3）对信源序列1110，1010，0110，...进行编码；4）对接收端接收到的码字序列0011101，1100100，1011001，…进行译码。
解：1）监督矩阵：右边3×3是单位阵，左边3×4子阵是生成矩阵右边4×3子阵的转置：1101100[]10110100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）校验表：每个校验子列向量对应为监督矩阵的列向量，增加一个无差错列向量000。
3）根据[][][]C X G =⋅编码：1234567123410001100100101[][]00100110001111x x x x x x x x x x x ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦或者用由监督矩阵得到的监督方程编码：12345671101100[]10110100111001x x x x x x x H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦512461347234x x x x x x x x x x x x =⊕⊕⎧⎪⇒=⊕⊕⎨⎪=⊕⊕⎩编码得：1110000，1010101，0110110，…4）根据校验子方程（校验子方程是监督方程左右两边异或）：****11245****21346****32347s x x x x s x x x x s x x x x ⎧=⊕⊕⊕⎪=⊕⊕⊕⎨⎪=⊕⊕⊕⎩ 0011101 → [S]=[001]T → x 7*错 → 0011100 → 00111100100 → [S]=[111]T → x 4*错 → 1101100 → 1101 1011001 → [S]=[011]T → x 3*错 → 1001001 → 1001 译码得：0011，1101，1001，…8. （7，4）循环码的生成多项式为：32()1g x x x =++1）写出其监督矩阵和生成矩阵；2）对信息码元0110，1001进行编码，分别写出它们的系统码和非系统码； 3）对接收端接收到的系统码字0101111，0011100进行译码。
解：1）生成矩阵：生成多项式系数降幂排列：1101，补零成n 位的行向量：1101000，循环移位成k 行的矩阵： 4711010000110100[]00110100001101G ⨯⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦监督矩阵：校验多项式系数升幂排列：10111，补零成n 位的行向量：1011100，循环移位成r 行的矩阵：371011100[]01011100010111H ⨯⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2）根据[][][]C X G =⋅编码：111010000110100[C ][0110]00110100001101⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦得非系统码字：0101110，1100101根据多项式除法（长除法见第9题解答）编码得系统码字：0110100，1001011，具体方法如下： 0110 m (x ) = x 2+x x r m (x ) = x 5+x 454223232()()11r x m x x x x x g x x x x x +==+++++ 542()()()r C x x m x r x x x x =+=++→ 01101001001 m (x ) = x 3+1 x r m (x ) = x 6+x 363323232()11()11r x m x x x x x x x g x x x x x ++==++++++++ 63()()()1r C x x m x r x x x x =+=+++→ 10010113）生成多项式为g (x ) = x 3+x 2+1的（7,4）循环码校验表（获取方法见第9题解答）0101111写成多项式，除以生成多项式得余式1， → [S]=[001]T ，查表知C 0*错，即0101111 → 0101110，去尾部3位监督码元，得信息码元0101 。
53223232+11+11x x x x x x x x x x +++=+++++0011100写成多项式，除以生成多项式得余式x 2+x ，→ [S]=[110]T ，查表知C 6*错，即0011100 →1011100，去尾部3位监督码元，得信息码元1011。
9. 已知（7，4）循环码的生成多项式为：32()1g x x x =++当收到一循环码字为0010011时，根据校验子判断有无错误？哪一位错了？ 解：32()1g x x x =++对信息码元0001用多项式除法编码得循环码字：0001101。
将0001101错成0001100，除以生成多项式得余式1，s 2s 1s 0=001表示C 0*错。
将0001101错成0001111，除以生成多项式得余式x ，s 2s 1s 0=010表示C 1*错。
将0001101错成0001001，除以生成多项式得余式x 2，s 2s 1s 0=100表示C 2*错。
……将0001101错成1001101，除以生成多项式得余式x 2+x ，s 2s 1s 0=110表示C 6*错。
写出校验表：当收到一循环码字0010011时其对应的多项式为: 41x x ++。
列竖式做多项式除法（以下左式）：32433322111x x x x x xx x x x ++++++++32433232111x x x x x xx x x x +++++++++得余式为2x ，s 2s 1s 0=100，表示C 2*错，即右起第三位错，正确的码字应为0010111，其对应的多项式为：421x x x +++。
将此多项式进行验证（上式右式），余式为0，可见正确。
10. 已知（3，1，3）卷积码的监督方程为：,-1,-2a i i i b ii i p m m p m m =+⎧⎨=+⎩或者：已知（3，1，3）卷积码的基本监督矩阵：0[]H ⎡⎤=⎢⎥⎣⎦0 0 1 0 0 1 1 01 0 0 0 0 0 1 0 1 对信源序列010110…进行编码。
解：对于（3，1，3）卷积码，若输入信息码元： m i -2 , m i -1, m i , …，则编码后码字： m i -2, p a,i -2, p b,i -2, m i -1, p a,i -1, p b,i -1, m i , p a,i , p b,i , …根据监督方程编码得：000，111，010，110，101，011， （默认初始化状态为0）11. 已知（4，3，3）卷积码的基本监督矩阵：[][]110010101111H =，对输入信息码元:101100110111…进行编码。
解：根据k = 3分组，计算1位监督码元置于后，得卷积码字：1010，1001，1100，1111，… （提示：编码后的码字形式为：***012034516782a a a p a a a p a a a p 根据监督矩阵知其计算方法，前三个码字计算为：*0012p a a a =⊕⊕*102345 p a a a a a =⊕⊕⊕⊕*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕第四个码字起，移动对应位置使p 2*为当前要求的监督码元，计算为：*20135678 p a a a a a a a =⊕⊕⊕⊕⊕⊕）作业：1、3、4、7、8、10、11。