第六章 信道编码练习题
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论第六章答案
6.1 奇校验码码字是c=(m 0,m 1,…,m k-1,p)，其中奇校验位p 满足方程 m 0+m 1+,…, +m k-1+p =1 (mod 2)证明奇校验码的检错能力与偶校验码的检错能力相同，但奇其校验码不是线性分组码。
证：偶校验码的编码方程为 m 0+m 1+,…, +m k-1+p =0 (mod 2) 当差错图案e 中有奇数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：])([])()[()(,])()[(])()[()()(,)()(,_,,,_K K K ik ii kKoddi i even ce K K Keveni i iiK i KK K Koddi i ii K i K Ki i i K iK KKi iiK iKKi k ii k Koddi i even ce p p p p p p p C p thenp b p a if b a b a b aCb a b a b a C b a C b a b aC b a p p C p 211211121112121110001--=---+-=-=∴=-=-++=--+=∴-=-=+-=-∈=∈=-∈=-=-=--∈=∑∑∑∑∑∑奇校验码的编码方程为m 0+m 1+,…, +m k-1+p =1 (mod 2)当差错图案e 中有偶数个1时，通过偶校验方程可以检测出发生错误，因此检测概率：evence K oddce K K KK K K K i k ii k Keveni i odd ce p p p p p p p p p p C p p p C p __,_])([,)()(,)(])([)(])([)(=--≈∴-≈-<<---+=---+=-=--∈=∑21121211112112112112110001当由线性分组码的性质可知，码组中必有一个全零码字。
而奇校验码中没有全零码，如果有的话必是错码，所以奇校验码不是线性分组码。
答案~信息论与编码练习题
1有一个二元对称信道，其信道矩阵如下图所示。
设该信道以 1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有 14000个二元符号，并设在这消息中 P(0)=P(1)=1/2 。
问从信息传输的角度来考虑，10秒钟能否将这消息序列无失真地传送完？0.980.02____________ •10.98解答：消息是一个二元序列 ，且为等 概率分布，H(X)=1(bit/symbol)。
则该消息序列含有的信息量=下面计算该二元对称信道能传输的最大的信息传输速率: 信道传递矩阵为：0 98 0 02P0.02 0.98信道容量(最大信息传输率)为：C=1-H(P)=1-H(0.98)~ 0.8586bit/symbol得最大信息传输速率为：Rt疋1500符号/秒X 0.8586比特/符号〜1287.9比特/秒 沁1.288 X 103比特/秒此信道10秒钟能无失真传输得最大信息量= 10X Rt 疋1.288 X 104比特可见，此信道10秒能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道， 其转移概率矩阵分别为:12 1 2 0 01 2 1 20 0 0 0 0 00 1 2120 0 1 2 1 20 0 0 0 P 1 21 2 P 21 2 1 210 0 0 0 0 0 01 20 01 20 0 0 0 0 0 1 2 12试求这两个信道的信道容量，并问这两个信道是否有噪声？解答：(1) 由信道1的信道矩阵可知为对称信道 故 G log 2 4 H (舟 舟 0 0) 1bit / symbol H (X ) log 2 4 2bit / symbol C 1有熵损失，有噪声。
(2) 为对称信道，输入为等概率分布时达到信道容量 C 2 log 2 8 H (2 f 0 0 0 0 0 0) 2bit / symbolH (X ) C 2,无噪声3、已知随即变量 X 和Y 的联合分布如下所示：1即P(0)=P(1)=1/2 ，故信源 的熵为14000(bit/symbol)。
信息编码习题答案或提示
第二章部分习题2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?答：2倍，3倍。
2.2 一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1) !52log 2 (2) 任取13张，各点数不同的概率为1352!13C ，信息量：9.4793(比特/符号)2.3 居住某地区的女孩子有%25是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答案：1.415比特/符号。
提示：设事件A 表示女大学生，事件C 表示160CM 以上的女孩，则问题就是求p(A|C)，83214341)()|()()()()|(=⨯===C p A C p A p C p AC p C A p2.4 设离散无忆信源()123401233/81/41/41/8X a a a a P X ====⎛⎫⎧⎫=⎨⎬ ⎪⎩⎭⎝⎭，其发出的消息为(2021201302130012032101103210100223210)，求(1) 此消息的自信息量是多少？(2) 在此消息中平均每个符号携带的信息量是多少？解：(1)87.81比特，(2)1.951比特。
提示：先计算此消息出现的概率，再用自信息量除以此消息包含的符号总数(共45个)。
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7% ，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量?平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？(1) 男性回答是的信息量为2log 0.07 3.8369-=比特，回答否的信息量是0.1047比特，平均每个回答含的信息量(即熵)是0.36596比特。
《信道编码》作业及答案
《信道编码》作业及答案
1、【单选题】移动通信系统采用信道编码技术是为降低（）。
A、网络编码差错
B、语音编码差错
C、信道突发和随机差错
参考答案：C
2、【判断题】通信是指消息由一地向另一地进行有效传输，为了提高数字通信抗干扰能力的编码统称为信源编码。
A、正确
B、错误
参考答案：错误
3、【判断题】数字通信系统的发送端一般包括信源编码、信道编码、调制几个功能模块。
A、正确
B、错误
参考答案：正确
4、【判断题】TD-SCDMA信道编码的方式包括卷积编码和Turbo编码，码率有1/2和1/3。
A、正确
B、错误
参考答案：正确
5、【判断题】所谓信道编码，是在信息码元中插入一些冗余码元，从而使整体码元具有一定规律，当出现错误传输时，可以通过规律对错误码元进行检测乃至纠正。
A、正确
B、错误
参考答案：正确
6、【多选题】5G信道编码技术主要采用哪些？
A、Turbo
B、卷积码
C、Polar
D、LDPC
参考答案：C、D。
(完整版)信息论与编码试题集
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
（×）4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×）5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
（×）6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。
《信息论与编码》习题集
第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型 解： （1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。
123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.80.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P （1/0）=1/4，P （0/1）=1/8。
信息论与编码习题集
第2章2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？2.2 平均互信息量(;)I X Y 与信源概率分布()p x 有何关系？与(/)p y x 又是什么关系？2.3 熵是对信源什么物理量的度量？2.4 设信道输入符号集是12{,,,}k x x x L ，则平均每个信道输入符号所能携带的最大信息量为什么？2.5 互信息量(;)i j I a b 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？2.6 教材习题。
P70,2.19-2.22除外第3章3.1 设信源消息集为{0,1}X =，信宿消息集{0,1}Y =，信源等概率分布，通过二进制信道，信道转移概率矩阵为0.760.240.320.68⎛⎫ ⎪⎝⎭求：(1) 该系统的平均互信息量；(2) 接收到0y =后，所提供的关于x 的平均互信息量(;0)I X 。
3.2 教材 3.1,3.2,3.3,3.6,3.7(4),3.8,3.11,3.14,3.15,3.18,3.19第4章 信息率失真函数4.1 当信息率失真函数R (D )取什么值的时候，表示不允许有任何失真。
4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值时什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？4.3 给定二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.05.0)(321x x x X P X ，失真度测度矩阵[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011302120d ，求信息率失真函数的定义域和值域。
4.4 其他练习题见教材第5章5.1 请问即时码一定是唯一可译码码？反过来说唯一可译码一定是即时码吗？5.2 离散无记忆信源，熵为()H x ，对信源的L 长序列进行等长编码，码长是长为n 的m 进制符号串，问：(1)满足什么条件时，可实现无失真编码；(2)L 增大，编码效率η也随之增大吗？5.3 信源有4个消息，对其进行二进制编码，问：(1)若信源等概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/14/14/14/1)(4321x x x x X P X ，则每个消息至少需要几位二进制代码？ (2)若信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x X P X ，如何编码才能获得最佳码？5.4 已知一个离散无记忆信源，其概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡12/14/13/13/1)(4321x x x x X P X ，试： (1)对该信源进行二进制霍夫曼编码；(2)证明存在两个不同的最佳码长集合，即证明码长集合{1，2，3，3}和{2，2，2，2}都是最佳的。
信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品).docx
第六章：信道 (本章复大我重新修改了一下，尤其要关注色内容 )1、基本概念：差符号、差比特；差：随机差、突差；分：和、分和卷、性与非性、随机差和突差；矢量空、空及其偶空；有离散信道的定理：P e e- NE ( R)（掌握信道定理的内容及减小差概率的方法）；形分的展与短（掌握奇偶校及短的校矩、生成矩与原形分的关系）。
2、性分 (封性 )：生成矩及校矩、系形式的 G 和 H、伴随式与准列表、距与能力、完(明 )、循的生成多式及校多式、系形式的循。
作： 6-1、6-3、6-4、6-5 和 6-6 一、 6-7 6-8 和 6-9 一6-1 二元域上 44重失量空的元素个数共有24=16 个，它分是(0,0,0,0),(0,0,0,1)⋯ (1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二子空含有的元素个数 22个，取其中一个自然基底(0,0,0,1)和(0,0,1,0)，其二子空中所包含的全部矢量(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注不唯一 )；上述子空的偶子空可以有三种不同的：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。
(注意本中所包含的关于矢量空的一些基本概念 )6-3 由可以写出系 (8,4)的形方程如下：v 7 u 3 v 6 u 2 v 5 u 1v 4 u 0(注：系统码高四位与信息位保持一致， u i 为信息位 )v 3 u 3 u 2 u 0 v 2 u 3 u 1 u 0 v 1 u 2 u 1 u 0 v 0 u 3 u 2 u 1把上述方程组写成矩阵形式， 可以表示为 V=UG ，其中 V 为码字构成的矢量，即 V=(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U=( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：1 0 0 0 1 1 0 10 1 0 0 1 0 1 1 4| P4*4G0 1 0 0 1 1 I 0 1 0 0 0 1 1 1 1 0由系统生成矩阵和校验矩阵的关系可得：1 1 0 1 1 0 0 0 HP 4*4T1 0 1 1 0 1 0 0| I 41 1 1 0 0 1 01 1 1 0 0 0 0 1由校验矩阵可以看出，矩阵 H 的任意三列都是线性无关的 (任意三列之和不为 0)，但存在四列线性相关的情况 (如第 1、5、6、8 列，这四列之和为 0)，即校验矩阵 H 中最小的线性相关的列数为 4，从而得该线性分组码的最小码距为 4。
第六章 信道编码练习题
，伴 ， 行
随式 S 可能的值有 生成矩阵 G 为
种,差错图案 e 的长度为 行的矩阵，系统校验矩阵 H 为
T 的矩阵，G 和 H 满足的关系式是 GH
5. 循环码的生成多项式 g(x)有如下性质： 1) g(x)是循环码码多项
式中的一个唯一的
多项式； 2) 它具有首 1 末 1 的 ； 4)它
10.
对于（n，k）循环码，寻找其生成多项式 g(x)需要将 xn+1 因 次因式即为生成多项式 g(x)，而其 ， 其为 次多项式。 利用生成多项
式分解，找到其中的 余因式 h(x)为
式 g(x)，可以很方便地得到对应的生成矩阵 G，其方法是：将生 成多项式 g(x)对应的码字作为 k 行生成矩阵 G 的第 k 行；再利 用循环码的循环移位特性，将 g(x)整体左移一位，得到的码字依 次生成矩阵 G 的第 k-1，k-2 行直到第 1 行。由 h(x)可以得到一 致校验矩阵 H， 其方法是： 将生成多项式 h(x)对应的反序多项式 h*(x)的对应的码字作为 r 行校验矩阵 H 的第 r 行，其余行的产 生方式与生成矩阵 G 产生方式类似。
第六章 信道编码练习题
一、 填空题
1. 信道编码——根据信源消息 m 进行信道编码产生码字 c, 通常 c
为一个 n 长的序列。 信道编码的目的是动状态或存在方， 信道编 码称为冗余编码的原因是动状态或存在方， 信道编码被称为纠错 编码，原因是动或存在方。
2. 纠错码结构是信息位+校验位，常用的三种检纠错编码方法是：
动状态或存在，动状态或，动状态或。
3. 信道编码的汉明距离是动状态或存在方, 最小汉明距离是动状
态或存在方，体现信道编码检纠错能力的定理内容是动状 或存在方， 其中最关键的量是最小汉明距离。 信道译码时遵循的 原则的最大似然译码原则， 实际操作时就是将接收向量译码为与 其汉明距离最小的许用码。
信息论与编码第六章习题及参考答案
6.1某卷积码的框图如图6.7所示，假设初始状态为全零，输入序列为{1001101}，试写出输出序列，并计算出码率。
图6.7 (2,1,2)卷积码解：)2()(1-⊕=n X n X C)2()1()(2-⊕-⊕=n X n X n X C输出序列为（11111111001010），码率R=1/26.2 某分组码输出码字集合为{0000, 1001,0110,1010,0101}, 试写出各个码字的重量，并且计算最小汉明距离。
解：码字重量分布为（0,2,2,2,2），通过逐个比较码字得到码字之间的汉明距离并取最小汉明距离d0=2.6.3某离散无记忆信道的概率转移矩阵为1/21/31/61/31/61/21/61/21/3⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P假设信道输入的概率空间为12()1/21/41/4X x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦分别使用最小错误概率规则和最大似然译码规则来确定译码规则，并且计算对应的平均错误概率。
解：后验概率∑==31)|()()(ii j i j a b p a p b p249614131412121)(1=⨯+⨯+⨯=b p 248214161413121)(2=⨯+⨯+⨯=b p 247314121416121)(3=⨯+⨯+⨯=b p 后验概率)()|()()|(j i j i j i b p a b p a p b a p =，具体结果如表如下⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=727372838121919232P Y|X 根据最小概率译码规则，在上述后验概率中寻找到最大概率对应的输入ai 作为译码估计值，具体如下：b1→a1 b2→a1 b3→a2如果发送符号为a1,接受符号为b2,b3,就会出现译码错误；如果发送为b2，接受符号为b2,b3,就会出现译码错误；如果发送符号为a3，接受符号为,b1,b3,就会出现译码错误；因此，译码错误计算如下：2411）3161（41）2161（41）6131（21P E1=+++++=最大似然译码则是根据前向概率的列元素大小直接译码，具体译码规则为b1→a1 b2→a3 b3→a2 同理可以计算出译码错误概率21）3161（41）6131（41）6131（21P E2=+++++=可以看出E1E2P P >。
地面数字电视接收设备的信道编码考核试卷
D. ASK
14.地面数字电视接收设备中，以下哪些因素会影响调制效果？（）
A.信道编码方式
B.信号幅度
C.信号相位
D.信号频率
15.以下哪些技术可以用于提高地面数字电视信号的抗干扰能力？（）
A.信道编码
B.信号加密
C.天线技术
C. 64-QAM
D. FM调制
4.在地面数字电视接收设备中，Turbo编码相较于其他编码方式有哪些优势？（）
A.更高的编码效率
B.更好的错误纠正能力
C.更低的误码率
D.更快的译码速度
5.以下哪些因素会影响地面数字电视接收设备的信道编码效果？（）
A.信号传输距离
B.信道质量
C.调制方式
D.接收设备的灵敏度
D. OFDM
15.在地面数字电视接收设备中，以下哪个因素会影响信道编码性能？（）
A.信号传输距离
B.信号传输速率
C.信号干扰
D.所有以上因素
16.下列哪种编码方式在地面数字电视接收设备中不属于前向纠错编码？（）
A.卷积编码
B.里德-所罗门编码
C. Turbo编码
D.汉明编码
17.在地面数字电视接收设备中，信道编码与解码器的关系是（）
A.卷积编码
B. Turbo编码
C.汉明编码
D. LDPC编码
13.在地面数字电视接收设备中，LDPC编码的主要优点是（）
A.抗干扰性能好
B.编码简单
C.译码速度快
D.适合高速数据传输
14.下列哪种调制方式在地面数字电视接收设备中具有最高的频谱利用率？（）
A. QPSK
B. 16-QAM
C. 64-QAM
编码理论习题
第一章 概述1.1：通信的主要目的是什么？通信: 采用某种方法，借助某种媒介将信息从甲地传送到乙地的过程通信的目的：要把对方不知道的消息及时可靠地(有时秘密的)传送给对方1.2：信道编码的主要目的是什么？信源编码的主要作用是：在保证通信质量的前提下，尽可能的通过对信源的压缩，提高通信时的有效性。
就是让通信变得更加的有效率。
以更少的符号来表示原始信息，所以减少了信源的剩余度。
信道编码的主要作用是：通过对做完信源编码后的信息加入冗余信息，使得接收方在收到信号后，可通过信道编码中的冗余信息，做前向纠错。
保证通信的可靠性。
1.3：仙农编码定理的主要内容是什么？仙农编码定理：如果系统的传输率小于信道容量，那么适当选择编码技术就能实现可靠通信，即可以将差错率减小到任意小的程度。
更确切地，每个信道都具有固定的信道容量C ，对任何小于C 的信息传输率R ，存在一个码长为n 码率为R 的分组码，若用最大似然译码，则其译码错误概率为 )(R nE e b Ae P -≤ 。
对于码率为R 约束长度为ne 的卷积码，其译码错误概率也有类似的关系，即)(R nE e b Ae P -≤ 其中A 和B 都为大于0的数，Eb(R)和Ee(R)为正实函数，叫做误差指数。
1.4：请画出数字通信系统模型的通用框图。
1.5：信源编码扩张了数据么，为什么？信源编码没有扩张数据。
信源编码减少了数据的冗余。
信源编码器：将信源输出变成二元数字(bit)序列，称为信息序列，在信源连续的情况下，还需要进行模/数(A/D)转换。
理想信源编码器模型要满足(1)为表示信源输出所要求的单位时间的比特数要尽量小；(2)信源的输出S 可从信息序列U 中确切的重新构造1.6：信道编码扩张了数据么，为什么？信道编码扩张了数据。
信道编码器：将信息序列U 变换成离散的有结构的编码序列X ，这称为码字。
即为了使传输有效，人为的增加一些冗余度，使其具有自动检错和纠错的能力。
信息论与编码第六章课后习题答案(曹雪虹)(word文档良心出品)
第六章：信道编码(本章复习大纲我重新修改了一下，尤其要关注红色内容)1、基本概念：差错符号、差错比特；差错图样：随机差错、突发差错；纠错码分类：检错和纠错码、分组码和卷积码、线性码与非线性码、纠随机差错码和纠突发差错码；矢量空间、码空间及其对偶空间； 有扰离散信道的编码定理：-()NE R e P e （掌握信道编码定理的内容及减小差错概率的方法）；线形分组码的扩展与缩短（掌握奇偶校验码及缩短码的校验矩阵、生成矩阵与原线形分组码的关系）。
2、线性分组码(封闭性)：生成矩阵及校验矩阵、系统形式的G 和H 、伴随式与标准阵列译码表、码距与纠错能力、完备码(汉明码)、循环码的生成多项式及校验多项式、系统形式的循环码。
作业：6-1、6-3、6-4、6-5和6-6选一、6-7 6-8和6-9选一 6-1 二元域上4维4重失量空间的元素个数总共有24=16个，它们分别是(0,0,0,0),(0,0,0,1)…(1,1,1,1)，它的一个自然基底是(0,0,0,1),(0,0,1,0),(0,1,0,0)和(1,0,0,0)；其中一个二维子空间含有的元素个数为22个，选取其中一个自然基底为(0,0,0,1)和(0,0,1,0)，则其二维子空间中所包含的全部矢量为(0,0,0,0,),(0,0,0,1),(0,0,1,0)和(0,0,1,1)(注选择不唯一)；上述子空间对应的对偶子空间可以有三种不同的选择：(0,0,0,0) ,(0,1,0,0),(1,0,0,0)，(1,1,0,0)或(0,0,0,0) ,(0,1,0,0)或(0,0,0,0) (1,0,0,0)。
(注意本题中所包含的关于矢量空间的一些基本概念)6-3 由题设可以写出该系统(8,4)码的线形方程组如下：736251403320231012100321v u v u v u v u v u u u v u u u v u u u v u u u=⎧⎪=⎪⎪=⎪=⎪⎨=++⎪⎪=++⎪=++⎪⎪=++⎩(注：系统码高四位与信息位保持一致，u i 为信息位) 把上述方程组写成矩阵形式，可以表示为 V =U G ，其中V 为码字构成的矢量，即V =(v 7,v 6,v 5,v 4,v 3,v 2,v 1,v 0)，U 为信息位构成的矢量，即U =( u 3,u 2,u 1,u 0)，观察方程组可得系统生成矩阵为：[]44*41000110101001011G I |P 0010011100011110⎡⎤⎢⎥⎢⎥==⎢⎥⎢⎥⎣⎦由系统生成矩阵和校验矩阵的关系可得：4*441101100010110100H P |I 0111001011100001T ⎡⎤⎢⎥⎢⎥⎡⎤==⎣⎦⎢⎥⎢⎥⎣⎦由校验矩阵可以看出，矩阵H 的任意三列都是线性无关的(任意三列之和不为0)，但存在四列线性相关的情况(如第1、5、6、8列，这四列之和为0)，即校验矩阵H 中最小的线性相关的列数为4，从而得该线性分组码的最小码距为4。
信息论与编码题库
信息论与编码 模拟题一 、填空题1、已知 8 个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、 （110110）、（111000）。
则该码组的最小码距是 3 ，若只用于检错可检测 2 位错码，若只用于纠错可纠正 1 位错码。
2、同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“两个 1 同时出现”这一事件的自信息量为 5.17 比特。
3、已知信源的各个符号分别为字母A ，B ，C ，D ，现用四进制码元表示，每个码元的宽度为10ms ，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H （x ）为 1.985 比特/符号，在无扰离散信道上的平均信息传输速率为 198 bit/s 。
4．1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
5．对离散无记忆信源来说，当信源呈____________分布情况下，信源熵取最大值。
6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。
7、二元删除信道BEC(0.01)的信道转移矩阵为 ，信道容量为 ；信道矩阵为100001010001010⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的DMC 的信道容量为 。
8．数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9.(7,3)码监督矩阵有 4 行,生成矩阵有 3 行。
10.对线性分组码,若要求它能纠正3个随机差错,则它的最小码重为 7 ,若要求它能在纠错2位的同时检错3位,则它的最小码重为 8 。
11．汉明码是一种线性分组码，其最小码距为 3 。
12.信道编码的目的是提高数字信息传输的 可靠性 ,其代价是降低了信息传输的 有效性。
13.在通信系统中,纠检错的工作方式有 反馈重发纠错 、 前向纠错 、 混合纠错 等。
信息论与编码试题集(优选)
信息论与编码试题集1.在无失真的信源中，信源输出由H（Ｘ) 来度量；在有失真的信源中，信源输出由R（Ｄ) 来度量。
2.要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后＿＿___加密____编码，再＿_____信道＿_＿__编码，最后送入信道。
3.带限AWGN波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是C W SNR=+;当归一化信道容量C/W趋近于零时，log(1)也即信道完全丧失了通信能力,此时E b／Ｎ0为—1.6 dＢ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
...文档交流仅供参考...4.保密系统的密钥量越小，密钥熵H（Ｋ)就越小 ,其密文中含有的关于明文的信息量Ｉ(M；C)就越大 。
...文档交流 仅供参考...5.设输入符号表为X ={0,1｝，输出符号表为Y ＝｛0，1｝。
输入信号的概率分布为p ＝(１/2，1/2),失真函数为d （0，0) = d （1,1) = ０,d (0，１） =２,d （１,0) = 1，则D min = ０ ，Ｒ（D ｍin )= 1b ｉｔ/sy ｍbo ｌ ,相应的编码器转移概率矩阵［p(y/x )］＝1001⎡⎤⎢⎥⎣⎦；D max = 0.5 ，R （Ｄmax ）＝ ０ ，相应的编码器转移概率矩阵［p （y/x ）]＝1010⎡⎤⎢⎥⎣⎦。
...文档交流 仅供参考...二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
(） 2.线性码一定包含全零码。
(）3.算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码,是以另外一种形式实现的最佳统计匹配编码。
(×）4.某一信源,不管它是否输出符号，只要这些符号具有某些概率特性,就有信息量。
(×)5.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
(×)6.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X,当它是正态分布时具 有最大熵。
信息论与编码习题
39
扩展码和缩短码
• 扩展码
校验矩阵He ＝
H
1 1
0
0
0
1 1
• 缩短码 生成矩阵G＝
1 0 0 0 1 0 1
0
1
0
0
1
1
1
0 0 1 0 1 1 0
0
信息论与编码习题
信道容量
C＝maIx(X;Y) P(xi)
• 信道上每传送一个符号(每使用一次信道)所 能携带的比特数，即比特/信道符号 (bits/symbol或bits/channel use)。
• 如果已知信道符号传送周期是T秒，此时 Ct=C /T，比特/秒(bits/s)
2
2
DMC信道的容量
2
11
2
000
3
0010
4
0011
4
平均码长为： 编码效率：
• 概念： 第6章信道编码复习
– 差错符号、差错比特 – 差错图样：随机差错、突发差错 – 纠错码分类：检和纠错码、分组码和卷积码、线性码与非线
性码 、纠随机差错码和纠突发差错码
30
矢量空间与码空间
• n维n重空间有相互 正交的n个基底
(1)
条件概率
，联合概率
，后验概率
1 p(y 0)
，
1 p(y 1)
， p(y 2) 1
3
2
6
（2） H(Y/X)=
（3） 当接收为 y2，发为 x1 时正确，如果发的是 x1 和 x3 为错误，各自的概率为：
P(x1/y2)= 1 ，P(x2/y2)= 1 ，P(x3/y2)= 3
【免费下载】答案~信息论与编码练习
0.98 0.02
0.02 0.98
得最大信息传输速率为： Rt ≈1500 符号/秒× 0.8586 比特/符号 ≈1287.9 比特/秒 ≈1.288×103 比特/秒
此信道 10 秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104 比特 可见，此信道 10 秒内能无失真传输得最大信息量小于这消息序列所含有的信息量， 故从信息传输的角度来考虑，不可能在 10 秒钟内将这消息无失真的传送完。
H
H ( X ) log2 4 2bit / symbol C1
有熵损失，有噪声。
(
1 2
1 2
0 0Leabharlann 01 21 2
0 0 0
0
1 2
0
0
0
1
0000
1 2
0
0
0 0) 1bit / symbol
( 2) 为对称信道，输入为等概率分布时达到信道容量
C2
log 2
8
H
求得 W=
=
P(u2/u2)=0,
P(j/i)=
9
解方程组
1/2，1/4，1/8.，1/16，1/32,1/64,1/128,1/128，编成这样的码：
000,001,010,011,100,101,110,111。求
（1）信源的符号熵 H(U)
(2)出现一个“1”或一个“0”的概率；
（3）这样码的编码效率；
解：(1) H(色)=
(2) P(色数)= H(色数)= (3) H(数/色)= H(色数)- H(色)=
5、 在一个二进制信道中，信源消息集 X={0,1}，且 P(0)=P(1),信宿的消息集 Y={0,1},信 道传输概率 P（1/2）=1/4, P(0/1)=1/8。求： （1）在接收端收到 y=0 后，所提供的关于传输消息 X 的平均条件互信息量 I(X；y=0).
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
，纠
个错误。
8. 与一般线性分组码不同， （n，k）系统码的生成矩阵视为两部分
构成，即[IkQk×r]，其中为 Ik 为 k 阶单位矩阵，它保证了编码产 生时，信息位保持不变。
9. 利用生成矩阵 G 产生线性分组码时， 可以将信息位 m 与 G 进行
11.
系统循环码的信息组多项式为 m(x)，其对应的校验多项式
p(x)= xn-k m(x)模 g(x)所得的余式。 因此， 结合系统码结构特点， 系统循环码生成矩阵 Gs 的第 i 行对应的码式为：
Ci x x n i pi x i 1, 2,3 k 。其中 pi x x n i mod g x 。
10.
对于（n，k）循环码，寻找其生成多项式 g(x)需要将 xn+1 因 次因式即为生成多项式 g(x)，而其 ， 其为 次多项式。 利用生成多项
式分解，找到其中的 余因式 h(x)为
式 g(x)，可以很方便地得到对应的生成矩阵 G，其方法是：将生 成多项式 g(x)对应的码字作为 k 行生成矩阵 G 的第 k 行；再利 用循环码的循环移位特性，将 g(x)整体左移一位，得到的码字依 次生成矩阵 G 的第 k-1，k-2 行直到第 1 行。由 h(x)可以得到一 致校验矩阵 H， 其方法是： 将生成多项式 h(x)对应的反序多项式 h*(x)的对应的码字作为 r 行校验矩阵 H 的第 r 行，其余行的产 生方式与生成矩阵 G 产生方式类似。
形式； 3)该码集中任一码多项式都是它的
本身必是 xn+1 的一个 个码字的循环码。
次的因式，由它可以生成 2k
6. 伴随式 S=RH 或 S =HR 是用于描述接收向量 R 是否有错的特
T
T
T
征向量。若 S=0，则
；
若 S≠0，则
。
由于，S=RHT=(C+E) HT=EHT，因此，伴随式 S 仅与码字的 有关， 而与实际发送的具体码字 C 无关， 故可以用伴随式纠错。
动状态或存在，动状态或，动状态或。
3. 信道编码的汉明距离是动状态或存在方, 最小汉明距离是动状
态或存在方，体现信道编码检纠错能力的定理内容是动状 或存在方， 其中最关键的量是最小汉明距离。 信道译码时遵循的 原则的最大似然译码原则， 实际操作时就是将接收向量译码为与 其汉明距离最小的许用码。
4. (7,3)线性分组码中，接收端收到每个码字的长度为
矩阵乘法而得到信道编码，即 C=mG。另外，还可以将生成矩
g1 g 2 阵 G 的每个行向量 gi 组成一个 k 阶列向量 ,根据信息位的 gi gk
取值，把所有值为“1”的信息位对应的每个行向量 gi 一起模 2 加即得到相应编码。
，伴 ， 行
随式 S 可能的值有 生成矩阵 G 为
种,差错图案 e 的长度为 行的矩阵，系统校验矩阵 H 为
T 的矩阵，G 和 H 满足的关系式是 GH
5. 循环码的生成多项式 g(x)有如下性质： 1) g(x)是循环码码多项
式中的一个唯一的
多项式； 2) 它具有首 1 末 1 的 ； 4)它
第六章 信道编码练习题
一、 填空题
1. 信道编码——根据信源消息 m 进行信道编码产生码字 c, 通常 c
为一个 n 长的序列。 信道编码的目的是动状态或存在方， 信道编 码称为冗余编码的原因是动状态或存在方， 信道编码被称为纠错 编码，原因是动或存在方。
2. 纠错码结构是信息位+校验位，常用的三种检纠错编码方法是：
二、 选择题
三、 问答题
四、 计算题
熟练掌握线性分组码和循环码编码方法。 1. PPT 例题例题 6.1、例题 6.4、例题 6.5，例题 6.6、例题 6.7、例题 6.8、例题 6.9 2. PPT 例题例题 6.11、例题 6.12、例题 6.13，例题 6.14、例题 6.7