信息论与编码习题
信息论与编码习题答案
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
信息论与编码试题集与答案
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。
人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
信息的 可度量性 是建立信息论的基础。
统计度量 是信息度量最常用的方法。
熵 是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码习题
• BSC信道的容量：m＝2 • 准对称信道的容量
3
3
带限波形信道的容量
• 条件：
– 信道带宽W受限 – 噪声为加性高斯白噪声（均值为零，功率谱
2，3，转移概率矩阵为 其最佳输入分布为
p ( xi )
1 2
（1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度 ；
（3） 计算信道容量。
设有扰离散信道的传输情况分别如图 3－17 所示。求出该信道的信道容量。
1/2
X
Y
1/2
1/2
1/2 1/2
1/2
1/2
1/2
图3-17
• (2) 求该信道的信道容量及其达到信道容量时的输入概率分 布；
• 某信源发送端有2个符号Xi ，i＝1，2； ，每
秒发出一个符号。接受端有3种符号y ，j＝1， 1 1 2 2 C m a x I ( X ; Y ) l o g 2 m H m i l o g 2 2 ( 3 l g 3 3 l g 3 ) l o g 2 1 0 0 . 0 8 2 b i t / s y m b o l j
平均信息传递速率为
bit/ms=200bit/s
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-5
111 1 1 1 1 1
(1)
2 4 8 16 32 64 128 128
H(U)=
1
1
1
1
1
1
1
(完整word版)答案~信息论与编码练习(word文档良心出品)
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？3 、已知随即变量X 和Y 的联合分布如下所示：01100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
《信息论与编码》习题集
第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型 解： （1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。
123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.80.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P （1/0）=1/4，P （0/1）=1/8。
信息论与编码理论习题答案
第二章 信息量和熵2.2八元编码系统，码长为3，第一个符号用于同步,每秒1000个码字,求它的信息速率.解:同步信息均相同，不含信息，因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit因此，信息速率为 6⨯1000=6000 bit/s2。
3 掷一对无偏骰子，告诉你得到的总的点数为:(a ） 7； （b) 12。
问各得到多少信息量.解:(1) 可能的组合为 {1，6｝，｛2，5}，｛3，4},{4，3｝,{5，2｝,｛6,1｝)(a p =366=61得到的信息量 =)(1loga p =6log =2。
585 bit (2） 可能的唯一，为 {6,6｝)(b p =361得到的信息量=)(1logb p =36log =5。
17 bit2.4 经过充分洗牌后的一副扑克(52张）,问：（a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?解:（a ） )(a p =!521信息量=)(1loga p =!52log =225.58 bit （b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13。
208 bit2.9随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立,则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H=2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3。
信息论与编码技术练习题
一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）14、互信息的统计平均为平均互信息量，都具有非负性。
（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）18、在信息处理过程中，熵是不会增加的。
（√）19、熵函数是严格上凸的。
（√）20、信道疑义度永远是非负的。
（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论与编码习题1及答案1
一、dr)填空题(1)1948年.美国数学家_____________________ 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论.(2)必然事件的自信息是_0 ___________ 。
(3)离散平稳无记忆信源X的N次扩展信源的嫡等于离散信源X的嫡的N倍°(4)对于离散无记忆信源，当信源爛有最大值时，满足条件为.信源符号等槪分術一(5)若一离散无记忆信源的信源爛H (X)等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 _____ ・(6)对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 __________________ 。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出2 个码元错误.最多能纠正—1_个码元错误.(8)设有一离散无记忆平稳信道，其信道容董为C,只要待传送的信息传输率R_小于_C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与— ___________ 和_编码方巷—有关二、(9 )判斷题(1)信息就是一种消息。
( )(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
( )(3)概率大的事件自信息量大。
( )(4)互信息量可正、可负亦可为零。
( )(5)信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
( )(6)对于固定的信源分布，平均互信息董是信道传递概率的下凸函数。
( )(7)非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
( )(8)信源变长编码的核心问题是寻找紧致码(或最佳码)，霍夫曼编码方法构造的是最佳码。
( )(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1o 6米以上的,而女孩中身爲1・6米以上的占总数的一半。
信息论与编码_习题集五邑大学
期中习题1、 同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求： (1) 事件“3 和5 同时出现”的自信息量； (2) 事件“两个l 同时出现”的自信息量；(3) 两个点数之和(即2，3，?，12 构成的子集)的熵； (4) 事件“两个骰子点数中至少有一个是1”的自信息量。
2、某一无记忆信源的符号集为{0，1}，已知p (0) =1/ 4,p (1) = 3/ 4。
(1) 求信源的熵。
(2) 由100 个符号构成的序列，求某一特定的序列(例如有m 个“0”和100 ?m 个“1”)的自信息量的表达式。
(3) 计算(2)中的序列的熵。
3、在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}， 信道传输概率p (y =1| x =0)=1/4， p (y =0 | x =1)=1/8。
求：(1) 在接收端收到y=0 后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
4、5、6、7、已知二元信源01()1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎢⎥⎣⎦以及失真矩阵0110ij d ⎡⎤⎡⎤=⎢⎥⎣⎦⎢⎥⎣⎦，求（1）min D ；（2）max D ；（3）()R D 。
答案：1、2、3、4、5、（2）（3）6、7、解：（1）min *00*(1)0D p p =+-=； 达到min D 的信道为一个一一对应的无噪信道，所以(0)(;)()()R I U V H U H p ===（2）最大允许失真度为max min()(,)min(,(1))vijD p u d u v p p ==-∑如果max 1/2,p D p <= 如果max 1/2,1p D p >=- （3）因为二源对称信源，所以()()()0R D H p H D D p =-≤≤。
信息论与编码题库
信息论与编码 模拟题一 、填空题1、已知 8 个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、 （110110）、（111000）。
则该码组的最小码距是 3 ，若只用于检错可检测 2 位错码，若只用于纠错可纠正 1 位错码。
2、同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“两个 1 同时出现”这一事件的自信息量为 5.17 比特。
3、已知信源的各个符号分别为字母A ，B ，C ，D ，现用四进制码元表示，每个码元的宽度为10ms ，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H （x ）为 1.985 比特/符号，在无扰离散信道上的平均信息传输速率为 198 bit/s 。
4．1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
5．对离散无记忆信源来说，当信源呈____________分布情况下，信源熵取最大值。
6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。
7、二元删除信道BEC(0.01)的信道转移矩阵为 ，信道容量为 ；信道矩阵为100001010001010⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的DMC 的信道容量为 。
8．数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9.(7,3)码监督矩阵有 4 行,生成矩阵有 3 行。
10.对线性分组码,若要求它能纠正3个随机差错,则它的最小码重为 7 ,若要求它能在纠错2位的同时检错3位,则它的最小码重为 8 。
11．汉明码是一种线性分组码，其最小码距为 3 。
12.信道编码的目的是提高数字信息传输的 可靠性 ,其代价是降低了信息传输的 有效性。
13.在通信系统中,纠检错的工作方式有 反馈重发纠错 、 前向纠错 、 混合纠错 等。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码试题集与答案（新）Word版
信息论与编码试题集与答案（新）Word版一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞ 。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码习题
1. 通信系统的中心问题是在噪声下如何有效而可靠地___________，以及实现这一目标的方法是___________。
2. 信源编码是以提高信息传输的_______________为目的的编码，信道编码是以提高信息传输的_______________为目的的编码，密码是以提高信息传输的_______________为目的的编码。
3. 扔一枚硬币，结果是正面的不确定度为_________________，如果出现正面的概率为1，则该信源的信源熵为____________________。
4. 二元随机变量X 和Y ，已知H(X)=0.5bit/符号，H(Y)=0.7bit/符号，若X 和Y 相互独立，则联合熵H(XY)= ____________________，平均互信息I(X;Y)= ____________________。
5. 离散无记忆信源信源X 中包含M 个不同的离散消息时，当且仅当_____________________时，信源熵取最大值______________。
6. 当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于____________________。
7. 信源编码按照码字的长度分为__________编码和_____________编码。
8. 如果一个码的任何一个码字都不是其他码字的前缀，则称该码为_________________。
9. 设二元无记忆对称信道输入码字c=00101101，则其码重=____________，设接收向量r=01001110，则差错图案e=____________，c 与r 之间的码距d=____________。
10. 纠错码的最小距离为8，则该码字的检错能力为____________________，纠错能力为____________________。
１、离散平稳无记忆信源⎥⎥⎦⎤⎢⎢⎣⎡=⎪⎪⎭⎫ ⎝⎛81814121)(4321x x x xX P X ，其信源熵为__________________，这个信源的二次扩展信源的熵为__________________。
信息论与编码试题集与答案考试必看
信息基础论必备考卷1. 在无失真的信源中，信源输出由H(X) 来度量；在有失真的信源中，信源输出由R(D) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后一加密_ 编码，再_信道. 编码，最后送入信道。
3. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是C Wlog(1 SNR);当归一化信道容量C/W趋近于零时，也即信道完全丧失了通信能力，此时E b/N o为-1.6 dB，我们将它称作香农限，是一切编码方式所能达到的理论极限。
信道4.保密系统的密钥量越小，密钥熵C)就越大。
H(K)就越小，其密文中含有的关于明文的信息量I(M ;5. 已知n= 7的循环码g(x)3h(x)= —x x 1 x4 2x x 1，则信息位长度k为_3_，校验多项式6. 设输入符号表为X= {0 , 1}，输出符号表为Y= {0,1}。
输入信号的概率分布为p = (1/2,1/2)，失真函数为d(0, 0) = d(1, 1) = 0 , d(0, 1) =2 , d(1 , 0) = 1，则D min= _0_, R(D min) 1 0[p(y/x)] = ；D max= 0.5 , R(D max)=0 11bit/symbol，相应的编码器转移概率矩阵1L，相应的编码器转移概率矩阵[p(y/x)] = 111,则(n)7.已知用户A的RSA公开密钥(e,n)=(3,55)，p 5,q密钥(d,n) = (27,55)。
若用户B向用户A发送m=2的加密消息，则该加密后的消息为40 ___ ，他的秘密、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
()2. 线性码一定包含全零码。
()3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。
(X)4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法 是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信 息量p(yj /xi)，（ ） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能 不同，指的是信息的（ ） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（ ） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输 时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知 收到的符号，被告知发出的符号能得到的信息量是 （ ）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)
2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要 求有编码过程）。
1,有两个二元随机变量X和Y，它们的联合概率为
Y y1=0 y2=1 X x1=0 1/8 x2=1 3/8
3/8
1/8
定义另一随机变量Z = XY（一般乘积），试计算H(Z)=? 解：Z = XY的概率分布如下：
z 0 z 2 1 Z 1 1 P( Z ) 7 8 8 2 7 1 1 7 H ( Z ) p ( z k ) log log 0.544 bit / symA、维纳 B、香农 C、图灵 D、哈莱特 2、下列不属于消息的是（ ）。 A.文字 B.信号 C.图像 D.语言 3、同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点 数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log(11/36)bit 4、下列离散信源，熵最大的是（ ）。 A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8)
11、平均互信息量I(X;Y)与信源熵和条件熵之间的关系 是 。 12、互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y) ___（大 于、小于或者等于）H(Y)。 12、信源的冗余度来自两个方面，一是信源符号之间的 ， 二是信源符号分布的 。 13、已知某线性分组码的最小汉明距离为3，那么这组码最 多能检测出 个码元错误，最多能纠正 个码元错误。 14、设有一个离散无记忆平稳信道，其信道容量为C，只要 待传送的信息传输率R C（大于、小于或者等于）， 则存在一种编码，当输入序列长度n足够大，使译码错误 概率任意小。
信息论与编码习题课
一、填空题
1、设信源X包含4个不同离散消息，当且仅当X中各个消 息出现的概率为___时，信源熵达到最大值，为__，此 时各个消息的自信息量为__。 2、不可能事件的自信息量是___, 必然事件的自信息是 。 3、假设每个消息的发出都是等概率的，四进制脉冲所含 信息量是二进制脉冲的 倍。 4、某离散无记忆信源X，其符号个数为n，则当信源符号 呈 分布情况下，信源熵取最大值___。 5、设信源X包含8个不同离散消息，当且仅当X中各个消 息出现的概率为 时，信源熵达到最大值，为 __。
简答题
1、什么是自信息量？什么是熵？它们之间有什 么联系和区别 2、为什么要进行信源编码和信道编码？ 3、什么是信道容量 4、简述离散信源和连续信源的最大熵定理。 5、简述信源的符号之间的依赖与信源冗余度的 关系。 6、什么是最小码距, 以及它和检错纠错能力之 间的关系。
综合题
11、某一信源，不管它是否输出符号，只要这些符号具有某些概率特 性，就有信息量。 12、循环码的码集中的任何一个码字的循环移位仍是码字。 13、信道容量是信道中能够传输的最小信息量。 14、只要信息传输率大于信道容量，总存在一种信道编译码，可以以 所要求的任意小的误差概率实现可靠的通信. 15、连续信源和离散信源的熵都具有非负性. 16、汉明码是一种线性分组码 17、必然事件和不可能事件的自信息量都是 0 18、当随机变量 和 相互独立时，条件熵 等于信源熵 . 19、概率大的事件自信息量大。 20、互信息量可正、可负亦可为零。
c (c6 c5 c4 c 3 c2 c1 c0 ) (m3 m2 m1 m0 c2 c1 c0 ) 某系统（7，4）码 其三位校验位与信息位的关系为： c2 m3 m1 m0 （1）求对应的生成矩阵和校验矩阵； c1 m3 m2 m1 c m m m （2）计算该码的最小距离； 2 1 0 0
15、设信道输入端的熵为H(X)，输出端的熵为H(Y)，该信 道为无噪有损信道，则该信道的容量为 。 16、在无失真的信源中，信源输出由 来度量； 17、要使通信系统做到传输信息有效、可靠和保密，必须 首先 编码，然后__编码，再___编码，最后送入信道 18、带限AWGN波形信道在平均功率受限条件下信道容量 的基本公式，也就是有名的香农公式是 ； 1 19、已知n＝7的循环码 g(x) x x x ，则信息位长度 k为 ， 校验多项式h(x)= 。 20、平均互信息是输入信源概率分布的 函数;平均互信 息是信道转移概率的 函数,平均互信息的最大值为 。
11、从大量的资料中知道，男性中红绿色盲的发病率为7%， 女性发病率为0.5%，如果问一位男士他是否色盲，他的回 答有可能是“是”，或者“否”，从该男士的回答中得到 平均信息量是
A 0.366bit/sym B 0.414bit/sym C 0.259bit/sym D 0.887bit/sym
12、彩色电视显像管的屏幕上有5×105 个像元，设每个像元 有64种彩色度，每种彩度又有16种不同的亮度层次，如果 所有的彩色品种和亮度层次的组合均以等概率出现，并且 各个组合之间相互独立。每秒传送25帧图像所需要的信道 容量（ ）。 A. 50106 B. 75106 C. 125106 D. 250106
4 2
二、判断题
1.确定性信源的熵H(0,0,0,1)=1。 2.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，对其进行哈夫曼编码得到的码是唯一 的。 3、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 4.线性码一定包含全零码。 6.信源X的概率分布为P(X)={1/2, 1/3, 1/6}，信源Y的概率分布为P(Y)={1/3,1/2,1/6}， 则信源X和Y的熵相等。 7.互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。 8.对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别 为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。 10.设C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个 二元线性分组码，则该码最多能检测出3个随机错误。
5、以下选项中不是香农信息论中主要研究对象的是 A 信息的测度 B 信道容量 C 信息率失真函数 D 信 息的变换 6、以下关于信息量性质描述正确的是（ ）。 A 信息量可以为负 B 信息量是事件发生概率的递增函数 C 某事件为不可能事件，其信息量为0 D 信息量是一个 随机变量 7、当信源符合（ ）时，信源熵最大。 A 均匀分布 B 等概分布 C 泊松分布 D 正态分 布
6、自信息量表征信源中各个符号的不确定度，信源符号 的概率越大，其自信息量越 。 7、对于香农编码、费诺编码和霍夫曼编码，编码方法惟 一的是 编码。 编码方法构造的是最佳码。 8、若一离散无记忆信源的信源熵H（X）等于2.5，对信源 进行等长的无失真二进制编码，则编码长度至少为 。 9、___提高通信的有效性，____目的是提高通信的可靠性， __编码的目的是保证通信的安全性。 10、离散平稳无记忆信源X的N次扩展信源的熵等于离散 信源X的熵的 倍。