信息论与编码试题集与答案(新)
信息论与编码试题集
信息论与编码试题集题目一：1. 请解释以下术语的含义：a) 信源熵b) 信源编码c) 香农定理d) 奈奎斯特准则e) 奇偶校验码2. 在一个二进制对称信道中，如果发送方发送的比特为0，接收方接收到的比特也为0的概率为0.9，发送方发送的比特为1，接收方接收到的比特也为1的概率为0.8。
请计算该信道的信道容量。
题目二：1. 在一个具有4个等概率输出符号的信源中，计算该信源的熵。
2. 一个典型的英文字母出现的概率如下：P(A) = 0.4, P(B) = 0.3, P(C) = 0.2, P(D) = 0.1。
请计算该信源的平均码长以及编码效率。
题目三：1. 请解释Huffman编码的原理及步骤。
2. 使用Huffman编码对以下信源的输出编码：A: 0.3，B: 0.2，C: 0.15，D: 0.1，E: 0.1，F: 0.05，G: 0.05，H: 0.05。
计算编码的平均码长和编码效率。
题目四：1. 请解释线性分组码和卷积码的区别。
2. 针对一个二进制码串11001011，使用以下生成矩阵计算该码串的卷积码：G = [1 1 0 1; 1 0 1 0]。
给出计算过程和最终编码结果。
题目五：1. 请解释码激励方法。
2. 针对一个码激励线性分组码，当收到的码字为101010时，给出该码字的输入和输出码字。
题目六：1. 请解释BCH编码的原理及应用场景。
2. 对一个BCH(n, k)码，当n=15，k=11时，请给出该BCH码的生成矩阵。
题目七：1. 请解释LDPC码以及LDPC码的译码方法。
2. 对于一个n=7，k=4的LDPC码，给出该LDPC码的校验矩阵。
题目八：1. 请比较分组密码与流密码的特点和应用场景。
2. 使用RC4流密码算法对明文"HELLO"进行加密，已知初始密钥为"KEY"，给出加密后的密文。
题目九：1. 请解释区块密码与流密码的工作原理和区别。
信息论与编码作业答案(新)超全
1 1 1 , H ( , ) = 1bit / event 2 2 2 99 1 99 1 (2) p(r ) = , p(w ) = ,H( , ) » 0.081bit / event 100 100 100 100 1 1 1 1 1 1 1 1 (3) p(r ) = , p(y ) = , p(b ) = , p(w ) = , H ( , , , ) = 2bit / event 4 4 4 4 4 4 4 4
解： （1）状态转移矩阵
p(0 | 00) = p(00 | 00) = 0.8 p(0 | 11) = p(10 | 11) = 0.2 p(1 | 00) = p(01 | 00) = 0.2 p(1 | 11) = p(11 | 11) = 0.8
p(0 | 01) = p(10 | 01) = 0.5 p(0 | 10) = p(00 | 10) = 0.5 p(1 | 01) = p(11 | 01) = 0.5 p(1 | 10) = p(01 | 10) = 0.5
2-8
（题目略）
Log( 2) 1 Log( 4) 2 Log( 8) 3
2-9
（题目略） “－” 用三个脉冲 (1) I(●)= Log( 4) 2
1 Log( 4) 3 4
“●”用一个脉冲 I(－)＝
4 Log
0.415 3
4
(2) H= 4
Log
1 1 ´ 6 6 1 = 36
1 1 ´ + 6 6 1 1 ´ 6 6 2 = 36
1 1 ´ + 6 6 1 1 ´ + 6 6 1 1 ´ 6 6 3 = 36
1 1 ´ + 6 6 1 1 ´ + 6 6 1 1 ´ + 6 6 1 1 ´ 6 6 4 = 36
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
信息论与编码填空题(新)
1. 在无失真的信源中.信源输出由 H (X )来度量；在有失真的信源中.信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密.必须首先 信源 编码.然后_加密_编码.再_信道编码.最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式.也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时.也即信道完全丧失了通信能力.此时E b /N 0为 -1.6 dB.我们将它称作香农限.是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小.密钥熵H (K )就越 小 .其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++.则信息位长度k 为 3 .校验多项式h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0.1}.输出符号表为Y ＝{0.1}。
输入信号的概率分布为p ＝(1/2.1/2).失真函数为d (0.0) = d (1.1) = 0.d (0.1) =2.d (1.0) = 1.则D min ＝ 0 .R (D min )＝ 1bit/symbol .相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 .R (D max )＝ 0 .相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55).5,11p q ==,则()φn = 40 .他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息.则该加密后的消息为 8 。
１．设Ｘ的取值受限于有限区间［a,b ］.则X 服从 均匀 分布时.其熵达到最大；如X 的均值为μ.方差受限为2σ.则X 服从 高斯 分布时.其熵达到最大。
2．信息论不等式：对于任意实数0>z .有1ln -≤z z .当且仅当1=z 时等式成立。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln（2 ⅇ 2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考题标准答案
信 息 论 与 编 码 考题与标准答案第一题 选择题1．信息是（ b ）a. 是事物运动状态或存在方式的描述b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象d.信号 2．下列表达式哪一个是正确的（e ）a. H (X /Y )=H (Y /X )b. )();(0Y H Y X I <≤c.)/()(),(X Y H X H Y X I -=d. )()/(Y H Y X H ≤e. H (XY )=H (X )+H (Y /X )3．离散信源序列长度为L ，其序列熵可以表示为（ b ）a. )()(1X LH X H =b.c. ∑==Ll lXH X H 1)()(d. )()(X H X H L =4.若代表信源的N 维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。
a. 指数分布b. 正态分布c. 均匀分布d. 泊松分布 5．对于平均互信息);(Y X I ，下列说法正确的是（ b ）a. 当)(i x p 一定时，是信道传递概率)(i j x y p 的上凸函数，存在极大值b. 当)(i x p 一定时，是信道传递概率)(i j x y p 的下凸函数，存在极小值c.当)(i j x y p 一定时，是先验概率)(i x p 的上凸函数，存在极小值d.当)(i j x y p 一定时，是先验概率)(i x p 的下凸函数，存在极小值 6．当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量 a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7.当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ） a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.04.0)(21x x X p X 通过一干扰信道，接收符号为Y={y 1,y 2}，信道传递矩阵为⎥⎦⎤⎢⎣⎡43416165 求：(1) 信源 X 中事件 x 1 和 x 2 分别含有的自信息量。
(完整版)信息论与编码试题集
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
（×）4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×）5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
（×）6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。
信息论与编码试卷及答案
一、（11'）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 .（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码. （7）已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C(大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小. （9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25％是大学生,在女大学生中有75％是身高1.6米以上的,而女孩中身高1。
6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0。
25 p(B）=0.5 p(B｜A）=0.75 （2分)故 p（A｜B)=p（AB)/p(B)=p(A)p（B|A）/p(B)=0。
75＊0。
25/0。
5=0。
375 （2分）I（A|B)=—log0.375=1。
42bit （1分)四、（5'）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X）+H(Y)—H（XY)证明:（2分）同理（1分）则因为（1分）故即(1分）五、（18’）。
黑白气象传真图的消息只有黑色和白色两种,求:1）黑色出现的概率为0。
信息论与编码期末考试题1
（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ）6. 连续信源和离散信源的熵都具有非负性. （ ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0. （ ） 10.必然事件和不可能事件的自信息量都是0. （ ） 二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是 ；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是 、 、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的 条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = .三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）计算接收端的平均不确定度()H Y ；（2） 计算由于噪声产生的不确定度(|)H Y X ； （3） 计算信道容量以与最佳入口分布.（二）一、填空题1、信源编码的主要目的是 ，信道编码的主要目的是 。
信息论与编码试卷及答案
一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
一、概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
信息论与编码期末考试题(全套)
三、本题共4小题，满分50分.
1、某信源发送端有2种符号 , ；接收端有3种符号 ，转移概率矩阵为 .
（1）计算接收端的平均不确定度 ；
（2）计算由于噪声产生的不确定度 ；
（3）计算信道容量以及最佳入口分布.
2、一阶马尔可夫信源的状态转移图如右图所示，信源 的符号集为 .
二、填空题共6小题，满分20分.
1、码的检、纠错能力取决于.
2、信源编码的目的是；信道编码的目的是.
3、把信息组原封不动地搬到码字前 位的 码就叫做.
4、香农信息论中的三大极限定理是、、.
5、设信道的输入与输出随机序列分别为 和 ，则 成立的
条件.
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.
七、信道编码（21分）
现有生成矩阵
1.求对应的系统校验矩阵Hs。（2分）
2求该码字集合的最小码字距离d、最大检错能力 、最大纠错能力tmax。（3分）
2.填写下面的es表（8分）
e
s
0000000
0000001
0000010
0000100
0001000
0010000
0100000
1000000
4.现有接收序列为 ，求纠错译码输出 。（4分）
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为 bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。
18、离散平稳有记忆信源的极限熵，。
19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子，试求：(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；(5)“两个点数中至少有一个是1”的自信息量。
解：bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间：(3)信源空间：bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴＋＋ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格。
（1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。
解：bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。
信息论与编码试题集与答案(新)
一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码试卷及答案（DOC）
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，设有一离散无记忆平稳信道，其信道容量为其信道容量为C ，只要待传送的信息传输率R__小于___C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，足够大，使译码错误概率任意小。
使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5¢）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设解：设A A 表示“大学生”这一事件，表示“大学生”这一事件，B B 表示“身高表示“身高1.601.601.60以上”这一事件，则以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （（2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （（2分） I(A|B)=-log0.375=1.42bit I(A|B)=-log0.375=1.42bit （（1分）四、（5¢）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：(())()()(())()()()()()()YX H X H y x p y x p x p y x p x p y x p y x p Y X I X X Yji jiY ijiX Y ij i ji-=úûùêëé---==åååååålog log log; （（2分）分）同理同理()()()X Y H Y H Y X I -=; （（1分）分） 则()()()Y X I Y H X Y H ;-=因为因为()()()X Y H X H XY H += （（1分）分） 故()()()()Y X I Y H X H XY H ;-+= 即()()()()XY H Y H X H Y X I -+=; （（1分）分）五、（18’）.黑白气象传真图的消息只有黑色和白色两种，求：黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。
信息论与编码理论(最全试题集+带答案+各种题型)
答：抗干扰能力强，中继时可再生，可消除噪声累计；差错可控制，可改善通信质量；便于加密和使用DSP处理技术；可综合传输各种信息，传送模拟系统时，只要在发送端增加莫属转换器，在接收端增加数模转换器即可。
7.简述信息的性质。
答：存在普遍性；有序性；相对性；可度量性；可扩充性；可存储、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性；
A.形式、含义和安全性
B.形式、载体和安全性
C.形式、含义和效用
D.内容、载体和可靠性
20.（D）是香农信息论最基本最重要的概念
A.信源B.信息C.消息D.熵
三．简答（
1.通信系统模型如下：
2.信息和消息的概念有何区别？
答：消息有两个特点：一是能被通信双方所理解，二是能够互相传递。相对于消息而言，信息是指包含在消息中的对通信者有意义的那部分内容，所以消息是信息的载体，消息中可能包含信息。
31．简单通信系统的模型包含的四部分分别为信源、有扰信道、信宿、干扰源。
32． 的后验概率与先念概率的比值的对数为 对 的互信息量。
33．在信息论中，互信息量等于自信息量减去条件自信息量。
34．当X和Y相互独立时，互信息为0。
35．信源各个离散消息的自信息量的数学期望为信源的平均信息量，也称信息熵。
第一章
一、填空（
1．1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2．按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
3．按照信息的地位，可以把信息分成客观信息和主观信息。
4．人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（ ）2. 线性码一定包含全零码。
（ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
（×）4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。
（×）5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。
（×）6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。
（ ）7. 循环码的码集中的任何一个码字的循环移位仍是码字。
（ ）8. 信道容量是信道中能够传输的最小信息量。
（×）9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。
（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。
（ ）三、计算题某系统（7，4）码)()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：231013210210c m m m c m m m c m m m=++⎧⎪=++⎨⎪=++⎩ （1）求对应的生成矩阵和校验矩阵； （2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式； （4）若接收码字R =1110011，求发码。
解：1. 1000110010001100101110001101G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦101110011100100111001H ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦2. d min =33.S E 000 0000000 001 0000001 010 ******* 100 0000100 101 0001000 111 0010000 0110100000110 10000004. RH T =[001] 接收出错E =0000001 R+E=C = 1110010 (发码)四、计算题已知(),X Y 的联合概率(),p x y 为： 求()H X ，()H Y ，(),H X Y ，();I X Y解: (0)2/3p x == (1)1/3p x ==(0)1/3p y == (1)2/3p y ==()()(1/3,2/3)H X H Y H === bit/symbol (),(1/3,1/3,1/3)H X Y H == bit/symbol ();()()(,)I X Y H X H Y H X Y =+-= bit/symbol五、计算题一阶齐次马尔可夫信源消息集},,{321a a a X ∈，状态集},,{321S S S S ∈，且令3,2,1,==i a S i i ，条件转移概率为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=03132313131214141)/(i j S a P ，(1)画出该马氏链的状态转移图； (2)计算信源的极限熵。
解：(1)01X Y011/31/301/3（2）⎪⎪⎩⎪⎪⎨⎧=++=+=++=++1321323112123312311411332231141w w w w w w w w w w w w w w →⎪⎩⎪⎨⎧===3.03.04.0321w w wH(X|S 1) =H (1/4,1/4,1/2)=比特/符号H(X|S 2)=H (1/3,1/3,1/3)=比特/符号H(X|S 3)=H (2/3,1/3)= 比特/符号()3|0.4 1.50.3 1.5850.30.918 1.3511Hw H X S i ii ==⨯+⨯+⨯=∑∞=比特/符号六、计算题若有一信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.08.021x x P X ，每秒钟发出个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输 （假设信道是无噪无损的，容量为1bit/二元符号）， 而信道每秒钟只传递2个二元符号。
（1） 试问信源不通过编码（即x 10,x 21在信道中传输） （2） 能否直接与信道连接（3） 若通过适当编码能否在此信道中进行无失真传输 （4） 试构造一种哈夫曼编码(两个符号一起编码)， （5） 使该信源可以在此信道中无失真传输。
解：1.不能，此时信源符号通过0，1在信道中传输，二元符号/s>2二元符号/s 2. 从信息率进行比较， *(0.8,0.2)H = < 1*2可以进行无失真传输x 1x 1x 1x 2x 2x 1x 2x 20.64 0.16 0.16 10111001010.64 0.2 0.1601010.36013.410.640.16*20.2*3i i i K p K ===++=∑ 二元符号/2个信源符号此时 2*=二元符号/s < 2二元符号/s七、计算题两个BSC 信道的级联如右图所示： （1）写出信道转移矩阵； （2）求这个信道的信道容量。
解： （1）22122211(1)2(1)112(1)(1)P PP εεεεεεεεεεεεεεεε--⎡⎤-+-⎡⎤⎡⎤===⎢⎥⎢⎥⎢⎥----+⎣⎦⎣⎦⎣⎦（2）22log 2((1))C H εε=--+信息理论与编码试卷Ａ答案中南大学考试试卷200 -- 2010 学年 上学期期末考试试题 时间100分钟信息论基础 课程 32 学时 学分 考试形式： 闭 卷专业年级： 通信07级 总分100分，占总评成绩70%注：此页不作答题纸，请将答案写在答题纸上一填空题（本题20分，每小题2分）1 无失真信源编码的中心任务是编码后的信息率压缩接近到 1 限失真压缩中心任务1是在给定的失真度条件下，信息率压缩接近到 2 。
2信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为 3 ；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用熵对信源的 4 的度量，同时也是衡量 5 大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，把这两个不确定量差值用 6 来表示，它表现了通信信道流通的7 ,若把它取最大值，就是通信线路的8 ，若把它取最小值，就是9 。
3 若分组码H阵列列线性无关数为n,则纠错码的最小距离d min为10 。
二简答题（本题20分，每小题4分）1. 根据信息理论当前无失真压宿在压宿空间和速度两个方向还有研究价值吗2. 我们知道，“猫”(调制解调器的俗称)是在模拟链路上传输数字数据的设备，它可以在一个音频电话线上传输二进制数据，并且没有太高的错误率。
现在，我们上网用的“猫”的速度已可达到56Kbps了，但是，如果你用网络蚂蚁或其它软件从网上下载东西时，你会发现很多时候网络传输的速度都很低，远低于56Kbps（通常音频电话连接支持的频率范围为300Hz到3300Hz，而一般链路典型的信噪比是30dB）（摘自中新网）3.结合信息论课程针对”信息”研究对象,说明怎样研究一个对象.4. 用纠错编码基本原理分析由下列两种生成矩阵形成线性分组码的优劣（1）（2）5. 新华社电,2008年5月16日下午6时半，离汶川地震发生整整100个小时。
虚弱得已近昏迷的刘德云被救援官兵抬出来时，看到了自己的女儿。
随即，他的目光指向自己的左手腕。
女儿扑上去，发现父亲左手腕上歪歪扭扭写着一句话：“我欠王老大3000元。
”请列出上面这段话中信号、消息、信息。
三 计算编码题（本题60分）1. 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为%。
（10分）（1） 若问一位女士：“你是否是色盲”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量从计算的结果得出一个什么结论（2） 如果问一位女士，问她回答（是或否）前平均不确定性和回答（是或否）后得到的信息量各为多少2．黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。
设黑色出现的概率为P(黑) = ，白色出现的概率为P(白) = 。
（10分）(1) 假设图上黑白消息出现前后没有关联，求信源的H ∞熵；(2) 假设消息只前后有关联，其依赖关系为P(白/白) = ，P(黑/白) = ，P(白/黑) = ，P(黑/黑) = ，求信源的H ∞熵;（3) 比较上面两个H ∞的大小，并说明其物理含义。
3． 离散无记忆信源 P(x1)=8/16； P(x2)= 3/16； P(x3)= 4/16； P(x4)=1/16；（10分）(1) 计算对信源的逐个符号进行二元定长编码码长和编码效率； (2) 对信源编二进制哈夫曼码，并计算平均码长和编码效率。
(3) 你对哈夫曼码实现新信源为等概的理解。
4．设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132若P(0) = 3/4, P(1) = 1/4，求该信道的信道容量及其达到信道容量时的输入概率分布；并说明物理含义。