北京邮电大学信息论期末试卷

合集下载

《信息论》期末考试试题(A 卷) 标准答案

①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ；解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
从零均值的高斯分布，且相互独立，方差分别为 σ12
和σ22
，且 σ12
>
σ
2 2
，信道输
入均值为零, E x12 + x22 ≤ P ；
(1) 当达到信道容量时， E[x12 ] = 0 ；
(3+3=6 分)
①确定σ12 ，σ 22 和 P 的关系；
②写出信道容量表达式；
(2) 当达到信道容量时， E[x22 ] > 0 ；
平均译码错误率： pE1 = ω / 2 + ω / 2 = ω 。 (2) 信道的概率转移矩阵为：
0 21
P2
=
01− 1 0
p
p 0 p 1− p
(2+2=4 分)
判决函数：
G( y = 0) = 0,G( y = 1) = 1,G( y = 2) = 0 或
G( y = 0) = 0,G( y = 1) = 1, G( y = 2) = 1，平均译码错误率： pE2 = p / 2 。 (3) 串联信道的概率转移矩阵为：

北邮信息论期末考试试题标准答案

l 如果对数的底不定，可以不写单位。
9
8
C = C1 = log2 (5 / 3) 比特/自由度（共 4 分,步骤酌情给分）
信道输入概率分布为
p(x) =
1
− x2
e 18
3 2π
（2 分）
信道输入的熵为
h( X ) =
1 log(2π e ×9) = 2
1 2
log
2
(18π
e)
比特/自由度
（2 分）
注：
l 对数可以化到最简，不必算出结果；
北京邮电大学 2008——2009 学年第一学期
《信息论》期末考试试题（B 卷）标准答案
姓名
班级
学号
分数
注：所有答案均写在答题纸上，试卷和答题纸一起上交。
一、判断题（正确打√，错误打×）（共 10 分，每小题 1 分）
（1）差熵为零的连续信源的输出平均不确定性为零；（2）在通过一一对应的变换后，连续信源的差熵一定会变化；
=
∫
p( x)[ 1 2
log(2π
e
×
9)]dx
=
1 2
log2 (18π
e)
比特/自由度
(4 分)
（3）
I ( X ;Y ) = h(Y ) − h(Y | X )
C = max h(Y ) − h(Y | X )
Y 为高斯分布时达到容量
C = 1 log(2π e× 25) − 1 log(2π e ×9)
ML 准则确定译码函数，并求信息传输速率和平均译码错误率；
（2+2+2 分）
（4）如果利用 n 长重复码传送 0、1 符号，求信息传输速率和平均译码错

《信息论》期末考试试题( 卷)标准答案

。
4) R(D)是满足 D 准则下平均传送每信源符号的所需的最少比特数，它是定义域上的严格递减函数。
5) AWGN 信道下实现可靠通信的信噪比下界为－1.59dB，此时对应的频谱利用率为 0。
6）若某离散无记忆信源有 N 个符号，并且每个符号等概出现，对这个信源进行二元 Huffman 编码，当 N = 2i （i 是正整数）时，每个码字的长度是 i ，平均码长是 i 。
2 1) 求此马氏源的平稳分布；（4 分） 2) 求此马氏源的熵；（3 分） 3）求平稳马氏源的二次扩展源的所有符号概率；（3 分） 4）对此二次扩展源进行二元 Huffman 编码并求编码后平均码长和编码效率。 (3+2 分)
解：
1) 此马氏源的平稳分布： (π1
π2
π3
) =(1 3
1 3
1 3
)
3 × 1 × (− 1 log 1 − 1 log 1 − 1 log 1) = 1.5比特/信源符号 2) 此马氏源的熵： 3 2 2 4 4 4 4
3）平稳马氏源的二次扩展源的所有符号及概率为： p(x1x2 ) = p(x1 ) p(x2 x1)
1 00: 6
1 11: 6
1 22: 6
编码效率为： l 19
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
1) 求该信道的信道容量；（2 分）
2) 当传输速率达到容量时，确定 M 与 n 的关系。（2 分）

北邮信息论201209级期末考题

1/8 1/8 6 0 0.25 8 1 0
1/10 1/10
0
0 0 1 0 1 1 0.2 0.2 0 0.4 1 0.6 1.0
1
1/10
2
1/10 1/10
3 5
0 0 1 0.2 1 0 1 1 0.15 0.35
1/10 1/10
7 9
1/20
4
(6 分)
采用最佳策略的判平均每次提问的次数为 Huffman 编码的平均码长为 0.25+0.2+0.2+0.2+0.15+0.4+0.35+0.6+1=3.35，所以平均最少需要问 3.35 个问题才能知道车主的车尾号。(4 分)
C2 {1, 010, 011, 000}, C3 {0, 01, 001, 000}, C4 {1, 00, 010, 010} ，其中属于唯一可译码，属于最优码。
属于非奇异码，
1
答案：（ C1 , C2 , C3 ， C1 , C2 ， C1 ）（3）某信源输出符号集为{A、B、C、D、E}，每一个符号独立出现，出现概率分别为 1/8、 1/8、 1/8、 1/2、 1/8，该信源熵为此时，信息传输速率为比特/符号。如果编码以后符号的码元宽度为 0.5μs， bps。将这些数据通过一个带宽为 B=2MHz 的加性高斯白
pa1
pa2
pa3
1 pa pa3 pa4 1 / 2 1 2 pa2 1 / 2
(4分)
六、计算题（15 分）
有三个箱子，第一个箱子中有 3 个黑球 1 个白球，第二个箱子中有 2 个黑球 3 个白球，第三个箱子中有 3 个黑球 2 个白球。现随机取出一个箱子，再从这个箱子中任取一球。 1）如果取出的是白球，求这一结果与事件“取出的球是第一个箱子”之间的互信息。（4 分） 2）利用最佳判决准则确定取出白球和黑球的箱子分别会是哪一只？ 3）如果重复做取球实验并对所取箱子的序号进行最佳判决，求平均错误率。 4）如果球总是从第一个箱子中取出，求利用最佳判决准则的错误率。解：设 x=1,2,3 分别表示事件“取出的球是第 x 个箱子”， y=0 表示“取出的球为白球”，y=1 表示“取出的球为黑球”，则 p(xy) X 1 2 3 0 1/12 1/5 2/15 P(y=0)=5/12 Y 1 1/4 2/15 1/5 P(y=1)=7/12 （4 分）（3 分）（4 分）

北京邮电大学2016—2017学年第一学期《信息论》期末考试试题及答案

北京邮电大学2016—2017学年第一学期《信息论》期末考试试题及答案一、判断题（10分）1、事件的自信息是其概率的单调递减函数。

（√） 2、连续信源和离散信源的平均互信息都具有非负性。

（√）3、对于遍历的有限状态马氏链，如果初始状态概率分布不是平稳分布，当转移步数足够大时，状态概率分布一定趋于平稳分布。

（√） 4、离散信道的容量是关于输入符号概率分布的上凸函数。

（×） 5、码长满足Kraft 不等式的码一定是异前置码。

（×）6、平均功率受限的随机变量，当均匀分布时有最大的熵。

（×） 7、随着信源序列长度的增加，非典型序列出现的概率趋近于零。

（√）8、对于任意的二元对称信道，最小汉明距离准则等价于最大似然准则。

（×） 9、对任意的加性噪声信道，当信源是高斯分布时达到信道容量。

（×） 10、如果信息传输速率小于信道容量，信息传输差错任意小。

（×）二、填空题（20分）1. 已知某离散无记忆信源X 的数学模型为312413161414a a a a X P ⎛⎫⎛⎫= ⎪ ⎪⎝⎭⎝⎭，则其三次扩展源的熵()3H X = 。

（5.877比特/扩展符号）2. 已知X 是均值为0、方差为1的高斯信源，Z 是均值为0、方差为2的高斯信源，X, Z 独立且Y =3X +2Z ，则h (Y )= , h (YZ )= 。

（1log(34)2e π，221log(72)2e π）3. 某信源S 共有32个信源符号，其实际的熵值为4.1=∞H 比特/信源符号，则该信源的剩余度为________。

（72.032log 4.112=-）4. 在一个离散时间平稳无记忆加性高斯噪声信道中进行信息传输，信道输入X 的方差为2x σ，零均值噪声方差为2z σ，进行可靠传输的速率上限是________。

（221log(1)2xzσσ+）5. AWGN信道下实现可靠通信的信噪比下界为-1.59 dB，此时对应的系统带宽为。

（北邮）通信原理期末复习题及部分答案

1. 调制信道对信号的干扰分为乘性干扰和加性干扰两种。

2. 根据乘性干扰对信道的影响，可把调制信道分为恒参信道和随参信道两大类。

3. 随参信道中的多经传播对信号传输的影响有：产生瑞利型衰落、引起频率弥散、造成频率选择性衰落。

4. 常见的随机噪声可分为单频噪声、脉冲噪声和起伏噪声三类。

5. 数字基带信号()t S的功率谱密度()ωS P 可能包括两部分即连续谱和离散谱。

6. 二进制数字调制系统有三种基本信号，分别为振幅键控、频率键控和相位键控。

7. 模拟信号是利用抽样、量化和编码来实现其数字传输的。

8. 模拟信号数字传输系统的主要功能模块是模数转换器、数字传输系统和数模转换器。

9.在数字通信中，同步分为载波同步、位同步、群同步和网同步。

10. 通信系统按调制方式可分连续波调制系统和脉冲调制系统；按信号特征可分为模拟通信系统和数字通信系统。

11. 若系统功率传输函数为()ωH ，则系统输出功率谱密度()()ωξO P 与输入功率谱密度()()ωξI P关系为()()ωξOP ＝ ()()ωξIP ｜H （W ）｜212. 随参信道的传输媒质的三个特点分别为对信号的耗衰随时间而变、传输的时延随时间而变、多径传播。

13. 二进制振幅键控信号的产生方法有两种，分别为模拟幅度调制法和键控法。

14. 衡量通信系统的质量指标主要有有效性和可靠性，具体对数字通信系统而言，前者常用码率来衡量，后者常用误码率来衡量。

15. 在数字通信中，产生误码的因素有两个：一是由传输特性不良引起的码间串扰，二是传输中叠加的加性噪声。

16. 根据香农公式，理想解调器的输入信噪比i i N S 和带宽c B 与输出信噪比o o N S 和带宽s B 之间满足c B lb(1+ i i N S ) = s B lb(1+ o o N S ) 。

北京邮电大学-2002-2003学-年第一学期期末试卷附答案

一. 填空北京邮电大学2002-2003学年第一学期期末试卷1.一离散信源输出二进制符号，在条件下，每个二进制符号携带1 比特信息量；在条件下，每个二进制符号携带的信息量小于1 比特。

2.若要使确定信号不失真地通过线性系统，则此系统要满足条件。

3.可用和统计特性来描述宽带白噪。

4.在实际的黑白广播电视传送系统中，图像信号的调制采用调制方式，伴音的调制采用调制方式。

5.设数字基带传输系统是频带为1KHz 的32 进制PAM 系统，则此系统无码间干扰传输的最高码元速率为波特，此时的系统最高频带利用率为bit/s/Hz。

6.在数字通信系统中，当信道特性不理想时，采用均衡器的目的是。

7.产生已抽样信号频谱混叠的原因是，若要求从已抽样信号ms(t )中正确恢复模拟基带信号m (t )，则其抽样速率f s 应满足条件。

8.在数字通信系统中，采用差错控制编码的目的是。

9.在限带数字通信系统中，系统的传递函数应符合升余弦滤波特性的目的是。

二. 一个由字母ABCD组成的字，对于传输的每个字母用两个二进制符号编码，以00 表示A，01 表示B，10 表示C，11 表示D，二进制比特间隔为0.5ms；若每个字母出现概率分别为：P A = 1/ 8, P B = 1/ 4, P C = 1/ 4, P D = 1/ 8 ，试计算每秒传输的平均信息量。

三. 下图中的X (t )是均值为零的平稳遍历随机过程，已知其自相关函数是R X (τ)。

(1)求X (t )、Y (t )的平均功率P及P Y ；(2)写出X (t )、Y (t )的双边功率谱密度P X (f )及P Y(f )的计算公式；X(3)若X (t )是白高斯噪声通过理想低通滤波器（限带于f m ）后的随机过程，证明以奈奎斯特速率对X (t )采样得到的样值是两两独立的。

四．立体声调频发送端方框图如下所示，其中XL(t )和XR(t )分别表示来自左边和右边传声器发送来的电信号。

信息论与编码期末试卷

6:若某信道的信道矩阵为，则该信道为具有____归并____性能的信道
7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________
8：若某二元序列是一阶马尔科夫链，P(0/0)=，P(1/1)=，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________.
9:若循环码的生成多项式为，则接收向量为（1111011）的伴随多项式为_______________
10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码.
11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集.
12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位.
13：（7,4）汉明码的一致校验矩阵为，则为__________.
二；计算分析题（共60分）
1：（本题满分18分）某离散无记忆信道的信源分布为p(0)=,p(1)=,传送时0错成1的概率为, 0错成2的概率为， 1错成0的概率为， 1错成2的概率为，其余则正确传送。
信息论与编码期末试卷(共3页)
课程名:信息论与编码课程号:07276033学分:4
一：填空题(每空2分，共40分)
1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位）
2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________.

信息论与编码期末考试题1

（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （） 9. 率失真函数的最小值是0. （） 10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = .三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以与最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。

信息论考试卷及答案解析

考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。

A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。

问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。

信息论与编码期末考试题----学生复习用

《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22212x f x eσπσ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

三、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分）（5）计算编码效率η。

（2分）（1）010101111.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为：1234560001100101110111S S S S S S ====== （2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号（4）() 2.53bit0.9732.6H S R L ===码元其中，()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号（5）()()0.973log H S H S L rLη===四、某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。

《信息论》期末考试试题(A 卷)标准答案

北京邮电大学2006——2007学年第一学期《信息论》期末考试试题（A 卷）标准答案姓名班级学号分数一、判断题（正确打√，错误打×）（共10分，每小题1分）1）异前置码是即时码；（√） 2）最大似然准则等价于最小汉明距离准则；（×） 3）离散信源记忆的长度越大，信源的符号熵越小；（√） 4）一维高斯信源的熵只与其均值和方差有关；（×） 5）为达到并联加性高斯噪声信道容量，在信道输入总功率给定条件下应给噪声方差大的子信道分配更多的功率；（×） 6）只要信息传输速率小于信道容量，总可以找到一种编码方式使得当编码序列足够长时传输差错率任意小；（√） 7）离散无记忆信源的N 次扩展源的熵是原信源熵的N 倍；（√） 8）仙农的AWGN 信道容量公式是在信道输入的平均功率和幅度受限条件下推导出来的；（×） 9)当马氏源的初始状态s 和输出nx x x ,,,10 给定后，那么状态1,21,,+n s s s 就能唯一确定；（√） 10)当平均失真大于其上限D max 时，率失真函数R （D ）= 0 。

（√）二、填空题（共20分，每空2分）1) 设信源的熵为0.8比特/符号，对信源序列进行单符号编码，码序列为0、1二元序列，如果编码效率为100%，那么每信源符号平均码长为 0.8 ，码序列中“0 ”符号出现的概率为 1/2 ，信息传输速率为 1 比特/码符号。

2) 一阶平稳马氏源的符号转移概率为2.0)0|0(12|=X X p ，6.0)1|1(12|=X X p ，那么符号的平稳分布为=)0(X p 1/3 ，=)1(X p 2/3 ；信源的符号熵为 0.8879 比特/符号。

3）一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为log2(b-a)。

4）在输入平均功率相同的情况下, 高斯分布使加性噪声信道容量最小。

5) 二元等概信源的熵为 1 比特/符号,当信源输出序列长度L足够长时，典型序列的个数约等于2L。

信息论与编码期末试卷

信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一．选择题（每小题3分，共15分）1）设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX，则此信源的熵为：比特/符号A） 1.25 B） 1.5 C） 1.75 D） 22）对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 33）对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ，其中熵最小A） X B） Y C） Z D）无法计算4）信源编码的变长编码中，下面说法不正确的是A）无失真r进制变长码平均码长不得低于信源r进制符号熵B）变长编码时，随着信源序列长度的增大，编码效率会提高C）变长码要求各个码字的长度各不相同D）变长编码的编码效率通常高于定长码5）以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一参考答案一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）解：1）二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223）极限熵∞H 为稳态时各个状态熵的数学期望三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）解：由第一个信道的转移矩阵，以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到：()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时：β四．信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分）解：编码过程如下： 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五．设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）解：根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分）解：1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。

信息论试卷(期末)(B2卷)

一、填空题（共25分，每空1分）1、连续信源的绝对熵为无穷大。

（或()()lg lim lg p x p x dx +∞-∞∆→∞--∆⎰）2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。

3、无记忆信源是指信源先后发生的符号彼此统计独立。

4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。

根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。

5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。

6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。

7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1xN 或22x -)时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或1lg 22e π)。

8、即时码是指任一码字都不是其它码字的前缀。

9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r)，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。

10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。

11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。

12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m个不同的状态。

13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。

14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<”H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)二、(5分)已知信源的概率密度函数为()10a x b p x b a ⎧≤≤⎪=-⎨⎪⎩其他，计算信源的相对熵。

《信息论》期末考试试题(A 卷) 标准答案

①确定
σ12
，
σ
2 2
和
P
的关系；
②写出信道容量表达式；
(3+3+3=9 分)
③写出达到容量时信道的输入概率密度 p(x1, x2 ) ；解：
(1) E[x12 ] = 0 ，则
(3+3=6 分)
①
σ
2 1
≥
σ
2 2
+
P
，
②
C
=
1 2
log(1 +
P σ 22
)
，
(2) E[x22 ] > 0 ，则
P−
σ
2 1
−σ22
2σ
2 1
+
1 2
log
1
+
P
+
σ
2 1
−
σ
2 2
2σ
2 2
，
③
p(x1, x2 ) = 2π
[P
−
(σ12
1
−
σ
2 2
)][
P
+
(σ12
−
σ
2 2
)]
exp[−( P
−
x12
(σ
2 1
−
σ
2 2
)
+
P
+
x22
(σ
2 1
−
σ
2 2
)
)]
5
七、计算题(15 分)
一个 16 个符号离散等概率信源，符号集为{ai, i = 1,L,16} 。先将信源进行压
此信道上最高可实现的信息传输速率是
1.5×106bps ，此时的频谱

《信息论》试题（精华）及答案（精华版）

期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率一，某地区的人群中就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事的发生 ,故其概率为依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。

北京邮电大学试卷-2010-2011学年研究生信息论期末考试

2011研究生信息论期末考试试题一．判断题（10分）1.互信息是非负的2.在信息处理过程中熵不会增加3.相同功率的噪声中，高斯噪声使信道容量最小4.最小汉明距离准则与最大似然准则是等价的5.为有效抵抗假性高斯噪声干扰，信道输入应该是高斯分布6.离散无记忆信道达到信道容量时，信道输出应该是高斯分布7.离散信源记忆的长度越大，信源的符号熵越小8.一维高斯信源的熵只与其均值和方差有关9.在通过一一对应的变换后，连续信源的熵一定会变化10.信源的条件熵不大于其无条件熵二．简述题1. 简述香农无失真编码定理2. 噪声双边功率谱为N ，带宽为W ，信号功率为P（1）写出香农公式确定的信道容量。

（2）若W 趋向无穷大时，求信道容量。

三．计算题1.（习题集37页例3.2）某信源符号集为{1，2，3，4，5}，各符号之间的转移关系可用右图的连通图描述。

其中，每个状态到其连通的状态的转移概率都相等。

（1）该信源是几阶马氏链？（2）写出状态转移概率矩阵。

（3）求信源的稳态分布。

（4）求信源的符号熵H ∞。

（5）求信源剩余度γ.（6）求平稳信源序列中相邻两个符号间的平均互信息量I(X n+1;X n ); 2.（习题集118页习题6.13）一离散无记忆信道如图所示。

（1）写出该信道的转移概率矩阵。

（2）该信道是否为对称信道？（3）求该信道的信道容量。

（4）求达到信道容量时的输出概率分布。

3.（习题集153页例8.1）一个离散时间无记忆加性噪声信道的输入X 限制在[-2，2]；独立于X 的噪声X 在（-1，1）区间内均匀分布，熵为h(Z);信道输出Y 的熵为h(Y).（1）写出信道输入与输出平均互信息量I(X;Y)的表达式。

（2）求信道容量和达到信道容量时的输出概率分布。

（3）求达到容量时的输入概率分布。

4.（习题集162页习题8.9）由4个子信道构成的并联高斯信道的各子信道的噪声方差分别为1，2，4，8，对总输入能量的限制为E ，分别求下面两种情况的最佳能量分配和每自由度的信道容量：（1）E=6；（2）E=18. 1 2 3 4 5 0 1 2 2 1 0 1/2 1/41/41 1/4 1/4 1/2。

《信息论》期末考试B卷答案

第1 页共5 页北方民族大学试卷课程代码： 01100622 课程：信息理论及编码 B 卷答案说明:此卷为《信息理论及编码》B 卷答案一、概念简答题（每小题6分，共30分)1、比较平均自信息（信源熵）与平均互信息的异同。

答：平均自信息为 ()()()1log qiii H X P a P a ==-∑，表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

………………………………………(3分)平均互信息()()()(),;log X YyP x I X Y P xy P y =∑。

表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。

………………………………………(3分)2、简述香农第一定理.答：对于离散信源S 进行r 元编码,只要其满足()_log H s NNrL ≥，…………………(3分) 当N 足够长，总可以实现无失真编码。

………………………………………（3分）3、简述唯一可译变长码的判断方法？答:将码C 中所有可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有包含任一码字时,码C 为唯一可译变长码。

构成集合F 的方法：…………………（2分)首先，观察码C 中最短的码字是否是其他码字的前缀。

若是,将其所有可能的尾随后缀排列出。

而这些尾随后缀又可能是某些码字的前缀，再将由这些尾随后缀产生的新的尾随后缀列出。

依此下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止。

…………………(2分）接着，按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出，得到尾随后缀集合F 。

…………………(2分)4、简述最大离散熵定理.第2 页共5 页答:最大离散熵定理为：对于离散无记忆信源，当信源等概率分布时熵最大。

……（3分）对于有m 个符号的离散信源,其最大熵为log m 。

…………………………(3分)5、什么是汉明距离;两个二元序列1230210,0210210i j αβ==，求其汉明距离。