信息071信息论试卷-A
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
《信息论》期末考试试题(A卷)标准答案
（1） 每幅画面所含信息量： H log 2 10 信息传输速率：
9.97 105 bit
(2 分)
R 30 H 30 log 2 10300000 29.90 Mbps
（2） AWGN 信道容量：
(1 分)
C W log 2 (1 SNR) 6 106 log 2 (1 1000) 59.80 Mbps
(2+1 分) (3 分)
（3）求为实现电视信号可靠传输信道所需的最小带宽和对应的信号平均功率； (3+2 分) （4）求信息传输速率达到容量时的频谱利用率和对应的 Eb / N 0 (dB ) 。 解 信噪比换算： SNR 10
SNR[ dB ]/10
(3+2 分)
1030/10 1000
的符号熵为 (2/5)H(1/2,1/4,1/4)+ (3/5)H(1/3)=1.151 比特/符号。 4．设试验信道输入与输出符号集均为 {1, 2,3, 4} ，输入概率分别为 1/2，1/4，1/8，1/8，失 真测度为 d(i, j)= (i - j)2 ,1 i, j 4 ； 则 Dmin 0 ， Dmax 9/8=1.125 。
3 次扩展信源符号 000 001 010 100 011 101 110 111 平均码长 概 率 0.729 0.081 0.081 0.081 0.009 0.009 0.009 0.001 编 0 100 101 110 11100 11101 11110 11111 0.5327 码
(5 分)
个二元一一对应信道传输，且每秒只传送两个符号； (1) 若要求信息无失真传输，信源能否不进行编码而直接与信道相接？ (3 分) (2) 能否采用适当的编码方式然后通过信道进行无失真传输？为什么？ (2+3 分) (3) 确定一种编码方式并进行编码，使得传输满足不失真要求；同时请说明信源采用这 种编码后， 编码器输出与信道输入之间应设置何种装置？ (10+2 分) 解
信息论考试题
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
(整理)信息论期末考试试题1.doc
安徽大学2011—2012学年第1学期 《信息论》考试试卷（AB 合卷）院/系 年级 专业 姓名 学号一、填空题1、接收端收到y 后，获得关于发送的符号是x 的信息量是 。
2、香农信息的定义 。
3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
4、通信系统模型主要分成五个部分分别为： 。
5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()Px 的 型凸函数。
信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
信道剩余度定义为 。
9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为 。
11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
12、多项式剩余类环[]())q F x f x 是域的充要条件为 。
13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
14、有限域122F 的全部子域为 。
15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
《信息论》期末考试试题( 卷)标准答案
2．（共 10 分）有两枚硬币，第一枚是正常的硬币，它的一面是国徽，另一面是 面值；第二枚是不正常的硬币，它的两面都是面值。现随机地抽取一枚硬币，进 行 2 次抛掷试验，观察硬币朝上的一面，其结果为：面值、面值。
1）求该试验结果与事件“取出的是第一枚硬币”之间的互信息；（4 分）
=
E( XS + αS 2 ) σ SσU
=
αQ σ SσU
I (U ; S) = H (U ) + H (S ) − H (US )
=
1 2
log
2πe σ
2 U
+
1 2
log
2πeσ
2 S
+
log 2πeσUσ S
1− ρ2
=
1 2
log
σ
σ σ2 2
SU
σ2 2
US
− (αQ)
2
=
1 log P + α 2Q
2 1 d = 1 0 7）若失真矩阵为 3 1 ，输入等概，则 Dmin = 2/3 ， Dmax = 2/3 。
三、简答题（6 分）
1．仙农第二定理指出了“高效率、高可靠性”的信道编码存在性，
1）“高效率”的含义是什么？
（1 分）
2）“高可靠性” 的含义是什么？
（1 分）
3）存在这种信道编码的必要条件是什么？
1− ρ2
=
1 log
σ
2 U
σ
2 Y
2
σ
2 U
σ
2 Y
−
(P
+ αQ)2
=
1 log
(P + Q + N )(P + α 2Q)
信息071信息论试卷-A-answer
共5页 第 5 页
3、解（1）状态转移图如图所示 （3 分） （2）该信源的一步状态转移矩阵为
(0)1/2
1 / 2 0 P 1 / 2 0 1/ 2 0 1/ 2 0 0 1/ 2 0 1/ 2 0 1/ 2 0 1 / 2
00 (1)1/2 01 (1)1/2 10 (0)1/2 (1)1/2 11 (1)1/2 (0)1/2 (0)1/2
j 1, 2 , 3
i 1
= min {1 / 2 ,1 / 2 ,1 / 4} 1 / 4
j 1 , 2 , 3
（2 分） （2 分）
（4）R(Dmax)=0 4、解（1）
概率 0.4 0.2 0.2 0.1 0.1 0 1 0.4 0.2 0.2 0.2 0 1 0.4 0.4 0.2 0 1 0.6 0.4 0 1.0 1
南京工程学院评分标准及参考答案
共5页 第 4 页
五、综合题（本题 3 小题,共 25 分）
1 1、解： （1）系统生成矩阵 G 0 0 0 1 0 0 0 1 1 1 0 1 1 1 1 0 1
（2 分）
1 校验矩阵 H 1 1 1 1 0 0 1 1 1 0 0 0 1 0 0 0 1
设稳态分布的概率矢量 W=( W1,W2,W3,W4) 根据 WP=W 和 W i 1 ，求 Wi W1=W2=W3=W4=1/4 （3 分）
（3） H
3
p ( si ) H ( X / si )
i0
H ( X / s 0 ) H ( p (0 / 00), p (1 / 00)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s1 ) H ( p (0 / 01), p (1 / 01)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s 2 ) H ( p (0 / 10), p (1 / 10)) H (1 / 2,1 / 2) 1 bit/符号 H ( X / s 3 ) H ( p (0 / 1 1), p (1 / 1 1)) H (1 / 2,1 / 2 ) 1 bit/符号
安徽大学-信息论期末考试试卷
安徽大学《信息论》考试试卷（A 卷）（闭卷 时间120分钟）院/系 年级 专业 姓名 学号一、填空题（每小题2分，共20分） 1、香农信息的定义 。
2、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。
3、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、 和 ，使信息传输系统达到最优化。
4、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为 。
5、信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。
6、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵5()H X = 。
7、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足： 。
8、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
9、有限域122F 的全部子域为。
10、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。
二、判断题（每小题2分，共10分）1、离散信源的信息熵是信源无失真数据压缩的极限值。
（ ）2、对于有噪无损信道，其输入和输出有确定的一一对应关系。
（ ）3、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。
如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年,美国数学家发表了题为“通信的数学理论”的长篇论文,从而创立了信息论.信息论的基础理论是，它属于狭义信息论。
2、信号是的载体，消息是的载体。
3、某信源有五种符号,先验概率分别为，，，，则符号“a”的自信息量为 bit，此信源的熵为 bit/符号.4、某离散无记忆信源X,其概率空间和重量空间分别为和，则其信源熵和加权熵分别为和.5、信源的剩余度主要来自两个方面，一是，二是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。
8、马尔可夫信源需要满足两个条件：一、 ;二、。
9、若某信道矩阵为,则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是:概率大的信源符号用，概率小的信源符号用 .(填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性,信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为、和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错.15、码字101111101、011111101、100111001之间的最小汉明距离为。
16、对于密码系统安全性的评价，通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、和.20、时间戳根据产生方式的不同分为两类:即和。
二、选择题（每小题1分,共10分）1、下列不属于消息的是（）。
A。
文字 B。
信号 C。
图像 D。
语言2、设有一个无记忆信源发出符号A和B,已知，发出二重符号序列消息的信源，无记忆信源熵为（)。
A。
0.81bit/二重符号B。
1。
62bit/二重符号 C. 0。
信息论 试卷与答案
答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为
。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的 概率分布、信道的传递概率间分别是什么关系？
答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到 的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分 布。
一、概念简答题（每题 5 分，共 40 分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还 表示通信前后整个系统不确定性减少的量。
概念简答题（每题 5 分，共 40 分） 1. 2. 3.答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息 传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的 U 型凸函数。 4. 5 6 7.答：当 R＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8. 二、综合题（每题 10 分，共 60 分）
8.什么是保真度准则？对二元信源 求 a>0 时率失真函数的 和 ？
答：1）保真度准则为：平均失真度不大于允许的失真度。
，其失真矩阵
，
2）因为失真矩阵中每行都有一个 0，所以有 。
二、综合题（每题 10 分，共 60 分） 1.黑白气象传真图的消息只有黑色和白色两种，求：
信息论考试试卷A答案
1、选择题(共10分，每题2分) B D B C B2、（本题10分）一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)= 1/8, p(2)=1/4, p(3)= 1/4。
求此消息的剩余度为多少？试求由无记忆信源产生的60个符号构成的所有消息所含的平均信息量（bit/消息）。
解： H （X ）=H （3/8，1/8，1/4，1/4）（2） =1.9bit/符号（2）05.029.114log )(1≈-≈-=X H γ(3) H （X 60）=60*H （X ）=114bit/消息（3）3、（本题12分）某一离散平稳信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/19/436/11210)(u p U ，并设发出的符号只与前一个符号有关，即可用条件概率P(uj / ui)给出它们的关联程度如下表所示：求此平稳信源的极限熵及信源效率。
H ∞=H(U 2 /U 1)=0.872bit/符号（3）H 0=H （1/3，1/3，1/3）=1.6bit/符号（3） 信源效率：H ∞/H 0=54.5%（3）4、（12分）设信源X 的符号集为{0，1，2}，其概率分布为1014P P==，122P =，每信源符号通过信道传输，输出为Y ，信道转移概率如图所示：求（1）H (Y )； （6分） （2）H (XY )； （2分） （3）I (X;Y )。
（4分） 解：(4)（1）353355888888()(,)log log 0.955 /H Y H ==--=比特符号(2)（2） 11114882()(,,,) 1.75 /H XY H ==比特符号(2)（3） 111442()(,,) 1.5 /H X H ==比特符号(2)(;)()()()1.50.9551.750.705I X Y H X H Y H X Y =+-=+-=比特符号(2)5、（共20分）某离散无记忆信源符号集为{}129,,,a a a ，所对应的概率分别为：0.4，0.2，0.1，0.1，0.07，0.05，0.05，0.02，0.01，码符号集为{0，1，2，3}。
信息论考试卷及答案解析
考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。
A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。
问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为 ，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息论考试卷与答案..
考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。
问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。
信息论试卷Word版
信息论与编码总结试 题:一 填空题（共15 分，每题1 分）1 单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。
2 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
3 对于一阶马尔可夫信源，其状态空间共有m n 个不同的状态。
4 根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道 。
5 对于离散无记忆信道和信源的N 次扩展，其信道容量N C = NC6 信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是 信息传输速率小于信道容量。
7 信源编码的目的是 提高通信的有效性 。
8 对于香农编码、费诺编码和哈夫曼编码，编码方法唯一的是 香农编码 。
9 在多符号的消息序列中，大量重复出现的，只起占时作用的符号称为 冗余位 。
10 若纠错码的最小距离为d m in ,则可以纠错任意小于等于21min -d个差错。
11 线性分组码是同时具有 分组特性和线性特性 的纠错码。
12 平均功率为P 的高斯分布的连续信源，其信源熵为 ()eP X H c π2log 212=13 当连续信源和连续信道都是无记忆时，则)()(∑==Ni i i y x I y x I 1,,14 信源编码与信道编码之间的最大区别是，信源编码需 减少 信源的剩余度，而信道编码需 增加 信源的剩余度。
15 离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性 减弱 。
二 选择题 （共15分，每题3分）1 离散信源熵表示信源输出一个消息所给出的（ B ）。
A 、实际信息量；B 、统计平均信息量；C 、最大信息量；D 、最小信息量； 解：选择B 。
2 ）。
A 、H(X)> H(Y)；B 、H(X)< H(Y)；C 、H(X)= H(Y)；D 、H(Y)=2H(X)；解：选择A 。
241log 41)(4=-=⎰dx X H2ln 21181log 81)(4-=-=⎰ydy y Y H3 平均互信息I(X,Y)等于（ C ）。
信息理论与编码期末试卷A及答案
信息理论与编码期末试卷A 及答案1 / 6一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
信息论期末考试试题 答案
安徽大学2011—2012学年第1学期 《信息论》考试试卷参考答案（AB 合卷）一、 填空题 1、()(;)log()()p xy I x y p x p y =；2、事物运动状态或存在方式的不确定性的描述；3、(|)log(|)(|)p xy z p x z p y z ；4、信源 编码器 信道 译码器 信宿；5、保密性 认证性；6、0.72；7、 ， ；8、(;)C I X Y - ；9、4.6 ； 10、0H ≥1H ≥4H ≥6H ≥∞H ； 11、()()1log log N L H S H S r N r N≤<+； 12、()f x 在q F 上不可约； 13、()g x |1n x -； 14、2F 、22F 、32F 、42F 、62F 、122F ； 15、8，4.二、判断题1、╳2、√3、√4、╳5、╳6、√7、√8、╳9、 ╳三、计算题 1、解：1111()log log 12222H X =--=1()log24H Y =-= 1()log 38H Z =-=当Z Y X ,,为统计独立时：()()()()1236H XYZ H X H Y H Z =++=++=2、解：二次扩展信源为2111213212223313233,,,,,,,,411111111,,,,,,,,9999363693636x x x x x x x x x x x x x x x x x x X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦信源熵：22HX H X =（）（）22112log 2log )3366=-+⨯（=2log3-2/3比特/二符号 3、解：1）信道到矩阵为1/31/61/31/61/61/31/61/3P ⎛⎫= ⎪⎝⎭，故此信道为对称信道1111log 4(,,,)3636C H =-5l o g 33=-（比特/符号）相应的最佳输入概率分布为等概率分布。
（2）信道到矩阵为1/21/31/61/61/21/31/31/61/2P ⎛⎫ ⎪= ⎪ ⎪⎝⎭，故此信道为对称信道111l o g 3(,,)236C H =-12log 323=- （比特/符号） 相应的最佳输入概率分布为等概率分布。
《信息论》试题（精华）及答案（精华版）
期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率 一，某地区的人群中 就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。
【精品】信息论典型试题及答案
【关键字】精品2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
解：(1)(2)(3)两个点数的排列如下：11 12 13 14 15 1621 22 23 24 25 2631 32 33 34 35 3641 42 43 44 45 4651 52 53 54 55 5661 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：(5)2.3 设离散无记忆信源，其发出的信息为(0223210)，求(1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：此消息的信息量是：(2) 此消息中平均每符号携带的信息量是：2.5 设信源，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
解：不满足极值性的原因是。
2.6 每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)2)3)2.7 为了传输一个由字母A、B、C、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以“代表A，“代表B，“代表C，“代表D。
_1112信息论Ajuan[1]
![_1112信息论Ajuan[1]](https://img.taocdn.com/s3/m/4d1f366a69eae009581bec44.png)
第1学期《信息论》考试试卷（A卷）（闭卷时间120分钟）院/系年级专业姓名学号题号一二三四五总分得分得分一、填空题（每小题2分，共20分）1、香农信息的定义。
2、在已知事件z ZI x y z的∈的条件下，接收到y后获得关于事件x的条件互信息(;|)表达式为。
3、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。
=1.4比特/符号，则该信源剩余度4、某信源S共有32个信源符号，其实际熵H∞为。
5、信源固定的情况下，平均互信息(;)I X Y是信道传递概率(|)P y x的型凸函数。
6、已知信源X的熵H(X)=0.92比特/符号,则该信源的五次无记忆扩展信源X5的信息熵5()H X= 。
7、根据香农第一定理，对于离散无记忆信源S，用含r个字母的码符号集对N长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足：。
8、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。
9、有限域122F 的全部子域为 。
10、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足：1010(mod11)ii ia=≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。
《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。
二、判断题（每小题2分，共10分）1、离散信源的信息熵是信源无失真数据压缩的极限值。
（ ）2、对于有噪无损信道，其输入和输出有确定的一一对应关系。
（ ）3、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。
如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
南京工程学院试卷
共 6 页
第 5 页
五、综合题（本题 3 小题,共 25 分）
1 1 1 0 1 0 1、某二进制线性分组码的生成矩阵为 G 1 1 0 0 0 1 ，求 0 1 1 1 0 1
（1）用系统码[ I P ]的形式表示 G ，并写出系统码的校验矩阵 H ； （2）计算该码的最小距离 dmin。 （3）若收码 R=100110，求其对应的伴随式 S 并检验 R 是否为码字。 （4+2+4=10 分）
南京工程学院试卷
共 6 页
第 6 页
2、某二元（3，1，2）卷积码的转移函数矩阵 G(D)=(1,1+D,1+D+D2) （1）分别求出当前时刻、延迟 1 个时刻和 2 个时刻的生成子矩阵 G0, G1 和 G2 （2）画出该卷积码的编码器结构图。 （3+3=6 分）
3、 由符号集{0,1}组成的二阶马尔可夫链， 其转移概率为 p(0|00)= p(0|01)= p(0|10) = p(0|11) = 0.5。 （1）画出该二阶马尔可夫信源的状态转移图； （2）求各状态的平稳分布 Wi； （3）求该信源的极限熵 H 。 (3+3+3=9 分 )
南京工程学院试卷 南京工程学院试卷
共 6 页
共6 页 第 2 页 第 3 页
3、 （ 5 对信源符号 ） 已知收到的符号，求被告知发出的符号得到的信息量 X={a1,a2,a3,a4}进行二元信源编码， 4 个信源符号对应码字的码长分别为 H(X/Y)； K1=1， （6 K ） ，K3=3，K3=3Y ，满足这种码长组合的码一定是唯一可译码。 后，所提供的关于信源 X 的平均互信息量 I(X;Y) （12 分） （ 2=2求收到的符号 ）
R(in)，R(Dmax)。
（8 分）
4、 设有离散无记忆信源 X 共有 5 个符号消息， 其概率分布为 P ( X ) ={0.4， 0.2， 0.2， 0.1， 0.1}。 （1）对这 5 个符号进行二进制哈夫曼编码（给出编码过程） ，写出相应码字，并求出平 均码长和编码效率 （2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。 （7+3=10 分）
班级
6、常用的检纠错方法有____________、反馈重发和混合纠错三种。
二、判断题（对划“√”，错划“×”，本题 5 小题，每小题 2 分，共 10 分）
本题 得分
1、信源 X 的概率分布为 P(X)={1/2, 1/3, 1/6}，信源 Y 的概率分布为 P(Y)={1/3,1/2,1/6}，则 信源 X 和 Y 的熵相等。 2、互信息量 I(X;Y)表示收到 Y 后仍对信源 X 的不确定度。 （ （ ） ）
南京工程学院试卷 A
2009/2010 学年 课程所属部门： 考试方式： 闭卷 通信工程学院 使用班级： 教研室主任审核： 二 三 四 第 1 学期 课程名称： 信息 071 主管领导批准： 五 总分
共6页 第1页
信息论与编码 B
命题人：张亚飞 题号 得分
姓名
一
一、填空题（本题 10 空，每空 2 分，共 20 分 ）
三、名词解释（本题 2 小题,每小题 5 分,共 10 分） 1、平均自信息量
本题 得分
2、信道容量
四、计算题（本题 4 小题,共 35 分）
本题 得分
1、二进制通信系统使用符号 0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事 件。 x0：一个 0 发出；x1：一个 1 发出 y0：一个 0 收到；y1：一个 1 收到 给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2， （1） 求信源的熵 H(X)； （2） 已知发出一个 0，求收到符号后得到的信息量 H(Y/x0)； （3） 已知发出的符号，求收到符号后得到的信息量 H(Y/X)； （4） 已知发出和收到的符号，求能得到的信息量 H(X,Y)；
1 / 3 1 / 3 1 / 6 1 / 6 4、DMC 信道转移概率矩阵为 P ，则此信道在其输入端的信源分布为 1 / 6 1 / 6 1 / 3 1 / 3
P(X)={1/2,1/2}时传输的信息量达到最大值。
（
）
5、设 C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线性 分组码，则该码最多能检测出 3 个随机错。 （ ）
1、信源编码的目的是提高通信的 密编码的目的是保证通信的 。
本题 得分
，信道编码的目的是提高通信的
，加
2、设信源 X 包含 8 个不同离散消息，当且仅当 X 中各个消息出现的概率为_______时，信源
学号
熵达到最大值，为_____________。 3、自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越______。 4 、信源的冗余度来自两个方面，一是信源符号之间的 _________ ，二是信源符号分布的 ___________。 5、在 RSA 密码体制中，用公开密钥（e, n）=（5, 51）将报文 2 加密的结果为________。
南京工程学院试卷
共 6 页
第 4 页
2、设 DMC 信道的传输情况如图所示。 （1）试写出该信道的转移概率矩阵； （2）求该信道的信道容量。 （2+3=5 分）
0 1 1 / 4 3、 Dmax， 设输入信号的概率分布为 P=(1/2,1/2)， 失真矩阵为 d 试求 Dmin， 。 1 0 1 / 4