信息论与编码期末考试题(全套)

合集下载

信息理论与编码-期末试卷A及答案

题号一二三四总分统分人题分 35 10 23 32 100得分一、填空题（每空1分，共35分）得分| |阅卷人|1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是：概率大的信源符号用，概率小的信源符号用。

（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为。

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分） 1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。

17、单密钥体制是指。

18、现代数据加密体制主要分为和两种体制。

19、评价密码体制安全性有不同的途径，包括无条件安全性、和。

信息论与编码期末考试题----学生复习用1

密文c=？请写出具体的步骤。
六、设有离散无记忆信源，其概率分布如下：
对其进行费诺编码，写出编码过程，求出信
源熵、平均码长和编码效率。
七、信道编码现有生成矩阵
1. 求对应的系统校验矩阵Hs。 2求该码字集合的最小码字距离d、最大检错能力、最大纠错能力t max 。
2. 填写下面的es表
e
s
0000000
H(Y/X) 0,I(X;Y) H(X)。
二、若连续信源输出的幅度被限定在【2,6】区域内，当输出
信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
三、已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长;（4分）（3）计算编码信息率;（2分）（4）计算编码后信息传输率;（2分）（5）计算编码效率。（2分）
。
2、一张1024×512像素的16位彩色BMP图像能
包含的最大信息量为
。
3、香农编码中,概率为的信源符号xi对应的码
字Ci的长度Ki应满足不等式
。
3、设有一个信道，其信道矩阵为，则它是
信道（填对称，准对称），其信道容量是
比特/信道符号。
三、，通过一个干扰信道，接受符号集为，信道转
移矩阵为
试求（1）H(X),H(Y),H(XY);
0000001
0000010
0000100
0001000
0010000
0100000
1000000
4. 现有接收序列为，求纠错译码输出。 5. 5. 画出该码的编码电路
(四)
4、简答题 1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。 2. 简单介绍哈夫曼编码的步骤

信息论与编码期末考试题(全套)

（一）之阳早格格创做一、推断题共 10 小题，谦分 20 分.1. 当随机变量X 战Y 相互独力时，条件熵)|(Y X H 等于疑源熵)(X H . （）2. 由于形成共一空间的基底不是唯一的，所以分歧的基底大概死成矩阵有大概死成共一码集.（）3.普遍情况下，用变少编码得到的仄衡码少比定少编码大得多. （）4. 只消疑息传输率大于疑讲容量，总存留一种疑讲编译码，不妨以所央供的任性小的缺面概率真止稳当的通疑. （）5. 各码字的少度切合克推妇特不等式，是唯一可译码存留的充分战需要条件. （）6. 连绝疑源战得集疑源的熵皆具备非背性. （）7. 疑源的消息通过疑讲传输后的缺面大概得真越大，疑宿支到消息后对付疑源存留的谬误定性便越小，赢得的疑息量便越小.8. 汉明码是一种线性分组码.（） 9. 率得真函数的最小值是0.（） 10.必定事变战不可能事变的自疑息量皆是0.（）二、挖空题共 6 小题，谦分 20 分.1、码的检、纠错本领与决于.2、疑源编码的手段是；疑讲编码的手段是.3、把疑息组本启不动天搬到码字前k 位的),(k n 码便喊搞 .4、香农疑息论中的三大极规定理是、、.5、设疑讲的输进与输出随机序列分别为X 战Y ，则),(),(Y X NI Y XI N N=创制的条件 .6、对付于香农-费诺编码、本初香农-费诺编码战哈妇曼编码，编码要领惟一的是.7、某二元疑源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其得真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该疑源的max D = . 三、本题共 4 小题，谦分 50 分.1、某疑源收支端有2种标记i x )2,1(=i ,a x p =)(1；接支端有3种标记i y )3,2,1(=j ，变化概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）估计接支端的仄衡不决定度()H Y ；（2）估计由于噪声爆收的不决定度(|)H Y X ；（3）估计疑讲容量以及最好出心分集.2、一阶马我可妇疑源的状态变化图如左图所示，疑源X 的标记集为}2,1,0{. （1）供疑源稳固后的概率分集；（2）供此疑源的熵；（3）近似天认为此疑源为无影象时，标记的概率分集为仄稳分集.供近似疑源的熵)(X H 并与H ∞举止比较.4、设二元)4,7(线性分组码的死成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G .（1）给出该码的普遍校验矩阵，写出所有的伴集尾战与之相对付应的伴伴式；（2）若接支矢量)0001011(=v ，试估计出其对付应的伴伴式S 并依照最小距离译码准则试着对付其译码.（二）一、挖空题（共15分，每空1分）1、疑源编码的主要手段是，疑讲编码的主要手段是.2、疑源的结余度主要去自二个圆里，一是，二是.3、三进制疑源的最小熵为，最大熵为.4、无得真疑源编码的仄衡码少最小表里极节制为 .5、当时，疑源与疑讲达到匹配.6、根据疑讲个性是可随时间变更，疑讲不妨分为战.7、根据是可允许得真，疑源编码可分为战 .8、若连绝疑源输出旗号的仄衡功率为2σ，则输出旗号幅度的概率稀度是时，疑源具备最大熵，其值为值.9、正在底下空格中采用挖进数教标记“,,,=≥≤〉”大概“〈”（1）当X 战Y 相互独力时，H （XY ）H(X)+H(X/Y)H(Y)+H(X).图2-13（2）()()1222H X X H X =()()12333H X X X H X =（3）假设疑讲输进用X 表示，疑讲输出用Y 表示.正在无噪有益疑讲中，H(X/Y) 0,H(Y/X)0,I(X;Y) H(X). 三、（16分）已知疑源（1）用霍妇曼编码法编成二进制变少码；（6分）（2）估计仄衡码少L ;（4分）（3）估计编码疑息率R ';（2分）（4）估计编码后疑息传输率R ;（2分）（5）估计编码效用η.（2分）s μ.估计：（1）疑息传输速率tR .（5分）五、(16分)一个一阶马我可妇疑源，变化概率为()()()()1121122221|,|,|1,|033P S S P S S P S S P S S ====.(1) 绘出状态变化图.(4分) (2) 估计稳态概率.(4分)(3) 估计马我可妇疑源的极限熵.(4分)(4) 估计稳态下1H ,2H 及其对付应的结余度.(4分)六、设有扰疑讲的传输情况分别如图所示.试供那种疑讲的疑讲容量.七、(16分)设X 、Y 是二个相互独力的二元随机变量，其与0大概1的概率相等.定义另一个二元随机变量Z=XY(普遍乘积).试估计 (1) ()(),;H X H Z (2) ()(),;H XY H XZ (3) ()()|,|;H X Y H Z X (4) ()();,;I X Y I X Z ;八、(10分)设得集无影象疑源的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，通过搞扰疑讲，疑讲输出端的接支标记集为[]12,Y y y =，疑讲传输概率如下图所示.(1) 估计疑源X中事变1x 包罗的自疑息量；(2) 估计疑源X的疑息熵；(3) 估计疑讲疑义度()|H X Y ；(4) 估计噪声熵()|H Y X ；(5) 估计支到消息Y后赢得的仄衡互疑息量.《疑息论前提》2参照问案一、挖空题（共15分，每空1分）1、疑源编码的主要手段是普及灵验性，疑讲编码的主要手段是普及稳当性. 2、疑源的结余度主要去自二个圆里，一是疑源标记间的相闭性，二是疑源标记的统计不匀称性.3、三进制疑源的最小熵为0，最大熵为32log bit/标记.4、无得真疑源编码的仄衡码少最小表里极节制为疑源熵（大概H(S)/logr= H r (S)）.5、当R=C 大概（疑讲结余度为0）时，疑源与疑讲达到匹配.6、根据疑讲个性是可随时间变更，疑讲不妨分为恒参疑讲战随参疑讲.7、根据是可允许得真，疑源编码可分为无得真疑源编码战限得真疑源编码.8、若连绝疑源输出旗号的仄衡功率为2σ，则输出旗号幅度的概率稀度是下斯分集大概正态分集大概()222x f x σ-=时，疑源具备最大熵，其值为值21log 22e πσ.9、正在底下空格中采用挖进数教标记“,,,=≥≤〉”大概“〈”（1）当X 战Y 相互独力时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X). （2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设疑讲输进用X 表示，疑讲输出用Y 表示.正在无噪有益疑讲中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X). 三、（16分）已知疑源（1）用霍妇曼编码法编成二进制变少码；（6分）（2）估计仄衡码少L ;（4分）（3）估计编码疑息率R ';（2分）（4）估计编码后疑息传输率R ;（2分）（5）估计编码效用η.（2分）（1）编码截止为：（2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号（4）() 2.53bit0.9732.6H S R L===码元其中，()()bit0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号（5）()()0.973log H S H S L rLη===评分：其余精确的编码规划：1，央供为坐即码 2，仄衡码少最短s μ.估计：（1）疑息传输速率tR .（5分）（1）()()1t X R H X H Y t ⎡⎤=-⎣⎦ 五、(16分)一个一阶马我可妇疑源，变化概率为()()()()1121122221|,|,|1,|033P S S P S S P S S P S S ====.(1) 绘出状态变化图.(4分) (2) 估计稳态概率.(4分)(3) 估计马我可妇疑源的极限熵.(4分)(4) 估计稳态下1H ,2H 及其对付应的结余度.(4分)解：(1)(2)由公式()()()21|i i j j j P S P S S P S ==∑有()()()()()()()()()()()21112122211122|31|31i i i i i i P S P S S P S P S P S P S P S S P S P S P S P S ==⎧==+⎪⎪⎪==⎨⎪⎪+=⎪⎩∑∑得()()123414P S P S ⎧=⎪⎪⎨⎪=⎪⎩ (3)该马我可妇疑源的极限熵为：(4)正在稳态下：对付应的结余度为六、设有扰疑讲的传输情况分别如图所示.试供那种疑讲的疑讲容量. 解：疑讲传输矩阵如下不妨瞅出那是一个对付称疑讲，L=4,那么疑讲容量为七、(16分)设X 、Y 是二个相互独力的二元随机变量，其与0大概1的概率相等.定义另一个二元随机变量Z=XY(普遍乘积).试估计(1) ()(),;H X H Z (2) ()(),;H XY H XZ (3) ()()|,|;H X Y H Z X (4) ()();,;I X Y I X Z ;解：(1)(2) ()()()112H XY H X H Y bit =+=+=对(3)()()|1H X Y H X bit ==(4) ()()()()(),|0I X Y H Y H Y X H Y H Y =-=-= 八、(10分)设得集无影象疑源的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，通过搞扰疑讲，疑讲输出端的接支标记集为[]12,Y y y =，疑讲传输概率如下图所示.(6) 估计疑源X中事变1x 包罗的自疑息量；(7) 估计疑源X的疑息熵；(8) 估计疑讲疑义度()|H X Y ；(9) 估计噪声熵()|H Y X ；(10) 估计支到消息Y 后赢得的仄衡互疑息量. 解： (1)()1log0.80.3220.09690.223I x bit hart nat=-===(2) ()()0.8,0.20.7220.50.217H X H bit nat hart ====符号符号符号 (3)变化概率：共同分集：(5)(三)一、采用题（共10分，每小题2分）1、有一得集无影象疑源X ，其概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡125.0125.025.05.04321x x x x P X ，则其无影象二次扩展疑源的熵H(X 2)=( )A 、1.75比特/标记；B 、3.5比特/标记；C 、9比特/标记；D 、18比特/标记.2、疑讲变化矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦其中(/)j i P y x 二二不相等，则该疑讲为3、A 、一一对付应的无噪疑讲B 、具备并归本能的无噪疑讲C 、对付称疑讲D 、具备扩展本能的无噪疑讲 3、设疑讲容量为C ，下列道法精确的是：（）A 、互疑息量一定不大于CB 、接互熵一定不小于C C 、灵验疑息量一定不大于CD 、条件熵一定不大于C 4、正在串通联统中，灵验疑息量的值（）A 、趋于变大B 、趋于变小C 、稳定D 、不决定5、若BSC 疑讲的过得率为P ，则其疑讲容量为：（） A 、 ()H pB 、()12log 1ppp p -⎡⎤-⎢⎥⎢⎥⎣⎦ C 、 ()1H p - D 、log()P P -二、挖空题（20分，每空2分）1、(7,4)线性分组码中，担当端支到分组R 的位数为____，伴伴式S 大概的值有____种,过得图案e 的少度为，系统死成矩阵G s 为____止的矩阵，系统校验矩阵H s 为____止的矩阵，G s 战H s 谦脚的闭系式是.2、香农编码中,概率为()i P x 的疑源标记x i 对付应的码字C i 的少度K i 应谦脚不等式.3、设有一个疑讲，其疑讲矩阵为0.250.50.250.250.250.50.50.250.25⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，则它是疑讲（挖对付称，准对付称），其疑讲容量是比特/疑讲标记.三、（20分）12()0.50.5X x x P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，通过一个搞扰疑讲，担当标记集为{}12Y y y =，疑讲变化矩阵为13443144⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦试供（1）H(X),H(Y),H(XY);（7分）(2) H(Y|X),H(X|Y);（5分） (3) I(Y;X).（3分）(4)该疑讲的容量C （3分）（5）当仄衡互疑息量达到疑讲容量时，接支端Y 的熵H （Y ）.（2分）估计截止死存小数面后2位,单位为比特/标记.四、（9分）简述仄衡互疑息量的物理意思，并写出应公式.六、（10分）设有得集无影象疑源，其概率分集如下：对付其举止费诺编码，写出编码历程，供出疑源熵、仄衡码少战编码效用.七、疑讲编码（21分）现有死成矩阵1000111010011000100110001101s G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1.供对付应的系统校验矩阵H s .（2分）2供该码字集中的最小码字距离d 、最大检错本领max l 、最大纠错本领t max .（3分）2.挖写底下的es 表（8分）4、错译码输出ˆc.（4分） 5. 绘出该码的编码电路（4分）(四)四、简问题（共20 分，每题10分1.利用公式介绍无条件熵、条件熵、共同熵战仄衡互疑息量之间的闭系.2.简朴介绍哈妇曼编码的步调五、估计题（共40 分）1．某疑源含有三个消息，概率分别为p (0)=0.2，p (1)=0.3，p (2)=0.5，得真矩阵为421032201D ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦.供D max 、D min 战R (D max ).（10分）2．设对付称得集疑讲矩阵为1111336611116633P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，供疑讲容量C .（10分）3．有一稳态马我可妇疑源，已知变化概率为p (S 1/ S 1)=2/3，p (S 1/ S 2)=1.供：(1) 绘出状态变化图战状态变化概率矩阵.供出各状态的稳态概率. 供出疑源的极限熵. 20分）（五）11’）挖空题年，好国数教家香农刊登了题为“通疑的数教表里”的少篇论文，进而建坐了疑息论.(5) 必定事变的自疑息是 0 . (6) 得集稳固无影象疑源X 的N 次扩展疑源的熵等于得集疑源X 的熵的N 倍 .(7) 对付于得集无影象疑源，当疑源熵有最大值时，谦脚条件为__疑源标记等概分集_.(8) 对付于香农编码、费诺编码战霍妇曼编码，编码要领惟一的是香农编码 .(9) 已知某线性分组码的最小汉明距离为3，那么那组码最多能检测出_2_______个码元过得，最多能纠正___1__个码元过得.(10) 设有一得集无影象稳固疑讲，其疑讲容量为C ，只消待传递的疑息传输率R__小于___C （大于、小于大概者等于），则存留一种编码，当输进序列少度n 脚够大，使译码过得概率任性小.(11) 仄衡过得概率不但是与疑讲自己的统计个性有闭，还与___译码准则____________战___编码要领___有闭二、（9）推断题(11) 疑息便是一种消息. （）(12) 疑息论钻研的主要问题是正在通疑系统安排中怎么样真止疑息传输、死存战处理的灵验性战稳当性.（）(13) 概率大的事变自疑息量大. （）(14) 互疑息量可正、可背亦可为整. （）(15) 疑源结余度用去衡量疑源的相闭性程度，疑源结余度大证明疑源标记间的依好闭系较小.（）(16) 对付于牢固的疑源分集，仄衡互疑息量是疑讲传播概率的下凸函数. （）(17) 非偶同码一定是唯一可译码，唯一可译码纷歧定利害偶同码. （）(18) 疑源变少编码的核心问题是觅找紧致码（大概最好码），霍妇曼编码要领构制的是最好码. （）（9）疑息率得真函数R(D)是闭于仄衡得真度D 的上凸函数. ()五、（18’）.乌黑局里传真图的消息惟有乌色战红色二种，供：1）乌色出现的概率为0.3，红色出现的概率为0.7.给出那个惟有二个标记的疑源X 的数教模型.假设图上乌黑消息出现前后不闭联，供熵()X H ；3）分别供上述二种疑源的冗余度，比较它们的大小并证明其物理意思. 解：1）疑源模型为（1分）（2分）2）由题意可知该疑源为一阶马我科妇疑源.（2分）由 4分）得极限状态概率（2分）3分）119.02log )(121=-=X H γ（1分）12γγ>.证明：当疑源的标记之间有依好时，疑源输出消息的不决定性减强.而疑源冗余度正是反映疑源标记依好闭系的强强，冗余度越大，依好闭系便越大.（2分）六、（18’）.疑源空间为1234567()0.20.190.180.170.150.10.01X x x x x x x x P X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，试分别构制二元香农码战二元霍妇曼码，估计其仄衡码少战编码效用（央供有编码历程）.2）（3分）最大后验概率准则下，有，八（10）.二元对付称疑讲如图. 1）若()430=p ，()411=p ，供()X H 、()Y X H |战()Y X I ;；2）供该疑讲的疑讲容量. 解：1）共6分2），（3分）此时输进概率分集为等概率分集.（1分）九、（18）设一线性分组码具备普遍监督矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=110101100110111000H 1）供此分组码n=?,k=?公有几码字？ 2）供此分组码的死成矩阵G. 3）写出此分组码的所有码字.4）若接支到码字（101001），供出伴伴式并给出翻译截止.解：1）n=6,k=3,公有8个码字.（3分）2）设码字()012345C C C C C C C =由TT HC 0=得⎪⎩⎪⎨⎧=⊕⊕⊕=⊕⊕=⊕⊕0000135034012C C C C C C C C C C （3分）令监督位为()012C C C ，则有⎪⎩⎪⎨⎧⊕=⊕=⊕=340451352CC C C C C C C C （3分）死成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡101100110010011001（2分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000.（4分） 4）由T THR S=得()101=S ，（2分）该码字正在第5位爆收过得，（101001）纠正为（101011），即译码为（101001）（1分）（六）一、观念简问题（每题5分，共40分）1.什么是仄衡自疑息量与仄衡互疑息，比较一下那二个观念的同共？2.简述最大得集熵定理.对付于一个有m 个标记的得集疑源，其最大熵是几？3.阐明疑息传输率、疑讲容量、最好输进分集的观念，证明仄衡互疑息与疑源的概率分集、疑讲的传播概率间分别是什么闭系？4.对付于一个普遍的通疑系统，试给出其系统模型框图，并分离此图，阐明数据处理定理.5.写出香农公式，并证明其物理意思.当疑讲戴宽为5000Hz，疑噪比为30dB时供疑讲容量.6.阐明无得真变少疑源编码定理.7.阐明有噪疑讲编码定理.8.什么是保真度准则？对付二元疑源，其得真矩阵，供a>0时率得真函数的战？二、概括题（每题10分，共60分）1.乌黑局里传真图的消息惟有乌色战红色二种，供：1）乌色出现的概率为0.3，红色出现的概率为0.7.给出那个惟有二个标记的疑源X的数教模型.假设图上乌黑消息出现前后不闭联，供熵；2）假设乌黑消息出现前后有闭联，其依好闭系为：，，，，供其熵；2.二元对付称疑讲如图.；1）若，，供战；2）供该疑讲的疑讲容量战最好输进分集.，试分别构制二元战三元霍妇曼码，估计其仄衡码少战编码效用.5.已知一（8，5）线性分组码的死成矩阵为.供：1）输进为齐00011战10100时该码的码字；2）最小码距.问案一、观念简问题（每题5分，共40分）1.问：仄衡自疑息为表示疑源的仄衡不决定度，也表示仄衡每个疑源消息所提供的疑息量.仄衡互疑息表示从Y赢得的闭于每个X的仄衡疑息量，也表示收X前后Y的仄衡不决定性缩小的量，还表示通疑前后所有系统不决定性缩小的量.2.问：最大得集熵定理为：得集无影象疑源，等概率分集时熵最大.最大熵值为.仄衡互疑息是疑源概率分集的∩型凸函数，是疑讲传播概率的U型凸函数.5.问：香农公式为，它是下斯加性黑噪声疑讲正在单位时间内的疑讲容量，其值与决于疑噪比战戴宽.由得，则6.问：只消，当N脚够万古，一定存留一种无得真编码.7.问：当R＜C时，只消码少脚够少，一定能找到一种编码要领战译码准则，使译码过得概率无贫小.8.问：1）保真度准则为：仄衡得真度不大于允许的得真度.仄衡码少，编码效用2）果为得真矩阵中每止皆有一个0，所以有，而.二、概括题（每题10分，共60分）1.问：1）疑源模型为2）由得则2.问：1）2），最好输进概率分集为等概率分集.3.问：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001.仄衡码少，编码效用2）三元码的码字依序为：1，00，02，20，21，22，010，011.。

信息论与编码期末考试题

信息论与编码期末考试题(全套)(总11页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （）9. 率失真函数的最小值是0.（）10.必然事件和不可能事件的自信息量都是0.（）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = . 三、本题共 4 小题，满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为}2,1,0{. （1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码.图2-13（二）一、填空题（共15分，每空1分）1、信源编码的主要目的是，信道编码的主要目的是。

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分）1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是：概率大的信源符号用，概率小的信源符号用。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字1、0、1之间的最小汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。

17、单密钥体制是指。

18、现代数据加密体制主要分为和两种体制。

信息论与编码期末考试题

（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （）9. 率失真函数的最小值是0. （）10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I NN =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。

信息论与编码期末考试题1(DOC)

、判断题.1.当随机变量X 和丫相互独立时，条件熵 H(X|Y)等于信源熵H(X).2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. ()3.—般情况下，用变长编码得到的平均码长比定长编码大得多 .()4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.()5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件 .(6. 连续信源和离散信源的熵都具有非负性.(7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小 . 8. 汉明码是一种线性分组码. 9. 率失真函数的最小值是 0 .10. 必然事件和不可能事件的自信息量都是0 .、填空题1、码的检、纠错能力取决于2、信源编码的目的是—3、把信息组原封不动地搬到码字前 k 位的(n,k)码就叫做4、香农信息论中的三大极限定理是5、设信道的输入与输出随机序列分别为X 和丫，则I (X N,Y N) = NI(X,Y)成立的、计算题.稳分布.求近似信源的熵 H (X)并与H 乂进行比较.;信道编码的目的是条件 ___________________6、对于香农-费诺编码、原始香农「X7、某二元信源I[p(x)」11/2-费诺编码和哈夫曼编码，编码方法惟一的是「0 a"b 0.，其失真矩阵D = 1/ 2J，则该信源的D max1、某信源发送端有2种符号Xi (i =1,2),「1/2 1/2 0 I p = I i .[1/2 1/4 1/4」计算接收端的平均不确定度 H (Y)；计算由于噪声产生的不确定度H (Y IX)；计算信道容量以及最佳入口分布 .P(X)=a ；接收端有3种符号％ (j = 1,2,3)，转移概率矩阵为(1) (2) (3)2、一阶马尔可夫信源的状态转移图如右图所示,(1)求信源平稳后的概率分布；(2) 求此信源的熵；(3) 近似地认为此信源为无记忆时，符号的概率分布为平信源X 的符号集为{0,1,2}.图 2-13(1 )用霍夫曼编码法编成二进制变长码；(6分)具有最大熵，其值为值 ^log 2;ieD 2。

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分）1、1948年,美国数学家发表了题为“通信的数学理论”的长篇论文,从而创立了信息论.信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号,先验概率分别为，，，，则符号“a”的自信息量为 bit，此信源的熵为 bit/符号.4、某离散无记忆信源X,其概率空间和重量空间分别为和，则其信源熵和加权熵分别为和.5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、 ;二、。

9、若某信道矩阵为,则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是:概率大的信源符号用，概率小的信源符号用 .(填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性,信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错.15、码字101111101、011111101、100111001之间的最小汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。

17、单密钥体制是指。

18、现代数据加密体制主要分为和两种体制。

19、评价密码体制安全性有不同的途径，包括无条件安全性、和.20、时间戳根据产生方式的不同分为两类:即和。

二、选择题（每小题1分,共10分）1、下列不属于消息的是（）。

A。

文字 B。

信号 C。

图像 D。

语言2、设有一个无记忆信源发出符号A和B,已知，发出二重符号序列消息的信源，无记忆信源熵为（)。

A。

0.81bit/二重符号B。

1。

62bit/二重符号 C. 0。

信息论与编码期末考试题----学生复习用1

H(Y/X) 0,I(X;Y) H(X)。
二、若连续信源输出的幅度被限定在【2,6】区域内，当输出
信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
三、已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长;（4分）（3）计算编码信息率;（2分）（4）计算编码后信息传输率;（2分）（5）计算编码效率。（2分）
号；
C、9比特/符号； D、18比特/符号。
2、信道转移矩阵为，其中两两不相等，则该信
道为
A、一一对应的无噪信道
B、具有并归性能的无噪信道 C、对称信道 D、具有扩展性能的无噪信道 3、设信道容量为C，下列说法正确的是：（） A、互信息量一定不大于C B、交互熵一定不小于C C、有效信息量一定不大于C D、条件熵一定不大于C 4、在串联系统中，有效信息量的值（） A、趋于变大 B、趋于变小 C、不变 D、不确定
5、若BSC信道的差错率为P，则其信道容量为：（） A、 B、 C、 D、 2、填空题 1、 (7,4)线性分组码中，接受端收到分组R的位
数为____ ，伴随式S可能的值有____ 种, 差错图案e的长度为，系统生成矩阵 Gs为____ 行的矩阵，系统校验矩阵Hs为
____ 行的矩阵，Gs和Hs满足的关系式是
（8）平均错误概率不仅与信道本身的统计特性有关，还
与___ __________和___ ___有关
二、判断题
（1）信息就是一种消息。
（）
（2）信息论研究的主要问题是在通信系统设计中如何实
现信息传输、存储和处理的有效性和可靠性。（
）
（3）概率大的事件自信息量大。
（

信息论与编码期末考试题

、判断题1. 当随机变量X和丫相互独立时，条件熵H(X|Y)等于信源熵H(X). ()2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集 ()3•—般情况下，用变长编码得到的平均码长比定长编码大得多()4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信()5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件•()6. 连续信源和离散信源的熵都具有非负性(7•信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. ()9. 率失真函数的最小值是0 . (10. 必然事件和不可能事件的自信息量都是0. ()二、填空题1、码的检、纠错能力取决于_________________ . ______________2、信源编码的目的是_____________________ ;信道编码的目的是 ____________ . ________3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做______________________ .4、香农信息论中的三大极限定理是________________ 、__________ 、___________ .5、设信道的输入与输出随机序列分别为X和丫，则I(X N,Y N) NI(X,Y)成立的条件..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 _________________ .X 0 1 0 a7、某二元信源，其失真矩阵D ，则该信源的D max= _______P(X) 1/2 1/2 a 0三、计算题.1、某信源发送端有2种符号X i (i 1,2) , p(xj a ；接收端有3种符号y i (j 1,2,3)，转移概率矩阵为1/2 1/2 0 P .1/2 1/4 1/4(1)计算接收端的平均不确定度H (Y)；(2)计算由于噪声产生的不确定度H(Y|X)；(3)计算信道容量以及最佳入口分布.一、填空题1、信源编码的主要目的是_______ ，信道编码的主要目的是________ 。

信息论与编码期末考试题1

（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （） 9. 率失真函数的最小值是0. （） 10.必然事件和不可能事件的自信息量都是0. （）二、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、 .5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 .6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = .三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以与最佳入口分布.（二）一、填空题1、信源编码的主要目的是，信道编码的主要目的是。

2020年信息论与编码期末考试题

信息论与编码期末考试题（一）一、判断题. 当随机变量和相互独立时，条件熵等于信源熵. （）由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （）一般情况下，用变长编码得到的平均码长比定长编码大得多. （）只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （）各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）连续信源和离散信源的熵都具有非负性. （）信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小. 汉明码是一种线性分组码. （）率失真函数的最小值是. （） 1.必然事件和不可能事件的自信息量都是. （）二、填空题 1、码的检、纠错能力取决于 . 2、信源编码的目的是；信道编码的目的是 . 3、把信息组原封不动地搬到码字前位的码就叫做. 4、香农信息论中的三大极限定理是、、 . 5、设信道的输入与输出随机序列分别为和，则成立的条件 .. 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 . 7、某二元信源，其失真矩阵，则该信源的=.三、计算题. 1、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为. （1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度；（3）计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为. （1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较. 3、设码符号为，信源空间为试构造一种三元紧致码. 4、设二元线性分组码的生成矩阵为. （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；（2）若接收矢量，试计算出其对应的伴随式并按照最小距离译码准则试着对其译码. （二）一、填空题 1、信源编码的主要目的是，信道编码的主要目的是。

信息论与编码考试试题

信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。

A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。

A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。

2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。

3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。

4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。

5、一个码组为{000, 111, 010, 101}，其最小码距为__________。

6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。

三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。

信息熵是用来度量信息不确定性的一个重要概念。

它反映了信源输出符号的平均不确定性。

物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。

例如，抛硬币的结果只有正反两面，其概率各为 05。

信息论与编码期末考试题----学生复习用

《信息论基础》参考答案一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为32log bit/符号。

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。

5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。

8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22212x f x eσπσ-=时，信源具有最大熵，其值为值21log 22e πσ。

9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设信道输入用X 表示，信道输出用Y 表示。

在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。

三、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分）（5）计算编码效率η。

（2分）（1）010101111.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为：1234560001100101110111S S S S S S ====== （2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号（4）() 2.53bit0.9732.6H S R L ===码元其中，()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号（5）()()0.973log H S H S L rLη===四、某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。

信息论与编码期末试卷

信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一．选择题（每小题3分，共15分）1）设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX，则此信源的熵为：比特/符号A） 1.25 B） 1.5 C） 1.75 D） 22）对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 33）对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ，其中熵最小A） X B） Y C） Z D）无法计算4）信源编码的变长编码中，下面说法不正确的是A）无失真r进制变长码平均码长不得低于信源r进制符号熵B）变长编码时，随着信源序列长度的增大，编码效率会提高C）变长码要求各个码字的长度各不相同D）变长编码的编码效率通常高于定长码5）以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一参考答案一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）解：1）二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223）极限熵∞H 为稳态时各个状态熵的数学期望三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）解：由第一个信道的转移矩阵，以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到：()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时：β四．信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分）解：编码过程如下： 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五．设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）解：根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分）解：1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。

信息论与编码期末考试题

精品文档（一）一、判断题.. )XH()YX|H(YX等于信源熵1. 当随机变量（和相互独立时，条件熵）.同一码集可生成矩阵有能生成的基底不是唯一的，所以不同的基底或2. 由于构成同一空间（）.（3.一般情况下，用变长编码得到的平均码长比定长编码大得多）. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信4.（）. ）（5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 6. 连续信源和离散信源的熵都具有非负性（）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确.定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码（）.09. 率失真函数的最小值是（）.010.必然事件和不可能事件的自信息量都是（）二、填空题.、码的检、纠错能力取决于1.；信道编码的目的是2、信源编码的目的是.),k(n k码就叫做、把信息组原封不动地搬到码字前位的3、、.香农信息论中的三大极限定理是4、NN)Y(X,X,Y)?NI(I成立的YX，则5、设信道的输入与输出随机序列分别为和 ..条件.费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是6、对于香农-0a??1X0????D .?D，其失真矩阵某二元信源，则该信源的=7、???????max0a2)1/1/2P(X??????三、计算题.xya?(x)p(j?1,2(i?1,2),3)，种符符端信1、某源发送有2种号号转移概率矩,阵为3接；收端有1ii1/21/20??.P???1/21/41/4??H(Y)；1）计算接收端的平均不确定度（H(Y|X)；2（）计算由于噪声产生的不确定度.计算信道容量以及最佳入口分布（3）（二）一、填空题精品文档．精品文档1、信源编码的主要目的是，信道编码的主要目的是。

2、信源的剩余度主要来自两个方面，一是，二是。

3、三进制信源的最小熵为，最大熵为。

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分） 1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

信息论的基础理论是，它属于狭义信息论。

2、信号是的载体，消息是的载体。

3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。

4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为和。

5、信源的剩余度主要来自两个方面，一是，二是。

6、平均互信息量与信息熵、联合熵的关系是。

7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。

8、马尔可夫信源需要满足两个条件：一、；二、。

9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。

10、根据是否允许失真，信源编码可分为和。

11、信源编码的概率匹配原则是：概率大的信源符号用，概率小的信源符号用。

13、差错控制的基本方式大致可以分为、和混合纠错。

14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。

15、码字101111101、011111101、100111001之间的最小汉明距离为。

16、对于密码系统安全性的评价，通常分为和两种标准。

17、单密钥体制是指。

信息论与编码期末复习试题含参考答案

信息论与编码期末复习试题含参考答案在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。

已知n ＝7的循环码，则信息位长度k 为 3 ，校验多项式h(x)= 。

设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝。

已知用户A 的RSA 公开密钥(e,n )=(3,55)，,则 log(1)C W SNR =+42()1g x x x x =+++31x x ++1001⎡⎤⎢⎥⎣⎦1010⎡⎤⎢⎥⎣⎦5,11p q ==()φn =40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）线性码一定包含全零码。

（√ ）算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。