信息论与编码”期末复习题
信息理论与编码-期末试卷A及答案
题号 一 二 三 四 总分 统分人 题分 35 10 23 32 100得分 一、填空题（每空1分，共35分） 得分| |阅卷人|1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和1234 0.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡0100010000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。
信息论与编码期末考试题----学生复习用1
密文c=？请写出具体的步骤。
六、设有离散无记忆信源，其概率分布如下：
对其进行费诺编码，写出编码过程，求出信
源熵、平均码长和编码效率。
七、信道编码 现有生成矩阵
1. 求对应的系统校验矩阵Hs。 2求该码字集合的最小码字距离d、最大检错能力 、最大纠错能力t max 。
2. 填写下面的es表
e
s
0000000
H(Y/X) 0,I(X;Y) H(X)。
二、若连续信源输出的幅度被限定在【2,6】区域内，当输出
信号的概率密度是均匀分布时，计算该信源的相对熵，并说明 该信源的绝对熵为多少。
三、已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长;（4分） （3）计算编码信息率;（2分） （4）计算编码后信息传输率;（2分） （5）计算编码效率。（2分）
。
2、 一张1024×512像素的16位彩色BMP图像能
包含的最大信息量为
。
3、 香农编码中,概率为的信源符号xi对应的码
字Ci的长度Ki应满足不等式
。
3、设有一个信道，其信道矩阵为 ，则它是
信道（填对称，准对称），其信道容量是
比特/信道符号。
三、，通过一个干扰信道，接受符号集为，信道转
移矩阵为
试求（1）H(X),H(Y),H(XY);
0000001
0000010
0000100
0001000
0010000
0100000
1000000
4. 现有接收序列为，求纠错译码输出。 5. 5. 画出该码的编码电路
(四)
4、 简答题 1. 利用公式介绍无条件熵、条件熵、联合熵和平均互信息 量之间的关系。 2. 简单介绍哈夫曼编码的步骤
信息论与编码期末考试题(全套)
（一）之阳早格格创做一、推断题共 10 小题，谦分 20 分.1. 当随机变量X 战Y 相互独力时，条件熵)|(Y X H 等于疑源熵)(X H . （ ）2. 由于形成共一空间的基底不是唯一的，所以分歧的基底大概死成矩阵有大概死成共一码集.（ ）3.普遍情况下，用变少编码得到的仄衡码少比定少编码大得多. （ ）4. 只消疑息传输率大于疑讲容量，总存留一种疑讲编译码，不妨以所央供的任性小的缺面概率真止稳当的通疑. （ ）5. 各码字的少度切合克推妇特不等式，是唯一可译码存留的充分战需要条件. （）6. 连绝疑源战得集疑源的熵皆具备非背性. （ ）7. 疑源的消息通过疑讲传输后的缺面大概得真越大，疑宿支到消息后对付疑源存留的谬误定性便越小，赢得的疑息量便越小.8. 汉明码是一种线性分组码.（ ） 9. 率得真函数的最小值是0.（ ） 10.必定事变战不可能事变的自疑息量皆是0.（ ）二、挖空题共 6 小题，谦分 20 分.1、码的检、纠错本领与决于.2、疑源编码的手段是；疑讲编码的手段是.3、把疑息组本启不动天搬到码字前k 位的),(k n 码便喊搞 .4、香农疑息论中的三大极规定理是、、.5、设疑讲的输进与输出随机序列分别为X 战Y ，则),(),(Y X NI Y XI N N=创制的条件 .6、对付于香农-费诺编码、本初香农-费诺编码战哈妇曼编码，编码要领惟一的是.7、某二元疑源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其得真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该疑源的max D = . 三、本题共 4 小题，谦分 50 分.1、某疑源收支端有2种标记i x )2,1(=i ,a x p =)(1；接支端有3种标记i y )3,2,1(=j ，变化概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦.（1）估计接支端的仄衡不决定度()H Y ；（2） 估计由于噪声爆收的不决定度(|)H Y X ；（3） 估计疑讲容量以及最好出心分集.2、一阶马我可妇疑源的状态变化图如左图所示，疑源X 的标记集为}2,1,0{. （1）供疑源稳固后的概率分集； （2）供此疑源的熵；（3）近似天认为此疑源为无影象时，标记的概率分集为仄稳分集.供近似疑源的熵)(X H 并与H ∞举止比较.4、设二元)4,7(线性分组码的死成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G .（1）给出该码的普遍校验矩阵，写出所有的伴集尾战与之相对付应的伴伴式；（2）若接支矢量)0001011(=v ，试估计出其对付应的伴伴式S 并依照最小距离译码准则试着对付其译码.（二）一、挖空题（共15分，每空1分）1、疑源编码的主要手段是，疑讲编码的主要手段是.2、疑源的结余度主要去自二个圆里，一是，二是.3、三进制疑源的最小熵为，最大熵为.4、无得真疑源编码的仄衡码少最小表里极节制为 .5、当时，疑源与疑讲达到匹配.6、根据疑讲个性是可随时间变更，疑讲不妨分为战.7、根据是可允许得真，疑源编码可分为战 .8、若连绝疑源输出旗号的仄衡功率为2σ，则输出旗号幅度的概率稀度是时，疑源具备最大熵，其值为值.9、正在底下空格中采用挖进数教标记“,,,=≥≤〉”大概“〈”（1）当X 战Y 相互独力时，H （XY ）H(X)+H(X/Y)H(Y)+H(X).图2-13（2）()()1222H X X H X =()()12333H X X X H X =（3）假设疑讲输进用X 表示，疑讲输出用Y 表示.正在无噪有益疑讲中，H(X/Y) 0,H(Y/X)0,I(X;Y) H(X). 三、（16分）已知疑源（1）用霍妇曼编码法编成二进制变少码；（6分）（2）估计仄衡码少L ;（4分） （3）估计编码疑息率R ';（2分） （4）估计编码后疑息传输率R ;（2分）（5）估计编码效用η.（2分）s μ.估计：（1）疑息传输速率tR .（5分）五、(16分)一个一阶马我可妇疑源，变化概率为()()()()1121122221|,|,|1,|033P S S P S S P S S P S S ====.(1) 绘出状态变化图.(4分) (2) 估计稳态概率.(4分)(3) 估计马我可妇疑源的极限熵.(4分)(4) 估计稳态下1H ,2H 及其对付应的结余度.(4分)六、设有扰疑讲的传输情况分别如图所示.试供那种疑讲的疑讲容量.七、(16分)设X 、Y 是二个相互独力的二元随机变量，其与0大概1的概率相等.定义另一个二元随机变量Z=XY(普遍乘积).试估计 (1) ()(),;H X H Z (2) ()(),;H XY H XZ (3) ()()|,|;H X Y H Z X (4) ()();,;I X Y I X Z ;八、(10分)设得集无影象疑源的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，通过搞扰疑讲，疑讲输出端的接支标记集为[]12,Y y y =，疑讲传输概率如下图所示.(1) 估计疑源X中事变1x 包罗的自疑息量；(2) 估计疑源X的疑息熵；(3) 估计疑讲疑义度()|H X Y ；(4) 估计噪声熵()|H Y X ；(5) 估计支到消息Y后赢得的仄衡互疑息量.《疑息论前提》2参照问案一、挖空题（共15分，每空1分）1、疑源编码的主要手段是普及灵验性，疑讲编码的主要手段是普及稳当性. 2、疑源的结余度主要去自二个圆里，一是疑源标记间的相闭性，二是疑源标记的统计不匀称性.3、三进制疑源的最小熵为0，最大熵为32log bit/标记.4、无得真疑源编码的仄衡码少最小表里极节制为疑源熵（大概H(S)/logr= H r (S)）.5、当R=C 大概（疑讲结余度为0）时，疑源与疑讲达到匹配.6、根据疑讲个性是可随时间变更，疑讲不妨分为恒参疑讲战随参疑讲.7、根据是可允许得真，疑源编码可分为无得真疑源编码战限得真疑源编码.8、若连绝疑源输出旗号的仄衡功率为2σ，则输出旗号幅度的概率稀度是下斯分集大概正态分集大概()222x f x σ-=时，疑源具备最大熵，其值为值21log 22e πσ.9、正在底下空格中采用挖进数教标记“,,,=≥≤〉”大概“〈”（1）当X 战Y 相互独力时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X). （2）()()1222H X X H X =≥()()12333H X X X H X =（3）假设疑讲输进用X 表示，疑讲输出用Y 表示.正在无噪有益疑讲中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X). 三、（16分）已知疑源（1）用霍妇曼编码法编成二进制变少码；（6分）（2）估计仄衡码少L ;（4分） （3）估计编码疑息率R ';（2分） （4）估计编码后疑息传输率R ;（2分）（5）估计编码效用η.（2分） （1）编码截止为： （2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号（4）() 2.53bit0.9732.6H S R L===码元其中，()()bit0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号（5）()()0.973log H S H S L rLη===评分：其余精确的编码规划：1，央供为坐即码 2，仄衡码少最短s μ.估计： （1）疑息传输速率tR .（5分）（1）()()1t X R H X H Y t ⎡⎤=-⎣⎦ 五、(16分)一个一阶马我可妇疑源，变化概率为()()()()1121122221|,|,|1,|033P S S P S S P S S P S S ====.(1) 绘出状态变化图.(4分) (2) 估计稳态概率.(4分)(3) 估计马我可妇疑源的极限熵.(4分)(4) 估计稳态下1H ,2H 及其对付应的结余度.(4分)解：(1)(2)由公式()()()21|i i j j j P S P S S P S ==∑有()()()()()()()()()()()21112122211122|31|31i i i i i i P S P S S P S P S P S P S P S S P S P S P S P S ==⎧==+⎪⎪⎪==⎨⎪⎪+=⎪⎩∑∑得()()123414P S P S ⎧=⎪⎪⎨⎪=⎪⎩ (3)该马我可妇疑源的极限熵为：(4)正在稳态下：对付应的结余度为六、设有扰疑讲的传输情况分别如图所示.试供那种疑讲的疑讲容量. 解：疑讲传输矩阵如下不妨瞅出那是一个对付称疑讲，L=4,那么疑讲容量为七、(16分)设X 、Y 是二个相互独力的二元随机变量，其与0大概1的概率相等.定义另一个二元随机变量Z=XY(普遍乘积).试估计(1) ()(),;H X H Z (2) ()(),;H XY H XZ (3) ()()|,|;H X Y H Z X (4) ()();,;I X Y I X Z ;解：(1)(2) ()()()112H XY H X H Y bit =+=+=对(3)()()|1H X Y H X bit ==(4) ()()()()(),|0I X Y H Y H Y X H Y H Y =-=-= 八、(10分)设得集无影象疑源的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，通过搞扰疑讲，疑讲输出端的接支标记集为[]12,Y y y =，疑讲传输概率如下图所示.(6) 估计疑源X中事变1x 包罗的自疑息量；(7) 估计疑源X的疑息熵；(8) 估计疑讲疑义度()|H X Y ；(9) 估计噪声熵()|H Y X ；(10) 估计支到消息Y 后赢得的仄衡互疑息量. 解： (1)()1log0.80.3220.09690.223I x bit hart nat=-===(2) ()()0.8,0.20.7220.50.217H X H bit nat hart ====符号符号符号 (3)变化概率：共同分集：(5)(三)一、采用题（共10分，每小题2分）1、有一得集无影象疑源X ，其概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡125.0125.025.05.04321x x x x P X ，则其无影象二次扩展疑源的熵H(X 2)=( )A 、1.75比特/标记；B 、3.5比特/标记；C 、9比特/标记；D 、18比特/标记.2、疑讲变化矩阵为112132425363(/)(/)000000(/)(/)000000(/)(/)P y x P y x P y x P y x P y x P y x ⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦其中(/)j i P y x 二二不相等，则该疑讲为3、A 、一一对付应的无噪疑讲B 、具备并归本能的无噪疑讲C 、对付称疑讲D 、具备扩展本能的无噪疑讲 3、设疑讲容量为C ，下列道法精确的是：（ ）A 、互疑息量一定不大于CB 、接互熵一定不小于C C 、灵验疑息量一定不大于CD 、条件熵一定不大于C 4、正在串通联统中，灵验疑息量的值（ ）A 、趋于变大B 、趋于变小C 、稳定D 、不决定5、若BSC 疑讲的过得率为P ，则其疑讲容量为：（ ） A 、 ()H pB 、()12log 1ppp p -⎡⎤-⎢⎥⎢⎥⎣⎦ C 、 ()1H p - D 、log()P P -二、挖空题（20分，每空2分）1、(7,4)线性分组码中，担当端支到分组R 的位数为____，伴伴式S 大概的值有____种,过得图案e 的少度为，系统死成矩阵G s 为____止的矩阵，系统校验矩阵H s 为____止的矩阵，G s 战H s 谦脚的闭系式是.2、香农编码中,概率为()i P x 的疑源标记x i 对付应的码字C i 的少度K i 应谦脚不等式.3、设有一个疑讲，其疑讲矩阵为0.250.50.250.250.250.50.50.250.25⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦，则它是疑讲（挖对付称，准对付称），其疑讲容量是比特/疑讲标记.三、（20分）12()0.50.5X x x P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，通过一个搞扰疑讲，担当标记集为{}12Y y y =，疑讲变化矩阵为13443144⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦试供（1）H(X),H(Y),H(XY);（7分）(2) H(Y|X),H(X|Y);（5分） (3) I(Y;X).（3分）(4)该疑讲的容量C （3分） （5）当仄衡互疑息量达到疑讲容量时，接支端Y 的熵H （Y ）.（2分）估计截止死存小数面后2位,单位为比特/标记.四、（9分）简述仄衡互疑息量的物理意思，并写出应公式.六、（10分）设有得集无影象疑源，其概率分集如下：对付其举止费诺编码，写出编码历程，供出疑源熵、仄衡码少战编码效用.七、疑讲编码（21分）现有死成矩阵1000111010011000100110001101s G ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦1.供对付应的系统校验矩阵H s .（2分）2供该码字集中的最小码字距离d 、最大检错本领max l 、最大纠错本领t max .（3分）2.挖写底下的es 表 （8分）4、错译码输出ˆc.（4分） 5. 绘出该码的编码电路 （4分）(四)四、简问题（共20 分，每题10分1.利用公式介绍无条件熵、条件熵、共同熵战仄衡互疑息量之间的闭系.2.简朴介绍哈妇曼编码的步调五、估计题（共40 分）1． 某疑源含有三个消息，概率分别为p (0)=0.2，p (1)=0.3，p (2)=0.5，得真矩阵为421032201D ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦.供D max 、D min 战R (D max ).（10分）2． 设对付称得集疑讲矩阵为1111336611116633P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦，供疑讲容量C .（10分）3． 有一稳态马我可妇疑源，已知变化概率为p (S 1/ S 1)=2/3，p (S 1/ S 2)=1.供：(1) 绘出状态变化图战状态变化概率矩阵.供出各状态的稳态概率. 供出疑源的极限熵. 20分）（五）11’）挖空题年，好国数教家 香农 刊登了题为“通疑的数教表里”的少篇论文，进而建坐了疑息论.(5) 必定事变的自疑息是 0 . (6) 得集稳固无影象疑源X 的N 次扩展疑源的熵等于得集疑源X 的熵的N 倍 .(7) 对付于得集无影象疑源，当疑源熵有最大值时，谦脚条件为__疑源标记等概分集_.(8) 对付于香农编码、费诺编码战霍妇曼编码，编码要领惟一的是 香农编码 .(9) 已知某线性分组码的最小汉明距离为3，那么那组码最多能检测出_2_______个码元过得，最多能纠正___1__个码元过得.(10) 设有一得集无影象稳固疑讲，其疑讲容量为C ，只消待传递的疑息传输率R__小于___C （大于、小于大概者等于），则存留一种编码，当输进序列少度n 脚够大，使译码过得概率任性小.(11) 仄衡过得概率不但是与疑讲自己的统计个性有闭，还与___译码准则____________战___编码要领___有闭 二、（9）推断题(11) 疑息便是一种消息. （）(12) 疑息论钻研的主要问题是正在通疑系统安排中怎么样真止疑息传输、死存战处理的灵验性战稳当性.（）(13) 概率大的事变自疑息量大. （）(14) 互疑息量可正、可背亦可为整. （）(15) 疑源结余度用去衡量疑源的相闭性程度，疑源结余度大证明疑源标记间的依好闭系较小.（ ）(16) 对付于牢固的疑源分集，仄衡互疑息量是疑讲传播概率的下凸函数. （）(17) 非偶同码一定是唯一可译码，唯一可译码纷歧定利害偶同码. （）(18) 疑源变少编码的核心问题是觅找紧致码（大概最好码），霍妇曼编码要领构制的是最好码. （）（9）疑息率得真函数R(D)是闭于仄衡得真度D 的上凸函数. ()五、（18’）.乌黑局里传真图的消息惟有乌色战红色二种，供：1） 乌色出现的概率为0.3，红色出现的概率为0.7.给出那个惟有二个标记的疑源X 的数教模型.假设图上乌黑消息出现前后不闭联，供熵()X H ；3）分别供上述二种疑源的冗余度，比较它们的大小并证明其物理意思. 解：1）疑源模型为（1分）（2分）2）由题意可知该疑源为一阶马我科妇疑源.（2分）由 4分）得极限状态概率（2分）3分）119.02log )(121=-=X H γ（1分）12γγ>.证明：当疑源的标记之间有依好时，疑源输出消息的不决定性减强.而疑源冗余度正是反映疑源标记依好闭系的强强，冗余度越大，依好闭系便越大.（2分）六、（18’）.疑源空间为1234567()0.20.190.180.170.150.10.01X x x x x x x x P X ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，试分别构制二元香农码战二元霍妇曼码，估计其仄衡码少战编码效用（央供有编码历程）.2）（3分）最大后验概率准则下，有， 八（10）.二元对付称疑讲如图. 1）若()430=p ，()411=p ，供()X H 、()Y X H |战()Y X I ;；2）供该疑讲的疑讲容量. 解：1）共6分2），（3分）此时输进概率分集为等概率分集.（1分） 九、（18）设一线性分组码具备普遍监督矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=110101100110111000H 1）供此分组码n=?,k=?公有几码字？ 2）供此分组码的死成矩阵G. 3）写出此分组码的所有码字.4）若接支到码字（101001），供出伴伴式并给出翻译截止.解：1）n=6,k=3,公有8个码字.（3分）2）设码字()012345C C C C C C C =由TT HC 0=得⎪⎩⎪⎨⎧=⊕⊕⊕=⊕⊕=⊕⊕0000135034012C C C C C C C C C C （3分）令监督位为()012C C C ，则有⎪⎩⎪⎨⎧⊕=⊕=⊕=340451352CC C C C C C C C （3分）死成矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡101100110010011001（2分） 3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000.（4分） 4）由T THR S=得()101=S ，（2分）该码字正在第5位爆收过得，（101001）纠正为（101011），即译码为（101001）（1分）（六）一、观念简问题（每题5分，共40分）1.什么是仄衡自疑息量与仄衡互疑息，比较一下那二个观念的同共？2.简述最大得集熵定理.对付于一个有m 个标记的得集疑源，其最大熵是几？3.阐明疑息传输率、疑讲容量、最好输进分集的观念，证明仄衡互疑息与疑源的概率分集、疑讲的传播概率间分别是什么闭系？4.对付于一个普遍的通疑系统，试给出其系统模型框图，并分离此图，阐明数据处理定理.5.写出香农公式，并证明其物理意思.当疑讲戴宽为5000Hz，疑噪比为30dB时供疑讲容量.6.阐明无得真变少疑源编码定理.7.阐明有噪疑讲编码定理.8.什么是保真度准则？对付二元疑源，其得真矩阵，供a>0时率得真函数的战？二、概括题（每题10分，共60分）1.乌黑局里传真图的消息惟有乌色战红色二种，供：1）乌色出现的概率为0.3，红色出现的概率为0.7.给出那个惟有二个标记的疑源X的数教模型.假设图上乌黑消息出现前后不闭联，供熵；2）假设乌黑消息出现前后有闭联，其依好闭系为：，，，，供其熵；2.二元对付称疑讲如图.；1）若，，供战；2）供该疑讲的疑讲容量战最好输进分集.，试分别构制二元战三元霍妇曼码，估计其仄衡码少战编码效用.5.已知一（8，5）线性分组码的死成矩阵为.供：1）输进为齐00011战10100时该码的码字；2）最小码距.问案一、观念简问题（每题5分，共40分）1.问：仄衡自疑息为表示疑源的仄衡不决定度，也表示仄衡每个疑源消息所提供的疑息量.仄衡互疑息表示从Y赢得的闭于每个X的仄衡疑息量，也表示收X前后Y的仄衡不决定性缩小的量，还表示通疑前后所有系统不决定性缩小的量.2.问：最大得集熵定理为：得集无影象疑源，等概率分集时熵最大.最大熵值为.仄衡互疑息是疑源概率分集的∩型凸函数，是疑讲传播概率的U型凸函数.5.问：香农公式为，它是下斯加性黑噪声疑讲正在单位时间内的疑讲容量，其值与决于疑噪比战戴宽.由得，则6.问：只消，当N脚够万古，一定存留一种无得真编码.7.问：当R＜C时，只消码少脚够少，一定能找到一种编码要领战译码准则，使译码过得概率无贫小.8.问：1）保真度准则为：仄衡得真度不大于允许的得真度.仄衡码少，编码效用2）果为得真矩阵中每止皆有一个0，所以有，而.二、概括题（每题10分，共60分）1.问：1）疑源模型为2）由得则2.问：1）2），最好输进概率分集为等概率分集.3.问：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001.仄衡码少，编码效用2）三元码的码字依序为：1，00，02，20，21，22，010，011.。
信息论与编码期末考试题1(DOC)甄选
信息论与编码期末考试题1(DOC)（优选.）（一）一、判断题.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(X H . （ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （）6. 连续信源和离散信源的熵都具有非负性. （ ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确 定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码.（ ） 9. 率失真函数的最小值是0.（ ）10.必然事件和不可能事件的自信息量都是0.（ ） 二、填空题1、码的检、纠错能力取决于.2、信源编码的目的是；信道编码的目的是.3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的 条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.7、某二元信源01()1/21/2X P X ⎡⎤⎧⎫=⎨⎬⎢⎥⎣⎦⎩⎭，其失真矩阵00a D a ⎡⎤=⎢⎥⎣⎦，则该信源的max D = . 三、计算题.1、某信源发送端有2种符号i x )2,1(=i ,ax p =)(1；接收端有3种符号i y )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ⎡⎤=⎢⎥⎣⎦. （1） 计算接收端的平均不确定度()H Y ；（2） 计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.图2-132、一阶马尔可夫信源的状态转移图如右图所示， 信源X 的符号集为}2,1,0{.（1）求信源平稳后的概率分布； （2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平 稳分布.求近似信源的熵)(X H 并与H ∞进行比较. 3、设码符号为}2,1,0{=X ，信源空间为⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.087654321s s s s s s s s 试构造一种三元紧致码.4、设二元)4,7(线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式； （2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则 试着对其译码.（二）一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ；二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字1、0、1之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
18、现代数据加密体制主要分为 和 两种体制。
信息编码论期末考试试题
信息编码论期末考试试题一、单项选择题（每题2分，共20分）1. 信息论的奠基人是：A. 爱因斯坦B. 牛顿C. 香农D. 麦克斯韦2. 下列哪个不是编码的基本原则？A. 唯一性B. 可识别性C. 可逆性D. 复杂性3. 熵是衡量信息量的一个指标，它在信息论中的定义是：A. 信息的不确定性B. 信息的确定性C. 信息的有序性D. 信息的无序性4. 在信息编码中，冗余度是指：A. 编码中多余的部分A. 编码中重复的部分C. 编码中必需的部分D. 编码中缺失的部分5. 以下哪个编码方式不是基于概率的？A. 霍夫曼编码B. 香农-费诺编码C. 游程编码D. ASCII编码二、填空题（每题2分，共20分）1. 信息论中的信息量通常用______来衡量。
2. 信息的传输速率是指单位时间内传输的______。
3. 在编码理论中，______编码是一种无损压缩编码。
4. 信息论中的信噪比是指______与______的比例。
5. 编码的目的是减少信息的______，提高信息的传输效率。
三、简答题（每题10分，共30分）1. 简述信息论中熵的概念及其计算公式。
2. 描述霍夫曼编码的基本原理及其在数据压缩中的应用。
3. 阐述信道容量的概念，并解释如何通过信道编码来逼近信道容量。
四、计算题（每题15分，共30分）1. 给定一组字符及其出现概率：A(0.4), B(0.25), C(0.15), D(0.1), E(0.1)。
请使用霍夫曼编码为这组字符设计一个最优编码方案，并计算该编码方案的平均码长。
2. 假设一个信道的信噪比为10dB，信道带宽为3000Hz，请计算该信道的最大数据传输速率（香农极限）。
五、论述题（共20分）1. 论述信息编码在现代通信系统中的重要性，并举例说明其在实际应用中的作用。
请考生在规定的时间内完成以上试题，注意保持答题卡的整洁，字迹清晰。
祝您考试顺利！。
信息论与编码期末考试题（全套）
信息论与编码期末考试题（全套）（一）一、判断题共 10 小题，满分 20 分.1. 当随机变量X 和Y 相互独立时，条件熵)|(Y X H 等于信源熵)(XH . （）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（）3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （） 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信（）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （） 6. 连续信源和离散信源的熵都具有非负性. （） 7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. （） 9. 率失真函数的最小值是0. （）10.必然事件和不可能事件的自信息量都是0. （）二、填空题共 6 小题，满分 20 分.1、码的检、纠错能力取决于 .2、信源编码的目的是；信道编码的目的是 .3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 .4、香农信息论中的三大极限定理是、、.5、设信道的输入与输出随机序列分别为X 和Y ，则),(),(Y X NI Y X I N N =成立的条件 ..6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源01()1/21/2X P X =???，其失真矩阵00a D a ??=，则该信源的max D = .三、本题共 4 小题，满分 50 分.1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1；接收端有3种符号iy )3,2,1(=j ，转移概率矩阵为1/21/201/21/41/4P ??=.（1）计算接收端的平均不确定度()H Y ；（2）计算由于噪声产生的不确定度(|)H Y X ；（3）计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，信源X 的符号集为}2,1,0{.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵)(X H 并与H ∞进行比较.3、设码符号为}2,1,0{=X ，信源空间为05.005.005.005.01.01.02.04.087654321s s s s s s s s 试构造一种三元紧致码.4、设二元)4,7(线性分组码的生成矩阵为=1000101010011100101100001011G . （1）给出该码的一致校验矩阵，写出所有的陪集首和与图2-13之相对应的伴随式；（2）若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码.（二）一、填空题（共15分，每空1分）1、信源编码的主要目的是，信道编码的主要目的是。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分）1、1948年,美国数学家发表了题为“通信的数学理论”的长篇论文,从而创立了信息论.信息论的基础理论是，它属于狭义信息论。
2、信号是的载体，消息是的载体。
3、某信源有五种符号,先验概率分别为，，，，则符号“a”的自信息量为 bit，此信源的熵为 bit/符号.4、某离散无记忆信源X,其概率空间和重量空间分别为和，则其信源熵和加权熵分别为和.5、信源的剩余度主要来自两个方面，一是，二是。
6、平均互信息量与信息熵、联合熵的关系是。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。
8、马尔可夫信源需要满足两个条件：一、 ;二、。
9、若某信道矩阵为,则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为和。
11、信源编码的概率匹配原则是:概率大的信源符号用，概率小的信源符号用 .(填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的性,信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为、和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错.15、码字101111101、011111101、100111001之间的最小汉明距离为。
16、对于密码系统安全性的评价，通常分为和两种标准。
17、单密钥体制是指。
18、现代数据加密体制主要分为和两种体制。
19、评价密码体制安全性有不同的途径，包括无条件安全性、和.20、时间戳根据产生方式的不同分为两类:即和。
二、选择题（每小题1分,共10分）1、下列不属于消息的是（）。
A。
文字 B。
信号 C。
图像 D。
语言2、设有一个无记忆信源发出符号A和B,已知，发出二重符号序列消息的信源，无记忆信源熵为（)。
A。
0.81bit/二重符号B。
1。
62bit/二重符号 C. 0。
信息论与编码期末考试题----学生复习用1
H(Y/X) 0,I(X;Y) H(X)。
二、若连续信源输出的幅度被限定在【2,6】区域内，当输出
信号的概率密度是均匀分布时，计算该信源的相对熵，并说明 该信源的绝对熵为多少。
三、已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长;（4分） （3）计算编码信息率;（2分） （4）计算编码后信息传输率;（2分） （5）计算编码效率。（2分）
号；
C、9比特/符号； D、18比特/符号。
2、信道转移矩阵为，其中两两不相等，则该信
道为
A、一一对应的无噪信道
B、具有并归性能的无噪信道 C、对称信道 D、具有扩展性能的无噪信道 3、设信道容量为C，下列说法正确的是：（ ） A、互信息量一定不大于C B、交互熵一定不小于C C、有效信息量一定不大于C D、条件熵一定不大于C 4、在串联系统中，有效信息量的值（ ） A、趋于变大 B、趋于变小 C、不变 D、不确定
5、若BSC信道的差错率为P，则其信道容量 为：（ ） A、 B、 C、 D、 2、 填空题 1、 (7,4)线性分组码中，接受端收到分组R的位
数为____ ，伴随式S可能的值有____ 种, 差错图案e的长度为 ，系统生成矩阵 Gs为____ 行的矩阵，系统校验矩阵Hs为
____ 行的矩阵，Gs和Hs满足的关系式是
（8） 平均错误概率不仅与信道本身的统计特性有关，还
与___ __________和___ ___有关
二、判断题
（1） 信息就是一种消息。
（）
（2） 信息论研究的主要问题是在通信系统设计中如何实
现信息传输、存储和处理的有效性和可靠性。 （
）
（3） 概率大的事件自信息量大。
（
信息论与编码复习题B答案
《信息论与编码》期末复习题B 答案一、填空题（每小题4 分，共 24 分）1.根据信息论的各种编码定理和通信系统的指标，编码问题可分解为3类 信源 编码、 信道 编码和 加密 编码 。
为了提高通信系统的传输效率，应该采用 信源编码 。
2. 限峰功率最大熵定理指出，对于定义域被限定在[a,b]的随机变量X ，当它是 平均 分布时具有最大熵，其值为 log(b-a) 。
3.根据信道参数与时间的关系不同，信道可分为 固定参数 信道和 连续参数 信道，根据信道中噪声种类的不同，可分为 随机差错 信道和 突发差错 信道。
4.最常用的失真函数有 均方失真 、 绝对失真 、 相对失真 和 误码失真 。
5.常用信源编码方法有 游程编码 、 算术编码 、 预测编码 和 变换编码 等。
6.在信道编码中，按照构码理论来分，有 代数码 、 几何码 、 算术码 和组合码等。
二、简答题（每小题 8 分，共 32 分）1.简述自信息的性质。
答：（1） ； （2） ； （3）非负性 ； （4）单调递减性：若 则 ； （5）可加性。
评分标准：前2条每条1分，后3条每条2分。
2.什么是二进制对称信道（BSC ）？答：二进制对称信道（BSC ）是二进制离散信道的一个特例，如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输出的信道为二进制对称信道。
评分标准：前2条每条2分，最后结论4分。
3.简述哈弗曼编码方法。
答：(1)将q 个信源符号按概率分布的大小，以递减次序排列起来，设(2)用“0”和“1”码符号分别代表概率最小的两个信源符号，并将这两个概率最小的符号合并成一个符号，合并的符号概率为两个符号概率之和，从而得到只包含q-1个符号的新信源，称为缩减信源。
(3)把缩减信源的符号仍旧按概率大小以递减次序排列，再将其概率最小的两个信源符号分别用“0”和“1”表示，并将其合并成一个符号，概率为两符号概率之和，这样又形成了q-2个符号的缩减信源。
完整word版信息论与编码理论复习题一
信息论与编码理论复习题（一）一、填空题（1）1948 年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是。
（3）离散平稳无记忆信源X 的 N 次扩展信源的熵等于离散信源X 的熵的。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为___。
（5）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是。
（6）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R____C （大于、小于或者等于），则存在一种编码，当输入序列长度n 足够大，使译码错误概率任意小。
（7）平均错误概率不仅与信道本身的统计特性有关，还与______________和 ______有关。
二、综合题1..黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X 的数学模型。
假设图上黑白消息出现前后没有关联，求熵H X ；2）假设黑白消息出现前后有关联，其依赖关系为，，，，求其熵。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
2.信源空间为X x1x2x3x4x5x6x7，试构造二元霍夫曼码，计算其平均P(X)0.2 0.19 0.18 0.170.150.10.01码长和编码效率（要求有编码过程）。
3..二元对称信道如图。
3， p 111）若p 0，求H X 、H X|Y和I X;Y ；442）求该信道的信道容量。
0 0 0 1 11 4.设一线性分组码具有一致监督矩阵H0 1 1 0 011 0 1 0 111）求此分组码n=?,k=?共有多少码字？2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。
参考答案：填空（1）香农（ 2）0 （ 3）N 倍（ 4）信源符号等概分布综合题1.解： 1）信源模型为2）由题意可知该信源为一阶马尔科夫信源。
信息论与编码期末试卷
信息论与编码期末试卷题号一二三四五六七八九十十一十二总成绩得分一．选择题（每小题3分，共15分）1）设信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/14321xxxxPX，则此信源的熵为：比特/符号A） 1.25 B） 1.5 C） 1.75 D） 22）对于离散信道⎥⎦⎤⎢⎣⎡=0.50.50.50.5P，信道容量是比特/符号A） 0 B） 1 C） 2 D） 33）对于三个离散信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡6.01.03.0321xxxPX、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡3.04.03.0321yyyPY、⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡2.05.03.0321zzzPZ，其中熵最小A） X B） Y C） Z D）无法计算4）信源编码的变长编码中，下面说法不正确的是A）无失真r进制变长码平均码长不得低于信源r进制符号熵B）变长编码时，随着信源序列长度的增大，编码效率会提高C）变长码要求各个码字的长度各不相同D）变长编码的编码效率通常高于定长码5）以下约束条件属于保真度准则的是共 4 页第 1 页共 4 页第 2 页共 4 页第 3 页共 4 页第 4 页练习题一 参考答案一．选择题（每小题3分，共15分） 1）C ） 2）A ） 3）A ） 4）C ） 5）C ）二．三状态马尔科夫（Markov ）信源，其一步状态转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=p qp qp qP 000， 1)、求出其二步转移概率矩阵2)、计算其稳态时处于各个状态的概率3)、极限熵∞H （15分）解：1）二步转移概率矩阵为P 2P 2=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡++=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡⨯⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯22222220000p pq pq q p pq q p pqpq q p qp q p qp qp q p qP P2）假设稳态时各个状态概率为p(0)，p(1)，p(2)，则 [p(0) p(1) p(2)]= [p(0) p(1) p(2)]P 且p(0)+p(1)+p(2)=1 得到：()()⎪⎪⎪⎩⎪⎪⎪⎨⎧-=-=-=pq p p pq pq p pq q p 12111)0(223）极限熵∞H 为稳态时各个状态熵的数学期望三．两个串接的信道转移概率矩阵都为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0100001/21/210001000P ，第一个信道的输入符号为X ，4个符号等概率分布，输出符号为Y ，第二个信道的输入符号为Y ，输出符号为Z ，求I （X ；Y ），I （Y ；Z ），I （X ；Z ）其信道容量及信源最佳分布（8分）解：由第一个信道的转移矩阵，以及全概率公式()()()4,3,2,1,/41==∑=j x P x y P y P i i i j j计算得到：()()2/1)(,4/1)(,8/14321====y P y P y P y P)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Y H Y H Y X I =--⨯-=-= )/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H Y Z H Z H Z Y I =--⨯-=-= ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⨯=002/12/1100001000100][/P P P X Z 从而()()())/)(((log log )(2020symbol bit q orH p H q q p p p H i p H i p H i ii =--===∑∑==∞)/(5.1)0,1,0,0(4/1)0,0,,2/1,2/1(4/1)1,0,0,0(4/12)2/1,4/1/,8/1,8/1()/()();(symbol bit H H H H X Z H Z H Z X I =--⨯-=-= 按一般情况下求信道容量C ，⎪⎪⎩⎪⎪⎨⎧====00-1-14321ββββ ()()3/13/16/1)(6/1)()/(3log 2432141======∑=x p x p x p x p symbol bit C i j此时：β四．信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡16/116/116/116/18/18/14/14/187654321x x x x x x x x P X ，现采用二进制fano 编码，求各自的码字和编码效率（8分） 解：编码过程如下： 1)2) 由题意)/(75.2)(log )()(81symbol bit x p x p X H i i i =-=∑=而平均码长()75.291==∑=i i i x p l K则编码效率()%1001===Kx H η 五．设信源先验等概⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010P X ，接收符号{}21,0，=Y ,失真矩阵为⎥⎦⎤⎢⎣⎡∞∞=1010D ，求()()max min max min ,,,D R D R D D 和对应的信道矩阵（10分）解：根据题意可知如果信道矩阵为⎥⎦⎤⎢⎣⎡=010001P ，则可得到失真值得最小值0m in =D ，此时信道传输的是信源的熵())/(1)()0(min symbol bit X H R D R === 对于最大的允许失真，对应的信道传输的信息为0，此时{}3,21max ,min D D D D =⎥⎦⎤⎢⎣⎡=001001P 时，∞=1D ⎥⎦⎤⎢⎣⎡=010010P 时，∞=2D ⎥⎦⎤⎢⎣⎡=100100P 时，11=D 则，1m ax =D ，()0)1(max ==R D R (bit /symbol ),且⎥⎦⎤⎢⎣⎡=100100P六．二元(n ,k )线性分组码的全部码字：000000，000111，011001，011110，101011，101100，110010，110101，求1）n ,k 各为多少? 2）求该码的生成矩阵G s ？3)此码的校验矩阵H ？（12分） 解：1）n 为码字长度，所以n=6，而码字个数M=8，所以k=logM=log8=3 2）G 为三行6列的矩阵，其行向量线性无关。
信息论与编码期末考试题
精品文档（一）一、判断题.. )XH()YX|H(YX等于信源熵1. 当随机变量（和相互独立时，条件熵）.同一码集可生成矩阵有能生成的基底不是唯一的，所以不同的基底或2. 由于构成同一空间（）.（3.一般情况下，用变长编码得到的平均码长比定长编码大得多）. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信4.（）. ）（5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 6. 连续信源和离散信源的熵都具有非负性（）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确.定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码（）.09. 率失真函数的最小值是（）.010.必然事件和不可能事件的自信息量都是（）二、填空题.、码的检、纠错能力取决于1.；信道编码的目的是2、信源编码的目的是.),k(n k码就叫做、把信息组原封不动地搬到码字前位的3、、.香农信息论中的三大极限定理是4、NN)Y(X,X,Y)?NI(I成立的YX，则5、设信道的输入与输出随机序列分别为和 ..条件.费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是6、对于香农-0a??1X0????D .?D，其失真矩阵某二元信源，则该信源的=7、???????max0a2)1/1/2P(X??????三、计算题.xya?(x)p(j?1,2(i?1,2),3)，种符符端信1、某源发送有2种号号转移概率矩,阵为3接；收端有1ii1/21/20??.P???1/21/41/4??H(Y)；1）计算接收端的平均不确定度（H(Y|X)；2（）计算由于噪声产生的不确定度.计算信道容量以及最佳入口分布（3）（二）一、填空题精品文档．精品文档1、信源编码的主要目的是，信道编码的主要目的是。
2、信源的剩余度主要来自两个方面，一是，二是。
3、三进制信源的最小熵为，最大熵为。
《信息论与编码》复习试题
填空1.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
2.信息的 可度量性 是建立信息论的基础。
3.统计度量 是信息度量最常用的方法。
4.熵 是香农信息论最基本最重要的概念。
5.事物的不确定度是用时间统计发生 概率的对数 来描述的。
6.单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
7.一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
8.自信息量的单位一般有 比特、奈特和哈特 。
9.必然事件的自信息是 0 。
10.不可能事件的自信息量是 ∞ 。
11.两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
12.数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
13. 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
14. 离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
15. 对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
16. 一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
17.平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
18.对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
19.对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
20.若一离散无记忆信源的信源熵H （X ）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。
21.若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
22.同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log 218（1+2 log 23）。
信息理论与编码-期末试卷A及答案
一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
信息论的基础理论是 ，它属于狭义信息论。
2、信号是 的载体，消息是 的载体。
3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。
4、某离散无记忆信源X ，其概率空间和重量空间分别为1234 0.50.250.1250.125X x x x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦和12340.5122X x x x x w ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，则其信源熵和加权熵分别为 和 。
5、信源的剩余度主要来自两个方面，一是 ，二是 。
6、平均互信息量与信息熵、联合熵的关系是 。
7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。
8、马尔可夫信源需要满足两个条件：一、 ； 二、 。
9、若某信道矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡010001000001100，则该信道的信道容量C=__________。
10、根据是否允许失真，信源编码可分为 和 。
11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。
（填短码或长码）12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。
13、差错控制的基本方式大致可以分为 、 和混合纠错。
14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。
15、码字101111101、011111101、100111001之间的最小汉明距离为 。
16、对于密码系统安全性的评价，通常分为 和 两种标准。
17、单密钥体制是指 。
信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,期末绝不会挂科)
信息论与编码期末复习（基本上涵盖了所有考点，有了这份资料，期末绝不会挂科）1填空题1、信息论研究的主要问题是如何提高信息传输系的性和性，对应这两个性能数字通讯系统量化指标分别为和。
2、若给定离散概率空间[X,p(x)]表示的信源，则该信源中的信源消息（事件）x的自信息量可表I(x)= ；该信源平均自信息量（即信源的熵）可表示为H(X)=E[I(x)]= 。
3、在离散联合概率空间[XY,P(xy)] 上随机变量I(xy) 的数学期望H（XY）= ，若集合X与集合Y相互独立，则H（XY）= 。
4、若给定离散联合概率空间[XY,P(xy)]，则x与y之间的互信息量I(x;y)= ；平均互信息量可用熵和条件熵表示即I(X;Y)= = ，其中条件熵H(X|Y)通常称为熵，条件熵H(Y|X) 称为____________熵；若集合X与集合Y相互独立，则H(X|Y) = ，H(Y|X) = ，平均互信息量I(X;Y)= 。
5、离散信源的冗余度是R表示信源消息的可压缩____________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，则冗余度Ｒ可表示为______________；信源编码目的就是通过减少或消除信源____________来提高信息传输效率，因此信源编码亦称__________性编码，而信道编码则称__________性编码。
6、对于连续随机变量，在峰值功率受限于P m的条件下，取得最大相对熵的最佳概率密度函数是一个恒值即W opt(x)=_________,称W(x)为__________分布，这时最大相对熵H cmax=__________。
7、对于平均功率受限，均值不为零的一维连续随机变量的方差为定值时，其取得最大相熵的最佳概率密度函数为正态分布，即Wopt(x)= _________ ，最大相对熵H cmax=__________。
8、假设任一随机变量X与一正态分布随机变量具有相同的相对熵Ｈｃ，则其等效正态分布的随机变量Ｘ的熵功率为Ｐ＝；可以用信号平均功率和熵功率的相对差值_________来表示连续信源的冗余度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信研10“信息论与编码”期末复习题
1.信息论基础(狭义信息论/景点信息论/香农信息论)主要研究的三个方面是什么？
信息测度、信道容量、信息率失真函数
2.全信息同时考虑的三个方面的内容是什么？
语法信息、语义信息、语用信息
3.研究信息论的目的是什么？
寻找信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性等，已达到信息传输系统的最优化
4.消息、信号、信息的含义、定义及区别。
信息--事物运动的状态及状态变化的方式。
消息--包含信息的语言，文字和图像等。
信号--消息的物理体现。
消息是信息的数学载体、信号是信息的物理载体
同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式同一类型信号或消息也可以代表不同内容的信息
5.信息的特征与分类。
1.接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容；
2.信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；
3.信息可以产生，也可以消失，同时信息可以被携带，被存储及处理；
4.信息是可以量度的，信息量有多少的差别
6.狭义信息论、广义信息论、一般信息论研究的领域。
狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研究的科学。
它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响等方面的知识。
广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、状态和历史。
包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪声理论，信号的检测与估值等。
概率信息：信息表征信源的不定度，但它不等同于不定度，而是为了消除一定的不定度必须获得与此不定度相等的信息量
7.通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。
信源--如何确定信息量。
信宿--能收到或提取多少信息。
信道--信道容量的多少
8.通信的目的？要解决的最基本问题？通信有效性的概念。
提高通信有效性的最根本
途径？通信可靠性的概念。
提高通信可靠性的最根本途径？
9.随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模
型，自信息量、条件自信息量、联合自信息量的含义？
10.信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。
11.互信息的定义及物理意义？
12.各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。
13.信源熵的基本性质与定理及其理解？
14.平均互信息量的定义及物理意义？
15.信道疑义度和噪声熵的物理意义是什么？
16.平均互信息量的性质及理解？
17.证明平均互信息量关于信源概率和信道转移概率的凸性定理。
18.最大离散熵定理及其证明。
19.凸函数的定义及其性质，定理。
20.数据处理定理及其含义，证明。
21.信源的种类（详细分类）？各举出几个例子。
22.离散平稳信源的定义，平均符号熵，极限熵的定义，含义与理解。
23.马尔可夫信源的定义，含义及其极限熵？
24.信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的好处与坏处，及
其计算。
25.写出平均互信息的三种表达公式，并说明其物理意义。
26.写出二进制的熵函数，并画出熵与概率的关系图。
27.极限熵与条件熵的关系（二进制）。
28.连续信源的熵的定义及其推导？
29.连续信源熵的性质。
30.熵功率的含义，均值为0，平均功率受限的连续信源的冗余度的计算？
31.Shannon第一定理—离散无失真信源编码定理（定长和变长）及含义？举例说明其
应用。
32.证明关于前缀码存在的克拉夫特不等式。
33.信道的数学模型和分类？
34.什么是信道容量？简述求信道容量的方法。
35.信息传输速率R的定义？信道转移概率、信道矩阵和信道容量C的定义？几种离散
无噪信道的C？
36.强对称，对称，准对称信道的含义及其C？
37.离散信道容量的一般计算方法推导及其步骤？
38.写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率p的曲线图。
39.简述著名的香农公式，说明其物理含义。
40.多用户信道的定义及分类。
41.连续信道，连续信道的C的定义及推导。
42.香农公式的推导及含义？
43.Shannon第二定理（信道编码定理）及其含义？举例说明其应用。
44.对信源编码器有些什么基本要求？编码效率的定义？如何提高编码效率？
45.什么是最佳编码？说出Shannon、Fano和Huffman编码的基本方法和主要特点。
46.算术编码相关定义与步骤？
47.简要说明最大似然译码准则。
48.什么叫失真度？平均失真度？允许平均失真度？分述其物理意义。
49.保真度的定义及其含义？
50.什么是汉明失真矩阵？
51.信息率失真函数R(D)的定义、性质及其含义？R(D)与C的比较？
52.信息率失真函数R(D)中的自变量D的物理意义是什么？
53.说明信息率失真函数及其物理意义。
54.分三个方面简述信道容量和信息率失真函数的对偶问题（求极值、特性、解决的问
题）。
55.离散信源信息率失真函数的参量表达式及其推导。
56.推导n元等概率离散信源的信息率失真函数表达式。
57.连续信源信息率失真函数的定义及高斯信源的信息率失真函数的推导？
58.Shannon第三定理及其含义？举例说明其应用。
59.常用哪些差错控制的方法？主要特点？
60.纠错编码的分类（从不同的角度）？
61.分组码和卷积码的定义？区别？码率？卷积码的约束长度？
62.分组码具有纠、检错能力的物理本质（许用码组和禁用码组）？
63.二进制分组码纠、检错能力与汉明距离的关系？
64.汉明距离和汉明重量的定义？错误图样的定义？随机错误和突发错误的定义？
65.奇偶校验码的形成？重复码的译码规则？
66.线性分组码的定义、构造、性质？
67.线性分组码的伴随式、标准阵列的定义及性质？陪集首与伴随式的关系？
68.在(n,k) 线性码中，两个码字U、V之间的汉明距离如何表示？
69.线性分组码的最小距离与最小重量的关系。
70.说明码的最小距离与纠、检错的关系。
71.循环码的定义及其性质？系统循环码的编码方法？
72.循环码的生成矩阵和一致校验矩阵的构造？
73.循环码的伴随式及其性质？
74.循环码码字的i 次循环移位的多项式表示方法。
75.(n,k)循环码的检错能力如何？
76.缩短循环码的定义及性质？
77.BCH码的定义？本原BCH码？非本原BCH码？。