《信息论与编码技术》模拟试卷2
信息论与编码试卷
三, 简答题(22 分)
1.简述信息传输系统的五个组成部分及其作用. (10 分) 2.简述 Shannon 关于信息论的三大定理. 分) (6 3.写出 Fano 不等式,并说明其物理意义. 分) (6
四.编码题(共 12 分)
x X 1 1 对信源 = q( x) 6 均码长和编码效率. x2 1 6 x3 1 8 x4 1 8 x5 1 8 x6 1 8 x 7 x8 1 1 设计 D=3 的霍夫曼编码,并求出平 12 12
6. 通信系统形式上传输的是消息,实质上传输的是信息,消息中包含信息. (
第 1 页 共 3页
7. 利用标准阵列进行译码时,译码正确的概率大小与陪集首的选择无关. ( 0.5 0.5 0 8. 信道 p ( y / x) = 是准对称信道. 0 0.5 0.5 (
) )
9. 对于同一个信源,香农,费诺和霍夫曼三种编码方法中,费诺编码得到的编码效率 最高. ( ) 10. R(D)=0 表示信源无任何失真. ( )
五.计算题(每小题 8 分,共 24 分)
X x1 x 2 x3 1. 给定信源分布 = ,失真测度矩阵 q( x) 0.3 0.5 0.2
3 2 0 [d ] = 1 0 2 ,求率失真函数的定义域和值域 0 3 1
1 2.已知离散无记忆信道分布 [ p( y / x)] = 3 1 6
对于某个含有 7 个消息的信源, 其熵的最大值为
, 对应为
分布. 型凸函数. ,要纠正
4. 当信道给定,平均互信息量 I(X;Y)是信源概率分布 q(x)的 5. (n,k)线性分组码,要检测 e 个错误,则码的最小距离 d≥
t 个错误,码的最小距离 d≥
. . . 译码
计算机科学技术：信息论与编码考试题库二
计算机科学技术：信息论与编码考试题库二1、问答题（江南博哥）请给出平均码长界定定理及其物理意义。
答案：2、填空题多用户信道的信道容量用（）来表示。
答案：多维空间的一个区域的界限3、判断题狭义的信道编码既是指：信道的检、纠错编码。
答案：对4、判断题互信息量I（X；Y）表示收到Y后仍对信源X的不确定度。
答案：对5、判断题对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。
答案：错6、问答?有两个二元随机变量X和Y，它们的联合概率为P[X=0，Y=0]=1/8，P[X=0，Y=1]=3/8，P[X=1，Y=1]=1/8，P[X=1，Y=0]=3/8。
定义另一随机变量Z=XY，试计算：（1）H（X），H（Y），H（Z），H（XZ），H（YZ），H（XYZ）；（2）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H （X/YZ），H（Y/XZ），H（Z/XY）；（3）I（X；Y），I（X；Z），I（Y；Z），I（X；Y/Z），I（Y；Z/X），I（X；Z/Y）。
答案：7、填空题平均互信息量I（X；Y）与信源熵和条件熵之间的关系是（）。
答案：（X;Y)=H(X)-H(X/Y）8、填空题根据输入输出信号的特点，可将信道分成离散信道、连续信道、（）信道。
答案：半离散或半连续9、填空题单符号离散信源一般用随机变量描述，而多符号离散信源一般用（）描述。
答案：随机矢量10、填空题信源编码的目的是提高通信的（），信道编码的目的是提高通信的（），加密编码的目的是保证通信的（）。
答案：有效性；可靠性；安全性11、填空题某离散无记忆信源X，其符号个数为n，则当信源符号呈（）分布情况下，信源熵取最大值（）。
答案：等概；log（n）12、名词解释前向纠错（FEC）答案：是指差错控制过程中是单向的，无须差错信息的反馈。
13、名词解释信源编码答案：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。
信息论与编码期末复习试题2套含答案(大学期末复习资料)
莆田学院期末考试试卷（A）卷2011 — 2012 学年第一学期课程名称：信息论与编码适用年级/专业： 09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时 120分钟《．考生注意：答案要全部抄到答题纸上，做在试卷上不给分．．．．．．．．．．．．．．．．．．．．．．．．．》．一、简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
2. 香农信息论研究了哪些内容？试讲述香农第二编码定理。
3. 什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10分）4. 什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y，试证明下列不等式成立：H(X|Y)<=H(X),并说明等式成立的条件。
三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。
设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。
求（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。
2.（12分）一信源产生概率为P(1)=0.005, P(0)=0.995的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
（1）求出为所规定的所有源符组都提供码字所需的最小码长。
（2）求信源发出一数符组，而编码器无相应码字的概率。
3.（10分）已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101，111000，011101，000000。
信息论与编码题库
信息论与编码 模拟题一 、填空题1、已知 8 个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、 （110110）、（111000）。
则该码组的最小码距是 3 ，若只用于检错可检测 2 位错码，若只用于纠错可纠正 1 位错码。
2、同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“两个 1 同时出现”这一事件的自信息量为 5.17 比特。
3、已知信源的各个符号分别为字母A ，B ，C ，D ，现用四进制码元表示，每个码元的宽度为10ms ，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H （x ）为 1.985 比特/符号，在无扰离散信道上的平均信息传输速率为 198 bit/s 。
4．1948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
5．对离散无记忆信源来说，当信源呈____________分布情况下，信源熵取最大值。
6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。
7、二元删除信道BEC(0.01)的信道转移矩阵为 ，信道容量为 ；信道矩阵为100001010001010⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的DMC 的信道容量为 。
8．数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9.(7,3)码监督矩阵有 4 行,生成矩阵有 3 行。
10.对线性分组码,若要求它能纠正3个随机差错,则它的最小码重为 7 ,若要求它能在纠错2位的同时检错3位,则它的最小码重为 8 。
11．汉明码是一种线性分组码，其最小码距为 3 。
12.信道编码的目的是提高数字信息传输的 可靠性 ,其代价是降低了信息传输的 有效性。
13.在通信系统中,纠检错的工作方式有 反馈重发纠错 、 前向纠错 、 混合纠错 等。
信息论与编码题集
信息论与编码题集一、选择题1. 下列关于信息量的说法中，正确的是（）A. 信息量是对信息不确定性的度量，不确定性越大，信息量越大B. 信息量与事件发生的概率成正比，概率越大，信息量越大C. 信息量的单位是比特，一个二进制符号所含的信息量为1比特D. 信息量只与信息的内容有关，与信息的形式和传递方式无关答案：A解释：信息量是对信息不确定性的度量，不确定性越大，信息量越大，A选项正确；信息量与事件发生的概率成反比，概率越小，信息量越大，B选项错误；信息量的单位是比特，一个二进制符号所含的信息量为1比特，这只是信息量的一种常见表示方式，实际上信息量的单位可以根据具体情况而定，C选项表述不全面；信息量不仅与信息的内容有关，还与信息的形式和传递方式有关，D选项错误。
2. 在信息论中，信息熵是用于描述（）A. 信息的不确定性B. 信息的准确性C. 信息的冗余度D. 信息的有效性答案：A解释：信息熵是用于描述信息的不确定性，它表示信息的平均不确定性程度，A选项正确；信息熵与信息的准确性无关，B选项错误；信息熵可以反映信息的冗余度，但它本身并不是用于描述冗余度的，C 选项不准确；信息熵主要用于描述信息的不确定性，而不是有效性，D选项错误。
3. 假设一个随机事件有四种可能的结果，它们发生的概率分别为0.2、0.3、0.4和0.1，那么该事件的信息熵为（）A. 1.5比特B. 1.8比特C. 2.0比特D. 2.5比特答案：B解释：信息熵的计算公式为H(X) = Σp(x)log₂p(x)，其中p(x)为事件发生的概率。
将概率代入公式计算可得：H(X) = (0.2log₂0.2 + 0.3log₂0.3 + 0.4log₂0.4 + 0.1log₂0.1) ≈ 1.8比特，B选项正确。
4. 对于两个相互独立的随机事件A和B，它们的信息熵分别为H(A)和H(B)，那么事件A和B同时发生的信息熵为（）A. H(A) + H(B)B. H(A) H(B)C. H(A) × H(B)D. H(A) + H(B) H(A × B)答案：A解释：对于两个相互独立的随机事件A和B，它们同时发生的信息熵等于它们各自信息熵的和，即H(A, B) = H(A) + H(B)，A选项正确。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码考试试题
信息论与编码考试试题一、选择题（每题 5 分，共 30 分）1、以下关于信息熵的说法，错误的是（）A 信息熵是对信息不确定性的度量B 信息熵越大，信息量越大C 信息熵只与信源的概率分布有关D 信息熵的值可以为负数2、设信源符号集为｛A, B, C, D}，对应的概率分别为 1/2, 1/4, 1/8, 1/8，则该信源的熵为（）A 175 比特/符号B 15 比特/符号C 125 比特/符号D 2 比特/符号3、无失真信源编码的平均码长（）信源熵。
A 小于B 大于C 等于D 以上都有可能4、在哈夫曼编码中，出现概率越大的符号，编码长度（）A 越长B 越短C 不确定D 与概率无关5、以下哪种编码是唯一可译码（）A 00, 01, 10, 11B 0, 10, 11C 0, 00, 1D 0, 01, 106、对于一个离散无记忆信道，其信道容量与（）有关。
A 输入概率分布B 输出概率分布C 转移概率矩阵D 以上都是二、填空题（每题 5 分，共 30 分）1、信息论的奠基人是__________。
2、若信源的概率分布为 P(X) ＝｛02, 03, 01, 04}，则信源的熵为__________比特/符号。
3、香农第一定理指出，对于离散无记忆平稳信源，当信源熵小于信道容量时，可以通过编码实现__________传输。
4、已知某二元对称信道的错误概率为 01，则其信道容量为__________比特/符号。
5、一个码组为{000, 111, 010, 101}，其最小码距为__________。
6、线性分组码的监督矩阵与生成矩阵之间满足__________关系。
三、简答题（每题 10 分，共 20 分）1、简述信息熵的物理意义，并举例说明。
信息熵是用来度量信息不确定性的一个重要概念。
它反映了信源输出符号的平均不确定性。
物理意义在于，熵越大，说明信源的不确定性越大，需要更多的信息来消除这种不确定性。
例如，抛硬币的结果只有正反两面，其概率各为 05。
信息论与编码(第2版)题库
信息论与编码试题集与答案（新）Word版
信息论与编码试题集与答案（新）Word版一填空题（本题20分，每小题2分）1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有比特、奈特和哈特。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是∞ 。
15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√ ）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
信息论与编码考试题库
第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型 解： （1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。
123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。
画出状态图，并计算各状态的稳态概率。
解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P（1/0）=1/4，P （0/1）=1/8。
信息论与编码试卷及答案2
信息论与编码试卷及答案2篇一：信息论与编码试卷及答案一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？对二元信源时率失真函数的和？，其失真矩阵，求a>0二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为，白色出现的概率为。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，求其熵；，，2.二元对称信道如图。
；1）若，，求和；2）求该信道的信道容量和最佳输入分布。
3.信源空间为曼码，计算其平均码长和编码效率。
，试分别构造二元和三元霍夫4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
一、概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
信息论与编码第2章习题
j 123
i 1 1/2 1/4 1/4 2 2/3 0 1/3 3 2/3 1/3 0
2020/5/8
13
Hale Waihona Puke 12题的答案1.H(X1X2X3)=H(x1)+H(x2/x1)+H(x3/x2) H(x1)=-0.5log0.5-2*0.25log0.25=1.5bit/符号 P(aiaj)=P(ai)*p(aj/ai)得到图二，同理得图三； H(X2/X1)= P(aiaj)*log(paj/ai)相加；同理，得H(X3/X2); 2.根据图一画香农线图，的平稳概率，求极限熵； 3.H0=1-H
转移概率矩阵和信源熵H∞。
2020/5/8
11
习题11
11. 一个马尔可夫过程的基本符号0,1,2，这三 个符号以等概率出现，具有相同的转移概 率，并且没有固定约束。
① 画出一阶马尔可夫过程的状态图，并求稳定状 态下的马尔可夫信源熵H1。
② 画出二阶马尔可夫过程的状态图，并求稳定状 态下二阶马尔可夫信源熵H2。
和I(X;Z/Y)
2020/5/8
8
习题7
YX 0
1
Z
0
0
1/8
3/8
p
7/8
1
3/8
1/8
ZX 0
1
ZY 0
1
0
1/2
3/8
0
1/2
3/8
1
0
1/8
1
0
1/8
2020/5/8
9
习题8、9
8. 某无记忆信源的符号集为{0,1}，已知p0=1/4， p1=3/4。 求： ① 求符号的平均熵。 ② 由100个符号构成的序列，求某特定序列（m个“0” 和100-m个“1”）的自信息量的表达式。 ③ 计算②中序列的熵。
信息论与编码试卷及答案2.doc
（119填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是_0 ________ o（3）离散平稳无记忆信源X的N次扩展信源的爛等于离散信源X的嫡的N倍。
（4）对于离散无记忆信源，当信源炳冇最大值时，满足条件为一信源符号等概分布（5）若一离散无记忆信源的信源癇H（X）等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 _____ o（6）対于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是_______________ o （7）已知某线性分组码的最小汉明距离为3,那么这组码戢多能检测出 ____________ 个码元错误，最多能纠正_ 个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R —小丁〔 C （大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错课概率不仅与信道本身的统计特性有关，还与____________ 和—编码方法有关二、（99判断题（1）信息就是一•种消息。
（x ）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的冇效性和可靠性。
（7 ）（3）概率大的事件自信息量大。
（x ）（4）互信息量可正、可负亦可为零。
（7 ）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（x ）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（V ）(7)非奇界码一定是唯一可译码，唯一可译码不一定是非奇界码。
(x )(8)信源变长编码的核心问题是寻找紧致码(或最住码)，崔夫曼编码方法构造的是最佳码。
(7 )(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. (x )三、(5‘)居住在某地区的女孩中有25%是大学生，在女人学生中有75%是身高1.6米以上的, 而女孩屮身高1.6米以上的占总数的一半。
《信息论与编码技术》模拟试卷2
《信息论与编码技术》模拟试卷（2）1. （5分）简述信源编码、信道编码和保密编码三种编码的联系。
2. （10分）已知一离散无记忆信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.01.01.01.01.015.015.02.0)(87654321u u u u u u u u u p u ，试利用三元码编成霍夫曼码，用两种方法使得它们有相同的最小码长但方差不相同，并说明哪种编码实用性更好。
3. （10分）已知二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/78/110)(u p u ，试对序列11110111110进行算术编码，并对结果进行译码。
4. （10分）下面以码字集合的形式给出5种不同的编码，第一个码的码符号集合为{x, y, z}，其它4个码都是二进制：（1）{xx, xz, y, zz, xyz}；（2）{000, 10, 00, 11}；（3）{100, 101, 0, 11}；（4）{01, 100, 011,00,111,1010, 1011, 1101}；（5）{01, 111, 011, 00, 010, 110}。
对于上面列出的5种编码，分别回答下述问题：（a ）此码的码长分布是否满足Kraft-McMilian 不等式？（b ）此码是否是即时码？如果不是，请给出反例。
（c ）此码是否唯一可译？如果不是，请给出反例。
5. （10分）设有一个离散信道，其信道矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/14/14/14/12/14/14/14/12/1321321b b b a a a P ， （1）当信源X 的概率分布为p (a 1)=2/3，p (a 2)=p (a 3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率p e 。
（2）当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概率p e 。
6. （10分）已知(7, 4)循环码的生成多项式1)(3++=x x x g ，若已知接收码的最高位码元发生错误，求其伴随多项式；若已知接收码字为0111000，求发送码字。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
《信息论与编码技术》模拟试卷（2）
1. （5分）简述信源编码、信道编码和保密编码三种编码的联系。
2. （10分）已知一离散无记忆信源
⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡1.01.01.01.01.015.015.02.0)(87654321u u u u u u u u u p u ，
试利用三元码编成霍夫曼码，用两种方法使得它们有相同的最小码长但方差不相同，并说明哪种编码实用性更好。
3. （10分）已知二元信源⎥⎦
⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/78/110)(u p u ，试对序列11110111110进行算术编码，并对结果进行译码。
4. （10分）下面以码字集合的形式给出5种不同的编码，第一个码的码符号集合为{x, y, z}，其它4个码都是二进制：
（1）{xx, xz, y, zz, xyz}；
（2）{000, 10, 00, 11}；
（3）{100, 101, 0, 11}；
（4）{01, 100, 011,00,111,1010, 1011, 1101}；
（5）{01, 111, 011, 00, 010, 110}。
对于上面列出的5种编码，分别回答下述问题：
（a ）此码的码长分布是否满足Kraft-McMilian 不等式？
（b ）此码是否是即时码？如果不是，请给出反例。
（c ）此码是否唯一可译？如果不是，请给出反例。
5. （10分）设有一个离散信道，其信道矩阵为⎥⎥⎥⎦
⎤⎢⎢⎢⎣⎡=2/14/14/14/12/14/14/14/12/1321321b b b a a a P ， （1）当信源X 的概率分布为p (a 1)=2/3，p (a 2)=p (a 3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率p e 。
（2）当信源是等概信源时，按最大似然译码准则选择译码函数，并计算其平均错误译码概率p e 。
6. （10分）已知(7, 4)循环码的生成多项式1)(3
++=x x x g ，若已知接收码的最高位码元发生错误，求其伴随多项式；若已知接收码字为0111000，求发送码字。
7. （10分）设(3, 1, 2)卷积码的生成子矩阵g 1=[1 1 1]，g 2=[0 1 0]，g 3=[0 0 1]。
（1）求卷积码的生成矩阵G ∞。
（2）若输入信息序列U=[1 0 1 1 0 1 0 1 0 0...]时，求卷积码的输出码字序列。
8. （5分）什么是对称密码体制和非对称密码体制？各有何优缺点？
9. （30分）网络信息论研究的主要问题是什么？目前的研究热点主要之中在哪几个问题上？它们与历史上相关的研究成果有哪些不同？采用的模型和分析技术是什么？。