信息论与编码习题
信息论与编码习题
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法 是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信 息量p(yj /xi)，（ ） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能 不同，指的是信息的（ ） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（ ） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输 时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知 收到的符号，被告知发出的符号能得到的信息量是 （ ）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)
2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要 求有编码过程）。
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。
设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。
则该消息序列含有的信息量＝14000(bit/symbol)。
下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？1100.980.020.020.98P ⎡⎤=⎢⎥⎣⎦111122221111222212111122221111222200000000000000000000000000000000P P ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。
信息论与编码试题与答案
1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
3、最大熵值为。
4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。
6、只要，当N足够长时，一定存在一种无失真编码。
7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。
9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成客观信息和主观信息。
人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
信息的可度量性是建立信息论的基础。
统计度量是信息度量最常用的方法。
熵是香农信息论最基本最重要的概念。
事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
信息论与编码习题集
第2章2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？2.2 平均互信息量(;)I X Y 与信源概率分布()p x 有何关系？与(/)p y x 又是什么关系？2.3 熵是对信源什么物理量的度量？2.4 设信道输入符号集是12{,,,}k x x x L ，则平均每个信道输入符号所能携带的最大信息量为什么？2.5 互信息量(;)i j I a b 有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？2.6 教材习题。
P70,2.19-2.22除外第3章3.1 设信源消息集为{0,1}X =，信宿消息集{0,1}Y =，信源等概率分布，通过二进制信道，信道转移概率矩阵为0.760.240.320.68⎛⎫ ⎪⎝⎭求：(1) 该系统的平均互信息量；(2) 接收到0y =后，所提供的关于x 的平均互信息量(;0)I X 。
3.2 教材 3.1,3.2,3.3,3.6,3.7(4),3.8,3.11,3.14,3.15,3.18,3.19第4章 信息率失真函数4.1 当信息率失真函数R (D )取什么值的时候，表示不允许有任何失真。
4.2 说明信源在不允许失真时，其信息率所能压缩到的极限值时什么？当允许信源存在一定的失真时，其信息率所能压缩到的极限值又是什么？4.3 给定二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡25.025.05.0)(321x x x X P X ，失真度测度矩阵[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011302120d ，求信息率失真函数的定义域和值域。
4.4 其他练习题见教材第5章5.1 请问即时码一定是唯一可译码码？反过来说唯一可译码一定是即时码吗？5.2 离散无记忆信源，熵为()H x ，对信源的L 长序列进行等长编码，码长是长为n 的m 进制符号串，问：(1)满足什么条件时，可实现无失真编码；(2)L 增大，编码效率η也随之增大吗？5.3 信源有4个消息，对其进行二进制编码，问：(1)若信源等概率分布⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/14/14/14/1)(4321x x x x X P X ，则每个消息至少需要几位二进制代码？ (2)若信源概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/18/14/12/1)(4321x x x x X P X ，如何编码才能获得最佳码？5.4 已知一个离散无记忆信源，其概率分布为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡12/14/13/13/1)(4321x x x x X P X ，试： (1)对该信源进行二进制霍夫曼编码；(2)证明存在两个不同的最佳码长集合，即证明码长集合{1，2，3，3}和{2，2，2，2}都是最佳的。
信息论与编码复习题
一、填空题1. 设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___1/4___时，信源熵达到最大值，为__2__，此时各个消息的自信息量为__2 __。
2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3____个随机错，最多能纠正__1____个随机错。
3.克劳夫特不等式是唯一可译码___存在___的充要条件。
4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是___(X;Y)=H(X)-H(X/Y )___。
5._信源___提高通信的有效性，_信道____目的是提高通信的可靠性，_加密__编码的目的是保证通信的安全性。
6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密编码的目的是保证通信的 安全性 。
7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8__时，信源熵达到最大值，为___3____。
8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_小___。
9.信源的冗余度来自两个方面，一是信源符号之间的__相关性__，二是信源符号分布的__不均匀性__。
10.最大后验概率译码指的是 译码器要在已知r 的条件下找出可能性最大的发码 作为译码估值 ，即令 =maxP( |r)_ __。
11.常用的检纠错方法有__前向纠错___、反馈重发和混合纠错三种。
二、单项选择题1.下面表达式中正确的是（A ）。
A.∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j iy y x p )(),(ω D.∑=ii j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。
信息论与编码习题
• BSC信道的容量：m＝2 • 准对称信道的容量
3
3
带限波形信道的容量
• 条件：
– 信道带宽W受限 – 噪声为加性高斯白噪声（均值为零，功率谱
2，3，转移概率矩阵为 其最佳输入分布为
p ( xi )
1 2
（1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度 ；
（3） 计算信道容量。
设有扰离散信道的传输情况分别如图 3－17 所示。求出该信道的信道容量。
1/2
X
Y
1/2
1/2
1/2 1/2
1/2
1/2
1/2
图3-17
• (2) 求该信道的信道容量及其达到信道容量时的输入概率分 布；
• 某信源发送端有2个符号Xi ，i＝1，2； ，每
秒发出一个符号。接受端有3种符号y ，j＝1， 1 1 2 2 C m a x I ( X ; Y ) l o g 2 m H m i l o g 2 2 ( 3 l g 3 3 l g 3 ) l o g 2 1 0 0 . 0 8 2 b i t / s y m b o l j
平均信息传递速率为
bit/ms=200bit/s
(2) 信源熵为
H(X)=
=0.198bit/ms=198bit/s
5-5
111 1 1 1 1 1
(1)
2 4 8 16 32 64 128 128
H(U)=
1
1
1
1
1
1
1
信息论与编码技术练习题
一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）14、互信息的统计平均为平均互信息量，都具有非负性。
（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）18、在信息处理过程中，熵是不会增加的。
（√）19、熵函数是严格上凸的。
（√）20、信道疑义度永远是非负的。
（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论与编码试卷_信息论与编码试卷题目及答案
最大熵值为组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于由得，则解释无失真变长信源编码定理。
只要，当什么是保真度准则？对二元信源，其失真矩阵，求和？答：，所以有，而。
息出现前后没有关联，求熵；）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；）信源模型为）由得则）若，，求和；）），最佳输入概率分布为等概率分布。
信源空间为答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。
平均码长，编码效率4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.已知一（8，5）线性分组码的生成矩阵为。
求：1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
7.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为2）最大错误概率准则下，有，6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为。
《信息论与编码》部分课后习题参考答案
P ( y1 = 0 | M 1 ) P ( y1 = 0)
因为信道为无记忆信道，所以
P( y1 = 0 | M 1 ) = P( y1 = 0 | x11 x12 = 00) = P( y1 = 0 | x11 = 0) = P(0 | 0) = p
同理，得 I ( y1 = 0 | M i ) = P ( y1 = 0 | xi1 xi 2 ) = P ( y1 = 0 | xi1 ) 输出第一个符号是 y1=0 时， 有可能是四个消息中任意一个第一个数字传送来的。 所以
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求： （1）事件“2 和 6 同时出现”的自信息量； （2）事件“两个 3 同时出现”的自信息量； （3）事件“两个点数中至少有一个是 5”的自信息量； （4）两个点数之和的熵。 答： （1）事件“2 和 6 同时出现”的概率为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。 答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是 信号。 消息是信息的载体， 信息是指消息中包含的有意义的内容， 是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？ 答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背 诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长， 离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这 些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。 答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识 水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广 义信息论的范畴。
信息论与编码习题1及答案1
一、dr)填空题(1)1948年.美国数学家_____________________ 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论.(2)必然事件的自信息是_0 ___________ 。
(3)离散平稳无记忆信源X的N次扩展信源的嫡等于离散信源X的嫡的N倍°(4)对于离散无记忆信源，当信源爛有最大值时，满足条件为.信源符号等槪分術一(5)若一离散无记忆信源的信源爛H (X)等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为3 _____ ・(6)对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 __________________ 。
(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出2 个码元错误.最多能纠正—1_个码元错误.(8)设有一离散无记忆平稳信道，其信道容董为C,只要待传送的信息传输率R_小于_C(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
(9)平均错误概率不仅与信道本身的统计特性有关,还与— ___________ 和_编码方巷—有关二、(9 )判斷题(1)信息就是一种消息。
( )(2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
( )(3)概率大的事件自信息量大。
( )(4)互信息量可正、可负亦可为零。
( )(5)信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
( )(6)对于固定的信源分布，平均互信息董是信道传递概率的下凸函数。
( )(7)非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
( )(8)信源变长编码的核心问题是寻找紧致码(或最佳码)，霍夫曼编码方法构造的是最佳码。
( )(9)信息率失真函数R(D)是关于平均失真度D的上凸函数. ( )三、(5 )居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1o 6米以上的,而女孩中身爲1・6米以上的占总数的一半。
信息论与编码习题参考答案(全)
111
(1)在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2)在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)；
(3)在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)；
(4)从码字W4＝011中获取关于a4的信息量I(a4;011)。
其中N=2FT,б2X是信号的方差(均值为零),б2N是噪声的方差(均值为零).
再证:单位时间的最大信息传输速率
信息单位/秒
(证明详见p293-p297)
5.12设加性高斯白噪声信道中,信道带宽3kHz,又设{(信号功率+噪声功率)/噪声功率}=10dB.试计算改信道的最大信息传输速率Ct.
解:
5.13在图片传输中,每帧约有2.25×106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB).
(2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
解:
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示.
证明:
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：
(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：
信息论与编码理论-习题答案-姜楠-王健-编著-清华大学
第1章 绪论1.1 信源、编码器、信道、干扰、译码器、信宿 1.2 香农1.3 通信系统模型1.4信号是消息的表现形式，是物理的，比如电信号、光信号等。
消息是信息的载荷者，是信号的具体容，不是物理的，但是又比较具体，例如语言、文字、符号、图片等。
信息包含在消息中，是通信系统中被传送的对象，消息被人的大脑所理解就形成了信息。
1.5 略第2章 信息的统计度量2.1 少2.2 y 的出现有助于肯定x 的出现、y 的出现有助于否定x 的出现、x 和y 相互独立 2.3 FTTTF 2.4 2.12比特2.5依题意，题中的过程可分为两步，一是取出一枚硬币恰好是重量不同的那一枚，设其发生的概率为1p ，由于每枚硬币被取出的概率是相同的，所以1181p =所需要的信息量()()1log 6.34I A p bit =-=二是确定它比其他硬币是重还是轻，设其发生的概率为2p ，则212p =总的概率12111812162p p p ==⨯=所需要的信息量()log log1627.34I p bit =-==2.6 设A 表示“大学生”这一事件，B 表示“身高1.60m 以上”这一事件，则()()()0.250.5|0.75p A p B p B A ===故()()()()()()|0.750.25|0.3750.5p AB p A p B A p A B p B p B ⨯====()()()11|loglog 1.42|0.375I A B bit p A B ===2.7 四进制波形所含的信息量为()log 42bit =，八进制波形所含信息量为()log 83bit =，故四进制波形所含信息量为二进制的2倍，八进制波形所含信息量为二进制的3倍。
2.8()()()()()()2322log 3log 32log 3 1.585I p bit I p bit I I =-=-==故以3为底的信息单位是比特的1.585倍。
信息论与编码试卷及答案
一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是0 。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。
（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。
（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。
（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。
（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9'）判断题（1）信息就是一种消息。
（⨯）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（√）（3）概率大的事件自信息量大。
（⨯）（4）互信息量可正、可负亦可为零。
（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（⨯）（6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（ √ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（ ⨯ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（ √ ）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ⨯ )三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
信息论与编码_习题集五邑大学
期中习题1、 同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求： (1) 事件“3 和5 同时出现”的自信息量； (2) 事件“两个l 同时出现”的自信息量；(3) 两个点数之和(即2，3，?，12 构成的子集)的熵； (4) 事件“两个骰子点数中至少有一个是1”的自信息量。
2、某一无记忆信源的符号集为{0，1}，已知p (0) =1/ 4,p (1) = 3/ 4。
(1) 求信源的熵。
(2) 由100 个符号构成的序列，求某一特定的序列(例如有m 个“0”和100 ?m 个“1”)的自信息量的表达式。
(3) 计算(2)中的序列的熵。
3、在一个二进制的信道中，信源消息集X={0，1}且p(1)=p(0)，信宿的消息集Y={0，1}， 信道传输概率p (y =1| x =0)=1/4， p (y =0 | x =1)=1/8。
求：(1) 在接收端收到y=0 后，所提供的关于传输消息x 的平均条件互信息I(X ；y=0)； (2) 该情况下所能提供的平均互信息量I(X ；Y)。
4、5、6、7、已知二元信源01()1X p x p p ⎡⎤⎡⎤=⎢⎥⎢⎥-⎣⎦⎢⎥⎣⎦以及失真矩阵0110ij d ⎡⎤⎡⎤=⎢⎥⎣⎦⎢⎥⎣⎦，求（1）min D ；（2）max D ；（3）()R D 。
答案：1、2、3、4、5、（2）（3）6、7、解：（1）min *00*(1)0D p p =+-=； 达到min D 的信道为一个一一对应的无噪信道，所以(0)(;)()()R I U V H U H p ===（2）最大允许失真度为max min()(,)min(,(1))vijD p u d u v p p ==-∑如果max 1/2,p D p <= 如果max 1/2,1p D p >=- （3）因为二源对称信源，所以()()()0R D H p H D D p =-≤≤。
信息论与编码期末考试题(全套)
三、本题共4小题，满分50分.
1、某信源发送端有2种符号 , ；接收端有3种符号 ，转移概率矩阵为 .
（1）计算接收端的平均不确定度 ；
（2）计算由于噪声产生的不确定度 ；
（3）计算信道容量以及最佳入口分布.
2、一阶马尔可夫信源的状态转移图如右图所示，信源 的符号集为 .
二、填空题共6小题，满分20分.
1、码的检、纠错能力取决于.
2、信源编码的目的是；信道编码的目的是.
3、把信息组原封不动地搬到码字前 位的 码就叫做.
4、香农信息论中的三大极限定理是、、.
5、设信道的输入与输出随机序列分别为 和 ，则 成立的
条件.
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是.
七、信道编码（21分）
现有生成矩阵
1.求对应的系统校验矩阵Hs。（2分）
2求该码字集合的最小码字距离d、最大检错能力 、最大纠错能力tmax。（3分）
2.填写下面的es表（8分）
e
s
0000000
0000001
0000010
0000100
0001000
0010000
0100000
1000000
4.现有接收序列为 ，求纠错译码输出 。（4分）
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为 bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。
信息论与编码考试题(附答案版)
1.按发出符号之间的关系来分，信源可以分为（有记忆信源）和（无记忆信源）2.连续信源的熵是（无穷大），不再具有熵的物理含义。
3.对于有记忆离散序列信源，需引入（条件熵）描述信源发出的符号序列内各个符号之间的统计关联特性3.连续信源X,平均功率被限定为P时，符合（正态）分布才具有最大熵，最大熵是（1/2ln （2πⅇσ2））。
4.数据处理过程中信息具有（不增性）。
5.信源冗余度产生的原因包括（信源符号之间的相关性）和（信源符号分布的不均匀性）。
6.单符号连续信道的信道容量取决于（信噪比）。
7.香农信息极限的含义是（当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6ch3）。
8.对于无失真信源编码，平均码长越小，说明压缩效率（越高）。
9.对于限失真信源编码，保证D的前提下，尽量减少（R(D)）。
10.立即码指的是（接收端收到一个完整的码字后可立即译码）。
11.算术编码是（非）分组码。
12.游程编码是（无）失真信源编码。
13.线性分组码的（校验矩阵）就是该码空间的对偶空间的生成矩阵。
14.若（n，k）线性分组码为MDC码，那么它的最小码距为（n-k+1）。
15.完备码的特点是（围绕2k个码字、汉明矩d=[（d min-1）/2]的球都是不相交的每一个接受吗字都落在这些球中之一，因此接收码离发码的距离至多为t，这时所有重量≤t的差错图案都能用最佳译码器得到纠正，而所有重量≤t+1的差错图案都不能纠正）。
16.卷积码的自由距离决定了其（检错和纠错能力）。
（对）1、信息是指各个事物运动的状态及状态变化的方式。
（对）2、信息就是信息，既不是物质也不是能量。
（错）3、马尔可夫信源是离散无记忆信源。
（错）4、不可约的马尔可夫链一定是遍历的。
（对）5、单符号连续信源的绝对熵为无穷大。
（错）6、序列信源的极限熵是这样定义的：H(X)=H(XL|X1,X2,…,XL-1)。
（对）7、平均互信息量I(X;Y)是接收端所获取的关于发送端信源X的信息量。
信息论与编码习题
1. 通信系统的中心问题是在噪声下如何有效而可靠地___________，以及实现这一目标的方法是___________。
2. 信源编码是以提高信息传输的_______________为目的的编码，信道编码是以提高信息传输的_______________为目的的编码，密码是以提高信息传输的_______________为目的的编码。
3. 扔一枚硬币，结果是正面的不确定度为_________________，如果出现正面的概率为1，则该信源的信源熵为____________________。
4. 二元随机变量X 和Y ，已知H(X)=0.5bit/符号，H(Y)=0.7bit/符号，若X 和Y 相互独立，则联合熵H(XY)= ____________________，平均互信息I(X;Y)= ____________________。
5. 离散无记忆信源信源X 中包含M 个不同的离散消息时，当且仅当_____________________时，信源熵取最大值______________。
6. 当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于____________________。
7. 信源编码按照码字的长度分为__________编码和_____________编码。
8. 如果一个码的任何一个码字都不是其他码字的前缀，则称该码为_________________。
9. 设二元无记忆对称信道输入码字c=00101101，则其码重=____________，设接收向量r=01001110，则差错图案e=____________，c 与r 之间的码距d=____________。
10. 纠错码的最小距离为8，则该码字的检错能力为____________________，纠错能力为____________________。
１、离散平稳无记忆信源⎥⎥⎦⎤⎢⎢⎣⎡=⎪⎪⎭⎫ ⎝⎛81814121)(4321x x x xX P X ，其信源熵为__________________，这个信源的二次扩展信源的熵为__________________。
信息论与编码题库(最新整理六套)
（一）一、填空题1. 在无失真的信源中，信源输出由H (X )来度量；在有失真的信源中，信源输出由R (D )来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为-1.6dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式h(x)=31x x ++。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝0，R (D min )＝1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝0.5，R (D max )＝0，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
有扰离散信道编码定理内容是什么？
正定理：只要传信率R小于信道容量C，总存在一种信道码（及解 码器），可以以所要求的任意小的差错概率实现可靠的通信。 逆定理：信道容量C是可靠通信系统传信率R的上边界，如果R >C， 就不可能有
线性分组码：
什么是系统码？（p136） 对一个码的生成矩阵进行系统化，不会改变码集。 对线性分组码的生成矩阵系统化的过程中采用的是行运算，而不是列 运算。 伴随式与差错图案是一一对应的吗？为什么？ 线性分组码的最小距离等于码集中非零码字的最小重量。 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有
3
信息论基础
Shannon三大极限定理是： 无失真信源编码定理 、 信道编 码定理 、 限失真信源编码定理
无失真信源编码定理为第一极限定理； 信道编码定理（包括离散和连续信道）称为第二极限定理； 限失真信源编码定理称为第三极限定理
信息论基础
4
什么是随机差错、什么是突发差错？
从系统角度，运用纠\检错码进行差错控制的基本方式大致分为哪 三类？
8. 码集、生成多项式g(x)、h(x)、G矩阵、H矩阵、差错图案
根据收码，结合伴随式，解出发码 9. RSA编码、译码
10. 作业本上所有的题目
9
信息论基础
保密系统的密钥量越小，密钥熵H(K)就越 者间的关系为 I(M；C)≥H(M)－ H(K) 。
的关于明文的信息量I(M；C)就越 大 。H(M)、H(K)及I(M；C)三 DES的中文名称是什么？（数据加密标准）。它采用的是什么密码 体制。IDEA呢？（国际数据加密算法）RSA是什么密码体制？
信息论基础
信息论基础
5
可以有哪三种方法减小差错概率？ 答：增加信道容量、减小码率、增加码长 信道编码纠错能力的获取可以归结为两条，一条是利用冗 余度，另一条是噪声均化。（p131）
采用噪声均化的方法以获得纠错能力的提高，一般有哪三 种方法？（增加码长-补充计算、卷积、交织）
什么是最大后验概率译码？什么是最大似然译码？两者等 效于的前提条件是什么？（p133-134）
可能生成同一码集。
最小距离为dmin时检错和纠错能力
信息论基础
7
密码学相关内容
加密时使用的密钥与解密时使用的密钥允许不同吗？ 根据密钥的性质，密码体制可分为哪两种密码体制?请举例 明文消息的冗余度越小，破译密文的难度越大。说法对吗? 一个理想的保密系统，应满足对合法用户能安全、保密地给出信 源明文的全部信息，即I(M；C，K)= 得不到任何明文信息，即I(M；C)= H(M) 0 。 小 ，其密文中含有 ；而对窃听者应使之
8
计算题
1. 自信息量的计算 2. 熵的计算 3. 马尔可夫信源状态转移图 4. 平稳分布、极限熵 5. 信道容量（包括级联信道如课本p54例3-4）的计算，怎么达到信道容 量 6. Dmin、Dmax、R(Dmin) 、R(Dmax)以及编码器转移概率矩阵 7. 信源编码方法：香农、费诺、huffman
信息论基础
2
什么是信息不增性：数据处理过程中只会。。。。。 率失真函数研究的是什么？信源还是信道？ 在无失真的信源中，信源输出由 在有失真的信源中，信源输出由 来度量； 来度量。
能获得最佳码的编码方法主要有哪些？
请写出香农公式，并说明香农限为多少？ 问：哈夫曼编码方法得到的码唯一码吗？为什么？ 克劳夫特不等式的作用？答：判断唯一可译码存在的判据 最大熵定理： 限峰功率最大熵定理：对于定义域一定的随机变量X，当它是均匀分 布时具有最大熵 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态 分布时具有最大熵
习题课
任课老师：唐贵进 江苏省图像处理与图像通信重点实验室
1
香农在1948年发表了一篇论文， 为信息论创立奠定了基础，论文 名字叫什么？（ 通信的数学理论） 在信息论中，重点关注通信系统的三项指标，分别是什么？各通 过什么编码来实现？三者编码顺序如何？ （信源编码的目的是提高通信系统的什么性？信道编码的目的 是提高通信系统的什么性？） 叙述条件熵与绝对熵的关系、多条件熵与单条件熵的关系、联合 熵与熵的和的关系 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大 变大还是变小？ 问：冗余度来自哪两个方面？