信息论与编码练习2010

合集下载

信息论与编码习题参考答案

bit/s 104.98310661.130)/)(()/(R bit/frame10661.1322.3105)(H 105)(H bit/pels322.310log )(log )()(H 7665051010⨯=⨯⨯=⨯=∴⨯=⨯⨯=⨯⨯====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现.5.2,,5.25.2477.210log 300log )(H )(H pels/bit 300log )(log )()(H bit 3001030,10,,300130011倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=⨯∑=x x b p b p x i i i个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量55665510322.6/10322.61.0log 101.2)()()()(,log H(c):1.0100001000symble /bit 101.2128log 103)(103)(:⨯∴⨯=-⨯=≥≤-=∴==⨯=⨯⨯=⨯⨯=frame c H X H n c nH X H n p p x H X H),...,,(21n p p p n m ≤≤0∑=-=mi i m p q 11)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤∑∑+==--=>-=<-=''-=''∴>-=''-=''>-=nm i iimi i i n pp p p p p p H x x x x f x ex x x f x x ex x x f x x x x f 1121log log ),...,,()0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。

信息论与编码试题与答案

1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。

3、最大熵值为。

4、通信系统模型如下：5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。

7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。

9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。

按照信息的地位，可以把信息分成客观信息和主观信息。

人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。

信息的可度量性是建立信息论的基础。

统计度量是信息度量最常用的方法。

熵是香农信息论最基本最重要的概念。

事物的不确定度是用时间统计发生概率的对数来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量的单位一般有比特、奈特和哈特。

13、必然事件的自信息是 0 。

14、不可能事件的自信息量是 ∞ 。

15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。

18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。

信息论与编码习题答案

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。

2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。

3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。

4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。

5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 31x x ++ 。

6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。

输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。

7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。

若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。

二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。

（√ ）2. 线性码一定包含全零码。

（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。

信息论与编码题库

信息论与编码题库信息论与编码模拟题⼀、填空题1、已知 8 个码组为（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、（110110）、（111000）。

则该码组的最⼩码距是 3 ，若只⽤于检错可检测 2 位错码，若只⽤于纠错可纠正 1 位错码。

2、同时掷两个正常的骰⼦，也就是各⾯呈现的概率都是 1/6，则“两个 1 同时出现”这⼀事件的⾃信息量为 5.17 ⽐特。

3、已知信源的各个符号分别为字母A ，B ，C ，D ，现⽤四进制码元表⽰，每个码元的宽度为10ms ，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H （x ）为 1.985 ⽐特/符号，在⽆扰离散信道上的平均信息传输速率为 198 bit/s 。

4．1948 年，美国数学家⾹农发表了题为“通信的数学理论”的长篇论⽂，从⽽创⽴了信息论。

5．对离散⽆记忆信源来说，当信源呈____________分布情况下，信源熵取最⼤值。

6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每⾏有且仅有⼀⾮零元素，则该信道噪声熵为；最⼤信息传输率为。

7、⼆元删除信道BEC(0.01)的信道转移矩阵为，信道容量为；信道矩阵为100001010001010??的DMC 的信道容量为。

8．数据处理定理：当消息经过多级处理后，随着处理器数⽬的增多，输⼊消息与输出消息之间的平均互信息量趋于变⼩。

9.(7,3)码监督矩阵有 4 ⾏,⽣成矩阵有 3 ⾏。

10.对线性分组码,若要求它能纠正3个随机差错,则它的最⼩码重为 7 ,若要求它能在纠错2位的同时检错3位,则它的最⼩码重为 8。

11．汉明码是⼀种线性分组码，其最⼩码距为 3 。

12.信道编码的⽬的是提⾼数字信息传输的可靠性 ,其代价是降低了信息传输的有效性。

13.在通信系统中,纠检错的⼯作⽅式有反馈重发纠错、前向纠错、混合纠错等。

14.离散对称信道输⼊等概率时，输出为( 等概)分布。

《信息论与编码》习题集

第二章习题：补充题：掷色子，（1）若各面出现概率相同（2）若各面出现概率与点数成正比试求该信源的数学模型解：（1）根据61()1ii p a ==∑，且16()()p a p a ==，得161()()6p a p a ===，所以信源概率空间为123456111111666666⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P （2）根据61()1i i p a ==∑，且126(),()2,()6p a k p a k p a k ===，得121k =。

123456123456212121212121⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。

画出状态图，并计算各状态的稳态概率。

解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}0.80.20.50.50.50.50.20.8⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P 状态转移图各状态稳定概率计算：⎪⎪⎩⎪⎪⎨⎧==∑∑==41411i jij i j j WP W W 即 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=++++++=+++=+++=+++=143214443432421414434333232131342432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W0.80.8得：14541==W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=1422-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？解：2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ⎧=⋅+⋅=⨯+⨯=⎪⎨⎪=-=⎩比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ⎧=⋅+⋅+⋅+⋅+⋅+⋅=⎪⎨⎪=-=⎩比特2-72-7设有一离散无记忆信源,其概率空间为⎥⎥⎦⎤⎢⎢⎣⎡=====⎥⎦⎤⎢⎣⎡81,41,41,833,2,1,04321x x x x P X该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量?解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)(1) 消息序列的自信息量: =I ∑==41)(i iix I n -)(log 412i i ix p n∑== 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p(2) 平均每个符号携带的信息量为:)/(95.14571.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P （1/0）=1/4，P （0/1）=1/8。

信息论与编码技术练习题

一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。

（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。

（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。

（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。

（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。

（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。

（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。

（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。

（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。

（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。

（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。

（√）14、互信息的统计平均为平均互信息量，都具有非负性。

（×）15、信源剩余度越大，通信效率越高，抗干扰能力越强。

（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。

（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。

（×）18、在信息处理过程中，熵是不会增加的。

（√）19、熵函数是严格上凸的。

（√）20、信道疑义度永远是非负的。

（√）21、对于离散平稳信源，其极限熵等于最小平均符号熵。

信息论与编码试卷及答案

信息论与编码试卷及答案⼀、概念简答题（每题5分，共40分）1.什么是平均⾃信息量与平均互信息，⽐较⼀下这两个概念的异同？2.简述最⼤离散熵定理。

对于⼀个有m个符号的离散信源，其最⼤熵是多少？3.解释信息传输率、信道容量、最佳输⼊分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于⼀个⼀般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

5.写出⾹农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪⽐为30dB时求信道容量。

6.解释⽆失真变长信源编码定理。

7.解释有噪信道编码定理。

8.什么是保真度准则？对⼆元信源，其失真矩阵，求a>0时率失真函数的和？⼆、综合题（每题10分，共60分）1.⿊⽩⽓象传真图的消息只有⿊⾊和⽩⾊两种，求：1）⿊⾊出现的概率为0.3，⽩⾊出现的概率为0.7。

给出这个只有两个符号的信源X的数学模型。

假设图上⿊⽩消息出现前后没有关联，求熵；2）假设⿊⽩消息出现前后有关联，其依赖关系为：，，，，求其熵；2.⼆元对称信道如图。

；1）若，，求和；2）求该信道的信道容量和最佳输⼊分布。

3.信源空间为，试分别构造⼆元和三元霍夫曼码，计算其平均码长和编码效率。

4.设有⼀离散信道，其信道传递矩阵为，并设，试分别按最⼩错误概率准则与最⼤似然译码准则确定译码规则，并计算相应的平均错误概率。

5.已知⼀（8，5）线性分组码的⽣成矩阵为。

求：1）输⼊为全00011和10100时该码的码字；2）最⼩码距。

6.设某⼀信号的信息传输率为5.6kbit/s，在带宽为4kHz的⾼斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）⽆差错传输需要的最⼩输⼊功率是多少？（2）此时输⼊信号的最⼤连续熵是多少？写出对应的输⼊概率密度函数的形式。

⼀、概念简答题（每题5分，共40分）1.答：平均⾃信息为表⽰信源的平均不确定度，也表⽰平均每个信源消息所提供的信息量。

《信息论与编码》部分课后习题参考答案

P ( y1 = 0 | M 1 ) P ( y1 = 0)
因为信道为无记忆信道，所以
P( y1 = 0 | M 1 ) = P( y1 = 0 | x11 x12 = 00) = P( y1 = 0 | x11 = 0) = P(0 | 0) = p
同理，得 I ( y1 = 0 | M i ) = P ( y1 = 0 | xi1 xi 2 ) = P ( y1 = 0 | xi1 ) 输出第一个符号是 y1=0 时，有可能是四个消息中任意一个第一个数字传送来的。所以
第二章
2.1 同时掷两个骰子，设每个骰子各个面向上的概率都是 1/6。试求：（1）事件“2 和 6 同时出现”的自信息量；（2）事件“两个 3 同时出现”的自信息量；（3）事件“两个点数中至少有一个是 5”的自信息量；（4）两个点数之和的熵。答：（1）事件“2 和 6 同时出现”的概率为：
《信息论与编码》
部分课后习题参考答案
1.1 怎样理解消息、信号和信息三者之间的区别与联系。答:信号是一种载体，是消息的物理体现，它使无形的消息具体化。通信系统中传输的是信号。消息是信息的载体，信息是指消息中包含的有意义的内容，是消息中的未知成分。 1.2 信息论的研究范畴可以分成哪几种，它们之间是如何区分的？答：信息论的研究范畴可分为三种：狭义信息论、一般信息论、广义信息论。 1.3 有同学不同意“消息中未知的成分才算是信息”的说法。他举例说，他从三岁就开始背诵李白诗句“床前明月光，疑是地上霜。举头望明月，低头思故乡。 ” ，随着年龄的增长，离家求学、远赴重洋，每次读到、听到这首诗都会带给他新的不同的感受，怎么能说这些已知的诗句没有带给他任何信息呢？请从广义信心论的角度对此现象作出解释。答：从广义信息论的角度来分析，它涉及了信息的社会性、实用性等主观因素，同时受知识水平、文化素质的影响。这位同学在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论的范畴。

信息论与编码试卷及答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

（2）必然事件的自信息是0 。

（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。

（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。

（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。

（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。

（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关二、（9?）判断题（1）信息就是一种消息。

（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。

（?）（3）概率大的事件自信息量大。

（?）（4）互信息量可正、可负亦可为零。

（?）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。

（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。

（?）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。

（?）（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。

（?）（9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? )三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。

信息论与编码期末复习试题B含答案.doc

莆田学院期末考试试卷（B）卷2010 — 2011学年第一学期课程名称：信息论与编码适用年级/专业：08/电信、通信试卷类别开卷（）闭卷3）学历层次本科考试用时120分钟《考生注意:答案要全部抄到答题纸上,做在试卷上不给分》一、填空题（每空2分，共22分）1 •广义的通信系统模型是由信源、①、②、译码器和信宿五个部分组成。

2.信息嫡H（X）是对信源的①的描述。

要对信源输出的消息进行无失真的编码，平均每个信源符号至少需要用H（X）个码符号。

（最大值、平均不确定性）]_3.已知某信道的信道转移矩阵为戶=323 2 ：,且输入为等概分布，若根据极大3似然译码准则确定译码规则，相应的平均错误概率为①。

4.对于连续信源来说，当输出幅度受限时，服从①分布的随机变量具有最大炳；对于平均功率受限的连续随机变量，当服从②分布时具有最大爛。

（均匀、指数、高斯）5.若离散无记忆信源的信源符号有q个，信源嫡为H （X）,那么对其进行N次扩展后的信源符号共有①个,N次扩展信源片的焰等于②°6.对于给定的①,I（X;Y）是输入分布#（兀.）的上凸函数，因此总能找到一种概率分布〃（兀）（即某一种信源），使信道所能传送的信息率为最大。

7.信道容量是完全描述信道特性的参量，信道实际传送的信息量必然①信道容量。

（不大于、不小于或等于）8.非奇异码是指一种分组码中的所有码字都①的码。

（相同、不相同）二、简答题（每小题5分，共20分）1.简述什么是马尔可夫信源？2.简述H（X| Y）和H（Y | X）在信道描述中的物理含义。

3•什么是即时码？它和唯一可译码的关系？4.简述平均互信息I(X;Y)的物理含义?三、计算及编码题(第1题13分，其余每小题15分，共58分)1. 某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。

(1) 若每个消息是等概率分布的，那么发送每个消息最少所需的二元脉冲数是多少？⑵又若四个消息出现的概率分别为晟，馬，问在此情况下消息平均所需的二元脉冲数最少是多少？如何进行编码?2. 设离散无记忆信源r Y n=0 a 2=l a3 ~ 2勺=3 X =・31 1 1448其发出的消息为(202120130213001203210110321010021032011223210),求 (1) 此消息的自信息是多少？(2)在此消息中平均每个符号携带的信息量是多少？(3) 信源的嬌H(X)是多少？10 0 10 14.设一线性分组码具有一致校验矩阵如下：H = 0 1 0 0 1 10 0 1111(1) 求这分组码共有多少个码字？写出此分组码的所有码字，并判断101010 是否是码字？(2) 此分组码的生成矩阵G 二？(3) 码字间的最小距离dmin 及此码的纠错能力。

信息论与编码试题集与答案改

1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息表示从Y获得的关于每个X的平均信息量、发X 前后Y的平均不确定性减少的量、通信前后整个系统不确定性减少的量。

2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。

3、香农公式为为保证足够大的信道容量，采用（1用频带换信噪比；（2用信噪比换频带。

4、只要，当N足够长时，一定存在一种无失真编码。

5、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

6、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

7.研究信息论目的高效、可靠、安全地交换利用信息。

8. 可度量性建立信息论的基础。

9. 统计度量信息度量最常用方法。

10、单符号离散信源用随机变量描述，多符用随机矢量。

11、一随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。

12、自信息量单位比特、奈特、笛特。

13、必然事件的自信息 0 。

14、不可能事件的自信息量是∞。

15、两相互独立随机变量的联合自信息量等于两个自信息量之和。

16、数据处理定理：消息多级处理后，处理器数目增多，输入消息与输出之间的平均互信息量趋于变小。

17、离散平稳无记忆信源X的N次扩展信源的熵等于X的熵的 N倍。

18、离散平稳有记忆信源的极限熵=∞H)/(lim121-∞→NNNXXXXH。

19、n元m阶马尔可夫信源，状态空间有 n m 个不同状态。

20、一维连续随即变量X在[a，b]内均匀分布，信源熵log2（b-a）。

21、平均功率为P高斯分布连续信源，信源熵Hc （X）=ePπ2log212。

22、对限峰值功率的N维连续信源，当概率密度均匀分布时连续信源熵最大值。

23、对限平均功率的一维连续信源，当概率密度高斯分布时信源熵有最大值。

24、均值为0，平均功率受限连续信源，信源冗余度决定于平均功率限定值P和信源的熵功率P 之比。

信息论与编码期末复习试题2套含答案(大学期末复习资料)

莆田学院期末考试试卷（A）卷2011 — 2012 学年第一学期课程名称：信息论与编码适用年级/专业： 09/电信（通信）试卷类别开卷（）闭卷（√）学历层次本科考试用时 120分钟《．考生注意：答案要全部抄到答题纸上，做在试卷上不给分．．．．．．．．．．．．．．．．．．．．．．．．．》．一、简答题（每小题8分，共32分）1.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

2. 香农信息论研究了哪些内容？试讲述香农第二编码定理。

3. 什么是唯一可译码？什么是即时码（前缀码）？构造唯一可译码的充要条件？（10分）4. 什么是信源编码？什么是信道编码？为何要进行这两者编码？二、证明题（每小题6分，共6分）对于任意的事件X、Y，试证明下列不等式成立：H(X|Y)<=H(X),并说明等式成立的条件。

三、计算题（第1、5题各16分，第2题12分，第3题10分，第4题8分，共62分）1.（16分）一黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}。

设黑色出现的概率为P(黑)=0.3，白色的出现概率P(白)=0.7。

求（1）假设图上黑白消息出现前后没有关联，求熵H(X)；（2）假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2(X)；（3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。

2.（12分）一信源产生概率为P(1)=0.005, P(0)=0.995的统计独立二进制数符。

这些数符组成长度为100的数符组。

我们为每一个少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。

（1）求出为所规定的所有源符组都提供码字所需的最小码长。

（2）求信源发出一数符组，而编码器无相应码字的概率。

3.（10分）已知一个（6，3）线性分组码的全部码字为001011，110011，010110，101110，100101，111000，011101，000000。

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2.简述最大离散熵定理。

对于一个有m个符号的离散信源，其最大熵是多少？3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

5.写出香农公式，并说明其物理意义。

当信道带宽为5000Hz，信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。

给出这个只有两个符号的信源X的数学模型。

假设图上黑白消息出现前后没有关联，求熵；2）假设黑白消息出现前后有关联，其依赖关系为：，，，，求其熵；2.二元对称信道如图。

；1）若，，求和；2）求该信道的信道容量和最佳输入分布。

3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。

4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。

5.已知一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。

试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。

一、概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

答案~信息论与编码练习

答案~信息论与编码练习1、有一个二元对称信道，其信道矩阵如下图所示。

设该信道以1500个二元符号/秒的速度传输输入符号。

现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。

问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。

则该消息序列含有的信息量＝14000(bit/symbol)。

下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol得最大信息传输速率为：Rt ≈1500符号/秒× 0.8586比特/符号≈1287.9比特/秒≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。

2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？3 、已知随即变量X 和Y 的联合分布如下所示：01100.980.020.020.98P ??=??111122221111222212111122221111222200000000000000000000000 000000000P P ==11222211122222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。

信息论及编码理论练习习题答案.docx

第二章信息量和熵八元编码系统，码长为3，第一个符号用于同步，每秒 1000 个码字，求它的信息速率。

解：同步信息均相同，不含信息，因此每个码字的信息量为2log 8 =2 3=6 bit因此，信息速率为 6 1000=6000 bit/s掷一对无偏骰子，告诉你得到的总的点数为： (a) 7; (b) 12。

问各得到多少信息量。

解： (1)可能的组合为 {1 ，6},{2 ， 5},{3 ，4},{4， 3},{5，2},{6 ，1} p(a) = 6 = 13661=log 6 = bit得到的信息量 = logp(a)(2)可能的唯一，为 {6 ，6}p(b) =1361=log 36 = bit得到的信息量 = logp(b)经过充分洗牌后的一副扑克（52 张），问：(a)任何一种特定的排列所给出的信息量是多少？(b)若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？解： (a) p(a) =152!1=log 52! = bit信息量 = logp(a)13!13种点数任意排列(b)413花色任选p(b) =13!41341313=13 A52C52信息量 = log C5213log 413= bit随机 3 骰子， X 表示第一骰子的果，Y 表示第一和第二骰子的点数之和， Z 表示 3 骰子的点数之和，求H ( Z | Y)、H ( X | Y )、H (Z | X ,Y)、H ( X , Z | Y) 、H (Z | X)。

信息论与编码练习2010

1、是香农信息论最基本最重要的概念。

2、单符号离散信源一般用随机变量描述，而多符号离散信源一般用描述。

3、两个相互独立的随机变量的联合自信息量等于。

4、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的。

5、对于n 元m 阶马尔可夫信源，其状态空间共有个不同的状态。

6、若一离散无记忆信源的信源熵H （X ）等于4.2，对信源进行等长的无失真二进制编码，则编码长度至少为。

7、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和6同时出现”这件事的自信息量是。

8、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为。

9、具有一一对应关系的无噪信道的信道容量C= 。

10、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是。

1、单符号离散信源的自信息和信源熵都具有非负性。

2、自信息量、条件自信息量和联合自信息量之间有如下关系： )/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+=3、自信息量、条件自信息量和互信息量之间有如下关系：)/()()/()();(ij j j i i j i x y I y I y x I x I y x I -=-= 4、当随即变量X 和Y 相互独立时，条件熵等于信源熵。

5、若对一离散信源（熵为H （X ））进行二进制无失真编码，设定长码子长度为K ，变长码子平均长度为K ，一般K >K 。

6、信道容量C 是I （X ；Y ）关于p （x i ）的条件极大值。

7、离散无噪信道的信道容量等于log 2n ，其中n 是信源X 的消息个数。

8、率失真函数没有最大值。

9、率失真函数的最小值是0 。

10、信源编码通常是通过压缩信源的冗余度来实现的。

在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。