信息论习题
信息论与编码习题
1 0 1 1 1 0 0 H 1 1 1 0 0 1 0 0 1 1 1 0 0 1
13为提高通信系统传输消息有效性，信源编码采用的方法 是
A.压缩信源的冗余度 C.研究码的生成矩阵 B.在信息比特中适当加入冗余比特 D.对多组信息进行交织处理
14、给定xi条件下随机事件yj所包含的不确定度和条件自信 息量p(yj /xi)，（ ） A．数量上不等，单位不同 B．数量上不等，单位相同 C．数量上相等，单位不同 D．数量上相等，单位相同 15、条件熵和无条件熵的关系是： A．H(Y/X)＜H(Y) B．H(Y/X)＞H(Y) C．H(Y/X)≤H(Y) D．H(Y/X)≥H(Y)
8、对于相同的信息，不同的观察者所获得的信息量可能 不同，指的是信息的（ ） A 可度量性 B 相对性 C 可替代性 D 可共享性 9、信源熵不满足以下哪个性质？（ ） A 确定性 B 非负性 C 连续性 D 可加性 10、二进制通信系统使用符号0和1，由于存在失真，传输 时会产生误码，用符号表示下列事件，u0:一个0发出， u1:一个1发出，v0 :一个0收到，v1:一个1收到。则已知 收到的符号，被告知发出的符号能得到的信息量是 （ ）。 A H(U/V) B H(V/U) C H(U,V) D H(UV)
2,二元对称信道如图。
2）求该信道的信道容量。
x3 x4 x5 x6 x7 X x1 x2 3,.信源空间为 P( X ) 0.2 0.19 0.18 0.17 0.15 0.1 0.01 ，试构造二元霍夫曼码，计算其平均码长和编码效率（要 求有编码过程）。
信息论习题解答
第二章 信息量和熵2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。
解：同步信息均相同，不含信息，因此每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此，信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。
问各得到多少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，则1x X =，21x x Y +=，321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字，0，1，…，9。
信息论习题
一、单项选择题1．信息就是 ( C ) A.消息 B.数字、数据、图形C.通信过程中，接受者所不知的知识（即不确定性）D.能量2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥D.当i x 和j y 统计独立时();0i j I x y =3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+D.()()()H XY H Y H X Y =-4. 一个正常的骰子，也就是各面呈现的概率都是16，则“5出现”这件事件的自信息量为 （C ） A.16比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：0i p ≥，i ∀，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.熵的取值小于等于信源的平均自信息量7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ）A. [0，1]B. [0，2]C. [1，2] D . [1，3]8. 非奇异码 （ C ） A.唯一可译 B.每个信源符号都有唯一的码字与之对应C.每个码符号序列都有唯一信源符号序列与之对应D.收到完整的码字后可即时译码9. 狭义信息论的创始人是 （ D ）A.HartlyB.NquistonD.C.E. Shannon10.单符号离散信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭的平均信息量为 （A ） A.1()log()niii H x p p ==-∑B.1()log()niii H x p p ==∑C.11()log()ni i i H x p p ==∑D. 11()log()ni i iH x p p ==∑ 11. 若信源X 中的某一符号出现的概率1i p =，则其()H X = （ B ） A.1B.0C.0.5D.0.712. 当(;)0I X Y =时，()H XY 应为 （B ） A.()()H X H Y =B.()()()H XY H X H Y =+C.(|)(|)H Y X H X Y =D.()()()H XY H X H Y <+13. 离散无记忆信道的概率转移矩阵的行和等于 （C ）A.2B.3C.1D.不确定14. 下列关于信息率失真函数()R D 的叙述错误的为 （ ）A. ()R D 为关于D 的严格递减函数 B.()R D 为关于D 的严格递增函数 C.()R D 为关于D 的下凸函数 D.当max D D > 时()0R D = 15. 设信源符号集{}123,,X x x x =，每一个符号发生的概率分别为()112p x =，()214p x =， ()314p x =，则信源熵为 （ A ） A.1.5 比特/符号 B.1.5 奈特/符号 C.1.5 哈特/符号 D.1.0比特/符号16. 设信源符号集{}1234,,,X x x x x =，每一个符号发生的概率分别为()1p x ，()2p x ，()3p x ，()4p x ，则信源熵的最大值为（ A ）A.2 比特/符号B.2 奈特/符号C.2 哈特/符号D.4比特/符号17. 下列关于联合熵()H XY 的陈述中错误的是 （ D ） A.当X 和Y 统计独立时，()()()H XY H X H Y =+ B.()()H XY H X ≥ C.()()H XY H Y ≥D.()()()H XY H X H X Y =+ 18． 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：i ∀，0i p ≥，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.()0H X ≥ B.()1,0,0,,00H =C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.设另外有一组概率矢量，()n q q q Q ,,,21 =，则 ()1log n i i i H X p q =≥-∑19. 在哈夫曼编码方法中 （ B ） A.概率大的信源符号给长码 B.概率小的信源符号给长码 C.自信息量大的信源符号给短码 D.根据信源的具体情况确定20. 二元离散信源{}0,1，以什么概率发每一个符号提供的平均信息量为最大 （ B ）A.{}0.4,0.6B.{}0.5,0.5C.{}0.99,0.01D.{}0.7,0.321. 若某字符离散信道的输入、输出符号集分别为{}12:,,,n X a a a 和{}12:,,,n Y b b b ，则其交互信息量(;)i j I a b 应为 （ A ） A.(|)log()i j i p a b p aB.(|)log()i j i p a b p a -C.1log(|)i j p a bD.log ()i p a -22. 唯一可译码和即时码具有哪种关系 （B ） A.唯一可译码就是即时码 B.即时码是唯一可译码的子集 C.唯一可译码是即时码的子集D.唯一可译码就是即时码与非奇异码之和23. 用哈夫曼码方法得到的码及其平均码长具有如下性质 （C ） A.不是唯一的，且其平均码长不相同 B.是唯一的，且平均码长也一样 C.不是唯一的，但平均码长相同 D.不能确定24. 设二进制对称信道的误传概率为p ，则下列陈述中错误的是 （C ） A.当输入等概分布时达到其信道容量 B.当输出等概分布时达到其信道容量 C.当0p =时，其信道容量为0 D.当12p =时，其信道容量为0 25. 对于离散对称信道，其输入、输出符号集分别为X 和Y ，下列叙述中错误的是（D ） A.当输入等概分布时达到信道容量 B.当输出等概分布时达到信道容量C.对称信道的条件熵()H Y X 与信道输入符号的概率分布无关D.何时达到对称信道的信道容量要根据具体信道具体确定26. 下述叙述错误的是 （ A ） A.非奇异码唯一可译 B.只有分组码才有对应的码表 C.即时码唯一可译 D.非延长码收到完整的码字后可即时译码 27. 哈夫曼编码属于哪一类编码 （ A ） A.统计 B.变换 C.预测 D.非分组 28．设信源{}621,,x x x X =，对信源X 进行二进制编码，根据Kraft 不等式，下列码中不是唯一可译码的是 ( D ) A ．000, 001, 010, 011, 100, 101 Ｂ． 0, 01, 011, 0111, 01111, 011111 C ．0, 10, 110, 1110, 11110, 111110 Ｄ． 0, 10, 110, 1110, 1011, 110129．若有一个二元序列为 000011011100000，可写成的游程序列是 （ A ） A.4 2 1 3 5 B.5 3 1 2 4 C.2 2 2 1 3 2 3 D.4 3 3 430. 在信道输出端接收到输出随机变量Y 后，对输入端的随机变量X 尚存在的平均不确定性表示为 ( B )A ．()X HＢ．()Y X H / C ．()Y HＤ．()X Y H /二、简答及名词解释1．名词解释：自信息量、熵、 2．简要描述离散信源熵的极值性 3．名词解释：离散无记忆信源4．写出冗余度的表达式并简述信源冗余度的来源 5. 简要描述平均互信息);(Y X I 的凸状性6．名词解释：对称离散信道试问：①码字中哪些是唯一可译码？②哪些是非延长码（即时码）？ ③哪些是奇异码；那些是非奇异码？ 8．名词解释：唯一可译码、即时码9．写出香农公式，解释其中各变量的含义 10．简述信源编码的两个基本途径 11. 伴随式 12. 对偶码 13. 试验信道三、计算1. 信源符号X 有6种字母，概率为(0.32, 0.22, 0.18, 0.16, 0.08, 0.04)。
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论习题训练
一、简答题1、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2、解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？3、简述最大离散熵定理。
二、判断题1、只要码字传输的信息量大于新源序列携带的信息量，就能实现几乎无失真编码。
2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
3、唯一可译码一定是即时码，即时码不一定是唯一可译码。
4、信道容量只是信道矩阵的参数。
5、若信源符号集中增加了若干符号，当这些符号出现的概率很小几乎趋于0时，信源的熵增加。
三、计算题（每小题10分，共40分）1、某二元无记忆信源，有()()170,188P P==，求：（1）某一信源序列由50个二元符号组成，其中有m个“1”，求此序列的自信息量。
（2）求100个符号构成的信源序列的熵。
2、求以下2个信道的信道容量：122p pPp pεεεεεε--⎡⎤--⎢⎥=⎢⎥--⎣⎦，21111363611116363P⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦第 1 页共3页第 2 页 共3 页3、有一信源有6个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 。
求⑴ 这些码中哪些是唯一可译码。
⑵ 哪些是即时码1123456()0.50001100.20010101100.1010000000111000.081000001000111100.071010010010110110.05110001111011101p a A B CD a a a a a a ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦消息4、信源空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.0)(87654321s s s s s s s s s P S ，试构造二元霍夫曼码，并计算其平均码长和编码效率。
第 3 页共3页。
信息论习题
前三章习题选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、21 6、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
西安交通大学 信息论与编码 习题 作业
并说明上式取等号的条件； （c） 给出 (b) 的结果的几何解释。
3-10 设一 DMC 信道（离散无记忆信道：Discrete memoryless channel）的输入与 输出分别为 X 和 Y 。 (a) 证明 H (Y ) 是输入概率向量的凸函数。提示：将输出概率向量用输入概
率向量表示；
(b) 证明 − H (Y X ) 是输入概率向量的线性函数； (c) 利用(a)，(b)的结论，证明 I ( X ; Y ) 是输入概率向量的凸函数。 3-11 判断图 P3.4 中各信道是否对称，如对称，求出其信道容量。
P ( 0 0 ) = 1−α P ( 0 1 )= 0
P ( E 1 )=α
P(E 0 ) = α
P (1 0 )= 0
P ( 1 1 ) = 1−α
求信道容量 C 。
3-7 设某二进制数字传输系统接收判决器的输入信号电平、噪声密度分布、及 判决电平如下图P3.3所示。试求：(a)信道模型；(b)互信息；(c)信道容量。
2-4 设 一 连 续 无 记 忆 信 源 产 生 数 符 X = [0, A] ， 其 概 率 密 度 函 数 为 p( x) = 1 /(b − a) ， 0 ≤ a ≤ x ≤ b ≤ A 。求 X 的相对信息熵 H ( X ) 。在什么条件
下， H ( X ) < 0 ，它的含义是什么？
2-5 一信源产生的时不变波形信号（即信号统计特性不随时间而变）的带宽
0p图p3133设一时间离散幅度连续的无记忆信道的输入是一个零均值方差为e的高斯随机变量信道噪声为加性高斯噪声方差为w1?2信道传输速率为64kbitssec求输入信号功率e的最小值
信息论第一章习题
1-1 设某班学生在一次考试中获优（A） 、良（B） 、中（C） 、及格（D）和不及 格（E）的人数相等。当教师通知某甲： “你没有不及格” ，甲获得了多少比 特信息？为确定自己的成绩，甲还需要多少信息？ 1-2 一个号码锁有 3 个数字，每个数字可设置为 0~99（含 0 和 99）中的任何一 个整数值。试计算打开该锁所需的信息。 1-3 中国国家标准局所规定的二级汉字共 6763 个。设每字使用的频度相等，求 一个汉字所含的信息量。设每个汉字用一个 16 × 16 的二元点阵显示，试计算 显示方阵所能表示的最大信息。显示方阵的利用率是多少？ 1-4 一信源有 4 种输出数符： X i = i, i = 0,1,2,3 ，且 PX i = 1 / 4 。设信源向信宿发 出 X 3 ，但由于传输中的干扰，接收者收到 X 3 后，认为其可信度为 0.9。于 是信源再次向信宿发送该数符（ X 3 ） ，信宿无误收到。问信源在两次发送中 发出的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ （提 示：先计算第二次传输中收、发的信息量。 ） 1-5 一信源有 6 种输出状态，概率分别为
信息论总复习
第一章作业题1. 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
信息论习题集
信息论习题集信息论习题集⼀、填空题1、⼈们研究信息论的⽬的是为了⾼效、可靠安全地交换和利⽤各种各样的信息。
2、单符号离散信源输出的消息⼀般⽤随机变量描述，⽽符号序列离散信源输出的消息⼀般⽤随机⽮量描述。
3、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。
4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
5、必然事件的⾃信息是 0 ，不可能事件的⾃信息量是 00 。
6、信道的输出仅与信道当前的输⼊有关，⽽与过去输⼊⽆关的信道称为⽆记忆信道。
7、若纠错码的最⼩距离为min d ，则可以纠正任意⼩于等于t= 个差错。
8、必然事件的⾃信息量是 0 ，不可能事件的⾃信息量是 00 。
9、⼀信源有五种符号{a ， b ， c ， d ， e}，先验概率分别为 a P =0.5， b P =0.25， c P =0.125，d P =e P =0.0625。
符号“a ”的⾃信息量为____1____bit ，此信源的熵为____1.875____bit/符号。
10、已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。
11、克劳夫特不等式是唯⼀可译码存在与否的充要条件。
{00，01，10，11}是否是唯⼀可译码？。
12、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
13、对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为信源符号等概分布_ 。
⼆、选择题1、下⾯哪⼀项不属于最简单的通信系统模型：（ B ）A ．信源B ．加密C ．信道D ．信宿 2、信道编码的⽬的是（ A ）。
A 提⾼通信系统的可靠性B 提⾼通信系统的有效性C 提⾼通信系统的保密性D 提⾼通信系统的实时性3、给定x i 条件下随机事件y j 所包含的不确定度和条件⾃信息量I (y j /x i )，（C ）A 数量上不等，含义不同B 数量上不等，含义相同C 数量上相等，含义不同D 数量上相等，含义相同4、下⾯哪⼀项不是增加信道容量的途径：（C ）A 减⼩信道噪声功率B 增⼤信号功率C 增加码长D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
信息论复习题
• 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？• 答：平均自信息为• 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
• 平均互信息•表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
• 最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答：只要 ，当N 足够长时，一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6.离散平稳信源• 答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。
7.即时码答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。
8.信道容量答：信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理• 答：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那么，如果H < C ，总存在一种编码系统，使得信源的输出以任意小的错误概率通过信道传输；反之，如果H > C 时，对任何编码编码系统，译码差错率>010.信道疑义度• 答：设信道的输入与输出分别为X 、Y ，定义条件熵H(X/Y)为信道疑义度。
它有如下含义：• 信道疑义度表示接收到Y 条件下X 的平均不确定性；根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X 经信道传输后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况下，H(X/Y)=0。
信息论——精选推荐
信息论信号论考试复习题⼀、填空题。
1. ⾹农信息论中定义的信息是“事物运动状态和存在⽅式不确定性的描述”。
2. 消息是信息的载体。
构成消息的两个条件是能被通信双⽅所理解和可以在通信中传递和交换。
3. 信源编码的作⽤是根据失真度准则对信源的输出消息进⾏编码，⽤码字表⽰消息。
4. 信息论研究的主要问题是如何提⾼信息传输系统的有效性和可靠性。
5. 如果信源输出的消息的随机变量，可以在某⼀离散集合内取值，也可以在某⼀连续区间内取值，相应的信源就分别称为和。
——[答案：1.连续信源离散信源]6. 当条件概率分布p （y ∣x ）给定时，平均互信息量I （X;Y ）是输⼊概率分布p(x)的。
——【上凸函数】7. ⼋进制脉冲的平均信息量为，⼋进制脉冲所含信息量是⼆进制脉冲信息量的倍。
——【3 3】8. 熵函数的数学特性有、、、确定性、可加性、极值性、上凸性。
——【对称性⾮负性扩展性】9. 平均互信息量I （X;Y ）与信源熵和条件熵之间的关系是。
【I （X;Y ）=H （X ）—H(X/Y)】 10. 设信源X 包含 4个不同的离散信息，当且仅当X 中各个信息出现的概率为时，信源熵达到最⼤值为，此时各个信息的⾃信息量为。
【1/4 2 2】 11. ⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越。
【⼩】 12. 信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的，⼆是信源符号分布的。
【相关性不均匀性】 13. 离散信道是输⼊和输出的随机变量的取值都是离散的信道。
14. 信道可依据输⼊输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。
15. 单符号离散信道的输⼊符号是X ，取之于｛a1、a2…… an ｝;输出符号为Y ,取值为｛b1、b2、……bn ｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这⼀组条件概率称为信道的传递概率或转移概率。
信息论习题集+答案(完版整)
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66）8、连续信源 （68）9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论习题
信息论部分:1. 已经两个离散信源X 和Y ，其联合概率P(X,Y)为：P(0,0)=1/8，P(0,1)=3/8，P(1,0)=3/8，P(1,1)=1/8，现定义另一个随机变量：Z=XY(一般乘积)，试求H(X)，H(Y)，H(Z)及H(X,Y)。
2. 有一个一阶马尔柯夫信源X={A,B,C}，已知：p(A)=1/2，p(B)=p(C)=1/4，信源状态之间的转移概率p(j/i)分别为：p(A/A)=1/2, p(B/A)=1/4, p(C/A)=1/4, p(A/B)=2/3, p(B/B)=0, p(C/B)=1/3, p(A/C)=2/3, p(B/C)=1/3, p(C/C)=0。
求：信源的熵和剩余度？3. 设一个连续随机变量X 的概率密度函数为p x bx x ()=≤⎧⎨⎪⎩⎪202 π其它 求信源X 的熵H(X)。
4. 设一个连续随机变量X 的概率密度函数为 p x e ()=-12λλX －∞＜X ＜∞ 求信源X 的熵H(X)。
5.掷一枚均匀的硬币，直到出现“正面”为止。
令X 表示所需掷出的次数，求熵H(X)。
6.设有噪声二元对称信道(BSC)的信道误码率为p e =1/8，码速率为n=1000/s,（1）若p(0)=1/3, p(1)=2/3, 求信道熵速率， （2）求信道容量。
7.某无线电厂可生产A ，B ，C ，D 四种产品，其中，A 占10%，B 占20% ，C 占30% ，D 占40%。
有两种消息：“现完成一台B 种产品”，“现完成一台C 种产品”，试问哪一种消息提供的信息量大？ 8．设每帧电视图象是由3×105个象素组成，所有象素是相互独立的，且每个象素可取128个不同的亮度电平，并假设各种亮度电平是等概出现的。
问每帧电视图象含有多少信息量？9.设电话信号的信息速率为5.6×104bit/s ，在一个噪声功率谱密度为N 0=5×10-6mW/Hz ，频带为F ，限输入功率为P 的高斯信道中传送，若F=4KHz ，问无差错传输所需的最小功率是多少？若F 趋于无穷，则P 是多少瓦。
信息论课后习题解答
问男，回答“否”所获得的信息量为：
男，平均回答中含有的信息量为：
同样，女为红绿色盲的概率空间为 问女，回答“是”所获昨的信息量为： 问女，回答“否”所获昨的信息量为： 女，平均回答中含有的信息量为
【2.12】 （1）为了使电视图像获得良好的清晰度和规定的适 当的对比度，需要用 5×105个像素和10个不同亮度电平，求传 递此图像所需的信息率（比特/秒）。并设每秒要传送 30帧图 像，所有像素是独立变化的，且所有亮度电平等概率出现。 （2）设某彩电系统，除了满足对于黑白电视系统的上述要求外， 还必须有30个不同的色彩度，试证明传输这彩色系统的信息率 要比黑白系统的信息率约大2.5倍。 解： （1）每个像素的电平取自10个不同的电平，形成的概率 空间为：
解： 每个像素的电平亮度形成了一个概率空间，如下：
平均每个像素携带的信息量为：
每帧图像由3×105个像素组成，且像素间是独立的，因此每帧图
像含有的信息量为：
平均每个汉字携带的信息量为 择1000字来描述，携带的信息量为
bit/sym; 选
需要汉字个数为：
【2.18】设有一信源，它在开始时以P(a)=0.6， P(b)=0.3, P(c)=0.1的概率发出X1。如果X1为a时，则 X2为 a、b、c 的概 率为1/3；如果X1为b时，则X2为 a、b、c 的概率为1/3；如果X1 为c时，则X2为a、b的概率为1/2，为c的概率为0。而且后面发 出Xi的概率只与Xi-1有关，又 。试用马尔克夫信源的图示法画出状态 转移图，并计算此信源的熵H∞。
解： 信源为一阶马尔克夫信源，其状态转换图如下所示。
根据上述状态转换图，设状态分别为
P(a)、P(b) 和P(c) ，
信息论基础 课后习题答案
信息论基础课后习题答案问题1问题：信息论的基本目标是什么？答案：信息论的基本目标是研究信息的传递、存储和处理的基本原理和方法。
主要关注如何量化信息的量和质，并通过定义信息熵、条件熵、互信息等概念来描述信息的特性和性质。
问题2问题：列举一些常见的信息论应用领域。
答案：一些常见的信息论应用领域包括：•通信领域：信息论为通信系统的性能分析和设计提供了基础方法，例如信道编码和调制调制等。
•数据压缩领域：信息论为数据压缩算法的研究和实现提供了理论依据，例如无损压缩和有损压缩等。
•隐私保护领域：信息论用于度量隐私保护方案的安全性和隐私泄露的程度，在隐私保护和数据共享中起着重要作用。
•机器学习领域：信息论被应用于机器学习中的特征选择、集成学习和模型评估等任务中，提供了许多有用的数学工具和概念。
•生物信息学领域：信息论被应用于分析DNA序列、蛋白质序列和生物网络等生物数据，发现其中的模式和规律。
问题3问题：信息熵是什么？如何计算信息熵？答案：信息熵是衡量一个随机变量的不确定性或信息量的度量值。
信息熵越大，表示随机变量的不确定性越高，每个可能的取值都相对等可能发生；反之，信息熵越小，表示随机变量的不确定性越低，某些取值较为集中或者出现的概率较大。
信息熵的计算公式如下所示：H(X) = -Σ P(x) * log2(P(x))其中，H(X) 表示随机变量 X 的信息熵，P(x) 表示随机变量X 取值为 x 的概率。
问题4问题：条件熵是什么？如何计算条件熵？答案：条件熵是在给定其他随机变量的条件下，一个随机变量的不确定性或信息量的度量。
条件熵基于条件概率定义，用于描述一个随机变量在给定其他相关随机变量的条件下的信息量。
条件熵的计算公式如下所示：H(Y|X) = -Σ P(x, y) * log2(P(y|x))其中，H(Y|X) 表示随机变量 Y 在给定随机变量 X 的条件下的条件熵，P(x, y) 表示随机变量 X 取值为 x 且随机变量 Y 取值为 y 的概率，P(y|x) 表示随机变量 Y 在给定随机变量 X 取值为x 的条件下取值为 y 的概率。
信息论习题集
信息论习题集第二章2.1 同时掷2颗骰子，事件A 、B 、C 分别表示：（A ）仅有一个骰子是3；（B ）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。
试计算A 、B 、C 发生后所提供的信息量。
2.3 一信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。
设信源向信宿发出3x ，但由于传输中的干扰，接收者收到3x 后，认为其可信度为0.9。
于是信源再次向信宿发送该符号（3x ），信宿准确无误收到。
问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。
然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。
2.6 中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个16⨯16的二元点阵显示，试计算显示方阵所能表示的最大信息量。
显示方阵的利用率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。
此消息在二进制对称信道上传输，信道传输特性为1122(|)(|)1p b a p b a ε==-，1221(|)(|)p b a p b a ε==。
求互信息量11(;)I a b 和12(;)I a b 。
2.8 已知二维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。
2.13 有两个二元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另一随机变量Z X Y =（一般乘积）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息理论基础习题集【考前必看】一、判断：1、必然事件和不可能事件的自信息量都是0 。
2、自信息量是p(x i)的单调递减函数。
3、单符号离散信源的自信息和信源熵都具有非负性。
4、单符号离散信源的自信息和信源熵都是一个确定值。
5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的6、自信息量、条件自信息量和联合自信息量之间有如下关系：7、自信息量、条件自信息量和互信息量之间有如下关系：8当随机变量X和丫相互独立时，条件熵等于信源熵。
9、当随机变量X和丫相互独立时，I (X; Y) =H (X)。
10、信源熵具有严格的下凸性。
11、平均互信息量1(X;Y)对于信源概率分布p(X i)和条件概率分布p(y j/x i) 都具有凸函数性。
12、m阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。
13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。
14、定长编码的效率一般小于不定长编码的效率。
15、信道容量C是I (X；丫)关于p (X)的条件极大值。
16、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。
17、信道无失真传递信息的条件是信息率小于信道容量。
18、最大信息传输速率，即：选择某一信源的概率分布(p (X),使信道所能传送的信息率的最大值。
19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。
20、率失真函数对允许的平均失真度具有上凸性。
21、信源编码是提高通信有效性为目的的编码。
22、信源编码通常是通过压缩信源的冗余度来实现的。
23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。
24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。
25、在编m (m>2)进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。
26、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字 c 的长度。
27、汉明码是一种线性分组码。
28、循环码也是一种线性分组码。
卷积码是一种特殊的线性分组码。
可以用克劳夫特不等式作为唯一可译码存在的判据。
线性码一定包含全零码。
确定性信源的熵H(0,0,0,1)=1。
33、 信源X 的概率分布为P(X)={1/2, 1/3, 1/6},对其进行哈夫曼编码得到的码是唯一的(34、 离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。
( 35、 非奇异的定长码一定是唯一可译码。
( 36、 信息率失真函数R(D)是在平均失真不超过给定失真限度 D 的条件下，信息率容许压缩的最小值。
()37、信源X 的概率分布为P(X)={1/2, 1/3, 1/6},信源Y 的概率分布为P(Y)={1/3,1/2,1/6}，则信源X 和丫的熵相等。
() 38、 互信息量l(X;丫表示收到丫后仍对信源X 的不确定度。
()39、 对信源符号X={a 1,a 2,a 3,a 4}进行二元信源编码，4个信源符号对应码字的码长分别为 Ki=1,K 2=2, K 3=3, K 3=3,满足这种码长组合的码一定是唯一可译码。
()40、 设 C = {000000, 001011,010110, 011101, 100111, 101100, 110001, 11101是一个二 元线性分组码，则该码最多能检测出3个随机错误。
二、选择题(共10分，每题2分)1.下面表达式中正确的是( A. 送 p(y j /x) =1jC.' p(x,y j )二(y j )j4. 线性分组码不具有的性质是( A. 任意多个码字的线性组合仍是码字 B. 最小汉明距离等于最小非0重量 C 最小汉明距离为3D 任一码字和其校验矩阵的乘积C m H T =0 5. 率失真函数的下限为()o A .H(U) B.0C.I(U; V)6.纠错编码中，下列哪种措施不能减小差错概率()oA.增大信道容量B.增大码长C.减小码率7. 一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，重量仅有微小差异的假珠换掉1颗。
一人随手取出3颗，经测量恰好找出了假珠，不 巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多 6次能找出，结果确是如此，这一事件给出的信息量( )o29、30、 32、 B 〕p(y j /x j=1iD 〕p(X i ,y j )=q(X i )iD.没有下限D.减小带宽 但不幸被人用外观相同但A. 0bitB. Iog6bitC.6bitD. Iog240bit8•下列陈述中，不正确的是（ ）。
A. 离散无记忆信道中，H （Y ）是输入概率向量的凸函数B. 满足格拉夫特不等式的码字为惟一可译码C 一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、 纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码 10•下列离散信源，熵最大的是（ ）。
12.为提高通信系统传输消息有效性，信源编码采用的方法是（）。
A.压缩信源的冗余度B.在信息比特中适当加入冗余比特13.最大似然译码等价于最大后验概率译码的条件是（）。
A.离散无记忆信道B.无错编码 C 无扰信道 D.消息先验等概14.下列说法正确的是（ ）。
A. 等重码是线性码B. 码的生成矩阵唯一C 码的最小汉明距离等于码的最小非 0重量 D.线性分组码中包含一个全 0码字15. 二进制通信系统使用符号0和1,由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出u1:一个1发出v0 :—个0收到 v1:一个1收到则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。
A. H （U/V ）B. H （V/U ）C. H （U,V ）D. H （UV ）16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12,贝U 得到的 自信息为（）。
C. — log (11/36)bitD. log (11/36)bit 17.下列组合中不属于即时码的是（ 。
A. { 0, 01，011}B. {0, 10，110}C. {00, 10，11}D. {1，01，00}11101018. 已知某（6, 3）线性分组码的生成矩阵G = 110001 ，则不用计算就可判断出下列.011101一码中不是该码集里的码是（A. 000000B. 110001A. H ( 1/3,1/3,1/3)；B. H ( 1/2,1/2)；C. H （ 0.9,0.1）; 11•下列不属于消息的是（ A.文字 B 信号D. H ( 1/2,1/4,1/8,1/8))。
D.语言C 研究码的生成矩阵 D.对多组信息进行交织处理A. — Iog36bitB. Iog36bitC. 011101D. 11111120.设有一个无记忆信源发出符号 A 和B ,已知p(A)二；，p(B)二弓，发出二重符号序列T X T F T r\- 耳小.kJ k 1 r ” »V —[ 寸 J*2) '「此时输入概率分布为等概率分布。
四、已知信源(1) 用霍夫曼编码法编成二进制变长码；(6分) (2) 计算平均码长L ; (4分) (3) 计算编码信息率R ; (2分) (4) 计算编码后信息传输率R ; (2分) (5) 计算编码效率 。
(2分) (1) 编码结果为：消息的信源，无记忆信源熵H (X 2)为()。
21.给定X i 条件下随机事件y 所包含的不确定度和条件自信息量A .数量上不等，单位不同 C. 数量上相等，单位不同 22. 条件熵和无条件熵的关系是：A . H(WX)v H(Y) C.23. 根据树图法构成规则，A .在树根上安排码字 C.安排码字24. 下列说法正确的是：A .奇异码是唯一可译码 C.异码不是唯一可译码25. 下面哪一项不属于熵的性质：A .非负性 C.对称性三、二元对称信道如图。
3 11)若 p 0 ， p 1 ，求 HX 、4 42)求该信道的信道容量。
解：1)共6分H(_X) = 0.8113引打符号H X |Y i 〕=0.749bit /符号p(y j /X i )，()B.数量上不等，单位相同 D .数量上相等，单位相同()B. H(Y/X)> H(Y)H(Y/X) < H(Y) D . H(Y/X) > H(Y)()B.在树枝上安排码字在中间节点上安排码字 D.在终端节点上()B.非奇异码是唯一可译码非奇异码不一定是唯一可译码D .非奇()B.完备性H X |Y 和 I X;Y ;L 二％ p :■ i 二 0.4 ‘：2 讦‘0 ・6‘：3 二 2.6 i 4(4) R二晋=253=o.973bit 码元其中，H S 二H 0.2,0.2,0.2,0.2,0.1,0.1 =2.53bit 符号五、一个一阶马尔可夫信源，转移概率为 【说明：以书上的解法为准】2 1P(S|S }=3,P(S |S )=?P (S|S2 )T,P(S 2 ©)=0。
3 3(1) 画出状态转移图。
(2) 计算稳态概率。
(3) 计算马尔可夫信源的极限熵。
(4) 计算稳态下H 1,H 2及其对应的剩余度。
解: (1)2⑵由公式P S 八P S i |S j p S jj 二22P S 八P S1I S iP SiP S1P S2i =1321P(S 2 P(S 2|S i )P(S )=PQ)i =1 3P(S )+P(S 2 ) = 13P s 蔦得4I1PS2(3) 该马尔可夫信源的极限熵为： (4) 在稳态下：对应的剩余度为六、设X 、丫是两个相互独立的二元随机变量，其取 0或1的概率相等。
定义 另一个二元随机变量Z=XY 一般乘积)。
试计算(5)工L log r= 0.973码元符号(3) R J Llog r=2.6有』(1) H X ,H Z ;⑵ H XY ,H XZ ;⑶ H X|Y ,H Z|X ;⑷ I X;Y ,I X;Z ;解：⑴(2) H XY = H X H Y =1 1=2bit,对⑶ H X |Y 二H X =1bit⑷ IX,Y=HY-HY|X =H Y -H Y =0七、]p(：)]={o X5 ，通过一个干扰信道，接受符号集为"J曲，■1信道转移矩阵为43'.4 314试求：(1)H(X),H(Y),H(XY); 14(2) H(Y|X),H(X|Y);⑶ I(Y;X)。
⑷该信道的容量C(5)当平均互信息量达到信道容量时，接收端丫的熵H (Y) 计算结果保留小数点后2位,单位为比特/符号。
八、设有离散无记忆信源S _ S| s2 s3 s4 s5 s6 s7 s8 P 110.22 0.20 0.18 0.15 0.10 0.08 0.05 0.02，试对信源进行四元Huffman 编码,求信源熵H(S),平均码长和编码效率。