信息论习题
信息论习题——精选推荐
选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、216、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
信息论习题
一、单项选择题1．信息就是 ( C ) A.消息 B.数字、数据、图形C.通信过程中，接受者所不知的知识（即不确定性）D.能量2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥D.当i x 和j y 统计独立时();0i j I x y =3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+D.()()()H XY H Y H X Y =-4. 一个正常的骰子，也就是各面呈现的概率都是16，则“5出现”这件事件的自信息量为 （C ） A.16比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：0i p ≥，i ∀，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.熵的取值小于等于信源的平均自信息量7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ）A. [0，1]B. [0，2]C. [1，2] D . [1，3]8. 非奇异码 （ C ） A.唯一可译 B.每个信源符号都有唯一的码字与之对应C.每个码符号序列都有唯一信源符号序列与之对应D.收到完整的码字后可即时译码9. 狭义信息论的创始人是 （ D ）A.HartlyB.NquistonD.C.E. Shannon10.单符号离散信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭的平均信息量为 （A ） A.1()log()niii H x p p ==-∑B.1()log()niii H x p p ==∑C.11()log()ni i i H x p p ==∑D. 11()log()ni i iH x p p ==∑ 11. 若信源X 中的某一符号出现的概率1i p =，则其()H X = （ B ） A.1B.0C.0.5D.0.712. 当(;)0I X Y =时，()H XY 应为 （B ） A.()()H X H Y =B.()()()H XY H X H Y =+C.(|)(|)H Y X H X Y =D.()()()H XY H X H Y <+13. 离散无记忆信道的概率转移矩阵的行和等于 （C ）A.2B.3C.1D.不确定14. 下列关于信息率失真函数()R D 的叙述错误的为 （ ）A. ()R D 为关于D 的严格递减函数 B.()R D 为关于D 的严格递增函数 C.()R D 为关于D 的下凸函数 D.当max D D > 时()0R D = 15. 设信源符号集{}123,,X x x x =，每一个符号发生的概率分别为()112p x =，()214p x =， ()314p x =，则信源熵为 （ A ） A.1.5 比特/符号 B.1.5 奈特/符号 C.1.5 哈特/符号 D.1.0比特/符号16. 设信源符号集{}1234,,,X x x x x =，每一个符号发生的概率分别为()1p x ，()2p x ，()3p x ，()4p x ，则信源熵的最大值为（ A ）A.2 比特/符号B.2 奈特/符号C.2 哈特/符号D.4比特/符号17. 下列关于联合熵()H XY 的陈述中错误的是 （ D ） A.当X 和Y 统计独立时，()()()H XY H X H Y =+ B.()()H XY H X ≥ C.()()H XY H Y ≥D.()()()H XY H X H X Y =+ 18． 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：i ∀，0i p ≥，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.()0H X ≥ B.()1,0,0,,00H =C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.设另外有一组概率矢量，()n q q q Q ,,,21 =，则 ()1log n i i i H X p q =≥-∑19. 在哈夫曼编码方法中 （ B ） A.概率大的信源符号给长码 B.概率小的信源符号给长码 C.自信息量大的信源符号给短码 D.根据信源的具体情况确定20. 二元离散信源{}0,1，以什么概率发每一个符号提供的平均信息量为最大 （ B ）A.{}0.4,0.6B.{}0.5,0.5C.{}0.99,0.01D.{}0.7,0.321. 若某字符离散信道的输入、输出符号集分别为{}12:,,,n X a a a 和{}12:,,,n Y b b b ，则其交互信息量(;)i j I a b 应为 （ A ） A.(|)log()i j i p a b p aB.(|)log()i j i p a b p a -C.1log(|)i j p a bD.log ()i p a -22. 唯一可译码和即时码具有哪种关系 （B ） A.唯一可译码就是即时码 B.即时码是唯一可译码的子集 C.唯一可译码是即时码的子集D.唯一可译码就是即时码与非奇异码之和23. 用哈夫曼码方法得到的码及其平均码长具有如下性质 （C ） A.不是唯一的，且其平均码长不相同 B.是唯一的，且平均码长也一样 C.不是唯一的，但平均码长相同 D.不能确定24. 设二进制对称信道的误传概率为p ，则下列陈述中错误的是 （C ） A.当输入等概分布时达到其信道容量 B.当输出等概分布时达到其信道容量 C.当0p =时，其信道容量为0 D.当12p =时，其信道容量为0 25. 对于离散对称信道，其输入、输出符号集分别为X 和Y ，下列叙述中错误的是（D ） A.当输入等概分布时达到信道容量 B.当输出等概分布时达到信道容量C.对称信道的条件熵()H Y X 与信道输入符号的概率分布无关D.何时达到对称信道的信道容量要根据具体信道具体确定26. 下述叙述错误的是 （ A ） A.非奇异码唯一可译 B.只有分组码才有对应的码表 C.即时码唯一可译 D.非延长码收到完整的码字后可即时译码 27. 哈夫曼编码属于哪一类编码 （ A ） A.统计 B.变换 C.预测 D.非分组 28．设信源{}621,,x x x X =，对信源X 进行二进制编码，根据Kraft 不等式，下列码中不是唯一可译码的是 ( D ) A ．000, 001, 010, 011, 100, 101 Ｂ． 0, 01, 011, 0111, 01111, 011111 C ．0, 10, 110, 1110, 11110, 111110 Ｄ． 0, 10, 110, 1110, 1011, 110129．若有一个二元序列为 000011011100000，可写成的游程序列是 （ A ） A.4 2 1 3 5 B.5 3 1 2 4 C.2 2 2 1 3 2 3 D.4 3 3 430. 在信道输出端接收到输出随机变量Y 后，对输入端的随机变量X 尚存在的平均不确定性表示为 ( B )A ．()X HＢ．()Y X H / C ．()Y HＤ．()X Y H /二、简答及名词解释1．名词解释：自信息量、熵、 2．简要描述离散信源熵的极值性 3．名词解释：离散无记忆信源4．写出冗余度的表达式并简述信源冗余度的来源 5. 简要描述平均互信息);(Y X I 的凸状性6．名词解释：对称离散信道试问：①码字中哪些是唯一可译码？②哪些是非延长码（即时码）？ ③哪些是奇异码；那些是非奇异码？ 8．名词解释：唯一可译码、即时码9．写出香农公式，解释其中各变量的含义 10．简述信源编码的两个基本途径 11. 伴随式 12. 对偶码 13. 试验信道三、计算1. 信源符号X 有6种字母，概率为(0.32, 0.22, 0.18, 0.16, 0.08, 0.04)。
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
第三版信息论答案
【】设有 12 枚同值硬币，其中有一枚为假币。
只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。
现用比较天平左右两边轻重的方法来测量。
为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为P 1；12“假币的重量比真的轻，或重”该事件发生的概率为P 1；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I log12log2log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P 1 ，因此天3平每一次消除的不确定性为Ilog 3 比特因此，必须称的次数为I1log24I2log3次因此，至少需称 3 次。
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。
【】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为P1 16 61，该事件的信息量为：36I log 36比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和2，概率为P 1 1 56 65，因此该事件的信息量为：36I log365比特“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为P因此该事件的信息量为：1 121，6 6 18I log18比特【】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P 1，因此此时从答案中获得的信息量为7I log 7比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得的信息量为0 比特。
信息论习题训练
一、简答题1、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2、解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？3、简述最大离散熵定理。
二、判断题1、只要码字传输的信息量大于新源序列携带的信息量，就能实现几乎无失真编码。
2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
3、唯一可译码一定是即时码，即时码不一定是唯一可译码。
4、信道容量只是信道矩阵的参数。
5、若信源符号集中增加了若干符号，当这些符号出现的概率很小几乎趋于0时，信源的熵增加。
三、计算题（每小题10分，共40分）1、某二元无记忆信源，有()()170,188P P==，求：（1）某一信源序列由50个二元符号组成，其中有m个“1”，求此序列的自信息量。
（2）求100个符号构成的信源序列的熵。
2、求以下2个信道的信道容量：122p pPp pεεεεεε--⎡⎤--⎢⎥=⎢⎥--⎣⎦，21111363611116363P⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦第 1 页共3页第 2 页 共3 页3、有一信源有6个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 。
求⑴ 这些码中哪些是唯一可译码。
⑵ 哪些是即时码1123456()0.50001100.20010101100.1010000000111000.081000001000111100.071010010010110110.05110001111011101p a A B CD a a a a a a ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦消息4、信源空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.0)(87654321s s s s s s s s s P S ，试构造二元霍夫曼码，并计算其平均码长和编码效率。
第 3 页共3页。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论习题集
信息论习题集第二章2.1同时掷2颗骰子，事件A、B、C分别表示：(A)仅有一个骰子是3; ( B)至少有一个骰子是4;(C)骰子上点数的总和为偶数。
试计算A、B、C发生后所提供的信息量。
2.3 —信源有4种输出符号X，i =0，1，2, 3,且p(Xj=1/4。
设信源向信宿发出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度为0.9。
于是信源再次向信宿发送该符号 (X3 )，信宿准确无误收到。
问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？2.5 一信源有6种输出状态，概率分别为p(A) =0.5，p(B)=0.25，p(C)=0.125，p(D)= p(E)=0.05，p(F)=0.025试计算H(X)。
然后求消息ABABBA和FDDFDF的信息量(设信源先后发出的符号相互独立) ，并将之与长度为6的消息序列信息量的期望值相比较。
2.6中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个16 16的二元点阵显示，试计算显示方阵所能表示的最大信息量。
显示方阵的利用率是多少？2.7已知信源发出6和a2两种消息，且p(aj = p(a2)=1/2。
此消息在二进制对称信道上传输，信道传输特性为p(bi |aj = p(b2 la?) =1 - ；，p(b | a?) = p(b21 aj =；。
求互信息量I 佝4)和I 佝；b?)。
2.8已知二维随机变量XY的联合概率分布p(X i y j)为：p(0,0) = p(1,1)=1/8，p(0,1) =p(1,0) -3/8，求H (X |Y)。
2.13有两个二元随机变量X和Y，它们的联合概率分布如表 2.5所列，同时定义另一随机变量Z二X|_Y (一般乘积)。
试计算：(1)熵H(X),H(Y),H(Z), H(XZ),H(YZ), H(XYZ)；(2)条件熵H(X |Y),H(Y|X),H(X |Z),H(Z|X),H(Y|Z), H(Z|Y), H(X|YZ), H (Y | XZ)和H(Z | XY);(3)互信息I (X;Y), I (X;Z), I (Y; Z), I(X;Y| Z),I(Y;Z| X)和I (X ;Z |Y)。
信息论总复习
第一章作业题1. 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
信息论习题集
信息论习题集信息论习题集⼀、填空题1、⼈们研究信息论的⽬的是为了⾼效、可靠安全地交换和利⽤各种各样的信息。
2、单符号离散信源输出的消息⼀般⽤随机变量描述，⽽符号序列离散信源输出的消息⼀般⽤随机⽮量描述。
3、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。
4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
5、必然事件的⾃信息是 0 ，不可能事件的⾃信息量是 00 。
6、信道的输出仅与信道当前的输⼊有关，⽽与过去输⼊⽆关的信道称为⽆记忆信道。
7、若纠错码的最⼩距离为min d ，则可以纠正任意⼩于等于t= 个差错。
8、必然事件的⾃信息量是 0 ，不可能事件的⾃信息量是 00 。
9、⼀信源有五种符号{a ， b ， c ， d ， e}，先验概率分别为 a P =0.5， b P =0.25， c P =0.125，d P =e P =0.0625。
符号“a ”的⾃信息量为____1____bit ，此信源的熵为____1.875____bit/符号。
10、已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。
11、克劳夫特不等式是唯⼀可译码存在与否的充要条件。
{00，01，10，11}是否是唯⼀可译码？。
12、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
13、对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为信源符号等概分布_ 。
⼆、选择题1、下⾯哪⼀项不属于最简单的通信系统模型：（ B ）A ．信源B ．加密C ．信道D ．信宿 2、信道编码的⽬的是（ A ）。
A 提⾼通信系统的可靠性B 提⾼通信系统的有效性C 提⾼通信系统的保密性D 提⾼通信系统的实时性3、给定x i 条件下随机事件y j 所包含的不确定度和条件⾃信息量I (y j /x i )，（C ）A 数量上不等，含义不同B 数量上不等，含义相同C 数量上相等，含义不同D 数量上相等，含义相同4、下⾯哪⼀项不是增加信道容量的途径：（C ）A 减⼩信道噪声功率B 增⼤信号功率C 增加码长D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
信息论课后习题-PPT
(Hz)
5.11（续）
（3）同样由信道容量公式可得：
其中C，
S
C
2B 1
N
log 11，B=0.5MHz
可求得：S
?
N
2.14（续）
（1）求X1X2X3的联合熵和平均符号熵； （2）求这个链的极限平均符号熵； （3）求H0,H1,H2和它们所对应的冗余度。
解始：序（列1X）1X一2X阶3的平联稳合马熵尔：可夫链X1，X2 ，，Xr ，
的起
H (X1X2X3)
P(x1x2 x3 ) log P(x1x2 x3 )
N
H(XN
|
X N 1
X1) H2
33
P(ai )P(a j | ai ) log P(a j | ai )
i1 j1
（3） 1.251 bit/符号
H0 log 3 1.585 bit/符号
3
H1 P(ai ) log P(ai ) 1.414 bit/符号 i 1
H2 1.251 bit/符号
2.8 设随机变量X和Y的联合概率分布如右表所示。随机变Z量 X Y 求：
（1）H(X)，H(Y)
Y b1=0 b2=0
（2）H(X|Y)，H(Y|X)，H(X|Z)
X
a1=0 1/3
1/3
a2=0
0
1/3
2.13 有一个马尔可夫信源，已知转移概率为：
P(S1
|
S1 )
2 3
，P
(
S2
|
S1 )
1 3
宽应为多少？ （3）若信道通频带减为0.5MHz时，要保持相
同的信道容量，信道上的信号与噪声的平均功 率比值应等于多大？
信息论——精选推荐
信息论信号论考试复习题⼀、填空题。
1. ⾹农信息论中定义的信息是“事物运动状态和存在⽅式不确定性的描述”。
2. 消息是信息的载体。
构成消息的两个条件是能被通信双⽅所理解和可以在通信中传递和交换。
3. 信源编码的作⽤是根据失真度准则对信源的输出消息进⾏编码，⽤码字表⽰消息。
4. 信息论研究的主要问题是如何提⾼信息传输系统的有效性和可靠性。
5. 如果信源输出的消息的随机变量，可以在某⼀离散集合内取值，也可以在某⼀连续区间内取值，相应的信源就分别称为和。
——[答案：1.连续信源离散信源]6. 当条件概率分布p （y ∣x ）给定时，平均互信息量I （X;Y ）是输⼊概率分布p(x)的。
——【上凸函数】7. ⼋进制脉冲的平均信息量为，⼋进制脉冲所含信息量是⼆进制脉冲信息量的倍。
——【3 3】8. 熵函数的数学特性有、、、确定性、可加性、极值性、上凸性。
——【对称性⾮负性扩展性】9. 平均互信息量I （X;Y ）与信源熵和条件熵之间的关系是。
【I （X;Y ）=H （X ）—H(X/Y)】 10. 设信源X 包含 4个不同的离散信息，当且仅当X 中各个信息出现的概率为时，信源熵达到最⼤值为，此时各个信息的⾃信息量为。
【1/4 2 2】 11. ⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越。
【⼩】 12. 信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的，⼆是信源符号分布的。
【相关性不均匀性】 13. 离散信道是输⼊和输出的随机变量的取值都是离散的信道。
14. 信道可依据输⼊输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。
15. 单符号离散信道的输⼊符号是X ，取之于｛a1、a2…… an ｝;输出符号为Y ,取值为｛b1、b2、……bn ｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这⼀组条件概率称为信道的传递概率或转移概率。
信息论习题集+答案(完版整)
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66）8、连续信源 （68）9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论复习题
1、求基本高斯信源的差熵。
（10分）2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。
试求该信源的相对熵。
3、黑白气象传真图的消息只有黑色和白色两种，即信源{}黑，白=X ，设黑色的出现概率为3.0(=黑）P ，白色的出现概率为7.0(=白）P 。
（1）假设图上黑白消息出现前后没有关联，求熵)(X H 。
（2）假设消息前后有关联，其依赖关系为9.0/(=白）白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。
（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。
4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。
5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。
6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则 ∑=≤Nk k k Y X I Y X I 1),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当且仅当信源也是无记忆信源时等号成立。
7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2i σ： 21σ=0.1，22σ=0.2，23σ=0.3，24σ=0.4，25σ=0.5，26σ=0.6，27σ=0.7，28σ=0.8，29σ=0.9，210σ=1.0（W ）。
输入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：)(1101W P i i=∑=。
求各子信道的信号功率分配方案。
8、给定语音信号样值x 的概率密度函数为x e x p λλ-=21)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。
9、某二元信源⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡5.05.010)(x p X ，其失真矩阵定义为⎥⎦⎤⎢⎣⎡=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。
信息论习题
信息论部分:1. 已经两个离散信源X 和Y ，其联合概率P(X,Y)为：P(0,0)=1/8，P(0,1)=3/8，P(1,0)=3/8，P(1,1)=1/8，现定义另一个随机变量：Z=XY(一般乘积)，试求H(X)，H(Y)，H(Z)及H(X,Y)。
2. 有一个一阶马尔柯夫信源X={A,B,C}，已知：p(A)=1/2，p(B)=p(C)=1/4，信源状态之间的转移概率p(j/i)分别为：p(A/A)=1/2, p(B/A)=1/4, p(C/A)=1/4, p(A/B)=2/3, p(B/B)=0, p(C/B)=1/3, p(A/C)=2/3, p(B/C)=1/3, p(C/C)=0。
求：信源的熵和剩余度？3. 设一个连续随机变量X 的概率密度函数为p x bx x ()=≤⎧⎨⎪⎩⎪202 π其它 求信源X 的熵H(X)。
4. 设一个连续随机变量X 的概率密度函数为 p x e ()=-12λλX －∞＜X ＜∞ 求信源X 的熵H(X)。
5.掷一枚均匀的硬币，直到出现“正面”为止。
令X 表示所需掷出的次数，求熵H(X)。
6.设有噪声二元对称信道(BSC)的信道误码率为p e =1/8，码速率为n=1000/s,（1）若p(0)=1/3, p(1)=2/3, 求信道熵速率， （2）求信道容量。
7.某无线电厂可生产A ，B ，C ，D 四种产品，其中，A 占10%，B 占20% ，C 占30% ，D 占40%。
有两种消息：“现完成一台B 种产品”，“现完成一台C 种产品”，试问哪一种消息提供的信息量大？ 8．设每帧电视图象是由3×105个象素组成，所有象素是相互独立的，且每个象素可取128个不同的亮度电平，并假设各种亮度电平是等概出现的。
问每帧电视图象含有多少信息量？9.设电话信号的信息速率为5.6×104bit/s ，在一个噪声功率谱密度为N 0=5×10-6mW/Hz ，频带为F ，限输入功率为P 的高斯信道中传送，若F=4KHz ，问无差错传输所需的最小功率是多少？若F 趋于无穷，则P 是多少瓦。
信息论第6章课后习题答案
信息论第6章课后习题答案信息论是一门研究信息传输和处理的学科，它以数学为基础，探讨了信息的度量、编码和传输等问题。
本文将对信息论第6章的课后习题进行解答，以帮助读者更好地理解和应用信息论的知识。
1. 习题6.1：证明熵函数H(X)是凸函数。
解答：首先，我们知道熵函数H(X)可以表示为H(X) = -Σp(x)logp(x)，其中p(x)为随机变量X的概率分布。
要证明H(X)是凸函数，需要证明对于任意的两个概率分布p1(x)和p2(x)，以及0≤λ≤1，有H(λp1(x) + (1-λ)p2(x)) ≤ λH(p1(x)) + (1-λ)H(p2(x))。
根据Jensen不等式，对于凸函数f(x)，有f(λx + (1-λ)y) ≤ λf(x) + (1-λ)f(y)。
将凸函数f(x)替换为H(X)，则有H(λp1(x) + (1-λ)p2(x)) ≤ λH(p1(x)) + (1-λ)H(p2(x))。
因此，熵函数H(X)是凸函数。
2. 习题6.2：证明条件熵H(Y|X) ≥ 0。
解答：条件熵H(Y|X)可以表示为H(Y|X) = -ΣΣp(x,y)logp(y|x)，其中p(x,y)为随机变量X和Y的联合概率分布。
要证明条件熵H(Y|X) ≥ 0，需要证明对于任意的联合概率分布p(x,y)，有H(Y|X) = -ΣΣp(x,y)logp(y|x) ≥ 0。
根据信息论的定义，熵函数H(Y) ≥ 0，即对于任意的随机变量Y，其熵函数都大于等于0。
而条件熵H(Y|X)可以看作是在已知随机变量X的条件下，随机变量Y的不确定性。
根据信息论的定义，条件熵H(Y|X)应该不小于0，即H(Y|X)≥ 0。
3. 习题6.3：证明互信息I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)。
解答：互信息I(X;Y)可以表示为I(X;Y) = ΣΣp(x,y)log(p(x,y)/(p(x)p(y)))，其中p(x,y)为随机变量X和Y的联合概率分布，p(x)和p(y)分别为随机变量X和Y的边缘概率分布。
信息论基础 课后习题答案
信息论基础课后习题答案问题1问题：信息论的基本目标是什么？答案：信息论的基本目标是研究信息的传递、存储和处理的基本原理和方法。
主要关注如何量化信息的量和质，并通过定义信息熵、条件熵、互信息等概念来描述信息的特性和性质。
问题2问题：列举一些常见的信息论应用领域。
答案：一些常见的信息论应用领域包括：•通信领域：信息论为通信系统的性能分析和设计提供了基础方法，例如信道编码和调制调制等。
•数据压缩领域：信息论为数据压缩算法的研究和实现提供了理论依据，例如无损压缩和有损压缩等。
•隐私保护领域：信息论用于度量隐私保护方案的安全性和隐私泄露的程度，在隐私保护和数据共享中起着重要作用。
•机器学习领域：信息论被应用于机器学习中的特征选择、集成学习和模型评估等任务中，提供了许多有用的数学工具和概念。
•生物信息学领域：信息论被应用于分析DNA序列、蛋白质序列和生物网络等生物数据，发现其中的模式和规律。
问题3问题：信息熵是什么？如何计算信息熵？答案：信息熵是衡量一个随机变量的不确定性或信息量的度量值。
信息熵越大，表示随机变量的不确定性越高，每个可能的取值都相对等可能发生；反之，信息熵越小，表示随机变量的不确定性越低，某些取值较为集中或者出现的概率较大。
信息熵的计算公式如下所示：H(X) = -Σ P(x) * log2(P(x))其中，H(X) 表示随机变量 X 的信息熵，P(x) 表示随机变量X 取值为 x 的概率。
问题4问题：条件熵是什么？如何计算条件熵？答案：条件熵是在给定其他随机变量的条件下，一个随机变量的不确定性或信息量的度量。
条件熵基于条件概率定义，用于描述一个随机变量在给定其他相关随机变量的条件下的信息量。
条件熵的计算公式如下所示：H(Y|X) = -Σ P(x, y) * log2(P(y|x))其中，H(Y|X) 表示随机变量 Y 在给定随机变量 X 的条件下的条件熵，P(x, y) 表示随机变量 X 取值为 x 且随机变量 Y 取值为 y 的概率，P(y|x) 表示随机变量 Y 在给定随机变量 X 取值为x 的条件下取值为 y 的概率。
信息论基础(含习题与解答)
信息论基础（含习题与解答）
1.习题
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它重点研究的是如何将信息可视化，以便用户可以快速找到需要的信息，同时有效地利用多个索引信息。
2.答案
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它主要专注于通过设计有效的用户界面来提高信
息的有用性，实现信息的检索和可视化，以实现快速了解和分析信息资源。
它强调以用户为中心，基于支持知识管理和协作的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息理论基础习题集【考前必看】一、 判断：1、必然事件和不可能事件的自信息量都是0 。
2、 自信息量是)(i x p 的单调递减函数。
3、 单符号离散信源的自信息和信源熵都具有非负性。
4、 单符号离散信源的自信息和信源熵都是一个确定值。
5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的6、自信息量、条件自信息量和联合自信息量之间有如下关系：)/()()/()()(j i j i j i j i y x I y I x y I x I y x I +=+=7、自信息量、条件自信息量和互信息量之间有如下关系：)/()()/()();(i j j j i i j i x y I y I y x I x I y x I -=-= 8、当随机变量X 和Y 相互独立时，条件熵等于信源熵。
9、当随机变量X 和Y 相互独立时，I （X ；Y ）=H （X ） 。
10、信源熵具有严格的下凸性。
11、平均互信息量I （X ；Y ）对于信源概率分布p （x i ）和条件概率分布p （y j /x i ）都具有凸函数性。
12、m 阶马尔可夫信源和消息长度为m 的有记忆信源，其所含符号的依赖关系相同。
13、利用状态极限概率和状态一步转移概率来求m 阶马尔可夫信源的极限熵。
14、定长编码的效率一般小于不定长编码的效率。
15、信道容量C 是I （X ；Y ）关于p （x i ）的条件极大值。
16、离散无噪信道的信道容量等于log 2n ，其中n 是信源X 的消息个数。
17、信道无失真传递信息的条件是信息率小于信道容量。
18、最大信息传输速率，即：选择某一信源的概率分布（p （x i ）），使信道所能传送的信息率的最大值。
19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。
20、率失真函数对允许的平均失真度具有上凸性。
21、信源编码是提高通信有效性为目的的编码。
22、信源编码通常是通过压缩信源的冗余度来实现的。
23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。
24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。
25、在编m （m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。
26、对于BSC 信道，信道编码应当是一对一的编码，因此，消息m 的长度等于码字c 的长度。
27、汉明码是一种线性分组码。
28、循环码也是一种线性分组码。
29、卷积码是一种特殊的线性分组码。
30、可以用克劳夫特不等式作为唯一可译码存在的判据。
（ ） 31、线性码一定包含全零码。
（ ）32、确定性信源的熵H(0,0,0,1)=1。
（ ） 33、信源X 的概率分布为P(X)={1/2, 1/3, 1/6}，对其进行哈夫曼编码得到的码是唯一的。
（ ） 34、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。
（ ） 35、非奇异的定长码一定是唯一可译码。
（ ） 36、信息率失真函数R(D)是在平均失真不超过给定失真限度D 的条件下，信息率容许压缩的最小值。
（ ）37、信源X 的概率分布为P(X)={1/2, 1/3, 1/6}，信源Y 的概率分布为P(Y)={1/3,1/2,1/6}，则信源X 和Y 的熵相等。
（ ） 38、互信息量I(X;Y)表示收到Y 后仍对信源X 的不确定度。
（ ） 39、对信源符号X={a 1,a 2,a 3,a 4}进行二元信源编码，4个信源符号对应码字的码长分别为K 1=1，K 2=2，K 3=3，K 3=3，满足这种码长组合的码一定是唯一可译码。
（ ） 40、设 C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。
（ ）二、选择题（共10 分，每题2分）1.下面表达式中正确的是（ ）。
A.∑=ji jx yp 1)/( B.∑=ii j x y p 1)/(C.∑=jjjiy y x p )(),(ω D.∑=iijix q y x p )(),(4.线性分组码不具有的性质是（ ）。
A.任意多个码字的线性组合仍是码字 B.最小汉明距离等于最小非0重量 C.最小汉明距离为3D.任一码字和其校验矩阵的乘积c m H T=0 5.率失真函数的下限为（ ）。
A .H(U) (U; V) D.没有下限 6.纠错编码中，下列哪种措施不能减小差错概率（ ）。
A. 增大信道容量B. 增大码长C. 减小码率D. 减小带宽7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（ ）。
A. 0bitB. log6bitC. 6bitD. log240bit 8.下列陈述中，不正确的是（ ）。
A.离散无记忆信道中，H （Y ）是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、 纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码 10.下列离散信源，熵最大的是（ ）。
A. H （1/3,1/3,1/3）；B. H （1/2,1/2）；C. H （,）；D. H （1/2,1/4,1/8,1/8) 11.下列不属于消息的是（ ）。
A.文字B.信号C.图像D.语言 12.为提高通信系统传输消息有效性，信源编码采用的方法是（ ）。
A.压缩信源的冗余度 B.在信息比特中适当加入冗余比特 C.研究码的生成矩阵 D.对多组信息进行交织处理 13.最大似然译码等价于最大后验概率译码的条件是（ ）。
A.离散无记忆信道 B.无错编码 C.无扰信道 D.消息先验等概 14.下列说法正确的是（ ）。
A.等重码是线性码B.码的生成矩阵唯一C.码的最小汉明距离等于码的最小非0重量D.线性分组码中包含一个全0码字15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出 u1:一个1发出 v0 :一个0收到 v1:一个1收到 则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。
A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。
A. －log36bitB. log36bitC. －log (11/36)bitD. log (11/36)bit 17.下列组合中不属于即时码的是（ ）。
A. { 0，01，011}B. {0，10，110}C. {00，10，11}D. {1，01，00}18.已知某（6，3）线性分组码的生成矩阵⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=011101110001111010G ，则不用计算就可判断出下列码中不是该码集里的码是（ ）。
A. 000000B. 110001C. 011101D. 111111 20.设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源，无记忆信源熵)(2X H 为（ ）。
二重符号 二重符号 bit/二重符号 D . bit/二重符号21.给定x i 条件下随机事件y j 所包含的不确定度和条件自信息量p (y j /x i )，（ ）A ．数量上不等，单位不同B ．数量上不等，单位相同C ．数量上相等，单位不同D ．数量上相等，单位相同 22.条件熵和无条件熵的关系是：（ ）A ．H (Y /X )＜H (Y )B ．H (Y /X )＞H (Y )C ． H (Y /X )≤H (Y )D ．H (Y /X )≥H (Y )23.根据树图法构成规则，（ ）A ．在树根上安排码字B ．在树枝上安排码字C ． 在中间节点上安排码字D ．在终端节点上安排码字24.下列说法正确的是：（ ）A ．奇异码是唯一可译码B ．非奇异码是唯一可译码C ． 非奇异码不一定是唯一可译码D ．非奇异码不是唯一可译码25.下面哪一项不属于熵的性质：（ ）A ．非负性B ．完备性C ．对称性D ．确定性三、二元对称信道如图。
1）若()430=p ，()411=p ，求()X H 、()Y X H |和()Y X I ;；2）求该信道的信道容量。
解：1）共6分2） ，此时输入概率分布为等概率分布。
四、已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分）()符号/749.0|bit Y X H =（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
（2分）（1）010101111.00.20.20.20.20.10.11S 2S 3S 4S 5S 6S编码结果为：1234560001100101110111S S S S S S ====== （2）610.420.63 2.6i i i L P ρ===⨯+⨯=∑码元符号（3）bit log r=2.6R L '=符号 （4）()2.53bit0.9732.6H S R L ===码元其中，()()bit 0.2,0.2,0.2,0.2,0.1,0.1 2.53H S H ==符号（5）()()0.973log H S H S L rLη===五、一个一阶马尔可夫信源，转移概率为【说明：以书上的解法为准】 ()()()()1121122221|,|,|1,|033P S S P S S P S S P S S ====。
(1) 画出状态转移图。
(2) 计算稳态概率。
(3) 计算马尔可夫信源的极限熵。
(4) 计算稳态下1H ,2H 及其对应的剩余度。
解：(1)S 13(2)由公式()()()21|i i j j j P S P S S P S ==∑有()()()()()()()()()()()21112122211122|31|31i i i i i i P S P S S P S P S P S P S P S S P S P S P S P S ==⎧==+⎪⎪⎪==⎨⎪⎪+=⎪⎩∑∑ 得()()123414P S P S ⎧=⎪⎪⎨⎪=⎪⎩ (3)该马尔可夫信源的极限熵为：()()()2211|log |322311log log433433110.578 1.599240.6810.4720.205i j i j i i j H P S P S S P S S bit nat hart ∞===-=-⨯⨯-⨯⨯=⨯+⨯===∑∑符号符号(4)在稳态下：()()213311log log log 0.8114444i i i P x P x bit =⎛⎫=-=-⨯+⨯= ⎪⎝⎭∑20.2050.4720.681H H hart nat bit ∞====符号符号对应的剩余度为1100.811110.1891111log log 2222H H η=-=-=⎛⎫⎛⎫⎛⎫-+ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭2200.681110.3191111log log 2222H H η=-=-=⎛⎫⎛⎫⎛⎫-+ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭六、设X 、Y 是两个相互独立的二元随机变量，其取0或1的概率相等。