信息论习题
信息论习题
一、单项选择题1．信息就是 ( C ) A.消息 B.数字、数据、图形C.通信过程中，接受者所不知的知识（即不确定性）D.能量2. 下列关于交互信息量();i j I x y 的陈述中错误的是 （C ） A.();i j I x y 表示在接收端收到j y 后获得的关于i x 的信息量 B.();i j I x y 表示在发送端发送i x 后获得的关于j y 的信息量 C.();0i j I x y ≥D.当i x 和j y 统计独立时();0i j I x y =3. 设X 和Y 是两个信源，则下列关系式中正确的是 （C ） A.()()()H XY H X H X Y =- B.()()()H XY H X H X Y =+ C.()()()H XY H Y H X Y =+D.()()()H XY H Y H X Y =-4. 一个正常的骰子，也就是各面呈现的概率都是16，则“5出现”这件事件的自信息量为 （C ） A.16比特 B.6 比特 C.2log 6比特 D.2log 6-比特 5. 关于预测编码的描述错误的是 （ ） A.通过解除相关性压缩码率 B.通过对差值编码压缩码率 C.通过概率匹配压缩码率 D.不适用于独立信源 6. 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：0i p ≥，i ∀，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.熵的取值为一个非负数 B.熵表示信源的平均不确定度 C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.熵的取值小于等于信源的平均自信息量7. 算术编码将信源符号序列映射成哪个区间上的小数 （ C ）A. [0，1]B. [0，2]C. [1，2] D . [1，3]8. 非奇异码 （ C ） A.唯一可译 B.每个信源符号都有唯一的码字与之对应C.每个码符号序列都有唯一信源符号序列与之对应D.收到完整的码字后可即时译码9. 狭义信息论的创始人是 （ D ）A.HartlyB.NquistonD.C.E. Shannon10.单符号离散信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭的平均信息量为 （A ） A.1()log()niii H x p p ==-∑B.1()log()niii H x p p ==∑C.11()log()ni i i H x p p ==∑D. 11()log()ni i iH x p p ==∑ 11. 若信源X 中的某一符号出现的概率1i p =，则其()H X = （ B ） A.1B.0C.0.5D.0.712. 当(;)0I X Y =时，()H XY 应为 （B ） A.()()H X H Y =B.()()()H XY H X H Y =+C.(|)(|)H Y X H X Y =D.()()()H XY H X H Y <+13. 离散无记忆信道的概率转移矩阵的行和等于 （C ）A.2B.3C.1D.不确定14. 下列关于信息率失真函数()R D 的叙述错误的为 （ ）A. ()R D 为关于D 的严格递减函数 B.()R D 为关于D 的严格递增函数 C.()R D 为关于D 的下凸函数 D.当max D D > 时()0R D = 15. 设信源符号集{}123,,X x x x =，每一个符号发生的概率分别为()112p x =，()214p x =， ()314p x =，则信源熵为 （ A ） A.1.5 比特/符号 B.1.5 奈特/符号 C.1.5 哈特/符号 D.1.0比特/符号16. 设信源符号集{}1234,,,X x x x x =，每一个符号发生的概率分别为()1p x ，()2p x ，()3p x ，()4p x ，则信源熵的最大值为（ A ）A.2 比特/符号B.2 奈特/符号C.2 哈特/符号D.4比特/符号17. 下列关于联合熵()H XY 的陈述中错误的是 （ D ） A.当X 和Y 统计独立时，()()()H XY H X H Y =+ B.()()H XY H X ≥ C.()()H XY H Y ≥D.()()()H XY H X H X Y =+ 18． 设信源1212n n x x x X p p p P ⎛⎫⎛⎫= ⎪⎪⎝⎭⎝⎭，其中：i ∀，0i p ≥，11n i i p ==∑，则下列关于熵()H X 的 描述错误的是 （ D ） A.()0H X ≥ B.()1,0,0,,00H =C.()log H X n ≤，当且仅当1i p n=，i ∀成立时等号成立 D.设另外有一组概率矢量，()n q q q Q ,,,21 =，则 ()1log n i i i H X p q =≥-∑19. 在哈夫曼编码方法中 （ B ） A.概率大的信源符号给长码 B.概率小的信源符号给长码 C.自信息量大的信源符号给短码 D.根据信源的具体情况确定20. 二元离散信源{}0,1，以什么概率发每一个符号提供的平均信息量为最大 （ B ）A.{}0.4,0.6B.{}0.5,0.5C.{}0.99,0.01D.{}0.7,0.321. 若某字符离散信道的输入、输出符号集分别为{}12:,,,n X a a a 和{}12:,,,n Y b b b ，则其交互信息量(;)i j I a b 应为 （ A ） A.(|)log()i j i p a b p aB.(|)log()i j i p a b p a -C.1log(|)i j p a bD.log ()i p a -22. 唯一可译码和即时码具有哪种关系 （B ） A.唯一可译码就是即时码 B.即时码是唯一可译码的子集 C.唯一可译码是即时码的子集D.唯一可译码就是即时码与非奇异码之和23. 用哈夫曼码方法得到的码及其平均码长具有如下性质 （C ） A.不是唯一的，且其平均码长不相同 B.是唯一的，且平均码长也一样 C.不是唯一的，但平均码长相同 D.不能确定24. 设二进制对称信道的误传概率为p ，则下列陈述中错误的是 （C ） A.当输入等概分布时达到其信道容量 B.当输出等概分布时达到其信道容量 C.当0p =时，其信道容量为0 D.当12p =时，其信道容量为0 25. 对于离散对称信道，其输入、输出符号集分别为X 和Y ，下列叙述中错误的是（D ） A.当输入等概分布时达到信道容量 B.当输出等概分布时达到信道容量C.对称信道的条件熵()H Y X 与信道输入符号的概率分布无关D.何时达到对称信道的信道容量要根据具体信道具体确定26. 下述叙述错误的是 （ A ） A.非奇异码唯一可译 B.只有分组码才有对应的码表 C.即时码唯一可译 D.非延长码收到完整的码字后可即时译码 27. 哈夫曼编码属于哪一类编码 （ A ） A.统计 B.变换 C.预测 D.非分组 28．设信源{}621,,x x x X =，对信源X 进行二进制编码，根据Kraft 不等式，下列码中不是唯一可译码的是 ( D ) A ．000, 001, 010, 011, 100, 101 Ｂ． 0, 01, 011, 0111, 01111, 011111 C ．0, 10, 110, 1110, 11110, 111110 Ｄ． 0, 10, 110, 1110, 1011, 110129．若有一个二元序列为 000011011100000，可写成的游程序列是 （ A ） A.4 2 1 3 5 B.5 3 1 2 4 C.2 2 2 1 3 2 3 D.4 3 3 430. 在信道输出端接收到输出随机变量Y 后，对输入端的随机变量X 尚存在的平均不确定性表示为 ( B )A ．()X HＢ．()Y X H / C ．()Y HＤ．()X Y H /二、简答及名词解释1．名词解释：自信息量、熵、 2．简要描述离散信源熵的极值性 3．名词解释：离散无记忆信源4．写出冗余度的表达式并简述信源冗余度的来源 5. 简要描述平均互信息);(Y X I 的凸状性6．名词解释：对称离散信道试问：①码字中哪些是唯一可译码？②哪些是非延长码（即时码）？ ③哪些是奇异码；那些是非奇异码？ 8．名词解释：唯一可译码、即时码9．写出香农公式，解释其中各变量的含义 10．简述信源编码的两个基本途径 11. 伴随式 12. 对偶码 13. 试验信道三、计算1. 信源符号X 有6种字母，概率为(0.32, 0.22, 0.18, 0.16, 0.08, 0.04)。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论习题训练
一、简答题1、什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2、解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？3、简述最大离散熵定理。
二、判断题1、只要码字传输的信息量大于新源序列携带的信息量，就能实现几乎无失真编码。
2、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。
3、唯一可译码一定是即时码，即时码不一定是唯一可译码。
4、信道容量只是信道矩阵的参数。
5、若信源符号集中增加了若干符号，当这些符号出现的概率很小几乎趋于0时，信源的熵增加。
三、计算题（每小题10分，共40分）1、某二元无记忆信源，有()()170,188P P==，求：（1）某一信源序列由50个二元符号组成，其中有m个“1”，求此序列的自信息量。
（2）求100个符号构成的信源序列的熵。
2、求以下2个信道的信道容量：122p pPp pεεεεεε--⎡⎤--⎢⎥=⎢⎥--⎣⎦，21111363611116363P⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦第 1 页共3页第 2 页 共3 页3、有一信源有6个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 。
求⑴ 这些码中哪些是唯一可译码。
⑵ 哪些是即时码1123456()0.50001100.20010101100.1010000000111000.081000001000111100.071010010010110110.05110001111011101p a A B CD a a a a a a ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦消息4、信源空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡05.005.005.005.01.01.02.04.0)(87654321s s s s s s s s s P S ，试构造二元霍夫曼码，并计算其平均码长和编码效率。
第 3 页共3页。
信息论习题
前三章习题选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ 。
A 、1bit >B 、1bit <C 、1bit =D 、不能确定2、任意离散随机变量X 、Y 、Z ， 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y X P 给定时，(;)I X Y 是X P 的 函数。
A 、上凸B 、下凸C 、上升D 、下降4、使(;)I X Y 达到最大的 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P 。
A 、41B 、2C 、1D 、21 6、=);(Y X I 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H -7、通常所说的“连续信源”是指 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布9、已知X Y P |，可求出A 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸13、DMS 的信息含量效率等于信源的实际熵 信源的最大熵。
信息论习题集
信息论习题集第二章2.1同时掷2颗骰子，事件A、B、C分别表示：(A)仅有一个骰子是3; ( B)至少有一个骰子是4;(C)骰子上点数的总和为偶数。
试计算A、B、C发生后所提供的信息量。
2.3 —信源有4种输出符号X，i =0，1，2, 3,且p(Xj=1/4。
设信源向信宿发出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度为0.9。
于是信源再次向信宿发送该符号 (X3 )，信宿准确无误收到。
问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？2.5 一信源有6种输出状态，概率分别为p(A) =0.5，p(B)=0.25，p(C)=0.125，p(D)= p(E)=0.05，p(F)=0.025试计算H(X)。
然后求消息ABABBA和FDDFDF的信息量(设信源先后发出的符号相互独立) ，并将之与长度为6的消息序列信息量的期望值相比较。
2.6中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个16 16的二元点阵显示，试计算显示方阵所能表示的最大信息量。
显示方阵的利用率是多少？2.7已知信源发出6和a2两种消息，且p(aj = p(a2)=1/2。
此消息在二进制对称信道上传输，信道传输特性为p(bi |aj = p(b2 la?) =1 - ；，p(b | a?) = p(b21 aj =；。
求互信息量I 佝4)和I 佝；b?)。
2.8已知二维随机变量XY的联合概率分布p(X i y j)为：p(0,0) = p(1,1)=1/8，p(0,1) =p(1,0) -3/8，求H (X |Y)。
2.13有两个二元随机变量X和Y，它们的联合概率分布如表 2.5所列，同时定义另一随机变量Z二X|_Y (一般乘积)。
试计算：(1)熵H(X),H(Y),H(Z), H(XZ),H(YZ), H(XYZ)；(2)条件熵H(X |Y),H(Y|X),H(X |Z),H(Z|X),H(Y|Z), H(Z|Y), H(X|YZ), H (Y | XZ)和H(Z | XY);(3)互信息I (X;Y), I (X;Z), I (Y; Z), I(X;Y| Z),I(Y;Z| X)和I (X ;Z |Y)。
信息论总复习
第一章作业题1. 设二元对称信道的传递矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡32313132(1) 若P(0) = 3/4, P(1) = 1/4，求H (X ), H(X /Y ), H(Y /X )和I(X ;Y )；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解：(1)symbolbit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbolbit x y p x y p x p X Y H symbolbit x p X H jj iji j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167.032413143)/()()/()()()()(5833.031413243)/()()/()()()()(/ 918.0 10log )32lg 324131lg 314131lg 314332lg 3243( )/(log )/()()/(/ 811.0)41log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==⨯+⨯-=-==⨯+⨯=+=+==⨯+⨯=+=+==⨯⨯+⨯+⨯+⨯-=-==⨯+⨯-=-=∑∑∑∑2)21)(/ 082.010log )32lg 3231lg 31(2log log );(max 222==⨯++=-==i mi x p symbolbit H m Y X I C2. 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。
信息论习题集
信息论习题集信息论习题集⼀、填空题1、⼈们研究信息论的⽬的是为了⾼效、可靠安全地交换和利⽤各种各样的信息。
2、单符号离散信源输出的消息⼀般⽤随机变量描述，⽽符号序列离散信源输出的消息⼀般⽤随机⽮量描述。
3、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。
4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
5、必然事件的⾃信息是 0 ，不可能事件的⾃信息量是 00 。
6、信道的输出仅与信道当前的输⼊有关，⽽与过去输⼊⽆关的信道称为⽆记忆信道。
7、若纠错码的最⼩距离为min d ，则可以纠正任意⼩于等于t= 个差错。
8、必然事件的⾃信息量是 0 ，不可能事件的⾃信息量是 00 。
9、⼀信源有五种符号{a ， b ， c ， d ， e}，先验概率分别为 a P =0.5， b P =0.25， c P =0.125，d P =e P =0.0625。
符号“a ”的⾃信息量为____1____bit ，此信源的熵为____1.875____bit/符号。
10、已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。
11、克劳夫特不等式是唯⼀可译码存在与否的充要条件。
{00，01，10，11}是否是唯⼀可译码？。
12、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
13、对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为信源符号等概分布_ 。
⼆、选择题1、下⾯哪⼀项不属于最简单的通信系统模型：（ B ）A ．信源B ．加密C ．信道D ．信宿 2、信道编码的⽬的是（ A ）。
A 提⾼通信系统的可靠性B 提⾼通信系统的有效性C 提⾼通信系统的保密性D 提⾼通信系统的实时性3、给定x i 条件下随机事件y j 所包含的不确定度和条件⾃信息量I (y j /x i )，（C ）A 数量上不等，含义不同B 数量上不等，含义相同C 数量上相等，含义不同D 数量上相等，含义相同4、下⾯哪⼀项不是增加信道容量的途径：（C ）A 减⼩信道噪声功率B 增⼤信号功率C 增加码长D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
信息论课后习题-PPT
(Hz)
5.11（续）
（3）同样由信道容量公式可得：
其中C，
S
C
2B 1
N
log 11，B=0.5MHz
可求得：S
?
N
2.14（续）
（1）求X1X2X3的联合熵和平均符号熵； （2）求这个链的极限平均符号熵； （3）求H0,H1,H2和它们所对应的冗余度。
解始：序（列1X）1X一2X阶3的平联稳合马熵尔：可夫链X1，X2 ，，Xr ，
的起
H (X1X2X3)
P(x1x2 x3 ) log P(x1x2 x3 )
N
H(XN
|
X N 1
X1) H2
33
P(ai )P(a j | ai ) log P(a j | ai )
i1 j1
（3） 1.251 bit/符号
H0 log 3 1.585 bit/符号
3
H1 P(ai ) log P(ai ) 1.414 bit/符号 i 1
H2 1.251 bit/符号
2.8 设随机变量X和Y的联合概率分布如右表所示。随机变Z量 X Y 求：
（1）H(X)，H(Y)
Y b1=0 b2=0
（2）H(X|Y)，H(Y|X)，H(X|Z)
X
a1=0 1/3
1/3
a2=0
0
1/3
2.13 有一个马尔可夫信源，已知转移概率为：
P(S1
|
S1 )
2 3
，P
(
S2
|
S1 )
1 3
宽应为多少？ （3）若信道通频带减为0.5MHz时，要保持相
同的信道容量，信道上的信号与噪声的平均功 率比值应等于多大？
信息论复习题
• 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？• 答：平均自信息为• 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
• 平均互信息•表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
• 最大熵值为3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R 指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
4.解释无失真变长信源编码定理。
答：只要 ，当N 足够长时，一定存在一种无失真编码。
5.解释有噪信道编码定理。
• 答：当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
6.离散平稳信源• 答：若信源输出的消息是取值离散的随机序列，随机序列的任意有限维的概率分布不随时间平移而改变，则称为离散平稳信源。
7.即时码答：如果在译码过程中只要接收到每个码字的最后一个符号就可立即将该码字译出，这种码称为即时码。
8.信道容量答：信息能够可靠传输的最大信息传输速率。
9.信源信道编码定理• 答：设有一离散无记忆平稳信道的每秒容量为C ，一个离散信源每秒的熵为H ，那么，如果H < C ，总存在一种编码系统，使得信源的输出以任意小的错误概率通过信道传输；反之，如果H > C 时，对任何编码编码系统，译码差错率>010.信道疑义度• 答：设信道的输入与输出分别为X 、Y ，定义条件熵H(X/Y)为信道疑义度。
它有如下含义：• 信道疑义度表示接收到Y 条件下X 的平均不确定性；根据I(X;Y)=H(X)-H(X/Y)，信道疑义度又表示X 经信道传输后信息量的损失； 接收的不确定性由信道噪声引起，在无噪情况下，H(X/Y)=0。
信息论 复11习
复习第1章的练习题1. 请问提高通信系统传输的有效性属于信息论与编码技术的哪部分内容？信源编码2. 请问提高通信系统传输的可靠性属于信息论与编码技术的哪部分内容？信道编码3. 请问消息、信号、符号和信息的区别是什么？信息是任何随机事件发生所包含的内容。
消息包含信息，是信息的载体。
符号和信号是携带信息是消息的运载工具。
4. 什么叫样本空间？概率空间？所有可能选择的消息的集合称为样本空间。
一个样本空间和它的概率测度一起构成一个概率空间。
5. 事件的概率取对数再取负值，这时它代表什么？自信息6. 对于概率为1的确定事件来说，它含不含信息？对于概率为0的确定事件来说，它含不含信息？不含信息。
含有信息。
7. 通信系统的模型由哪三部分组成？编码器和解码器属于哪部分的？信源、信道、信宿。
编码器分为信道编码器和信源编码器，译码器分为信道译码器和信源译码器。
8. 信息论研究的主要内容是什么？信息的测度、信道容量以及信源和信道编码理论等问题。
9. 编码技术研究的主要内容是什么？信源编码和信道编码。
第2章的练习题1. 在通信系统中，消息发出的源头叫什么？信源2. 若信源的样本空间为X=[a,b,c]，其对应的概率为p(x)=[0.1,0.3,0.6]，请写出该信源的数学模型。
3. 研究信息的基础理论是：函数、统计学、算术、曲线？4. 这个概率空间p(x)=[0.1,0.4,0.3,0.1]和q(x)=[0.1,0.4,0.3,0.21]正确吗？为什么？不正确。
概率和不为15. 自信息的数学期望代表什么？信息熵6. 在信源输出前，信息熵H(X)表示什么？信源的平均不确定性7. 在信源输出后，信息熵H(X)表示什么？每个消息提供的平均信息量8. 考虑一个信源概率为{0.3,0.25,0.2,0.15,0.1}的DMS，求信源的的H(X)。
（DMS：离散无记忆信源）H(x)=0.3log(0.3)+0.25log(0.25)+0.2log(0.2)+0.15log(0.15)+0.1log( 0.1)=…9. 离散无记忆信源所发出的各个符号之间是a。
信息论复习题
【3.2】设8个等概率分布的消息通过传递概率为p的BSC进行传送，8个消息相应编成下述码字：M1=0000，M2=0101，M3=0110，M4=0011M5=1001，M6=1010，M7=1100，M8=1111试问：（1）接收到第一个数字0与M1之间的互信息；（2）接收到第二个数字也是0时，得到多少关于M1的附加互信息；（3）接收到第三个数字仍为0时，又增加了多少关于M1的互信息；（4）接收到第四个数字还是0时，再增加了多少关于M1的互信息。
解：各个符号的先验概率均为1/8(1)根据已知条件，有因此接收到第一个数字0与M1之间的互信息为：（2）根据已知条件，有因此接收到第二个数字也是0时，得到多少关于M1的互信息为：得到的附加信息为：（3）根据已知条件，有因此接收到第三个数字也是0时，得到多少关于M1的互信息为：此时得到的附加信息为：（4）根据已知条件，有因此接收到第四个符号为0时，得到的关于M1的互信息为此时得到的附加信息为【3.3】设二元对称信道的传递矩阵为（1）若P(0)=3/4，P(1)=1/4，求H(X )，H(X | Y )，H(Y | X )和I (X;Y)；（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）根据已知条件，有【3.5】若X 、Y 和Z 是三个随机变量，试证明：（1）I (X;YZ) = I(X;Y) + I(X;Z | Y) = I (X;Z) + I (X;Y | Z)（2）I (X;Y | Z) = I (Y; X | Z) = H(X | Z) - H(X | YZ)（3）I (X;Y | Z) 3 0当且仅当(X, Z,Y)是马氏链时等式成立。
(3)【3.10】求下列两个信道的信道容量，并加以比较因此有【4.17】在图片传输中，每帧约个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。
试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。
信息论——精选推荐
信息论信号论考试复习题⼀、填空题。
1. ⾹农信息论中定义的信息是“事物运动状态和存在⽅式不确定性的描述”。
2. 消息是信息的载体。
构成消息的两个条件是能被通信双⽅所理解和可以在通信中传递和交换。
3. 信源编码的作⽤是根据失真度准则对信源的输出消息进⾏编码，⽤码字表⽰消息。
4. 信息论研究的主要问题是如何提⾼信息传输系统的有效性和可靠性。
5. 如果信源输出的消息的随机变量，可以在某⼀离散集合内取值，也可以在某⼀连续区间内取值，相应的信源就分别称为和。
——[答案：1.连续信源离散信源]6. 当条件概率分布p （y ∣x ）给定时，平均互信息量I （X;Y ）是输⼊概率分布p(x)的。
——【上凸函数】7. ⼋进制脉冲的平均信息量为，⼋进制脉冲所含信息量是⼆进制脉冲信息量的倍。
——【3 3】8. 熵函数的数学特性有、、、确定性、可加性、极值性、上凸性。
——【对称性⾮负性扩展性】9. 平均互信息量I （X;Y ）与信源熵和条件熵之间的关系是。
【I （X;Y ）=H （X ）—H(X/Y)】 10. 设信源X 包含 4个不同的离散信息，当且仅当X 中各个信息出现的概率为时，信源熵达到最⼤值为，此时各个信息的⾃信息量为。
【1/4 2 2】 11. ⾃信息量表征信源中各个符号的不确定度，信源符号的概率越⼤，其⾃信息量越。
【⼩】 12. 信源的冗余度来⾃两个⽅⾯，⼀是信源符号之间的，⼆是信源符号分布的。
【相关性不均匀性】 13. 离散信道是输⼊和输出的随机变量的取值都是离散的信道。
14. 信道可依据输⼊输出的随机变量类型分成离散信道、连续信道、半离散或半连续信道。
15. 单符号离散信道的输⼊符号是X ，取之于｛a1、a2…… an ｝;输出符号为Y ,取值为｛b1、b2、……bn ｝，并有条件概率P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m)，这⼀组条件概率称为信道的传递概率或转移概率。
信息论习题
信息论部分:1. 已经两个离散信源X 和Y ，其联合概率P(X,Y)为：P(0,0)=1/8，P(0,1)=3/8，P(1,0)=3/8，P(1,1)=1/8，现定义另一个随机变量：Z=XY(一般乘积)，试求H(X)，H(Y)，H(Z)及H(X,Y)。
2. 有一个一阶马尔柯夫信源X={A,B,C}，已知：p(A)=1/2，p(B)=p(C)=1/4，信源状态之间的转移概率p(j/i)分别为：p(A/A)=1/2, p(B/A)=1/4, p(C/A)=1/4, p(A/B)=2/3, p(B/B)=0, p(C/B)=1/3, p(A/C)=2/3, p(B/C)=1/3, p(C/C)=0。
求：信源的熵和剩余度？3. 设一个连续随机变量X 的概率密度函数为p x bx x ()=≤⎧⎨⎪⎩⎪202 π其它 求信源X 的熵H(X)。
4. 设一个连续随机变量X 的概率密度函数为 p x e ()=-12λλX －∞＜X ＜∞ 求信源X 的熵H(X)。
5.掷一枚均匀的硬币，直到出现“正面”为止。
令X 表示所需掷出的次数，求熵H(X)。
6.设有噪声二元对称信道(BSC)的信道误码率为p e =1/8，码速率为n=1000/s,（1）若p(0)=1/3, p(1)=2/3, 求信道熵速率， （2）求信道容量。
7.某无线电厂可生产A ，B ，C ，D 四种产品，其中，A 占10%，B 占20% ，C 占30% ，D 占40%。
有两种消息：“现完成一台B 种产品”，“现完成一台C 种产品”，试问哪一种消息提供的信息量大？ 8．设每帧电视图象是由3×105个象素组成，所有象素是相互独立的，且每个象素可取128个不同的亮度电平，并假设各种亮度电平是等概出现的。
问每帧电视图象含有多少信息量？9.设电话信号的信息速率为5.6×104bit/s ，在一个噪声功率谱密度为N 0=5×10-6mW/Hz ，频带为F ，限输入功率为P 的高斯信道中传送，若F=4KHz ，问无差错传输所需的最小功率是多少？若F 趋于无穷，则P 是多少瓦。
信息论第二章习题
（3） H（X1X2…X100）=H(X1)+H(X2)+…+H(X100)=100H(X) =100×0.81=81比特
已知一个马尔可夫信源，转移概率为p(s1/s1)=2/3, p(s2/s1)=1/3, p(s1/s2)=1, p(s2/s2)=0,试画出状态转移图并求信源熵
解：
2 P 3 1
p(a1/b2) I (a1;b2)=log p(a1)
P(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2)
=ε*1/2 + (1-ε)*(1/2) =1/2
P(a1,b2)= P(b2/a1)*P(a1)= 1/2* ε P(a1/b2)=P(a1,b2)/ P(b2)=ε
已知信源发出a1和 a2，，且p(a1)=p(a2)=1/2,在信道上传输时， 传输特性为p(b1/a1)=p(b2/a2)=1-ε, p(b1/a2)=p(b2/ a1)=ε,求互信 息量 I(a1；b1)和I (a1；b2)
解： p(a 1/b1) p(a 1/b1) I(a1;b1)=log =log
（3） P（红）=P（白）=P（蓝）=P（黄）=1/4
所以 H（X）= 4 x （ 1 log 2 1）
4 4
= 2比特/球
一个消息由符号0，1，2，3组成，已知p(0)=3/8, p(1)=1/4, p(2)=1/4, p(3)=1/8,求60个符号构成的消息 所含的信息量和平均信息量。
解： 平均信息量 H(X)=3/8log2(8/3)+2/4log24+1/8log28 =1.905比特/符号 信息量 H1(X)=60*1.905=114.3比特
信息论习题集
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66） 8、连续信源 （68） 9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138）16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181）19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184）22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195）25、循环码 （213）二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到 形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的 可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵 是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论-习题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生）x 2（不是大学生）P(X)0.250.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log)()/()(log )/(log )/(11111111=⨯-=-=-=2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：!521)(=i x pbit x p x I i i 581.225!52log )(log )(==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：· 2 ·bitCx p x I C x p i i i 208.134log)(log )(4)(135213135213=-=-==2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x XP X，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士： symbolbit x p x p X H bitx p x I x p bit x p x I x p ii i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(2=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
信息论基础(含习题与解答)
信息论基础（含习题与解答）
1.习题
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它重点研究的是如何将信息可视化，以便用户可以快速找到需要的信息，同时有效地利用多个索引信息。
2.答案
（1）解码的定义是什么？
解码是指从消息中分离出编码信息，并将其转换为原始消息的过程。
（2）什么是哈夫曼编码？
哈夫曼编码是一种熵编码方案，它把出现频率最高的信息单位用最短的码字表示，从而有效地压缩了信息。
（3）请解释索引信息论。
索引信息论是一种认知科学，它研究了使用多个索引信息对信息资源进行管理和协作的方法。
它主要专注于通过设计有效的用户界面来提高信
息的有用性，实现信息的检索和可视化，以实现快速了解和分析信息资源。
它强调以用户为中心，基于支持知识管理和协作的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
前三章习题选择题1、离散有记忆信源],[21x x X =，12()()0.5P x P x ==，其极限熵H ∞ C 。
A 、1bit > B 、1bit < C 、1bit = D 、不能确定2、任意离散随机变量X 、Y 、Z ， C 必定成立A 、)|()|(XZ Y H YZ X H =B 、)()()()(Z H Y H X H XYZ H ++=C 、)|()|(Y X H YZ X H ≤D 、0)|;(=Z Y X I3、|Y XP 给定时，(;)I X Y 是X P 的 A 函数。
A 、上凸 B 、下凸 C 、上升 D 、下降 4、使(;)I X Y 达到最大的 D 称为最佳分布。
A 、联合分布B 、后验分布C 、输出分布D 、输入分布5、离散平稳无记忆信源],[21x x X =，且bit X H 1)(=，则=)(1x P D 。
A 、41B 、2C 、1D 、21 6、=);(Y X I C 。
A 、)|()(X Y H X H -B 、)|()(Y X H Y H +C 、)|()(X Y H Y H -D 、)()(X H XY H - 7、通常所说的“连续信源”是指 B 信源。
A 、时间连续且取值连续的B 、取值连续C 、时间离散且取值连续的D 、时间连续8、已知信道，意味着已知 B 。
A 、 先验分布B 、转移概率分布C 、 输入输出联合概率分布D 、输出概率分布 9、已知X Y P |，可求出 BA 、)(XY HB 、 )|(X Y HC 、);(Y X ID 、)|(i j x y I10、连续信源的输出可用 D 来描述A 、常量B 、变量C 、离散随机变量D 、连续随机变量11、101)(=i x P ，则=)(i x I D 。
A 、bit 10lnB 、dit 10lnC 、dit 1D 、dit 10log12、信道容量表征信道的 A 。
A 、最大通过能力B 、最大尺寸C 、最小通过能力D 、最小尺寸 13、DMS 的信息含量效率等于信源的实际熵 C 信源的最大熵。
A 、乘以 B 、减去 C 、除以 D 、加上 14、下面信道矩阵为准对称信道的是 。
15、()H XY = AB 。
A 、()(|)H X H Y X +B 、()(|)H Y H X Y +C 、()(|)H X H X Y +D 、()(|)H Y H Y X +16、信道编码能 B 。
A 、减小信息冗余B 、提高信息含量效率C 、增大信息冗余D 、提高传送可靠性 17、已知联合概率分布XY P ，可求出 AD 。
A 、(;)I X Y B 、(;)I X Z C 、()H XYZ D 、()H X 18、互信息量(;)ijI x y 具有 D 的性质。
A 、非负B 、互易性C 、大于()jI y D 、小于等于()i I x19、0);(=Y X I 的条件是 A 。
A 、X 与Y 统计独立B 、)|()(Y X H Y H =C 、()(|)H X H XY =D 、)|()(),(i j i j i x y P x P y x P =，对所有ji ,。
20、已知转移概率，就能 C 。
A 、求出);(Y X I B 、求出信道容量 C 、画出信道线图 D 、求出)|(X Y H填空题1. 衡量信息传输系统传输速度的技术指标为 信道容量 。
2. 在对信源进行观察之前，对认识主体来说，信源存在 8 ，它与信源的先验概率有关。
3. 对于无记忆加性噪声信道，假设输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最 。
4. 在加性高斯噪声信道中传输信息， 分布的输入信号是最有效的。
5. 设X 的取值受限于有限区间[a,b]，则X 服从 分布时，其熵达到最大。
6. 波形信道的信道容量与信噪比有关，提高信噪比可以 信道容量。
7. 波形信道的信道容量与频带B 有关，若信噪比不变， 则 频带B 可使信道容量增大。
8. 条件多的熵不 条件少的熵9. DMS 中X 的符号表中含N 符号，其M 次扩展信源中含 个符号。
10.对称信道的最佳分布是 。
11.若Y 、Z 统计独立，则H(ZY)、H(Y)以及H(Z)三者之间的关系式为 。
12.离散无记忆信道的统计特性是由 概率分布来描述的。
13.离散平稳无记忆信源X ，H(X)=2bit ，则H(X3)= 。
14.M 个信源符号的离散无记忆信源，其最大熵为 bit 。
15.I(xi|yj)=2bit 、I(xi)=3bit ，则I(yj;xi)= bit 。
16.某离散无记忆信道的信道容量为C ，则其N 次扩展信道的信道容量为 。
17.连续信源服从均值为u 、方差 的高斯分布，则 。
18.物理量H(X)、H(X|Y)、I(X;Y)、I(yj;xi)、I(xi|yj)、I(xi)中，只有 不具有非负的性质。
19.信道2秒钟传一个符号，信道的I(X;Y) =3bit ，Rt= bit/秒。
20.给定信源X ，信道输出为Y ，I(X;Y)是 概率的下凸函数。
21.离散对称信道输入 时，输出为 分布，达到信道容量。
22.设Ｘ的取值受限于有限区间［a,b ］，则X 服从 分布时，其熵达到最大；如X 的均值为u ，方差受限为 ，则X 服从 分布时，其熵达到最大。
23.信息论不等式：对于任意实数z>0，有 ，当且仅当 时等式成立。
24.甲在一个8×8的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置是不确定的，若甲告知乙棋子落入方格的行号，这时乙得到的信息量为 bit ／符号；若甲将棋子落入方格的行号和列号都告知乙，这时乙得到的信息量为 bit ／符号。
25.对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 ；最大信息传输率为 。
26.对于理想信道，H(X|Y)= ，I(X;Y)= 。
27.对于强噪声信道，H(X|Y)= 。
28.H(X|Y)与H(X)的关系式为 。
29.对于某个含有5个消息的信源，当 分布时，熵最大，其值为 ，当 分布时，熵最小，其值为 。
30.若信源离散无记忆，则N 维序列有31.H(X) ∑=Ni i X H 1)(，I(X;Y) ∑=Ni i i Y X I 1);(。
（填不等号）。
32.)()(),(j i j i y P x P y x P =,=);(j i y x I 。
判断题1. 微分熵可作为连续随机变量平均不确定性的测度。
2. 幅值受限时，连续随机变量X 服从均匀分布时，其微分熵达到最大。
3. 离散无记忆信道{X, PY/X, Y}是无损的，意味着H(X|Y)=0。
4. 加性高斯噪声信道的最佳输入分布仍为高斯分布。
5. 对于无记忆加性噪声信道，若输入信号服从高斯分布，且平均功率受限，则服从高斯分布的噪声是最有害的。
6. 有噪信道串联，串联环节增加不影响串联信道的平均互信息量。
7. 信道剩余度大，意味着信源与信道（信息）匹配程度高。
8. 均值受限时，连续随机变量X 服从高斯分布时，其微分熵达到最大。
9. 设二维离散平稳信源X 的条件熵为H(X2|X1)，平均符号熵为H2(X)，理想的无记忆信源熵为H(X)，则此三者满足H2(X) ≤H(X2|X1) ≤ H(X) 。
问答题1.画出信息传输系统基本模型，并简要说明各部分作用。
2.信源编码和信道编码的目的是什么。
3.什么是香农容量公式，为保证足够大的信道容量，可采用哪两种方法。
4.香农信道容量公式为式中，信噪比PS/PN=PS/N0B 。
试根据香农信道容量公式，讨论在能源很珍贵的场合增大信道容量的方法以及方法的局限性。
试根据香农信道容量公式，讨论在频率资源受限的场合增大信道容量的方法以及方法的局限性。
5.设离散无记忆信源为 ⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4/34/121x x P X X ，试求信源的熵、信息含量效率以及冗余度。
6.上一题，求其二次扩展信源的概率空间。
7.设DMC 的转移矩阵为[]⎥⎦⎤⎢⎣⎡=9.01.01.09.0|X Y P ，求该信道的2次扩展信道的转移矩阵。
8.设连续信源的概率密度函数为⎩⎨⎧∉∈=]6,2[,0]6,2[,4/1)(x x x f X ，求X 的微分熵。
9.设离散无记忆信源⎥⎦⎤===⎢⎣⎡==⎥⎦⎤⎢⎣⎡8/138/14/1212/102221x x x x P X X ，其发生的一则消息A 为（202120130213001203210110321），求该消息的自信息量 。
10.设离散无记忆信源 ⎥⎦⎤===⎢⎣⎡==⎥⎦⎤⎢⎣⎡8/134/14/1218/304321x x x x P X X ，其发生的消息为A ={321010212300210320120103210130210100112232102}，求：()log 1SSP C P B N B ⎛⎫=+ ⎪⎝⎭1）此消息的自信息量是多少？2）在此消息中平均每个符号携带的信息量是多少？11.设随机变量}1,0{},{21==x x X 和}1,0{},{21==y y Y 的联合概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8/1),(8/38/3),(),(8/1),(22122111y x y x y x y x P X XY 定义 一个新的随机变量YX Z ⨯=（普通乘积），求：1）计算熵H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ) 2）计算条件熵H(X|Z),H(Y|XZ) 12.二进制删除信道（BEC (1-p)=0.8,p=0.2），输入概率为：2.0)(1=a P ，求][],[],[],[||Y X X Y Y X P P P P 及);(Y X I 。
13.设离散无记忆信源X 通过离散无记忆信道 传送信息，设信源的概率分布和信道的线图分别为，⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡4.06.021a a P X ⎥⎦⎤⎢⎣⎡=9.02.01.08.0][|X Y P 求：1）信源X 和信道输出Y 的熵；2）信道疑义度H(X|Y)和噪声熵H(Y|X)。
3）信源X 的符号a1和a2分别含有的自信息；4）从输出符号)2,1(=j b j 分别所获得的关于输入符号1a 的信息量； 14.三个特殊的DMC 的转移矩阵如下：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/13/16/16/12/13/13/16/12/1][|X Y P ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=101001000001][|XY P ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=10005/2005/2005/10004/304/1][|XY P 分别判断各信道属何种信道（无损、确定、无损确定、对称、准对称、一般），求出各信道的最佳输入分布和信道容量。