信息论试题
信息论考试题
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
信息论习题集
信息论习题集第二章2.1 同时掷2颗骰子，事件A 、B 、C 分别表示：（A ）仅有一个骰子是3；（B ）至少有一个骰子是4；（C ）骰子上点数的总和为偶数。
试计算A 、B 、C 发生后所提供的信息量。
2.3 一信源有4种输出符号i x ，i =0，1，2，3，且p(i x )=1/4。
设信源向信宿发出3x ，但由于传输中的干扰，接收者收到3x 后，认为其可信度为0.9。
于是信源再次向信宿发送该符号（3x ），信宿准确无误收到。
问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？ 2.5 一信源有6种输出状态，概率分别为()p A =0.5， ()p B =0.25， ()p C =0.125， ()p D = ()p E =0.05， ()p F =0.025试计算()H X 。
然后求消息ABABBA 和FDDFDF 的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。
2.6 中国国家标准局所规定的二级汉字共6763个。
设每字使用的频度相等，求一个汉字所含的信息量。
设每个汉字用一个16⨯16的二元点阵显示，试计算显示方阵所能表示的最大信息量。
显示方阵的利用率是多少？2.7 已知信源发出1a 和2a 两种消息，且12 ()()1/2p a p a ==。
此消息在二进制对称信道上传输，信道传输特性为1122(|)(|)1p b a p b a ε==-，1221(|)(|)p b a p b a ε==。
求互信息量11(;)I a b 和12(;)I a b 。
2.8 已知二维随机变量XY 的联合概率分布()i j p x y 为：(0,0)(1,1)1/8p p ==，(0,1)(1,0)3/8p p ==，求(|)H X Y 。
2.13 有两个二元随机变量X 和Y ，它们的联合概率分布如表2.5所列，同时定义另一随机变量Z X Y =（一般乘积）。
(完整word版)信息论习题集
信息论习题集第一章、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。
（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。
（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。
（√）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。
（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。
（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。
（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。
（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。
（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。
（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。
（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。
（√）7、互信息的统计平均为平均互信息量，都具有非负性。
（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。
（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。
（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。
（×）11、在信息处理过程中，熵是不会增加的。
（√）12、熵函数是严格上凸的。
（√）13、信道疑义度永远是非负的。
（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。
信息论考试题(填空简答)
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
信息论题
习 题一、填空1、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
3、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
4、 一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
5、 必然事件的自信息是 0 。
6、 不可能事件的自信息量是 ∞ 。
7、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
8、 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9、 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
10、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
11、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
12、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
13、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
14、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
15、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
16、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
17、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为m xe m x p -=1)(，其中：0≥x ，m 是X 的数学期望，则X 的信源熵=)(X H C me 2log 。
18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。
19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。
信息论小题测试题
第一章自我测试题一、填空题1.在认识论层次上研究信息的时候，必须同时考虑到形式、_____和_____三个方面的因素。
2.如果从随机不确定性的角度来定义信息，信息是用以消除_____的东西。
3.信源编码的结果是_____冗余；而信道编码的手段是_____冗余。
4._____年，香农发表了著名的论文_____，标志着信息论诞生。
5.信息商品是一种特殊商品，它有_____性、_____性、_____性和知识创造性等特征。
二、判断题1.信息传输系统模型表明，噪声仅仅来源于信道（）2.本体论层次信息表明，信息不依赖于人而存在（）3.信道编码与译码是一对可逆变换（）4.1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（）5.基因组序列信息的提取和分析是生物信息学的研究内容之一（）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是_____A．信息是数据B．信息是集合之间的变异度C．信息是控制的指令D．信息是收信者事先不知道的报道2._____是最高层次的信息A．认识论B．本体论C．价值论D．唯物论3.下列不属于狭义信息论的是_____A．信息的测度B．信源编码C．信道容量D．计算机翻译4.下列不属于信息论的研究内容的是_____A．信息的产生B．信道传输能力C．文字的统计特性D．抗干扰编码5.下列关于信息论发展历史描述不正确的是_____A．偶然性、熵函数引进物理学为信息论的产生提供了理论前提。
B．1952年，香农发展了信道容量的迭代算法C．哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。
D．1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。
四、简答题给定爱因斯坦质能方程2Emc ，试说明该方程所传达的语法信息、语义信息和语用信息。
第一章 自我测试题参考答案一、填空题1. 语义，语用2. 随机不确定性3. 减小，增加4. 1948，通信的数学理论5. 保存性，共享性，老化可能性二、判断题1. ×；2.√；3.×；4.×；5.√三、选择题1. D ；2. B ；3. D ；4. A ；5. B四、简答题语法信息：就是该方程中各个字母、符号的排列形式。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论试题
试题一一、填空（共20分）1．信息技术的基本内容是＿＿＿＿＿＿＿、＿＿＿＿＿＿＿、＿＿＿＿＿＿＿、＿＿＿＿＿＿＿。
2．已知英语字母的极限熵为1bit，且每个英语字母的最大熵H max=4.0651bit，则英语信源的冗余度为＿＿＿＿＿＿。
3．当x i和y j相互独立时，互信息量I（x i；y j）为＿＿＿＿＿＿。
4．熵函数是严格的＿＿＿＿＿函数。
5．已知信源包含的消息用一种延长码组进行编码，它们的对应关系：x1 0，x201，x3011，x40111。
设收到的码元序列为010101110011100110101110，它能唯一地被译成消息＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。
6．信道容量的定义是＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。
7．唯一可译码的码长必需满足一定条件，该条件为：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿。
二、简述题（20分）1、试简述信息的基本性质。
2、试通过简单的通信模型，描述平均互信息量的物理意义。
三、有两个二元随机变量X和Y的联合概率如下表，并定义另一随机变量Z=X ⊕Y （其中⊕代表异或运算，即当X，Y取值相同时，Z等于0，当X，Y取值不相同时，Z等于1）（15分）求：1、I（x0）, I（y1）2、)(X H ，)(Y H ，)(Z H3、)(XZ H ，)(XYZ H4、)/(Y X H ，)/(Z X H ，)/(XZ Y H5、);(Z X I ，)/;(Z Y X I四、设有一个信源，它产生0，1序列的消息。
它在任意时间而且不论以前发出过什么符号，均按P （0）=0.4，P （1）=0.6的概率发出符号。
1、试问这个信源是否是平稳的 2、试计算H （X 2），H （X 3/X 1X 2）3、试计算H （X 4）并写出X 4信源中可能有的所有符号。
（15分）1、对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率2、求编码后码字中码元0、1的概率分布。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论测试题及答案
一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 信道转移概率矩阵P2.信道疑义度3.信道容量以及其输入概率分布 四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P ，求信道容量，最佳输入概率分布。
五、求下列各离散信道的容量（其条件概率P(Y/X)如下：）六、求以下各信道矩阵代表的信道的容量答案一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （XY ）、H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 解：1. 2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号 Z=YX 而且X 和Y 相互独立∴ 1(1)(1)(1)PP X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 1111122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 1111122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)j iji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：2. 信道转移概率矩阵P 2.信道疑义度3.信道容量以及其输入概率分布解：1.该转移概率矩阵为 P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率由P （X|Y ）=P(X|Y)/P(Y)可得H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即01 11()22XP X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.06.03.01.03.06.0P，求信道容量，最佳输入概率分布。
《信息论》试题及答案
期终练习一、某地区的人群中，10％是胖子，80％不胖不瘦，10％是瘦子。
已知胖子得高血压的概率是15％，不胖不瘦者得高血压的概率是10％，瘦子得高血压的概率是5％，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。
解：设事件A ：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子 D ：某人是高血压者根据题意，可知：P （A ）= P （B ）= P （C ）= P （D|A ）= P （D|B ）= P （D|C ）=而“该地区的某一位高血压者是胖子” 这一消息表明在D 事件发生的条件下，A 事件的发生，故其概率为P （A|D ）根据贝叶斯定律，可得：P （D ）＝P （A ）* P （D|A ）＋P （B ）* P （D|B ）＋P （C ）* P （D|C ）＝ P （A|D ）＝P （AD ）/P （D ）＝P （D|A ）*P （A ）/ P （D ）＝*＝故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I （A|D ） = - logP （A|D ）=log （）≈ （bit ）二、设有一个马尔可夫信源，它的状态集为{S 1，S 2，S 3}，符号集为{a 1，a 2，a 3}，以及在某状态下发出符号集的概率是(|)k i p a s （i ，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵H(X|S=j) (j=s 1，s 2，s 3) （3）求出马尔可夫信源熵H ∞解：（1）该信源达到平稳后，有以下关系成立：13212312123()()31()()()4211()()()42()()()1Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E Q E =⎧⎪⎪=+⎪⎨⎪=+⎪⎪++=⎩可得1232()73()72()7Q E Q E Q E ⎧=⎪⎪⎪=⎨⎪⎪=⎪⎩3111322133313()()(|)72()()(|)73()()(|)7i i i i i i i i i p a Q E p a E p a Q E p a E p a Q E p a E =========∑∑∑（2）311113222133331(|)(|)log (|) 1.5bit/(|)(|)log (|)1bit/(|)(|)log (|)0bit/k k k kk k k k k H X S p a S p a S H X S p aS p a S H X S p a S p a S ====-==-==-=∑∑∑（符号）（符号）（符号）（3）31()(|)2/7*3/23/7*12/7*06/7iii H Q E H X E ∞==⨯=++=∑（比特/符号）三、二元对称信道的传递矩阵为0.60.40.40.6⎡⎤⎢⎥⎣⎦（1）若P(0)=3/4，P(1)=1/4，求H （X ），H （X|Y ）和I （X ；Y ）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布 解：⑴()H X =21()log ()iii p x p x ==-∑=0.75log 750.25log 25--≈(比特/符号)1111212()()(|)()(|)p y p x p y x p x p y x =+=*+*= 2121222()()(|)()(|)p y p x p y x p x p y x =+=*+*=()0.55log0.550.45log0.45H Y =--=≈(比特/符号)122(|)()(|)()(|)0.75(0.6,0.4)0.25(0.4,0.6)(0.6log 0.60.4log 0.4)0.971/H Y X p x H Y x p x H Y x H H =+=⨯+⨯=-+≈（比特符号）(|)()()()(|)()H X Y H XY H Y H X H Y X H Y =-=+- ≈+ (比特/符号)I(X;Y)=H(X)-H(X|Y)=比特/符号) （2）此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H==(比特/符号) 当输入等概分布时达到信道容量四、求信道22042240 p pp pεεεεεε⎡⎤--⎢⎥--⎢⎥⎣⎦的信道容量，其中1p p=-。
信息论典型试题及答案
同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即2, 3, … , 12构成的子集）的熵；(5) 两个点数中至少有一个是1的自信息量。
解：(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==⨯+⨯=(2) bit x p x I x p i i i 170.5361log)(log )(3616161)(=-=-==⨯=(3)两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合：其中11，22，33，44，55，66的概率是3616161=⨯其他15个组合的概率是18161612=⨯⨯symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=⎪⎭⎫ ⎝⎛⨯+⨯-=-=∑(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：symbolbit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=⎪⎭⎫ ⎝⎛+⨯+⨯+⨯+⨯+⨯-=-=⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧=⎥⎦⎤⎢⎣⎡∑(5)bitx p x I x p i i i 710.13611log )(log )(3611116161)(=-=-==⨯⨯=设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202032)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？ 解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p 此消息的信息量是：bit p I 811.87log =-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
信息论习题集
信息论习题集信息论习题集⼀、填空题1、⼈们研究信息论的⽬的是为了⾼效、可靠安全地交换和利⽤各种各样的信息。
2、单符号离散信源输出的消息⼀般⽤随机变量描述，⽽符号序列离散信源输出的消息⼀般⽤随机⽮量描述。
3、两个相互独⽴的随机变量的联合⾃信息量等于两个⾃信息量之和。
4、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。
5、必然事件的⾃信息是 0 ，不可能事件的⾃信息量是 00 。
6、信道的输出仅与信道当前的输⼊有关，⽽与过去输⼊⽆关的信道称为⽆记忆信道。
7、若纠错码的最⼩距离为min d ，则可以纠正任意⼩于等于t= 个差错。
8、必然事件的⾃信息量是 0 ，不可能事件的⾃信息量是 00 。
9、⼀信源有五种符号{a ， b ， c ， d ， e}，先验概率分别为 a P =0.5， b P =0.25， c P =0.125，d P =e P =0.0625。
符号“a ”的⾃信息量为____1____bit ，此信源的熵为____1.875____bit/符号。
10、已知某线性分组码的最⼩汉明距离为3，那么这组码最多能检测出 2 个码元错误，最多能纠正 1 个码元错误。
11、克劳夫特不等式是唯⼀可译码存在与否的充要条件。
{00，01，10，11}是否是唯⼀可译码？。
12、离散平稳⽆记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。
13、对于离散⽆记忆信源，当信源熵有最⼤值时，满⾜条件为信源符号等概分布_ 。
⼆、选择题1、下⾯哪⼀项不属于最简单的通信系统模型：（ B ）A ．信源B ．加密C ．信道D ．信宿 2、信道编码的⽬的是（ A ）。
A 提⾼通信系统的可靠性B 提⾼通信系统的有效性C 提⾼通信系统的保密性D 提⾼通信系统的实时性3、给定x i 条件下随机事件y j 所包含的不确定度和条件⾃信息量I (y j /x i )，（C ）A 数量上不等，含义不同B 数量上不等，含义相同C 数量上相等，含义不同D 数量上相等，含义相同4、下⾯哪⼀项不是增加信道容量的途径：（C ）A 减⼩信道噪声功率B 增⼤信号功率C 增加码长D 增加带宽5、平均互信息量 I(X;Y)与信源熵和条件熵之间的关系是（ A ）。
信息论考题及答案
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有1H(X,Y)()()logP()()11()()log()()log ()()11()log()log ()()()()xyxyxy xy P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375(2) H(X)=2, H(Y)=1.75(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5(4)H(X|Y)=1.1264(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：(1|1)P x y ===(1|1)(1)(1|)()xP y x P x P y x P x ===∑==9.015.01.085.01.085.0⨯+⨯⨯=22.0085.0=0.39一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
信息论 试卷与答案
答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为
。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的 概率分布、信道的传递概率间分别是什么关系？
答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到 的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分 布。
一、概念简答题（每题 5 分，共 40 分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还 表示通信前后整个系统不确定性减少的量。
概念简答题（每题 5 分，共 40 分） 1. 2. 3.答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息 传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的 U 型凸函数。 4. 5 6 7.答：当 R＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8. 二、综合题（每题 10 分，共 60 分）
8.什么是保真度准则？对二元信源 求 a>0 时率失真函数的 和 ？
答：1）保真度准则为：平均失真度不大于允许的失真度。
，其失真矩阵
，
2）因为失真矩阵中每行都有一个 0，所以有 。
二、综合题（每题 10 分，共 60 分） 1.黑白气象传真图的消息只有黑色和白色两种，求：
信息论基础试题
信息论基础试题一、选择题1.下列哪个选项可以正确解释信息论的基本思想？•[ ] A. 信息交流的过程中，信息可以通过信道传递。
•[ ] B. 信息的传递不受噪声的影响。
•[ ] C. 信息的度量可以基于信息内容和概率分布。
•[ ] D. 信息的传输速率与信道带宽成反比例关系。
2.假设信源A生成的符号集X有5个元素，概率分布为P(X)=[0.1, 0.2, 0.4, 0.15, 0.15]。
则信源A的熵为多少？•[ ] A. 1.52•[ ] B. 1.75•[ ] C. 1.97•[ ] D. 2.323.在信息论中，互信息表示什么意思？•[ ] A. 两个随机变量的相关程度。
•[ ] B. 从一个随机变量中获得的信息量。
•[ ] C. 两个随机变量之间的信息交流量。
•[ ] D. 两个随机变量之间的互相依赖程度。
二、填空题1.在信息论中，熵是用来衡量信源的______。
2.信源的熵可以通过概率分布计算，公式为______。
3.信道容量是指在给定的信道条件下，单位时间内可以传输的最大______。
三、简答题1.请简要解释信息熵的概念，并与不确定性联系起来。
答：信息熵是信息论中对信源不确定性的度量。
它衡量了一组符号的平均不确定性，也可以理解为平均信息量。
熵越大，表示源符号的不确定性越大，每个符号所携带的信息量就越多；熵越小，表示源符号的不确定性越小，每个符号所携带的信息量就越少。
通过熵的计算，我们可以衡量一个信源的不确定性，并基于不同的概率分布对不同信源进行比较。
不确定性是指在一个具体的情境中，我们对于某个事件的发生没有确切的判断。
信息熵与不确定性有密切的联系，熵值越高，表示我们对于事件发生的不确定性也越高。
2.什么是信道容量？在实际通信中，如何提高信道的传输容量？答：信道容量是指在给定的信道条件下，单位时间内可以传输的最大信息量。
信道容量受到信道的带宽和信道的噪声水平的影响。
要提高信道的传输容量，可以采取以下几个方法：–扩展信道带宽：增加信道的频率范围，可以提高信道的传输速率和容量。
信息论小题测试题
第一章自我测试题一、填空题1.在认识论层次上研究信息的时候，必须同时考虑到形式、_____和_____三个方面的因素。
2.如果从随机不确定性的角度来定义信息，信息是用以消除_____的东西。
3.信源编码的结果是_____冗余；而信道编码的手段是_____冗余。
4._____年，香农发表了著名的论文_____，标志着信息论诞生。
5.信息商品是一种特殊商品，它有_____性、_____性、_____性和知识创造性等特征。
二、判断题1.信息传输系统模型表明，噪声仅仅来源于信道（）2.本体论层次信息表明，信息不依赖于人而存在（）3.信道编码与译码是一对可逆变换（）4.1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（）5.基因组序列信息的提取和分析是生物信息学的研究内容之一（）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是_____A．信息是数据B．信息是集合之间的变异度C．信息是控制的指令D．信息是收信者事先不知道的报道2._____是最高层次的信息A．认识论B．本体论C．价值论D．唯物论3.下列不属于狭义信息论的是_____A．信息的测度B．信源编码C．信道容量D．计算机翻译4.下列不属于信息论的研究内容的是_____A．信息的产生B．信道传输能力C．文字的统计特性D．抗干扰编码5.下列关于信息论发展历史描述不正确的是_____A．偶然性、熵函数引进物理学为信息论的产生提供了理论前提。
B．1952年，香农发展了信道容量的迭代算法C．哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。
D．1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。
四、简答题给定爱因斯坦质能方程2E mc D =D ，试说明该方程所传达的语法信息、语义信息和语用信息。
第一章 自我测试题参考答案一、填空题1. 语义，语用2. 随机不确定性3. 减小，增加4. 1948，通信的数学理论5. 保存性，共享性，老化可能性二、判断题1. ×；2.√；3.×；4.×；5.√三、选择题1. D ；2. B ；3. D ；4. A ；5. B四、简答题语法信息：就是该方程中各个字母、符号的排列形式。
信息论考试卷与答案..
考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。
问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。
信息论 测试题
2、已知二维随机变量XY的联合概率分布 p(xi,yj))为p(0,0)= p(1,1)=1/8， p(0,1)= p(1,0)=3/8，求H(X|Y)。 3、给定X，Y的联合概率分布如下表所示。 求 H(X)，H(Y)，H(XY)，I(X;Y)源自Y 0 X 0 11
1/3 0
1/3 1/3
4、考虑两个发射机和一个接收机之间的平均 联合互信息I(X1X2;Y)，证明： 1） I(X1X2;Y) ≥ I(X1;Y)，也就是用两台发 射机比用一台发射机的效果更好； 2）如果X1和X2相互独立，那么I(X2;Y|X1) ≥ I(X2;Y)； 3）如果X1和X2相互独立， I(X1X2;Y)≥ I(X1;Y)+ I(X2;Y)；也就是同时用两台发射机 比单独用两台发射机的效果好。
测试题
1、一信源有4种输出符号xi，i=0,1,2,3，且 p(xi)=1/4。设信源向信宿发出x3，但由于传 输中的干扰，接受者收到x3后，认为其可信 度为0.9。于是信源再次向新宿发送该符号 （x3），信宿无误收到。问信源在两次发送 中发出的信息量各是多少？信宿在两次接 收中得到的信息量又各是多少？
5、有一无记忆的符号集为{0,1}，已知信源的概 率空间为
1 X 0 P( X ) 1 / 4 3 / 4
1）求信源熵； 2）求由m个“0”和（100-m）个“1”构成的某一 特定序列自信息量的表达式； 3）计算由100个符号构成的符号序列的熵。
信息论习题集
信息论概念复习题一、填空1、1948年美国数学家香农发表了题为“通信的数学理论”的长篇论文从而创立了信息论。
2、人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。
3、信息的可度量性是建立信息论的基础。
4、统计度量是信息度量最常用的方法。
5、熵是香农信息论最基本最重要的概念。
6、事物的不确定度是用时间统计发生概率的对数来描述的。
7、单符号离散信源一般用随机变量描述而多符号离散信源一般用随机矢量描述。
8、一个随机事件发生某一结果后所带来的信息量称为自信息量定义为其发生概率对数的负值。
9、自信息量的单位一般有比特、奈特和哈特。
10、必然事件的自信息是0 。
11、不可能事件的自信息量是∞ 。
12、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
13、数据处理定理当消息经过多级处理后随着处理器数目的增多输入消息与输出消息之间的平均互信息量趋于变小。
14、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。
15、离散平稳有记忆信源的极限熵H/lim121NNNXXXXH。
16、对于n元m阶马尔可夫信源其状态空间共有nm 个不同的状态。
17、一维连续随即变量X在ab区间内均匀分布时其信源熵为log2b-a 。
18、平均功率为P的高斯分布的连续信源其信源熵HcXeP2log212。
19、对于限峰值功率的连续信源当概率密度均匀分布时连续信源熵具有最大值。
20、对于限平均功率的一维连续信源当概率密度高斯分布时信源熵有最大值。
22、根据输入输出信号的特点可将信道分成离散信道、连续信道、半离散或半连续信道。
23、信道的输出仅与信道当前输入有关而与过去输入无关的信道称为无记忆信道。
24、具有一一对应关系的无噪信道的信道容量C log2n 。
25、对称信道的信道容量C log2m-Hmi 。
26、对于离散无记忆信道和信源的N次扩展其信道容量CN NC 。
27、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时此信道称为加性连续信道。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、填空题（共15分，每空1分）1、当时，信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W，则噪声熵为。
如果一个平均功率为9 W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为。
3、信源符号的相关程度越大，信源的符号熵越，信源的剩余度越。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率的符号用短码，对概率的符号用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为，此时编码效率为。
4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<”（1）()()2212X X H H =X ()X 3H = ()3321X X X H（2）()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是 。
11、当 时，信源熵为最大值。
８进制信源的最大熵为 。
二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（ ）2）即时码可以在一个码字后面添上一些码元构成另一个码字。
（ ） 3）连续信源的熵可正、可负、可为零， （ ） 4）平均互信息始终是非负的。
（ ）5） 信道容量C 只与信道的统计特性有关，而与输入信源的概率分布无关。
（ ）三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。
通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。
此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。
已知随机变量X 和Y 的联合概率密度函数))((1)(1212b b a a xy p --=试计算)(),(),(XY h Y h X h 和);(Y X I五、（10分）设某信道的传递矩阵为0.80.10.10.10.10.8⎡⎤=⎢⎥⎣⎦P计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。
六、（１0分）设随机变量X和Y的联合概率分布如下所示：Z ，计算H（X），H（Z），H（XY），H（X/Z），I（X；Y）已知随机变量XY七、（20分）一个离散无记忆信源123456()1/161/161/161/161/41/2X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1) 求()H X 和冗余度；（4分）2) 编成Fano 码，计算编码效率；（8分） 3) 编成Huffman 码，计算编码效率。
（8分）八、（10分）设一个离散无记忆信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8.02.0)(21x x x P X ，它们通过干扰信道，信道矩阵为⎥⎦⎤⎢⎣⎡=7.03.01.09.0P 。
信道输出符号集为[]21,y y Y =，试计算：（1）信源X 的信息熵；（２分）（2）收到信息2y 后，获得的关于1x 的信息量；（２分） （3）共熵)(XY H ；（２分） （4）信道疑义度(|)H X Y ；（2分）（5）收到消息Y 后获得的关于信源X 的平均信息量。
（２分）九、（10分）有一个二元马尔可夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。
试计算（1）达到稳定后状态的极限概率。
（2）该马尔可夫信源的极限熵H《信息论基础》试卷答案《信息论基础》试卷答案一、填空题（共15分，每空1分）1，当（R=C 或信道剩余度为0）时，信源与信道达到匹配。
2，若高斯白噪声的平均功率为6W ，则噪声熵为（1/2log12πe=3。
337bit/自由度） 如果一个平均功率为9W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为（6W ）3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大） 4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均码长，提高编码效率。
8，香农第一编码定理指出平均码长的理论极限值为（信源熵H(S)/logr 或H R (S)）， 此时编码效率为（1）9，在下面空格中选择填入数学符号“=,<,>,≤≥，” H 2(X)=H(X 1X 2)/2 ≥ H 3(x)=H(X 1X 2X 3)/3 H (XY) = H(Y)+H(X/Y) ≤ H(Y)+H(X)10,有一信源X ，其概率分布为1234x x x x 1/21/41/81/8X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，若对该信源进行100次扩展， 其每扩展符号的平均信息量是（175bit/扩展符号）11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号） 二、判断题（本大题共5小题，每小题1分，共5分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（⨯） 2）即时码可以在一个码字后面添上一些码元构成另一个码字（⨯） 3）连续信源的熵可正可负可零（∨） 4）平均互信息始终是非负的（∨）5）信道容量C 只与信道的统计特性有关，而与输入信源概率分布无关（∨） 三、（10分）计算机终端发出五种符号，出现概率分别为1/16，1/16，1/8,1/4,1/2.通过一条带宽为18KHz 的信道传输数据，假设信道输出信噪比为2047，试计算： 1）香农信道容量；2）无误码传输的最高符号速率。
(1) 22log 118log 2048198/t S C B kbit s N ⎛⎫=+== ⎪⎝⎭(2)()()max tB C R H x =,()1111115,,,,16168428H x H ⎛⎫==⎪⎝⎭()5198max 1.05610158B kR Baud ==⨯ 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在a1,a2之间。
此信源连至信道，信道接收端接收脉冲的幅度y 处在b1，b2之间。
已知随机变量x 和y 的联合概率密度函数(,)1/(21)(21)p x y a a b b =-- 试计算h （x ），h （y ）h （xy ）和I(x;y)由(,)p x y 得 12211()0,a x a a a p x ⎧≤≤⎪-=⎨⎪⎩其他()22211,0,b x b b b p y ⎧≤≤⎪-=⎨⎪⎩其他 可见，()()()p xy p x p y =，x 和y 相互独立，且均服从均匀分布， 21()log()/h x a a bit =-自由度 21()log()/h y b b bit =-自由度2121()()()log()()h xy h x h y a a b b =+=-- (,)0I x y =五、（10分）设某信道的传递矩阵为0.80.10.10.10.10.8p ⎡⎤=⎢⎥⎣⎦计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信道，（1）两个对称信道矩阵为0.80.10.80.10.10.80.10.8⎡⎤⎡⎤⎢⎥⎢⎥⎣⎦⎣⎦和0.10.1⎡⎤⎢⎥⎣⎦N1=+=,N2=; M1=,M2=∴log2(0.8,0.1,0.1)0.9log0.90.1log0.20.447/C H bit =---=符号最佳输入概率分布为输入等概率，即 (1)(2)p x p x ==1/2 六、（10分）设随机变量x 和y已知随机变量z=xy,计算H(X)，H(Z)，H(XY)，H(X/Z)，Ｉ（x ；y ） 1) H(x)=H(1/3,1/3)=符号 2)H(z)=H(2/3,1/3)=符号3）H(xy)=H(1/3,1/3,0,1/3)= bit/每对符号 4)xz P(xz) 00 2/301 0 10 0 111/3H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=0 5)I(x,y)=H(x)+H(y)-H(xy) =符号七 （20） 一个离散无记忆信源123456()1/161/161/161/161/41/2x x x x x x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1） 求H(x)和冗余度；（4分） 2） 编成Fano 码，计算编码效率；（8分） 3） 编成Huffman 码，计算编码效率。
（8分）1） H(x)=H(1/16,1/16,1/16，1/16,1/4,1/2)=2bit()122.6log6H x v =-=﹪2)126x 5x 141161161161164x 3x 2x 1x 0111111011001101111111103)x6x2x3x4x5x11/161/161/161/161/41/21/161/161/81/41/21/21/41/81/81/21/41/41/21/2010110110101111110011011110 11112442242L =⨯+⨯+⨯⨯=()100H x Lη==％ 八 （10分） 设一个离散无记忆信源的概率空间为12()0.20.8x x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，它们通过干扰信道，信道矩阵为0.90.10.30.7P ⎡⎤=⎢⎥⎣⎦。
信道输出符号集[]12Y y y =，试计算： （1）信源X 的信息熵；（2分）（2）收到信息y2后，获得关于x1的信息量；（2分） （3） 共熵H(XY)；（2分） （4）信道疑义度H(X|Y);(2分)（5） 收到消息Y 后获得的关于信源X 的平均信息量。
（2分）P(xy) y1 y2x2××(1) H(x)=H,=符号（2） I(x1;y2)=I(x1)-I(x1|y2)=log1/,58/=符号（3） H（xy）=H,,,=每对符号（4） H(x|y)=H(xy)-H(y)=(y)H(y)=H,=H(x|y)=符号（5）I(X:Y)=H(x)+H(y)-H(xy)=H(x)-H(x|y)=符号九（10分）有一个二元马尔科夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。
试计算（1）达到稳定后状态的极限概率（2）该马尔科夫信源的极限熵H∞。
(1)012 000.50.510.50.50200.50.5s s sspss=P(s0)=(s1)(p(s0)+p(s1)+p(s2))=p(s1) (p(s0)+p(s2))=p(s2)P(s0)+p(s1)+p(s2)=1得 p(s0)=;P(s1)=;P(s2)=;(2)H∞=1/4H,+1/2H,+1/4H,1/4+1/2+1/4=1bit/符号。