信息论试题6
信息论考试题及答案
1.有二元对称信道编码：1)已知信源X,41,4310==p p ，求H(X),H(X|Y),I(X,Y)。
2)求信道容量C 。
解：由题意可知，（X,Y ）服从如下的联合分布Y,X0101/21/1211/41/6X 的边际分布是（3/4,1/4），Y 的边际分布是（7/12,5/12）)(811.03log 432)41log 4143log 43(log )(210bit p p X H i i i =-=+-=-=∑=)bit (749.07log 1275log 1253log 433252,53(125)71,76(127)|()()|(22210=++--=+====∑=H H i Y X H i Y p Y X H i )bit (062.07log 1275log 12538)|()(),(22=--=-=Y X H X H Y X I )(082.03log 35)31(1)(12bit H p H C =-=-=-=2.最小熵。
求出)(),...,,(21p H p p p H n =最小值是多少，因为p 的范围是在n 维概率向量集合上的最小值是多少？找到所有达到这个最小值时的p。
解：我们希望找到所有的概率向量),...,,(21n p p p p =，让∑-=i ii p p p H log )(达到最小，现在有时等式成立或当且仅当10,0log =≥-i i i p p p ，因此，唯一可能使得H(p)最小化的概率向量是对于某些i 和j 满足.,0,1i j p p j i ≠==这里有n 个这样的向量，比如)1,...,0,0(),0,...,1,0(),0,...,0,1（，此时H(p)的最小值为0。
3.赫夫曼码。
考虑随机变量⎪⎪⎭⎫ ⎝⎛=02.003.004.004.012.026.049.07654321x x x x x x x X （a）求X 的二元赫夫曼码。
信息论考试题
一．填空１．设Ｘ的取值受限于有限区间［a,b ］，则X 服从 均匀 分布时，其熵达到最大；如X 的均值为μ，方差受限为2σ，则X 服从 高斯 分布时，其熵达到最大。
2．信息论不等式：对于任意实数0>z ，有1ln -≤z z ，当且仅当1=z 时等式成立。
3．设信源为X={0，1}，P （0）=1/8，则信源的熵为 )8/7(log 8/78log 8/122+比特/符号，如信源发出由m 个“0”和（100-m ）个“1”构成的序列，序列的自信息量为)8/7(log )100(8log22m m -+比特/符号。
4．离散对称信道输入等概率时，输出为 等概 分布。
5．根据码字所含的码元的个数，编码可分为 定长 编码和 变长 编码。
6．设DMS 为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡03.007.010.018.025.037.0.654321u u u u u u P U U ，用二元符号表}1,0{21===x x X 对其进行定长编码，若所编的码为{000，001，010，011，100，101}，则编码器输出码元的一维概率=)(1x P 0.747 , =)(2x P 0.253 。
12设有ＤＭＣ，其转移矩阵为[]⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=2/16/13/13/12/16/16/13/12/1|XY P ，若信道输入概率为[][]25.025.05.0=X P ，试确定最佳译码规则和极大似然译码规则，并计算出相应的平均差错率。
解：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8/124/112/112/18/124/112/16/14/1][XYP最佳译码规则：⎪⎩⎪⎨⎧===331211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/6-1/8=11/24；极大似然规则：⎪⎩⎪⎨⎧===332211)()()(ab F a b F a b F ，平均差错率为1-1/4-1/8-1/8=1/2。
信息论考试题(填空简答)
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
(完整word版)信息论试卷
一、选择题1、下列那位创立了信息论.(C)A.牛顿B.高斯C.香农D.哈夫曼2、下列不属于消息的是。
(B)A.文字B.信号C.图像D.语言3、同时扔两个正常的骰子,即各面呈现的概率都是1/6，若点数之和为2，则得到的自信息量为(B）。
A.-log36 bitB.log36 bitC.-log18 bitD.log18 bit4、下列说法不正确的是(C)A.异字头码肯定是唯一可译的B.逗点码是唯一可译的C.唯一可译码不必满足Kraft 不等式D.无逗点码可以唯一可译5、下述编码中那个可能是任何概率分布对应的Huffman编码(A)A.｛0，10,11}B.{00，01,10，110}C.｛01，10｝D.{001，011，100，101｝6、下列物理量不满足非负性的是（D)A.H(X)B.I(X；Y）C.H(Y|X)D.I（x j;y j）7、信源的输出与信道的输入匹配的目的不包括（D)A.符号匹配B.信息匹配C.降低信道剩余度D.功率匹配8、在串联系统中,有效信息量的值（B)A.趋于变大B.趋于变小C.不变D.不确定二、判断题1、信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（T)2、信息是先验概率和后验概率的函数，信息量是事件数目的指数函数。
（F）提示：对数函数3、两个事件之间的互信息量可正,可负，也可能为0。
(T）4、在通讯系统中，无论对接收到的信息怎样处理，信息只会减少，绝不可能增加。
(T ）5、Huffman 编码是唯一的.（F)提示：不唯一6、概率大的事件自信息量大。
（F ）提示：小7、在事件个数相同条件下，事件等概率出现情况下的熵值最大。
（T)8、平稳的离散无记忆信道不可用一维概率描述。
(F)提示：可以三、填空题1、必然事件的自信息是 0 .2、根据码字所含的码元的个数，编码可分为 等长 编码和 不等长 编码。
3、不等长D 元码，码字最长限定为N,则至多有 D(D N - 1）/(D — 1） 个码字。
信息论试卷题目及答案
中国海洋大学2008—2009学年第一学期一、填空题（每空2分，共20分）1、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、信源编码的目的是提高通信的有效性。
信道编码的最终目的是提高信号传输的可靠性。
3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。
5、信道输入与输出间的平均互信息是信道转移概率的 下凸 函数，是输入概率的 上凸 函数。
6、信道矩阵⎥⎦⎤⎢⎣⎡10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。
7、 设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号 ，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。
二、判断题（每题2分，共10分）1、必然事件和不可能事件的自信息量都是0 。
（错）2、最大后验概率准则与最大似然准则是等价的。
（错）3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。
（对）4、连续信源和离散信源的熵都具有非负性。
（错）5、相同功率的噪声中，高斯噪声使信道容量最小。
（对） 三、简答题（第1、2题各6分，第三题10分，共22分）1、简述最大离散熵定理。
对于一个有m 个符号的离散信源，其最大熵是什么？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
(3分) 最大熵值为mH 2max log = (3分)2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以：)|()|()|()|,()|()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)所以原命题得证。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
信息论测试题及答案
一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 信道转移概率矩阵P2.信道疑义度3.信道容量以及其输入概率分布 四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P ，求信道容量，最佳输入概率分布。
五、求下列各离散信道的容量（其条件概率P(Y/X)如下：）六、求以下各信道矩阵代表的信道的容量答案一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （XY ）、H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 解：1. 2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号 Z=YX 而且X 和Y 相互独立∴ 1(1)(1)(1)PP X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 1111122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 1111122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)j iji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：2. 信道转移概率矩阵P 2.信道疑义度3.信道容量以及其输入概率分布解：1.该转移概率矩阵为 P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率由P （X|Y ）=P(X|Y)/P(Y)可得H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即01 11()22XP X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.06.03.01.03.06.0P，求信道容量，最佳输入概率分布。
信息论考试卷及答案
信息论考试卷及答案考试科⽬名称：信息论⼀. 单选（每空2分，共20分）1.信道编码的⽬的是（C ），加密编码的⽬的是（D ）。
A．保证⽆失真传输B．压缩信源的冗余度，提⾼通信有效性C．提⾼信息传输的可靠性D．提⾼通信系统的安全性2.下列各量不⼀定为正值的是（D ）A．信源熵B．⾃信息量C．信宿熵D．互信息量3.下列各图所⽰信道是有噪⽆损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独⽴，H（Y）=H（YX）6.⼀个n位的⼆进制数，该数的每⼀位可从等概率出现的⼆进制码元（0，1）中任取⼀个，这个n位的⼆进制数的⾃信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英⽂字母和空格，其最⼤信源熵为H0 = log27 = 4.76⽐特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03⽐特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32⽐特/符号；以此类推，极限熵H=1.5⽐特/符号。
问若⽤⼀般传送⽅式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下⾯不属于最佳变长编码的是（ D ）A ．⾹农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和⾹农编码D ．算术编码和游程编码⼆. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息论考试试题集
1、 自信息量的公式为 （ )(log )(2i i a p a I -= ）。
2、 连续信源输出信号的峰值功率受限时，（ 均匀）分布的熵最大；连续信源输出信号的平均功率受限时，（ 正态 ）分布的熵最大。
3、当X 和Y 相互独立时，互信息为（ 0 ）。
A 、 1 B 、 0 C 、某一个正数 4、信源为X ，信宿为Y ，条件熵H （X|Y ）称为（ 信道损失熵 ）。
5、信道编码定理：对于一个离散无记忆信道，若其信道容量为C ，输入信源符号长度为L ，当信息传输速率（ R 〈 C ）时，总可以找到一种编码方法， 当L 足够长时，译码的错误概率为任意小正数。
1． 已知X ，Y ∈{0，1}，XY 构成的联合概率为：P （00）=P （11）=81，P （01）=P （10）=83，( 585.13log 2= ), 计算： （1） 熵H （X ），H （Y ）； （2） 条件熵H （X/Y ），H （Y/X ）； （3） 互信息I （X ；Y ）。
解：1) p(x=0)=p(x=1)=p(y=0)=p(y=1)=0.5 H(X)=H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (6分) H(XY)=-2(83log 8381log 8122+)=1.8113 H(Y|X)= H(X|Y)= 1.8113-1=0.8113(8分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=2-1.8113=0.1887 (5分 2. 求下列信道的信道容量和最佳分布。
( 585.13log 2= )⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎣⎡=21,61,3131,21,6161,31,21P(Y/X)该信道为对称信道，最佳分布是等概率分布p(X)={ 31,31,31 }(6分)信道容量：C=5409.0)61,31,21(4log ),...,,(log 2212=-=-H p p p H s s (9分)1. 某连续信道的带宽为8 kHz ，信噪比为3∶1，现在要以R =510比特/秒以速度传输信息，能否实现？ 如果要实现信息传输，信噪比的最小值为多少？ (212.5= 5792.6) 解： 香农定理：5221016000)31(log *8000)1(log *=<=+=+=R SNR W C (8分) 这时通信传输不能实现。
信息论复习题及答案
1.（15分） 彩色电视显象管的屏幕上有5×105 个象元，设每个象元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现并且各个组合之间相互独立。
① 计算每秒传送25帧图象所需要的信道容量； ② 如果在加性高斯白噪声信道上信号与噪声平均功率的比值为63，为实时传送彩色电视的图象，信道的带宽应为多大？2．（15分）已知一个信源包含八个符号消息,它们的概率分布如下表,① 该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。
② 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
③ 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。
3．（15分）一信源产生概率为995.0)0(,005.0)1(==P P 的统计独立二进制数符。
这些数符组成长度为100的数符组。
我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。
① 求出为所规定的所有源符组都提供码字所需的最小码长。
② 求信源发出一数符组，而编码器无相应码字的概率。
4．（15分） 求下图中DMC 的信道容量。
如果输入分布为{p(x=0)=1/2，p(x=1)=1/4，p(x=2)=1/4），试求输入的信息熵和经过该信道的输入、输出间的平均互信息量。
5．（15分）设二元（7, 4）线性分组码的生成矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=1000101010011100101100001011G给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。
若接收矢量)0001011(=v ，试计算出其对应的伴随式S 并按照最小距离译码准则试着对其译码6．（15分）证明最小错误概率译码与最大似然译码在先验等概的条件下等价。
设M ＝2且两个消息等概，令)0000(1=x ，)1111(2=x 。
通过信道转移概率p<1/2的信道传输。
信息论 试卷与答案
答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。
最大熵值为
。
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的 概率分布、信道的传递概率间分别是什么关系？
答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到 的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分 布。
一、概念简答题（每题 5 分，共 40 分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还 表示通信前后整个系统不确定性减少的量。
概念简答题（每题 5 分，共 40 分） 1. 2. 3.答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息 传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的 U 型凸函数。 4. 5 6 7.答：当 R＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8. 二、综合题（每题 10 分，共 60 分）
8.什么是保真度准则？对二元信源 求 a>0 时率失真函数的 和 ？
答：1）保真度准则为：平均失真度不大于允许的失真度。
，其失真矩阵
，
2）因为失真矩阵中每行都有一个 0，所以有 。
二、综合题（每题 10 分，共 60 分） 1.黑白气象传真图的消息只有黑色和白色两种，求：
信息论小题测试题
第一章自我测试题一、填空题1.在认识论层次上研究信息的时候，必须同时考虑到形式、_____和_____三个方面的因素。
2.如果从随机不确定性的角度来定义信息，信息是用以消除_____的东西。
3.信源编码的结果是_____冗余；而信道编码的手段是_____冗余。
4._____年，香农发表了著名的论文_____，标志着信息论诞生。
5.信息商品是一种特殊商品，它有_____性、_____性、_____性和知识创造性等特征。
二、判断题1.信息传输系统模型表明，噪声仅仅来源于信道（）2.本体论层次信息表明，信息不依赖于人而存在（）3.信道编码与译码是一对可逆变换（）4.1976年，论文《密码学的新方向》的发表，标志着保密通信研究的开始（）5.基因组序列信息的提取和分析是生物信息学的研究内容之一（）三、选择题1.下列表述中，属于从随机不确定性的角度来定义信息的是_____A．信息是数据B．信息是集合之间的变异度C．信息是控制的指令D．信息是收信者事先不知道的报道2._____是最高层次的信息A．认识论B．本体论C．价值论D．唯物论3.下列不属于狭义信息论的是_____A．信息的测度B．信源编码C．信道容量D．计算机翻译4.下列不属于信息论的研究内容的是_____A．信息的产生B．信道传输能力C．文字的统计特性D．抗干扰编码5.下列关于信息论发展历史描述不正确的是_____A．偶然性、熵函数引进物理学为信息论的产生提供了理论前提。
B．1952年，香农发展了信道容量的迭代算法C．哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。
D．1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。
四、简答题给定爱因斯坦质能方程2E mc D =D ，试说明该方程所传达的语法信息、语义信息和语用信息。
第一章 自我测试题参考答案一、填空题1. 语义，语用2. 随机不确定性3. 减小，增加4. 1948，通信的数学理论5. 保存性，共享性，老化可能性二、判断题1. ×；2.√；3.×；4.×；5.√三、选择题1. D ；2. B ；3. D ；4. A ；5. B四、简答题语法信息：就是该方程中各个字母、符号的排列形式。
信息论考试卷与答案..
考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。
问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。
信息论试卷Word版
信息论与编码总结试 题:一 填空题（共15 分，每题1 分）1 单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。
2 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。
3 对于一阶马尔可夫信源，其状态空间共有m n 个不同的状态。
4 根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道 。
5 对于离散无记忆信道和信源的N 次扩展，其信道容量N C = NC6 信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是 信息传输速率小于信道容量。
7 信源编码的目的是 提高通信的有效性 。
8 对于香农编码、费诺编码和哈夫曼编码，编码方法唯一的是 香农编码 。
9 在多符号的消息序列中，大量重复出现的，只起占时作用的符号称为 冗余位 。
10 若纠错码的最小距离为d m in ,则可以纠错任意小于等于21min -d个差错。
11 线性分组码是同时具有 分组特性和线性特性 的纠错码。
12 平均功率为P 的高斯分布的连续信源，其信源熵为 ()eP X H c π2log 212=13 当连续信源和连续信道都是无记忆时，则)()(∑==Ni i i y x I y x I 1,,14 信源编码与信道编码之间的最大区别是，信源编码需 减少 信源的剩余度，而信道编码需 增加 信源的剩余度。
15 离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性 减弱 。
二 选择题 （共15分，每题3分）1 离散信源熵表示信源输出一个消息所给出的（ B ）。
A 、实际信息量；B 、统计平均信息量；C 、最大信息量；D 、最小信息量； 解：选择B 。
2 ）。
A 、H(X)> H(Y)；B 、H(X)< H(Y)；C 、H(X)= H(Y)；D 、H(Y)=2H(X)；解：选择A 。
241log 41)(4=-=⎰dx X H2ln 21181log 81)(4-=-=⎰ydy y Y H3 平均互信息I(X,Y)等于（ C ）。
信息论与编码题库(最新整理六套)
（一）一、填空题1. 在无失真的信源中，信源输出由H (X )来度量；在有失真的信源中，信源输出由R (D )来度量。
2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为-1.6dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。
5. 已知n ＝7的循环码42()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式h(x)=31x x ++。
6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。
输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝0，R (D min )＝1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001⎡⎤⎢⎥⎣⎦；D max ＝0.5，R (D max )＝0，相应的编码器转移概率矩阵[p(y/x )]＝1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。
若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
（√）2. 线性码一定包含全零码。
（√ ）3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。
《信息论》试题（精华）及答案（精华版）
期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率 一，某地区的人群中 就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。
信息论题
习 题一、填空1、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
2、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
3、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
4、 一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。
5、 必然事件的自信息是 0 。
6、 不可能事件的自信息量是 ∞ 。
7、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
8、 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。
9、 离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。
10、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。
11、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。
12、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log 2（b-a ） 。
13、平均功率为P 的高斯分布的连续信源，其信源熵，H c （X ）=eP π2log 212。
14、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。
15、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。
16、若把掷骰子的结果作为一离散信源，则其信源熵为 log 26 。
17、若一维随即变量X 的取值区间是[0，∞]，其概率密度函数为m xe m x p -=1)(，其中：0≥x ，m 是X 的数学期望，则X 的信源熵=)(X H C me 2log 。
18、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。
19、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、填空题（共15分，每空1分）1、当 时，信源与信道达到匹配。
2、若高斯白噪声的平均功率为6 W ，则噪声熵为 。
如果一个平均功率为9 W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为 。
3、信源符号的相关程度越大，信源的符号熵越 ，信源的剩余度越 。
4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率 的符号用短码，对概率 的符号用长码，从而减少平均码长，提高编码效率。
8、香农第一编码定理指出平均码长的理论极限值为 ，此时编码效率为 。
4、在下面空格中选择填入数学符号“=，≥，≤，>”或“<” （1）()()2212X X H H =X ()X 3H = ()3321X X X H（2）()XY H ()()Y X H Y H |+ ()()X H Y H +。
9、有一信源X ，其概率分布为⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡818141214321xx x x P X ，若对该信源进行１００次扩展，则每扩展符号的平均信息量是 。
11、当时，信源熵为最大值。
８进制信源的最大熵为。
二、判断题（正确打√，错误打×）（共5分，每小题1分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大。
（）2）即时码可以在一个码字后面添上一些码元构成另一个码字。
（）3）连续信源的熵可正、可负、可为零，（）4）平均互信息始终是非负的。
（）5）信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。
（）三、（10分）计算机终端发出A 、B 、C 、D 、E 五种符号，出现概率分别为1/16，1/16，1/8，1/4，1/2。
通过一条带宽为18kHz 的信道传输数据，假设信道输出信噪比为2047，试计算：1） 香农信道容量；2） 无误码传输的最高符号速率。
四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在1a 和2a 之间。
此信源连至信道，信道接收端接收脉冲的幅度y 处在1b 和2b 之间。
已知随机变量X 和Y 的联合概率密度函数))((1)(1212b b a a xy p --=试计算)(),(),(XY h Y h X h 和);(Y X I五、（10分）设某信道的传递矩阵为0.80.10.10.10.10.8⎡⎤=⎢⎥⎣⎦P计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。
六、（１0分）设随机变量X和Y的联合概率分布如下所示：Z ，计算H（X），H（Z），H（XY），H（X/Z），I（X；Y）已知随机变量XY七、（20分）一个离散无记忆信源123456()1/161/161/161/161/41/2X x x x x x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1) 求()H X 和冗余度；（4分）2) 编成Fano 码，计算编码效率；（8分） 3) 编成Huffman 码，计算编码效率。
（8分）八、（10分）设一个离散无记忆信源的概率空间为⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡8.02.0)(21x x x P X ，它们通过干扰信道，信道矩阵为⎥⎦⎤⎢⎣⎡=7.03.01.09.0P 。
信道输出符号集为[]21,y y Y =，试计算：（1）信源X 的信息熵；（２分）（2）收到信息2y 后，获得的关于1x 的信息量；（２分） （3）共熵)(XY H ；（２分） （4）信道疑义度(|)H X Y ；（2分）（5）收到消息Y 后获得的关于信源X 的平均信息量。
（２分）九、（10分）有一个二元马尔可夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。
试计算（1）达到稳定后状态的极限概率。
（2）该马尔可夫信源的极限熵H《信息论基础》试卷答案《信息论基础》试卷答案一、填空题（共15分，每空1分）1，当（R=C或信道剩余度为0）时，信源与信道达到匹配。
2，若高斯白噪声的平均功率为6W，则噪声熵为（1/2log12πe=3。
337bit/自由度）如果一个平均功率为9W的连续信源的熵等于该噪声熵，则该连续信源的熵功率为（6W）3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大）4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。
根据信源符号的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均码长，提高编码效率。
8，香农第一编码定理指出平均码长的理论极限值为（信源熵H(S)/logr或H R(S)），此时编码效率为（1）9，在下面空格中选择填入数学符号“=,<,>,≤≥，”H2(X)=H(X1X2)/2 H3(x)=H(X1X2X3)/3H (XY) = H(Y)+H(X/Y) ≤ H(Y)+H(X)10,有一信源X，其概率分布为1234x x x x1/21/41/81/8XP⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，若对该信源进行100次扩展，其每扩展符号的平均信息量是（175bit/扩展符号）11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号）二、判断题（本大题共5小题，每小题1分，共5分）1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（⨯）2）即时码可以在一个码字后面添上一些码元构成另一个码字（⨯）3）连续信源的熵可正可负可零（∨）4）平均互信息始终是非负的（∨）5）信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（∨）三、（10分）计算机终端发出五种符号，出现概率分别为1/16，1/16，1/8,1/4,1/2.通过一条带宽为18KHz的信道传输数据，假设信道输出信噪比为2047，试计算：1）香农信道容量；2）无误码传输的最高符号速率。
(1) 22log 118log 2048198/t S C B kbit s N ⎛⎫=+== ⎪⎝⎭(2)()()max tB C R H x =,()1111115,,,,16168428H x H ⎛⎫==⎪⎝⎭()5198max 1.05610158B kR Baud ==⨯ 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在a1,a2之间。
此信源连至信道，信道接收端接收脉冲的幅度y 处在b1，b2之间。
已知随机变量x 和y 的联合概率密度函数(,)1/(21)(21)p x y a a b b =-- 试计算h （x ），h （y ）h （xy ）和I(x;y)由(,)p x y 得 12211()0,a x a a a p x ⎧≤≤⎪-=⎨⎪⎩其他()22211,0,b x b b b p y ⎧≤≤⎪-=⎨⎪⎩其他 可见，()()()p xy p x p y =，x 和y 相互独立，且均服从均匀分布， 21()log()/h x a a bit =-自由度 21()log()/h y b b bit =-自由度2121()()()log()()h xy h x h y a a b b =+=-- (,)0I x y =五、（10分）设某信道的传递矩阵为0.80.10.10.10.10.8p ⎡⎤=⎢⎥⎣⎦计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信道，（1）两个对称信道矩阵为0.80.10.80.10.10.80.10.8⎡⎤⎡⎤⎢⎥⎢⎥⎣⎦⎣⎦和0.10.1⎡⎤⎢⎥⎣⎦N1=+=,N2=; M1=,M2=∴log2(0.8,0.1,0.1)0.9log0.90.1log0.20.447/C H bit =---=符号 最佳输入概率分布为输入等概率，即 (1)(2)p x p x ==1/2 六、（10分）设随机变量x 和y 的联合概率分布如下所示：已知随机变量z=xy,计算H(X)，H(Z)，H(XY)，H(X/Z)，Ｉ（x ；y ） 1) H(x)=H(1/3,1/3)=符号 2)H(z)=H(2/3,1/3)=符号3）H(xy)=H(1/3,1/3,0,1/3)= bit/每对符号 4)xz P(xz) 00 2/3 01 0 10 0 11 1/3H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=05)I(x,y)=H(x)+H(y)-H(xy) =符号七 （20） 一个离散无记忆信源123456()1/161/161/161/161/41/2x x x x x x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1） 求H(x)和冗余度；（4分）2） 编成Fano 码，计算编码效率；（8分） 3） 编成Huffman 码，计算编码效率。
（8分）1） H(x)=H(1/16,1/16,1/16，1/16,1/4,1/2)=2bit ()122.6log6H x v =-=﹪ 2)126x 5x 141161161161164x 3x 2x 1x 0111111011001101111111103)x6x2x3x4x5x11/161/161/161/161/41/21/161/161/81/41/21/21/41/81/81/21/41/41/21/2010110110101111110011011110 11112442242L =⨯+⨯+⨯⨯=()100H x Lη==％ 八 （10分） 设一个离散无记忆信源的概率空间为12()0.20.8x x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦，它们通过干扰信道，信道矩阵为0.90.10.30.7P ⎡⎤=⎢⎥⎣⎦。
信道输出符号集[]12Y y y =，试计算： （1）信源X 的信息熵；（2分）（2）收到信息y2后，获得关于x1的信息量；（2分） （3） 共熵H(XY)；（2分） （4）信道疑义度H(X|Y);(2分)（5） 收到消息Y 后获得的关于信源X 的平均信息量。
（2分）P(xy) y1 y2 x1 × × x2× ×(1) H(x)=H,=符号（2） I(x1;y2)=I(x1)-I(x1|y2)=log1/,58/=符号 （3） H （xy ）=H,,,=每对符号（4） H(x|y)=H(xy)-H(y)=(y)H(y)=H,=H(x|y)=符号（5）I(X:Y)=H(x)+H(y)-H(xy)=H(x)-H(x|y)=符号九（10分）有一个二元马尔科夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。
试计算（1）达到稳定后状态的极限概率（2）该马尔科夫信源的极限熵H∞。
(1)012 000.50.510.50.50200.50.5s s sspss=P(s0)=(s1)(p(s0)+p(s1)+p(s2))=p(s1) (p(s0)+p(s2))=p(s2)P(s0)+p(s1)+p(s2)=1得 p(s0)=;P(s1)=;P(s2)=;(2)=1/4H,+1/2H,+1/4H, H1/4+1/2+1/4=1bit/符号。