信息论基础理论与应用考试题及答案
信息论试卷含答案资料讲解
《信息论基础》参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小熵为0，最大熵为32log bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。
5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()222x f x σ-=时，信源具有最大熵，其值为值21log 22e πσ。
9、在下面空格中选择填入数学符号“,,,=≥≤〉”或“〈”（1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。
（2）()()1222H X X H X =≥()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)<H(X)。
二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
()1,2640,x f x ⎧≤≤⎪=⎨⎪⎩Q 其它()()()62log f x f x dx ∴=-⎰相对熵h x=2bit/自由度该信源的绝对熵为无穷大。
三、（16分）已知信源1234560.20.20.20.20.10.1S s s s s s s P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分） （5）计算编码效率η。
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑XX 性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念与计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
信息论部分习题及解答
2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1）“3和5同时出现” 这事件的自信息量。
（2）“两个1同时出现” 这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均信息量。
（4）两个点数之和（即2，3，…，12构成的子集）的熵。
（5）两个点数中至少有一个是1的自信息。
解：（1）设X 为‘3和5同时出现’这一事件，则P （X ）=1/18，因此 17.418log)(log)(22==-=x p X I (比特)（2）设‘两个1同时出现’这一事件为X ，则P （X ）=1/36，因此 17.536log)(log)(22==-=x p X I (比特)(3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 337.418log181536log366)(22=+=X H (比特/组合)（4）222222111111()[log 36log 18()log 12()log 936181836181811136111()log ]2()log 6 3.44(/)1818365181818H X =++++++++⨯+++=比特两个点数之和（5）两个点数至少有一个为1的概率为P （X ）= 11/36 71.13611log)(2=-=X I （比特）2-6设有一离散无记忆信源，其概率空间为⎪⎪⎭⎫⎝⎛=====⎪⎪⎭⎫⎝⎛8/134/124/118/304321x x x x PX该信源发出的信息符号序列为（202 120 130 213 001 203 210 110 321 010 021 032 011 223 210），求：（1） 此信息的自信息量是多少？（2） 在此信息中平均每个符号携带的信息量是多少？ 解：（1）由无记忆性，可得序列）（比特/18.87)3(6)2(12)1(13)0(14=+++=I I I I（2）符号）（比特/91.145/==I H 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。
信息论考试题(填空简答)
一.填空题（每空1分，共20分）1.香农信息论的三个基本概念分别为_______________ 、_____________ 、 ____________ 。
2•对离散无记忆信源来说，当信源呈_______________ 分布情况下，信源熵取最大值。
3•写出平均互信息的三种表达公式________________ 、_____________ 、 ____________ 。
4.若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为______________ 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈____________ 分布时，信源具有最大熵值。
5. ________________________________ 信道容量是为了解决通信的_________________________ 问题，而信息率失真函数是为了解决通信的___________ 问题。
6. ______________________________________________________ 费诺编码比较适合于的信源。
7•无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为__________________________ 。
&差错控制的4种基本方式是：_________________ 、_____________ 、 ____________ 、______________ 。
9 . （n,k）线性码能纠t个错误，并能发现I个错误（l>t）,码的最小距离为：10.循环码码矢的i次循环移位等效于将码多项式乘___________________ 后再模______________ 。
二.简答题（每小题5分，共30分）1 •分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。
2•写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率 p的曲线图。
信息论考试答案
第4章作业1. 设输入符号表与输出符号表为X ＝Y ＝{0，1，2，3}，且输入信号的分布为p (X = i ) = 1/4，i ＝0，1，2，3，设失真矩阵为0111101111011110⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦d 求D min 、D max 和R (D min )、R (D max )以及相应的编码器转移概率矩阵，并求出信源的R(D)函数，画出其曲线（取4至5个点）。
解：10110 41011A A n A P n A A n -⎡⎤⎢⎥⎡⎤-⎢⎥⎢⎥⎢⎥⎢⎥=↔==⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎢⎥-⎣⎦d有114i p n ==得：()()111011i ji ij ijA AD p P d n n n A n n n-==-⨯⨯+⨯⨯=--∑∑所以1A D =-，进而：()()1111j i ji iA A q p P n n n n n-==+-⨯=-∑()()()()()()()()()1111 ,,,,,1111 ,,1,,,11 log 1log 11log11log ,1log 1 2,1log 3j ji R D H q H p AA H H A n n n n D D H H D n n n n D Dn D D n n n n H D D D n H D D D ==--⎛⎫⎛⎫=- ⎪ ⎪--⎝⎭⎝⎭⎛⎫⎛⎫=-- ⎪ ⎪--⎝⎭⎝⎭=+--+-⨯--=----=--- ()minmin 0,2D R D bit ==，此时1000010000100001⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P()maxmax 3/4,0D R D ==，此时1000100010001000⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦P2. 设输入符号为X ＝{0，1}，输出符号为Y ＝{0，1}。
输入信号的概率分布为P ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =d (1，0) =α。
信息论试题
信息论试题一、选择题1. 信息论的创始人是（）。
A. 克劳德·香农B. 艾伦·图灵C. 约翰·冯·诺伊曼D. 阿兰·麦席森2. 下列哪个选项是信息论中信息熵的计算公式？（）。
A. H(X) = -ΣP(x)log_2P(x)B. H(X) = ΣP(x)xC. H(X) = 1/ΣP(x)D. H(X) = log_2(1/P(x))3. 在信息论中，互信息用于衡量两个随机变量之间的（）。
A. 独立性B. 相关性C. 非线性D. 周期性4. 以下哪个不是信息论的应用领域？（）。
A. 通信系统B. 密码学C. 机器学习D. 生物遗传学5. 香农极限是指（）。
A. 信息传输的最大速率B. 信息压缩的最小冗余度C. 信道容量的理论上限D. 编码长度的最优解二、填空题1. 信息论中的信息熵是衡量信息的不确定性或________的度量。
2. 互信息表示两个随机变量之间共享的信息量，它是衡量两个变量之间________的指标。
3. 香农在1948年发表的论文《________》奠定了信息论的基础。
4. 在数字通信中，信道容量可以通过公式________来计算。
5. 信息论不仅在通信领域有广泛应用，它还对________、数据分析等产生了深远影响。
三、简答题1. 简述信息论的基本原理及其在现代通信中的作用。
2. 描述香农信息论中的主要概念及其相互之间的关系。
3. 说明信息论如何应用于数据压缩技术，并给出一个实际例子。
4. 讨论信息论对于密码学和信息安全的贡献。
四、论述题1. 论述信息论对于人工智能和机器学习领域的影响及其潜在的应用前景。
2. 分析信息论在生物信息学中的应用，以及如何帮助我们更好地理解生物系统的复杂性。
3. 探讨信息论在社会网络分析中的应用，以及它如何帮助我们理解和预测社会行为模式。
4. 评述信息论在量子通信和量子计算中的潜在作用及其对未来科技发展的意义。
信息论基础第二版习题答案
信息论基础第二版习题答案信息论是一门研究信息传输和处理的学科，它的基础理论是信息论。
信息论的基本概念和原理被广泛应用于通信、数据压缩、密码学等领域。
而《信息论基础》是信息论领域的经典教材之一，它的第二版是对第一版的修订和扩充。
本文将为读者提供《信息论基础第二版》中部分习题的答案，帮助读者更好地理解信息论的基本概念和原理。
第一章：信息论基础1.1 信息的定义和度量习题1：假设有一个事件发生的概率为p，其信息量定义为I(p) = -log(p)。
求当p=0.5时，事件的信息量。
答案：将p=0.5代入公式，得到I(0.5) = -log(0.5) = 1。
习题2：假设有两个互斥事件A和B，其概率分别为p和1-p，求事件A和B 同时发生的信息量。
答案：事件A和B同时发生的概率为p(1-p)，根据信息量定义，其信息量为I(p(1-p)) = -log(p(1-p))。
1.2 信息熵和条件熵习题1：假设有一个二进制信源，产生0和1的概率分别为p和1-p，求该信源的信息熵。
答案：根据信息熵的定义，信源的信息熵为H = -plog(p) - (1-p)log(1-p)。
习题2：假设有两个独立的二进制信源A和B，产生0和1的概率分别为p和1-p，求两个信源同时发生时的联合熵。
答案：由于A和B是独立的，所以联合熵等于两个信源的信息熵之和，即H(A,B) = H(A) + H(B) = -plog(p) - (1-p)log(1-p) - plog(p) - (1-p)log(1-p)。
第二章：信道容量2.1 信道的基本概念习题1：假设有一个二进制对称信道，其错误概率为p，求该信道的信道容量。
答案：对于二进制对称信道，其信道容量为C = 1 - H(p)，其中H(p)为错误概率为p时的信道容量。
习题2：假设有一个高斯信道，信道的信噪比为S/N，求该信道的信道容量。
答案：对于高斯信道，其信道容量为C = 0.5log(1 + S/N)。
信息论典型试题及答案
第五章
5.1将下表所列的信源进行六种不同的二进制编码。
（1）求这些码中哪些是惟一可译码。
（2）哪些码是非延长码
（3）对所有惟一可译码求出其平均码长 。
消息
C1
C2
C3
C4
C5
C6
1/2
000
0
0
0
0
0
1/4
001
01
10
10
10
100
1/16
010
011
110
110
1100
101
27.能够描述无失真信源编码定理
例1：.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵H(X)；
2）假设黑白消息出现前后有关联，其依赖关系为：P(白/白)=0.9，P(黑/白)＝0.1，P(白/黑)＝0.2，P(黑/黑)＝0.8，求其熵H2(X)；
10.互信息的性质是什么？
11.熵的表达式、单位、含义是什么？
12.单符号离散信源最大熵是多少？信源概率如何分布时能达到？
13.熵的性质是什么？
14.联合熵、条件熵和熵的关系。
15.平均互信息的定义是什么？平均互信息的表达式怎么推导？
16.平均互信息的含义？
17.信道疑义度、损失熵和噪声熵的含义？
18.平均互信息的性质？（能够证明，并说明每个性质的含义）
解：
由题意可知该二元信道的转移概率矩阵为：
为一个BSC信道
所以由BSC信道的信道容量计算公式得到：
3.14电视图像编码中，若每帧为500行，每行划分为600个像素，每个像素采用8电平量化，且每秒传送30帧图像。试求所需的信息速率(bit/s)。
信息论测试题及答案
一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布；3. 求极限熵；三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：1. 信道转移概率矩阵P2.信道疑义度3.信道容量以及其输入概率分布 四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.006.03.001.03.06.0P ，求信道容量，最佳输入概率分布。
五、求下列各离散信道的容量（其条件概率P(Y/X)如下：）六、求以下各信道矩阵代表的信道的容量答案一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z ，取Z=YX （一般乘积）。
试计算：1.H （Y ）、H （Z ）；2.H （XY ）、H （YZ ）；3.I （X;Y ）、I （Y;Z ）； 解：1. 2i 11111H Y P y logP y log log 2222i i =⎡⎤=-+⎢⎥⎣⎦∑（）=-（）（）=1bit/符号 Z=YX 而且X 和Y 相互独立∴ 1(1)(1)(1)PP X P Y P X ⋅=+=-⋅=-（Z =1）=P(Y=1)= 1111122222⨯+⨯= 2(1)(1)(1)P P X P Y P X ⋅=-+=-⋅=（Z =-1）=P(Y=1)= 1111122222⨯+⨯=故H(Z)= i2i1(z )log (z )i P P =-∑=1bit/符号2.从上式可以看出:Y 与X 的联合概率分布为:H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布；3. 求极限熵；解：1.状态转移图如右图 2.由公式31()()(|)j iji i p E P E P EE ==∑,可得其三个状态的稳态概率为：1123223313123111()()()()22411()()()2211()()()24()()()1P E P E P E P E P E P E P E P E P E P E P E P E P E ⎧=++⎪⎪⎪=+⎪⎨⎪=+⎪⎪⎪++=⎩1233()72()72()7P E P E P E ⎧=⎪⎪⎪⇒=⎨⎪⎪=⎪⎩3.其极限熵:3i i 13112112111H = -|E =0+0+72272274243228=1+1+ 1.5=bit/7777i P H H H H ∞=⨯⨯⨯⨯⨯⨯∑（E ）（X ）（，，）（，，）（，，）符号三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：2. 信道转移概率矩阵P 2.信道疑义度3.信道容量以及其输入概率分布解：1.该转移概率矩阵为 P=0.90.10.10.9⎡⎤⎢⎥⎣⎦2.根据P （XY ）=P （Y|X ）⋅P （X ），可得联合概率由P （X|Y ）=P(X|Y)/P(Y)可得H(X|Y)=-i jiji j(x y )log x |y =0.09+0.12+0.15+0.035=0.4bit/P P∑，（）符号 3.该信道是对称信道，其容量为：C=logs-H=log2-H （0.9,0.1）=1-0.469=0.531bit/符号这时，输入符号服从等概率分布，即01 11()22XP X⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦四、某信道的转移矩阵⎥⎦⎤⎢⎣⎡=1.06.03.01.03.06.0P，求信道容量，最佳输入概率分布。
信息论典型试题及答案
3.1设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。
(1)试问这个信源是否是平稳的？
(2)试计算H(X2),H(X3/X1X2)及H∞；
(3)试计算H(X4)并写出X4信源中可能有的所有符号。
解：
(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……”
(1)计算接收端的平均不确定性；
(2)计算由于噪声产生的不确定性H(Y/X)；
解：(1)
(2)
(3)两个点数的排列如下：
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合：
其中11，22，33，44，55，66的概率是
其他15个组合的概率是
(4)
参考上面的两个点数的排列，可以得出两个点数求和的概 Nhomakorabea分布如下：
解：
(1)
（2）黑白气象传真图的消息前后有关联时，由其前后的依赖关系可知，黑色白色同时出现的联合概率为：
则信源的联合熵为：
H(X1X2)=1.426bit/symbol
H2(X)=1/2*H(X1X2)=0.713 bit/symbol
（3）上述两种信源的剩余度分别为：
信息论 基础理论与应用课后答案 全
X
a1 a2
P = 0.070.93
问男同志回答“是”所获昨的信息量为：
I 问男同志回答“否”所获得的信息量为：
比特/符号
I 男同志平均每个回答中含有的信息量为
比特/符号
H(X) = −∑P(x)log P(x) = 0.366 比特/符号
同样，女同志红绿色盲的概率空间为
Y
b1
b2
P = 0.0050.995
A′ ={ai ,i =1,2,...,2q}，并且各符号的概率分布满足
Pi′= (1−e)Pi i =1,2,...,q
Pi′= ePi
i = q +1,q + 2,...,2q
试写出信源 S′的信息熵与信源 S 的信息熵的关系。
解：
H(S′) = −∑P(x)log P(x)
∑ ∑ = − (1−e)Pi log(1−e)Pi − ePi logePi ∑ ∑ ∑ ∑ = −(1−e) Pi log(1−e) − (1−e) Pi log Pi −e Pi loge −e Pi log Pi
即函数 f (x) 为减函数，因此有 f (0) ≥ f (e)，即
(p1 −e)log(p1 −e) + (p2 + e)log(p2 + e) ≤ p1 log p1 + p2 log p2
因此 H(X) ≤ H(X ′)成立。
【解释】 当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任 一格的概率空间为：
= XP
48a11 48a12 48a13 a48148 平均自信息量为
信息论考题及答案
一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有1H(X,Y)()()logP()()11()()log()()log ()()11()log()log ()()()()xyxyxy xy P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？ 解答：(1) H(X,Y)=3.375(2) H(X)=2, H(Y)=1.75(3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5(4)H(X|Y)=1.1264(5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？ 解：(1|1)P x y ===(1|1)(1)(1|)()xP y x P x P y x P x ===∑==9.015.01.085.01.085.0⨯+⨯⨯=22.0085.0=0.39一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+=二、（50分）联合总体X ，Y 具有如下联合分布。
XY分别计算(1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少?(3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。
信息论基础1答案
信息论基础1答案《信息论基础》答案一、填空题(本大题共10小空，每小空1分，共20分)1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为3bit/符号3.有一信源X，其概率分布为：X i X2 X3其信源剩余度为94.64%：若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b,最小瞬时电压为a。
若消息从放大器中输出，则该信源的绝对熵是 _：其能在每个自由度熵的最大熵是log (b-a ) bit/自由度：若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog (b-a )bit/s.5. 若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时，差熵的最大值为2log32 e ；与其熵相等的非高斯分布信源的功率为16w6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H _「(S))。
&当R=C或(信道剩余度为0)时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无—真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“，‘ ‘ ” 或“”(1)当X和Y相互独立时，H ( XY)=H(X)+H(X/Y)。
(2 )假设信道输入用X表示，信道输出用Y 表示。
在无噪有损信道中，H(X/Y)> 0,H(Y/X)=0,l(X;Y)<HX)。
二、掷两粒骰子，各面出现的概率都是1/6 , 计算信息量：1. 当点数和为3时，该消息包含的信息量是多少？2. 当点数和为7是，该消息包含的信息量是多少？3. 两个点数中没有一个是1的自信息是多少？解:1.P (“点数和为3” =P( 1,2)+ P( 1,2)=1/36+1/36=1/18则该消息包含的信息量是：l=-logP (“点数和为3”)=log18=4.17bit2. P (“点数和为7” =P( 1,6)+ P(6,1) + P (5,2)+ P (2,5)+ P (3,4)+ P (4,3) =1/366=1/6则该消息包含的信息量是：l=-logP (“点数和为7”)=log6=2.585bit3. P (“两个点数没有一个是1” =1-P “两个点数中至少有一个是1 ”=1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36则该消息包含的信息量是：l=-logP (“两个点数中没有一个是1”) =log25/36=0.53bit三、设X、丫是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
信息论考试卷及答案解析
考试科目名称：信息论一. 单选（每空2分，共20分）1.信道编码的目的是（C ），加密编码的目的是（D ）。
A．保证无失真传输B．压缩信源的冗余度，提高通信有效性C．提高信息传输的可靠性D．提高通信系统的安全性2.下列各量不一定为正值的是（D ）A．信源熵B．自信息量C．信宿熵D．互信息量3.下列各图所示信道是有噪无损信道的是（B ）A．B．C．D．4.下表中符合等长编码的是（ A ）5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ）A．H（XY）＝H（X）＋H（Y／X）B．H（XY）＝H（X）＋H（X／Y）C．H（XY）＝H（Y）＋H（X）D．若X和Y相互独立，H（Y）=H（YX）6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个n位的二进制数的自信息量为（C ）A．n2B．1 bitC．n bitnD．27.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H=1.5比特/符号。
问若用一般传送方式，冗余度为（ B ）∞A．0.32B．0.68C ．0.63D ．0.378. 某对称离散信道的信道矩阵为 ，信道容量为（ B ）A ．)61,61,31,31(24log H C -= B ．)61,61,31,31(4log H C -= C ．)61,61,31,31(2log H C -= D ．)61,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ）A ．香农编码和哈夫曼编码B ．费诺编码和哈夫曼编码C ．费诺编码和香农编码D ．算术编码和游程编码二. 综合（共80分）1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。
信息论习题集+答案(完版整)
信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）7、信源冗余度 （66）8、连续信源 （68）9、信道容量 （95）10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138） 16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181） 19、游程变换 （181） 20、L-D 编码（184）、 21、冗余变换 （184） 22、BSC 信道 （189） 23、码的最小距离 （193）24、线性分组码 （195） 25、循环码 （213） 二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用 三个方面的因素。
2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
3、 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息 。
4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。
5、 人们研究信息论的目的是为了高效、可靠、安全 地交换和利用各种各样的信息。
6、 信息的可度量性 是建立信息论的基础。
7、 统计度量 是信息度量最常用的方法。
8、 熵是香农信息论最基本最重要的概念。
9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。
10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值。
12、自信息量的单位一般有 比特、奈特和哈特 。
13、必然事件的自信息是 0 。
14、不可能事件的自信息量是 ∞ 。
信息论基础试题
信息论基础试题一、选择题1.下列哪个选项可以正确解释信息论的基本思想？•[ ] A. 信息交流的过程中，信息可以通过信道传递。
•[ ] B. 信息的传递不受噪声的影响。
•[ ] C. 信息的度量可以基于信息内容和概率分布。
•[ ] D. 信息的传输速率与信道带宽成反比例关系。
2.假设信源A生成的符号集X有5个元素，概率分布为P(X)=[0.1, 0.2, 0.4, 0.15, 0.15]。
则信源A的熵为多少？•[ ] A. 1.52•[ ] B. 1.75•[ ] C. 1.97•[ ] D. 2.323.在信息论中，互信息表示什么意思？•[ ] A. 两个随机变量的相关程度。
•[ ] B. 从一个随机变量中获得的信息量。
•[ ] C. 两个随机变量之间的信息交流量。
•[ ] D. 两个随机变量之间的互相依赖程度。
二、填空题1.在信息论中，熵是用来衡量信源的______。
2.信源的熵可以通过概率分布计算，公式为______。
3.信道容量是指在给定的信道条件下，单位时间内可以传输的最大______。
三、简答题1.请简要解释信息熵的概念，并与不确定性联系起来。
答：信息熵是信息论中对信源不确定性的度量。
它衡量了一组符号的平均不确定性，也可以理解为平均信息量。
熵越大，表示源符号的不确定性越大，每个符号所携带的信息量就越多；熵越小，表示源符号的不确定性越小，每个符号所携带的信息量就越少。
通过熵的计算，我们可以衡量一个信源的不确定性，并基于不同的概率分布对不同信源进行比较。
不确定性是指在一个具体的情境中，我们对于某个事件的发生没有确切的判断。
信息熵与不确定性有密切的联系，熵值越高，表示我们对于事件发生的不确定性也越高。
2.什么是信道容量？在实际通信中，如何提高信道的传输容量？答：信道容量是指在给定的信道条件下，单位时间内可以传输的最大信息量。
信道容量受到信道的带宽和信道的噪声水平的影响。
要提高信道的传输容量，可以采取以下几个方法：–扩展信道带宽：增加信道的频率范围，可以提高信道的传输速率和容量。
信息基础论复习题答案
信息基础论复习题答案一、选择题1. 信息基础论认为，信息是：A. 物质的属性B. 能量的表现形式C. 物质、能量和信息的统一体D. 独立于物质和能量之外的存在答案：C2. 信息的传递需要：A. 物质载体B. 能量C. 时间D. 所有以上选项答案：D3. 信息的基础论中，信息的三个基本特性是：A. 可存储性、可传输性、可处理性B. 可复制性、可共享性、可转换性C. 可识别性、可操作性、可扩展性D. 可测量性、可预测性、可控制性答案：A二、填空题1. 信息基础论认为信息具有_______性，即信息可以在不同的物质载体之间传递。
答案：可传递2. 信息的_______是信息能够被接收者理解和利用的基础。
答案：可理解性3. 在信息基础论中，信息的_______指的是信息在传递过程中保持其内容和结构的完整性。
答案：保真性三、简答题1. 简述信息基础论中信息的定义及其重要性。
答案：信息基础论中，信息被定义为物质、能量和信息的统一体，它不仅包含数据和信号，还包括意义和知识。
信息的重要性体现在它是现代社会沟通、决策和创新的基础，对于提高效率、促进发展具有关键作用。
2. 描述信息基础论中信息的三个基本特性，并解释它们在实际应用中的作用。
答案：信息的三个基本特性包括可存储性、可传输性和可处理性。
可存储性允许信息被保存，为后续使用提供便利；可传输性使得信息能够在不同地点和时间被共享；可处理性则允许信息被分析、整理和转换，以适应不同的应用需求。
四、论述题1. 论述信息基础论对现代信息技术发展的影响。
答案：信息基础论为现代信息技术的发展提供了理论基础。
它强调了信息的可存储性、可传输性和可处理性，这直接推动了存储技术、通信技术和计算机技术的进步。
此外，信息基础论还促进了信息安全、数据挖掘和人工智能等领域的发展，为信息的高效利用和智能处理提供了理论支持。
五、案例分析题1. 请结合一个具体的信息技术应用案例，分析信息基础论在该案例中的应用及其效果。
信息论考试卷与答案..
考试科目名称：信息论一. 单选（每空2分，共20分）1.一个m位的二进制数的自信息量为（A ）A．m bitB．1 bitC．m2mD．22.信源编码的目的是（A ）A．提高通信有效性B．提高信息传输的可靠性C．提高通信系统的安全性D．压缩信源的冗余度3.下面属于最佳变长编码的是（C ）A．算术编码和游程编码B．香农编码和游程编码C．哈夫曼编码和费诺编码D．预测编码和香农编码4.表中符合即时码的是（A ）和（D ）5.下列各量可能为负值的是（B ）A．自信息量B．互信息量C．信息熵D．平均互信息量6.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系错误的是（D ）A．H（XY）＝H（X）＋H（Y／X）B．若X和Y相互独立，H（Y）=H（Y／X）C．H（XY）＝H（Y）＋H（X／Y）D．H（XY）＝H（X）＋H（X／Y）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32=1.4比特/符号。
问若用一般传送比特/符号；以此类推，极限熵H∞方式，冗余度γ为（ B ）A．0.58B．0.71C．0.65D．0.298. 某信道传递矩阵为，其信道容量为（ D ）A ．)41log 4143log 43()81,81,41,21(4log ++-=H C B ．)41log 4343log 41()81,81,41,21(2log +--=H C C ．)41log 4143log 43()81,81,41,21(4log +--=H CD ．)41log 4143log 43()81,81,41,21(2log +--=H C9. 下列各图所示信道是对称信道的是（ C ）A ．B ．C ．⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=8181214181814121PD．二. 综合（共80分）1.（10分）试画出通信系统的模型，并叙述各部分的定义和作用。
《信息论》试题（精华）及答案（精华版）
期终练习,10％就是胖子 ,80％不胖不瘦 ,10％就是瘦子；已知胖子得高血压的概率 一，某地区的人群中 就是 15％ ,不胖不瘦者得高血压的概率就是 10％,瘦子得高血压的概率就是 5％ ,就“该地区的 某一位高血压者就是胖子”这句话包含了多少信息量；解: 设大事 A: 某人就是胖子 ; B: 某人就是不胖不瘦 C:某人就是瘦子D: 某人就是高血压者依据题意 ,可知 :P(A)=0 ， 1 P(B)=0 ， 8 P(C)=0 ，1P(D|A)=0 ， 15 P(D|B)=0 ， 1 P(D|C)=0 ， 05而“该地区的某一位高血压者就是胖子” 这一消息说明在 D 大事发生的条件下 ,A 大事 的发生 ,故其概率为 依据贝叶斯定律 P(A|D),可得 :P(D) ＝ P(A)* P(D|A) ＋ P(B)* P(D|B) ＋P(C)* P(D|C) ＝ 0， 1P(A|D) ＝ P(AD)/P(D) ＝ P(D|A)*P(A)/ P(D) ＝ 0， 15*0 ， 1/0， 1＝ 0，15故得知“该地区的某一位高血压者就是胖子”这一消息获得的多少信息量为 I(A|D) = - logP(A|D)=log(0 ，15) ≈ 2， 73 (bit): 二，设有一个马尔可夫信源 ,它的状态集为 {S 1,S 2,S 3}, 符号集为 {a 1,a 2,a 3 }, 以及在某状态下发出 p (a k | s i ) (i,k=1,2,3), 如下列图符号集的概率就是 (1) 求图中马尔可夫信源的状态极限概率并找出符号的极限概率(2) 运算信源处在某一状态下输出符号的条件熵 H(X|S=j) (j=s 1,s 2,s 3)(3) 求出马尔可夫信源熵 H解 :(1) 该信源达到平稳后 , 有以下关系成立 :Q( E 1 ) Q(E 3 ) 273727Q(E 1 )3 4 1 4 1 2 1 2 Q( E 2 ) Q(E 1 ) Q( E 2 )Q(E )可得 2 Q( E 3 ) Q(E 1 ) Q( E 2 )Q(E ) 3Q( E 1 ) Q(E 2 ) Q(E 3 ) 133 72 73 7 p(a 1)Q(E i ) p( a 1 |E i ) i 13 p(a 2 )Q(E i ) p(a 2 |E i ) i 1 3p(a ) Q(E ) p(a |E ) 3 i 3 i i 13 p(a k |S 1 ) log p(a k | S 1) 1.（5 bit/ 符号）H ( X | S 1 ) k 13（1 bit/ 符号）(2) H ( X | S 2 ) p(a k |S 2 ) log p(a k | S 2 ) k 13p(a k |S 3 ) log p(a k | S 3 ) 0（bit/ 符号）H ( X | S 3 ) k 13(3) H Q(E i ) H (X | E i ) 2 / 7*3/ 2 3/ 7*1 2 / 7*0 6 / 7 (比特 /符号 )i 1三，二元对称信道的传递矩阵为 (1) 如 P(0)=3/4,P(1)=1/4, 求 H(X),H(X|Y) 与 I(X;Y)(2) 求该信道的信道容量及其最大信道容量对应的正确输入分布2解: ⑴ H ( X ) = p(x i )log p( x i ) 75 25 0， 811(比特 /符号 )= i 1p( y 1 ) p( x 1 ) p( y 1 | x 1 ) p( x 2 ) p( y 1 | x 2 ) =0，75*0 ，6+0 ， 25*0 ， 4=0 ， 55 p( y 2 ) p( x 1 ) p( y 2 | x 1 ) p( x 2 ) p( y 2 | x 2 ) 0， 75*0 ， 4+0 ， 25*0 ， 6=0， 45 H (Y) 0， 992(比特 /符号 )H (Y | X ) p( x)H (Y | x 1) p(x 2 ) H (Y | x 2 ) H (0.6,0.4) H (0.4,0.6) 0.4)7（1 比特 / 符号）H ( X | Y ) H ( XY ) H (Y) H ( X ) H (Y | X ) H (Y)0， 811+0， 971-0 ， 992=0， 79 (比特 /符号 )I(X;Y)=H(X)-H(X|Y) =0， 811-0， 79=0， 021(比特 /符号 )(2) 此信道为二元对称信道 ,所以信道容量为C=1-H(p)=1-H(0 ， 6)=1-0 ， 971=0， 029( 比特 /符号 )当输入等概分布时达到信道容量p p 22pp2244,其中p 1 p ；四，求信道的信道容量0 44 0p p 22pp22解: 这就是一个准对称信道,可把信道矩阵分为: ,N1 M 1 1 4 , N 2 4 , M 422C log r H ( p 2, p 2 ,0,4 ) Nk log Mkk 1log 2 H ( p 2 , p 2 ,0,4 )(1 4 )log(1 44)4log 4(比特/ 符号）故1H ( p 2 , p 2 ,4 ) (1 4 )log(1 4 ) log 4 当输入等概分布时达到信道容量；1XP( x) x1x2x3x4x5x6五，信源(1) 利用霍夫曼码编成二元变长的惟一可译码,并求其L,并求其L(2) 利用费诺码编成二元变长的惟一可译码(3) 利用香农码编成二元变长的惟一可译码(1) 香农编码:,并求其信源符号x 1x 2x 3x 4x 5x 6概率P(x i)0，40，20，20，10，050，05码长233455累积概率0，40，60，80，90，95码字0001110011001110011110l i PL =0 ，4×2＋0，2×3＋0，2×3＋0，1×4＋0，05×5＋0，05×5＝2，9(码元/信源符号)η＝H(X)/( L logr)=2 ，222/2，9=0 ，7662(2) 霍夫曼编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)=0 ，9964(3)费诺编码:L =0 ，4×2+0，2×2×2+0 ，1×3+0，05×4×2=2，3(码元/信源符号)η＝H(X)/( L logr)= 0 ，99641 21312161613121613六，设有一离散信道,传递矩阵为设P(x1 )= P(x 2)=1/4,P(x 3)=1/2,试分别按最小错误概率准就与最大似然译码准就确定译码规章并相应的运算机平均错误概率的大小；解:(1) 按最大似然译码准就,F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/4 ×2×(1/3+1/6)=1/2(2) 联合概率矩阵为,就按最小错误概率准1 8 1 24 1 61121811212411214F(y1)=x3 F(y2)=x2 F(y3)=x3 P(E)= 1/8+1/24+2/12 +1/24+1/12=11/240,131,13213UP(u)八，一个三元对称信源0 1 1 1 0 1 11接收符号为 V ＝ {0,1,2}, 其失真矩阵为 (1)求 D max 与 D min 及信源的 R(D) 函数；(2)求出达到 R(D ) 的正向试验信道的传递概率1 r2 3解 :(1) D max ＝ min P （ u ) d(u ,v) 1 V U 3D min ＝ P （ u ) min d (u , v) 0 j i 1由于就是三元对称信源 ,又就是等概分布 ,所以依据 r 元离散对称信源可得 R(D) ＝log3 － Dlog2 －H(D) ＝ log3 － D － H(D) 0<=D<=2/3＝ 0 D>2/3(2)满意 R(D) 函数的信道其反向传递概率为1 D (i j )P(u i | v j ) D2 (i j )13以及有 P(v j )= 依据依据贝叶斯定律 ,可得该信道的正向传递概率为 :1 D2 D (i j )P( v j | u i ) (i j )九，设二元码为 C=[11100,01001,10010,00111](1) 求此码的最小距离 d min ;(2) 采纳最小距离译码准就 ,试问接收序列 10000,01100 与 00100 应译成什么码字？(3) 此码能订正几位码元的错误？解:(1) 码距如左图11100 01001 10010 001111110001001 10010 00111 33 4 43 3故 d min ＝ 3(2) 码距如右图故 10000 译为 译为 11100,00100 译为 11100 或 0011110010,01100 d min 2 e 1,知此码能订正一位码元的错误；(3) 依据。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念及计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
（考点：连续信道和波形信道的信道容量）二﹑判断题（每题2分，共10分）1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。
（对）（考点：信源剩余度的基本概念）2.信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道都是无记忆信道。
（错）（考点：有色噪声信道的概念）3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。
（对）（考点：非奇异码的基本概念）4.在一个二元信道的n次无记忆扩展信道中，输入端有n2个符号序列可以作为消息。
（对）5.卷积码的纠错能力随着约束长度的增加而增大，一般情况下卷积码的纠错能力劣于分组码。
（错）（考点：卷积码的纠错能力）三﹑名词解释（每题3分，共12分）1.信源编码信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率，所以又称为信源压缩编码。
（考点：信源编码的基本概念）2.马尔可夫信源信源某t 时刻所处的状态由当前的输出符号和前一时刻（t-1）信源的状态唯一决定，则称此信源为马尔可夫信源。
（考点：马尔可夫信源的基本概念）3. 熵功率若平均功率为P 的非高斯分布的信源具有熵为h ，称熵也为h 的高斯信源的平均功率为熵功率P ，即熵功率是212h P e e=∏。
（考点：熵功率的定义）4. 即时码在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，则这类码称为即时码。
（考点：即时码的定义） 四﹑简答题（每题4分，共16分）1．信息熵的基本性质有哪些？答：信息熵的基本性质包括对称性﹑确定性﹑非负性﹑扩展性﹑可加性﹑可强加性﹑递增性﹑极值性﹑上凸性。
（考点：信息熵的基本性质）2．由香农公式可以得出的重要结论有哪些？答：（1）提高信号与噪声功率之比能增加信道的信道容量；（2）当噪声功率趋近于零时，信道容量趋于无穷大，这意味着无干扰连续信道的信道容量为无穷大；（3）信道容量一定时，带宽﹑传输时间和信噪功率比三者之间可以互换；（4）增加信道带宽（也就是信号的带宽），并不能无限制地使信道容量增大；（5）给出了无错误通信的传输速率的理论极限，成为香农极限。
（考点：对香农公式的深入理解所得出的重要结论）3．（n,k ）线性分组码的重要性质有哪些？答：（1）（n,k ）线性分组码由其生成矩阵G 或校验矩阵H 确定；（2）封闭性；（3）含有零码字；（4）所有许用码字可由其中一组k 个独立码字线性组合而成；（5）码的最小距离等于非零码的最小重量。
（考点：（n,k ）线性分组码的重要性质）4．通信网络信道可划分成哪几种情况？答：（1）多址接入信道；（2）广播信道；（3）中继信道；（4）串扰信道；（5）双向信道；（6）多用户通信网；（7）具有反馈的信道。
（考点：通信网络信道的划分）五﹑计算题（每题8分，共32分）1．有一布袋内放100个球，其中90个球是红色的，10个球是蓝色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。
(考点：自信息量的基本概念及计算方法)解：这一随机事件的概率空间为12()0.90.1X a a p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦1a ——表示摸出的是红球2a ——表示摸出的是蓝球若被告知摸出的是红球，那么获得的信息量为I(1a )=-logp(1a )=-log0.9比特若被告知摸出的是蓝球，那么获得的信息量为I(2a )=-logp(2a )=-log0.1比特若每次摸出一个球后又放回去，再进行第二次摸取。
那么摸取n 次后，红球出现的次数为n p(1a )次，蓝球出现的次数约为n p(2a )次。
则摸取n 次后总共所获得的信息量为n p(1a )I(1a )+n p(2a )I(2a )所以，平均摸取一次所能获得的信息量约为[]112221()()log ()()log ()()log ()0.9log 0.90.1log 0.10.469/i i i H X p a p a p a p a p a p a ==-+=-=--=∑比特符号2．设二进制对称信道的传递矩阵为21331233⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦若p(0)=3/4，p(1)=1/4，求H(X )﹑H(X|Y) ﹑H(Y|X) 和H(X;Y)。
（考点：信息熵和条件熵的计算）解：联合概率矩阵为2111(0)03324110(1)1212633XY p P p ⎡⎤⎡⎤⎢⎥⎢⎥⎡⎤==⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦ 边缘概率分布为[](0)(1)111175212461212X Y P p p P =⎡⎤⎡⎤=++=⎢⎥⎢⎥⎣⎦⎣⎦H(X)=22(0)log (0)(1)log (1)0.811p p p p bit --= 又信道传递矩阵|21331233Y XP ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦ 故2211(|)()log (|)i j j i i j H Y X p x y p y x ===-∑∑222212111112log log log log 2343123630.918bit=----=227755()log log 0.9812121212H Y bit =--= (|)(,)()()(|)()0.8110.9180.980.749H X Y H X Y H Y H X H Y X H Y bit=-=+-=+-=(;)()(|)0.8110.7490.06I X Y H X H Y X bit =-=-= 3．有一个二元对称信道，其信道矩阵如下图所示，设该信道以1500个二元符号/秒的速度传输输入符号。
现有一消息序列共有14000个二元符号，并设在这消息中1(0)(1)2P P ==。
问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。
0 0.98 00.020.020.98 11（考点：对二元对称信道的最大的信息传输速率，最大信息传输速率和最大信息量的深入理解及运用）解：消息是一个二元序列，这二元符号是等概率分布，即1(0)(1)2P P ==，所以消息信源的熵()1H X =（比特/符号），即每个二元符号含有1比特信息量。
那么这消息序列含有信息量=14000符号×1（比特/符号）=41.410⨯（比特）现计算这二元对称信道能传输的最大的信息传输速率。
这信道是二元对称信道，信道传递矩阵0.980.020.020.98P ⎡⎤=⎢⎥⎣⎦所以其信道容量（即最大信息传输率）1()1(0.98)0.8586C H p H =-=-≈比特/符号得最大信息传输速率1500t R ≈符号/秒*0.8586比特/符号1287.9≈比特/ 秒31.28810≈⨯比特/秒此信道10秒钟内能无失真传输的最大信息量为=410 1.28810t R ⨯≈⨯比特可见，此信道10秒内能无失真传输的最大信息量小于这消息序列所含有的信息量，所以从信道传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。
4. 若线性分组码生成矩阵为11010000110100=00110100001101G ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦(1) 由该G 矩阵指出（n,k ）码的信息位和监督元位数。
(2) 由G 矩阵确定对应的（n,k ）循环码生成多项式。
(3) 给出对应的H 矩阵（系统码形式）。
(4) 该（n,k ）码的最小汉明距离0d 为多少？（考点：对线性分组码的深入理解及应用）解：由[][]10(),,,()()k T k r x g x G I Q Q P H PI d r xg x g x -⎡⎤⎢⎥⎢⎥=====⎢⎥⎢⎥⎣⎦解题 （1） 信息位k=4,监督元位r =3,n =7。
（2） 由G 矩阵得（7，4）循环码生成多项式32g()=1x x x ++（3） [][]1101000100011001101000100011===0011010001011100011010001101101110011100100111001k T r r G I Q H PI Q I ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎢⎥⎡⎤===⎣⎦⎢⎥⎢⎥⎣⎦（4） 最小汉明距离0d = r =3五﹑证明题（10分）1.设信道输入随机变量为X ，输出随机变量为1Y 和2Y 。
并且在已知X 的条件下，1Y 和2Y 为等概率密度分布。
证明：(1) 12112(;)2(;)(;)I X YY I X Y I Y Y =-(2) 信道I 的信道容量小于2倍的信道的信道容量。
（考点：对信道容量的深入理解及应用） 证明：（1）已知12(;)I X Y Y =121(;)(;|)I X Y I X Y Y + = 12()h Y Y -12(|)h YY X=1122121()()()()()(|)h Y h Y h Y h Y h YY h Y X -+-+-21212(|)(|)(|)(|)h Y X h Y X h Y X h YY X -++-=11221212()(|)()(|)[()()()]h Y h Y X h Y h Y X h Y h Y h YY -+--+-+ 11212()[(|)(|)(|)]h Y h Y X h Y X h YY X ++-=121212(;)(;)(;)(;|)I X Y I X Y I Y Y I Y Y X +-+ 因为在已知X 的条件下1Y 和2Y 统计独立， 所以 12121(|)(|)(|)h YY X h Y X h Y XY =+ =12(|)(|)h Y X h Y X + 得 12(;|)I Y Y X =0又因为在已知X 的条件下，1Y 和2Y 是等概率密度分布， 则有 12(;)(;)I X Y I X Y =得 12112(;|)2(;)(;)I Y Y X I X Y I Y Y =-（2）信道I 的输入为X ，输出为1Y 2Y ,其信道容量为12112()()max (;)max[2(;)(;)]I P x P x C I X YY I X Y I Y Y ==-因为本题中1Y 和2Y 不统计独立所以12(;)I Y Y >0 则得 121()()max (;)max 2(;)2I P x P x C I X YY I X Y C =<= 所以 2I C C <其中 1()max (;)P x C I X Y =，是信道的信道容量，由此可得，信道I 的信道容量小于2倍的信道的信道容量。