信息论复习题

信息论复习题
1、求基本高斯信源的差熵。

（10分）
2、一个随机变量x 的概率密度函数为kx x p =)(，V x 20≤≤。

试求该信源的相对熵。

3、黑白气象传真图的消息只有黑色和白色两种，即信源{
}黑，白=X ，设黑色的出现概率为3.0(=黑）
P ，白色的出现概率为7.0(=白）P 。

（1）假设图上黑白消息出现前后没有关联，求熵)(X H 。

（2）假设消息前后有关联，其依赖关系为9.0/(=白）
白P ，1.0/(=白）黑P ，2.0/(=黑）白P ，8.0/(=黑）黑P ，求此平稳离散信源的熵)(2X H 。

（3）分别求上述两种信源的剩余度，比较)(X H 和)(2X H 的大小。

4、给出求一般离散信道的信道容量的计算步骤并用拉格朗日乘子法加以证明。

5、给出离散无记忆信源的信息率失真函数的参量表述并用拉格朗日乘子法加以证明。

6、若信道的输入和输出分别是N 长序列X 和Y ，且信道是无记忆的，则∑=≤N
k k k Y X I Y X I 1),();(，这里k X 和k Y 分别是序列X 和Y 中第k 位随机变量；并且证明当
且仅当信源也是无记忆信源时等号成立。

7、有一并联高斯加性信道，各子信道的噪声均值为0，方差为2
i σ：21σ=0.1，22σ=0.2，23σ=0.3，24σ=0.4，25σ=0.5，26σ=0.6，27σ=0.7，28σ=0.8，29σ=0.9，
210σ=1.0（W ）。

输入信号X 是10个相互统计独立、均值为0、方差为i P 的高斯变量，且满足：)(110
1W P i i
=∑=。

求各子信道的信号功率分配方案。

8、给定语音信号样值x
的概率密度函数为x e x p λλ-=2
1)(，∞<<∞-x ，求)(X H c ，并比较)(X H c 与具有同样方差的正态变量的连续熵的大小。

9、某二元信源=5.05.010)(x p X ，其失真矩阵定义为??
=00a a D ，求该信源的max D ，min D 和该信源的信息率失真函数)(D R 。

10、设连续信源X ，其概率密度函数为x a e a x p -=
2
)(，失真度为y x y x d -=),(，试求此信源的)(D R 函数。

11、一个二进制非等概信源，符号集}1,0{=A ，p p p ==1)0(，p p p -==1)1(2，试验信道输出符号集}1,0{=B ，失真函数为汉明失真。

求该信源的信息率失真函数)(D R 。

12、设一个四元等概信源??
=25.025.025.025.03210)(x p X ，接收符号集为}3,2,1,0{=Y A ，失真矩阵定义为
=0111
101111011110D ，求max D ，min D 及信源的)(D R 函数，并作出率失真函数曲线（取4到5个点）。

13、信源符号X 有6种字母，概率为0.3，0.24，0.20，0.14，
0.08，0.04。

(1) 求符号熵)(X H 。

(2)
用香农编码法编成二进制变长码，计算其编码效率。

(3)
用费诺编码法编成二进制变长码，计算其编码效率。

(4)
用霍夫曼编码法编成二进制变长码，计算其编码效率。

(5) 用霍夫曼编码法编成三进制变长码，计算其编码效率。

14、信源符号X 有6种字母，概率为0.3，0.22，0.18，0.16，
0.08，0.06。

a) 求符号熵)(X H 。

b) 用香农编码法编成二进制变长码，计算其编码效率。

c) 用费诺编码法编成二进制变长码，计算其编码效率。

d) 用霍夫曼编码法编成二进制变长码，计算其编码效率。

e) 用霍夫曼编码法编成三进制变长码，计算其编码效率。

15、有一个n 元等概率、平稳无记忆信源}1,,1,0{-=n X Λ，接收符号集为}1,,1,0{-=n Y Λ，且规定失真矩阵为
=011
101110][ΛM M M M ΛΛd 求率失真函数)(D R 。

16、设高斯信源X 的概率密度函数为 ()??
--=222exp 21)(σσπm x x p 且失真函数定义为差方失真，()22),(z y x y x d =-=。

求该信源的率失真函数的香农下限。

17、设有多维无记忆加性连续信道，输入信号序列为：()L x x x x ,,,21Λρ
=，输出信号序列为：()L y y y y ,,,21Λρ=，其噪声为高斯噪声，噪声序列()L n n n n ,,,21Λρ=中的各分量是均值为0，方差为2i σ的高斯噪声，分两种情况计算其信道容量：
（1）在各单元时刻（L i ,,2,1Λ=）上的噪声都是均值为0、方差为2σ的高斯噪声；
（2）在各单元时刻（L i ,,2,1Λ=）上的噪声都是均值为0、方差为2i σ的高斯噪声，但
输入信号的总平均功率受限，其约束条件为：
[]
P P x E x E L i i L i i L i i ===∑∑∑===11212
18、设二进制对称信道的转移概率矩阵为
=3/23/13/13/2P （1）若4/3)(0=x p ，4/1)(1=x p ，求)(X H ，)/(Y X H ，)/(X Y H 和);(Y X I ；
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。

19、某信源发送端有两个符号：2,1,=i x i ，a x p =)(1，每秒发
出一个符号。

接收端有三种符号：3,2,1,=j y j ，转移概率矩阵
=4/14/12/102/12/1P （1）计算接收端的平均不确定性；
（2）计算由于噪声产生的不确定性)/(X Y H ；
（3）计算信道容量。

20、在干扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。

已知2/1)1()0(==p p ，信道每秒内允许传输1000个符号。

求此信道的容量。

21、发送端有三种等概率符号),,(321x x x ，3/1)(=i x p ，接收端收到三种符号),,(321y y y ，信道转移概率矩阵为
=09.01.03.03.04.02.03.05.0P （1）计算接收端收到一个符号后得到的信息量)(Y H ；
（2）计算噪声熵)/(X Y H ；
（3）计算接收端收到一个符号2y 的错误概率；
（4）计算从接收端看的平均错误概率；
（5）计算从发送端看的平均错误概率；
（6）从转移矩阵中能看出该信道的好坏吗？
（7）计算发送端的)(X H 和)/(Y X H 。

22、设无记忆信源??
-=3/1,3/1,3/11,0,1)(x p X ，接收符号集-=21,21Y ，失真矩阵
=121121D ，试求：max D 和min D 及达到max D 、min D 时的转移概率矩阵。

23、已知二元信源-=p p x p X 1,1,0)(以及失真矩阵[]
=0110ij d ，试求：（1）min D ；（2）max D ；（3）)(D R 。

24、某信源有8个符号{}8321,,,,a a a a Λ，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，试编成这样的码：000，001，010，011，100，101，110，111的码。

求
（1）信源的符号熵)(X H 。

（2）出现一个1或一个0的概率。

（3）这种码的编码效率。

（4）相应的香农码及其编码效率。

（5）相应的费诺码及其编码效率。

25、已知符号集合{}Λ,,,321x x x 为无限离散消息集合，它们出现的概率分别为2/1)(1=x p ，4/1)(2=x p ，8/1)(3=x p ，i i x p 2/1)(=等。

（1）用香农编码方法写出各个符号消息的码字。

（2）计算码字的平均信息传输速率；
（3）计算信源编码效率。

26、已知一信源包含8个消息符号，其出现的概率为{}04.0,07.0,1.0,06.0,05.0,4.0,18.0,1.0)(=X P 。

（1）若该信源在每秒内发出一个符号，求该信源的熵和信息传输速率。

（2）对这8个符号作霍夫曼编码，写出相应码字，并求出编码效率。

（3）采用香农编码，写出相应码字，求出编码效率。

（4）采用费诺编码，写出相应码字，求出编码效率。