信息论试题6

《信息论基础》试卷第1页
《信息论基础》试卷答案
一、填空题（共15分，每空1分）
1，当（R=C 或信道剩余度为0）时，信源与信道达到匹配。

2，若高斯白噪声的平均功率为6W ，则噪声熵为（1/2log12πe=3。

337bit/自由度） 如果一个平均功率为9W 的连续信源的熵等于该噪声熵，则该连续信源的熵功率为（6W ）
3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大） 4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。

根据信源符号的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均码长，提高编码效率。

8，香农第一编码定理指出平均码长的理论极限值为（信源熵H(S)/logr 或H R (S)）， 此时编码效率为（1）
9，在下面空格中选择填入数学符号“=,<,>,≤≥，” 9.1 H 2(X)=H(X 1X 2)/2 ≥ H 3(x)=H(X 1X 2X 3)/3 9.2 H (XY) = H(Y)+H(X/Y) ≤ H(Y)+H(X)
10,有一信源X ，其概率分布为1234x x x x 1/21/41/81/8X P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
，
若对该信源进行100次扩展， 其每扩展符号的平均信息量是（175bit/扩展符号）
11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号） 二、判断题（本大题共5小题，每小题1分，共5分）
1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（⨯） 2）即时码可以在一个码字后面添上一些码元构成另一个码字（⨯） 3）连续信源的熵可正可负可零（∨） 4）平均互信息始终是非负的（∨）
5）信道容量C 只与信道的统计特性有关，而与输入信源概率分布无关（∨） 三、（10分）计算机终端发出 A.B.C.D.E 五种符号，出现概率分别为1/16，1/16，1/8,1/4,1/2.通过一条带宽为18KHz 的信道传输数据，假设信道输出信噪比为2047，试计算：
1）香农信道容量；
2）无误码传输的最高符号速率。

(1) 22log 118log 2048198/t S C B kbit s N ⎛
⎫=+== ⎪⎝
⎭
《信息论基础》试卷第2页
(2)()()
max t
B C R H x =,
()1111115,,,,16168428
H x H ⎛⎫==
⎪⎝⎭
()5198max 1.05610158
B k
R Baud =
=⨯ 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x 处在a1,a2之间。

此信源连至信道，信道接收端接收脉冲的幅度y 处在b1，b2之间。

已知随机变量x 和y 的联合概率密度函数(,)1/(21)(21)p x y a a b b =-- 试计算h （x ），h （y ）h （xy ）和I(x;y)
由(,)p x y 得 12211
()0,a x a a a p x ⎧≤≤⎪
-=⎨⎪⎩
其他
()22211
,0,b x b b b p y ⎧≤≤⎪-=⎨⎪⎩
其他 可见，()()()p xy p x p y =，x 和y 相互独立，且均服从均匀分布， 21()log()/h x a a bit =-自由度 21()log()/h y b b bit =-自由度
2121()()()log()()h xy h x h y a a b b =+=-- (,)0I x y =
五、（10分）设某信道的传递矩阵为
0.80.10.10.10.10.8p ⎡⎤
=⎢⎥⎣⎦
计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信道，
（1）两个对称信道矩阵为
0.80.10.80.10.10.80.10.8⎡⎤⎡⎤⎢⎥⎢⎥⎣⎦⎣⎦和0.10.1⎡⎤⎢⎥⎣⎦
N1=0.8+0.1=0.9,N2=0.1; M1=0.9,M2=0.2
∴log 2(0.8,0.1,0.1)0.9log0.90.1log0.20.447/C H bit =---=符号
《信息论基础》试卷第3页
最佳输入概率分布为输入等概率，即 (1)(2)p x p x ==1/2 六、（10分）设随机变量x 和y
已知随机变量z=xy,计算H(X)，H(Z)，H(XY)，H(X/Z)，Ｉ（x
；y ） 1) H(x)=H(1/3,1/3)=0.9183bit/符号 2)
H(z)=H(2/3,1/3)=0.9183bit/符号
3）H(xy)=H(1/3,1/3,0,1/3)=1.58496 bit/每对符号 4)
xz P(xz) 00 2/3
01 0 10 0 11
1/3
H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=0 5)
I(x,y)=H(x)+H(y)-H(xy) =0.25164bit/符号 七 （20） 一个离散无记忆信源
1
23456()1/161/161/161/161/41/2x x x x x x x p x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦
1） 求H(x)和冗余度；（4分） 2） 编成Fano 码，计算编码效率；（8分） 3） 编成Huffman 码，计算编码效率。

（8分）
1） H(x)=H(1/16,1/16,1/16，1/16,1/4,1/2)=2bit
()122.6log 6
H x v =-=﹪
2)
《信息论基础》试卷第4页
12
6
x 5x 14
116
116116116
4x 3x 2
x 1
x 0
1
1
1
1
1
10
11001101
1111
1110
3)
x6x2
x3x4x5x1
1/16
1/161/161/161/4
1/21/16
1/161/8
1/41/21/21/41/81/8
1/21/41/4
1/2
1/20
10
1
10
11
010111111001101
1110 111
12442
242
L =⨯+⨯+⨯⨯= ()
100H x L
η=
=％ 八 （10分） 设一个离散无记忆信源的概率空间为12()0.20.8x x x p x ⎡⎤⎡⎤
=⎢⎥⎢⎥⎣⎦⎣⎦，它们通过干扰信道，信道矩阵为0.90.10.30.7P ⎡⎤=⎢⎥⎣⎦。

信道输出符号集[]12Y y y =，试计算： （1）信源X 的信息熵；（2分）
（2）收到信息y2后，获得关于x1的信息量；（2分） （3） 共熵H(XY)；（2分） （4）信道疑义度H(X|Y);(2分)
（5） 收到消息Y 后获得的关于信源X 的平均信息量。

（2分）
P(xy) y1 y2
x2 0.3×0.8 0.7×0.8
(1) H(x)=H(0.2,0.8)=0.722bit/符号
（2） I(x1;y2)=I(x1)-I(x1|y2)=log1/0.2-log0,58/0.02=-2.536bit/符号
（3） H（xy）=H(0.18,0.02,0.24,0.56)=1.52076bit/每对符号
（4） H(x|y)=H(xy)-H(y)=1.52076-H(y)
H(y)=H(0.42,0.58)=0.98145
H(x|y)=0.53936bit/符号
（5）I(X:Y)=H(x)+H(y)-H(xy)
=H(x)-H(x|y)
=0.722-0.5393=0.1827bit/符号
九（10分）有一个二元马尔科夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。

试计算
（1）达到稳定后状态的极限概率
（2）该马尔科夫信源的极限熵H
∞。

(1)
012 000.50.5
10.50.50
200.50.5
s s s
s
p
s
s
=
P(s0)=0.5P(s1)
0.5(p(s0)+p(s1)+p(s2))=p(s1)
0.5(p(s0)+p(s2))=p(s2)
P(s0)+p(s1)+p(s2)=1
得 p(s0)=0.25;
P(s1)=0.5;
P(s2)=0.25;
(2)
H
∞
=1/4H(0.5,0.5)+1/2H(0.5,0.5)+1/4H(0.5,0.5)
《信息论基础》试卷第5页
1/4+1/2+1/4=1bit/符号
《信息论基础》试卷第6页。