信息论第三章答案

3.2.设二元对称信道的传的矩阵⎥⎥⎥

⎦

⎤⎢⎢⎢⎣⎡32313132。

（1）、若P （0）=43,P(1)=4

1

,求H(X),H(X/Y),H(Y/X)和I(X;Y);

（2）、求该信道的信道容量及其达到信道容量时的输入概率分布。

解：(1)、H(X)=-symbol bit x p i

i /81.0)41

log 4143log 43()(=+⨯-=∑

H(Y/X) =-)/(log )/()(i j i j

i

j

i

x y p x y

p x p ∑∑

=-(

3

2

log 324131log 314131log 314332log 3243⨯+⨯+⨯+⨯) = 0.92bit/symbol

P )/()()/()()()()(21211112111x y p x p x y p x p y x p y x p y +=+=

=3

1

413243⨯+⨯=0.58 同理可得：p(2y )=0.42

H (Y)=-(0.42×log0.42+0.58×log0.58)=0.980bit/symbol

得：H(X/Y)=H(X)-H(Y)+H(Y/X)=0.81-0.98+0.92=0.75bit/symbol

I(X;Y)=H(X)-H(X/Y)=0.81-0.75=0.06bit/symbol

(2)由题：C=maxI(X;Y)=logm-mi H =log2-(3

2

log 3231log 31+)=0.082bit/symbol

因为信道容量达到最大值即X 等概率出现即：p(i x )=21

3.6、有一个二元对称信道，其信道矩阵为⎥

⎦

⎤

⎢⎣⎡098.02.002.098.0。设该信源以1500二元符号/每秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0)=P(1)=

2

1

,问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真的传递完？

解：由题得：

C=max[H(Y)-ni H ]=log2-ni H =1+0.98log0.98+0.02log0.02=0.859bit/symbol

即每输入一个信道符号，接收到的信息量是0.859bit,已知信源输入

1500二元符号/每秒，那么每秒钟的信息量是：

1I =(1500symbol/s )×0.859bit/symbol=1288bit/s

10秒钟传输：2I =101I =12880bit 传送14000个二元符号，P(0)=P(1)= 2

1

则有：3I =14000×(

21log 2

1

×2)=14000bit 得出：2I ﹤3I 即10秒内不能将消息序列无失真传递完

3.11、已知离散信源⎭

⎬⎫

⎩⎨⎧=⎥

⎦⎤⎢⎣⎡4.02.03.01.0)(4321x x x x X P X ，某信道的信道矩阵为⎥

⎥

⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡2.04.03.01.02.01.02.05.01.01.02.06.04.01.03.02.0试求： （1）、“输入3x ，输出2y ”的概率； （2）、“输出4y ”的概率；

（3）、“收到3y 的条件下推测输入2x ”的概率。

解：1）、由题得：p(3x 2y )=)/()(323x y p x p =0.2×0.2=0.04

2）、p(4y )=)/()(141x y p x p +p(2x ))/(24x y p +p(3x )p(34/x y )+)/()(444x y p x p

=0.1*0.4+0.3*0.1+0.2*0.2+0.4*0.2=0.04+0.03+0.04+0.08=0.19

3)、)/()()/()()/()()/()()(4343332321313x y p x p x y p x p x y p x p x y p x p y p +++=

=0.1*0.1+0.3*0.1+0.2*0.1+0.4*0.4=0.01+0.03+0.02+0.16=0.22 P(32/y x )=

)()/()(3232y p x y p x p =22

.01

.03.0⨯=0.136

3.14、试求下列各信道矩阵代表的信道的容量：

1）、[]⎥⎥⎥

⎥⎦

⎤

⎢⎢⎢

⎢⎣⎡=00

10

10000001

0100p 2）、[]⎥

⎥⎥

⎥⎥⎥

⎥⎥⎦⎤

⎢⎢⎢⎢⎢⎢⎢

⎢⎣⎡=100100010010001001p 3）、[]⎥⎥

⎥⎦

⎤⎢⎢⎢⎣⎡=3.01.02.04.000000000007.03.00000000000

4.03.02.01.0p 解：1）、这个信道是一一对应的无干扰信道：C=logn=log4=2bit/symbol 2)、这是归并性能的无燥信道：C=logm=log3=1.58bit/symbol 3)、扩展性能的无燥信道：C=logn=log3=1.58bit/symbol

3.18、设加性高斯白噪声信道中，信道带宽3KHZ ，又设{（信号功率+噪声功率）/噪声功率}=10dB 。试计算该信道的最大信息传输速率C t 。

解：C t =Wlog ⎪⎪⎭⎫ ⎝⎛+N X P P 1 N N

X P P P +=10 t C =Wlog ⎪⎪⎭⎫

⎝

⎛+N X P P 1=3000*3.322=9966bit /s 3.19、在图片传输中，每帧约有2.25*106个像素。为了能很好地重现图像，能分16个两段电平，并假设亮度电平等概率分布。试计算每分钟传送一帧图片所需信道的带宽（信燥功率比为30dB ）。

解：H=log 2n=log16=4bit/symbol I=NH=2.25*106*4=9*106bit=10

C t =6010*96

=t I =1.5*105bit/s

C t =W ⎪⎪⎭⎫

⎝

⎛+N X P P 1log W=⎪⎪⎭⎫ ⎝

⎛+N X t

P P C 1log =

HZ 15049)

10001(log 10*5.125

=+ 3.20、设电话信号的信息率为 5.6*10

4

bit/s ，在一个噪声功率谱为