信息论作业答案

第二章

1■一阶齐次马尔柯夫信源消息集X {引心色}，状态集s {Si, S2, Ss}

符号条件转移概率为P(aj/Si)】J4 12 141

[1/4 14 1/2

H(X|Si)=H(1/3,1/3,1 /3)=1.58bit/ 符号

H(X|S2)=H(1/4,1/2,1/4)=1.5bit/ 符号=H(X|Ss)

3

H/X)=E wH(X |SJ 二寻勺.58+春咒 1.5 咒2=1.52 bit/符号

id：

2如果你确定你的朋友是6月的生日，但是不知道具体是哪一天。那么你问你的朋友生日是6月哪一天？”，则答案中含有的信息量为 4.91 bit ；

3p42 2-12

4 p422-13

5 p432-19

6 p442-29

第三章

1-■设信道的转移概率矩阵为

0.9 0.1 I

P 二

IL0.1 0.9

。且令Si=ai,i=1,2,3,

A [

訓W2

I d 1

(2) 3W1+4 W2=W33

V\

4

vi

4

v\

你的

⑴若P(Xo)=O.4, p(Xi)=0.6,求H(X), H(Y), H(Y|X )和l(X; Y);

(2 )求该信道的信道容量及其达到信道容量时输入符号的概率分布。

(3) 设该信道以1800个二元符号/秒的速度传输输入符号。现有一消息序列共有10000个二元符

号，在P(Xo)=l/2，p(刈=1/2情况下，从信息传输的角度来考虑'10秒内能否将这消息序列无失真地传送完？

0.36 0.04

解：(1)(P(x, y) I - 006054, [P(y)]=[°42 0.58]

H(X)二H(0.4,0.6) =0.97 bit/ 符号

H(Y) =H (0.42,0.58) =0.98 bit/ 符号

H(Y|X) =H (0.9,0.T0.47 bit/ 符号

l(X;Y)= H(Y)- H(Y|X)=0.51biV 符号

(2) (护 1 — H(Y|X)=0.53biV 符号po=pi=O.5

(3) H(X)X 10= 104 bit

4

1800 X CX 10= 9540 bit < 10

所以不能无失真传送完。

2■信道的特征如图所示 > 求该信道的信道容量及其达到信道容量的信源所发送符号的概率分布。

0.5

1 0.5 .d

解：假设信源发送符号0的概率为P,则发送符号1的概率为1-P

1

H(Y/X)

P(Xi) a P(yj/x)log ・1-P

j P(yMx)

[P(Y-c)P(Y-d)|.|p1_p 1 0 0.5(1 -p)0.5(1-p)l

0.5 0.5

, 1彳0.5(1-p)log 1 —

H(Y)八P(yj)log 0.5(1 p)log 0.5(1 一p)

jiP(yj) 0.5(1+p)

l(X;Y) =H (Y) _H(Y/X)

由：KX；Y)=0可得到：p "5

CP

mr r 丄/\Z \ /\ a

3两个BSC信道的级联如右图所示:

(1) 写出信道转移矩阵；

(2) 求这个信道的信道容量。

解：

00 0

1 -6

1 1 Y 1

(1)

D DD 1 —呂w 1 (1—名)2 2A(1—E)

i—农」名i—农一[2名(1—名)(i—町2+名2

⑵ C =log2 -H((1 - ；)2；今

4 ■电视图像由30万个像素组成，一个像素可取10个可分辨的灰度等级，假设各个像素的10个灰度等级均等概率出现，实时传送电视图像每秒发送25帧图像，为保证图像质量，信号与噪声的平均功率比值为30dB,试计算

(1) 电视图像的信源嫡；(2)传送电视的视频信号所需要的最小带宽。

解：(1)由于每个灰度等级等概岀现，则在不同像素点由不同灰度等级组成的画面也等概出

现，每幅画面出现的概率为

p(G =1/1031°=10Ai°5

信源循

n

H(X) = —E p(x)log p(Xj)= —lb(10 职丈)=9.97 沃10s bit/ 画面

(2) 视频信号所需要的最小信道容量为

C t = H(X)/t =9.97 105/(1/25)=2.49 10^bit/s

30

SNR=3OdB=1Oio=1OOO

根据香农公式，传送电视的视频信号所需要的最小带宽为

w=G/log(1 SNR) =2.49 10Vlog(1 1000A2.5 1042.5MHz

5某信号为随机变量X,信号X(t)幅度的概率密度为均匀分布，

(1)0乞x(t)，求信源炳H C(X)；

(2)该信号在7MHz带宽的某高斯信道上传输，若信道中的信号功率与噪声功率谱密度之比(Ps/N o)为

21 MHz，求该信道的信道容量。

解:c)p(x) -1

1

Hc(X)二.Px(x)log Px(x)d(x) = - o1 logldx = 0 (比特)

(2)

SNR 二P/N 二P s/(No W) =21/7 =3

C =Wlog(1 S/N) =7 log(1 21/7) =14Mbps