通信原理课后作业答案

第一次作业────第二章

2.1 消息源以概率16/1,16

/1,8/1,4/1,2/154321=====P P P P P 发送5种消息符号54321,,,,m m m m m 。若每个消息符号出现是独立的，求每个消息符号的

信息量。

解：bit P m P m I 1log )(log )(12121=-=-=

bit P m P m I 2log )(log )(22222=-=-=

bit P m P m I 3log )(log )(32323=-=-=

bit P m P m I 4log )(log )(42424=-=-=

bit P m P m I 4log )(log )(52525=-=-=

2.3 一个离散信号源每毫秒发出4种符号中的一个，各相互独立符号出现的概率

分别为1.0,2.0,3.0,4.0。求该信号源的平均信息量与信息速率。

解：

nit/s 85.1279)(R nit, 1.27985)(:,(tet)/s 83.555)(R (tet), 0.55583)(:,10bit/s 44.1846)(R bit, 1.84644)(:

,2)

1.0log 1.0

2.0log 2.0

3.0log 3.0

4.0log 4.0()

(log )()(1==

===

===

=+++-=-=∑=t

X H X H e t

X H X H t

X H X H x p x p X H N

i i i 分别为平均信息量与信息速率为底时以哈哈分别为平均信息量与信息速率为底时以分别为平均信息量与信息速率为底时以 2.6 已知非对称二进制信道,输入符号的概率为

⎪⎪⎭⎫ ⎝⎛2211,,P x P x =⎪⎪⎪⎭

⎫ ⎝⎛431,41,0 信道转移概率矩阵

⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎣⎡)1/1()1/0()0/1()0/0(P P P P =⎥⎦

⎤⎢⎣⎡

9.01.02.08.0 求：⑴ 输出符号集Y 的平均信息量)(Y H ；

⑵ 条件熵)/(Y X H 与)/(X Y H ；

⑶ 平均互信息量),(Y X I 。

解： ⑴ 根据输入符号概率和信道转移概率矩阵可求得输出符号Y 的概率

725.09.04

32.041)1/1()0/1()1()(275.01.04

38.041)1/0()0/0()0()(。 1 0 ，21221121=⨯+⨯=⨯+⨯===⨯+⨯=⨯+⨯==P P P P P y p P P P P P y p ，y y Y Y 则

表示输出为分别用 因此

nit

0.588 0.255 bit 849.0 )

725.0log 725.0log 275.0log 275.0()(log )()(21或哈或=⨯+⨯-=-=∑=i i i y p y p Y H

⑵

nit

0.368 0.160 532.0)9.0log 9.04

31.0log 1.0432.0log 2.0418.0log 8.041()]

1|1(log )1|1()1|0(log )1|0()

0|1(log )0|1()0|0(log )0|0([)

|(log )|()()|(log )()/(2211,或哈或bit P P P P P P P P P P P P x y p x y p x p x y p y x p X Y H i j j

i j i i i j j i j i =⨯⨯+⨯⨯+⨯⨯+⨯⨯-=⨯+⨯+⨯+⨯-=-=-=∑∑∑

9310.0725

.0675.0)1()1,1()1|1(,2727.0275.0075.0)0()1,0()0|1(069.0725.005.0)1()0,1()1|0(,7273.0275.02.0)0()0,0()0|0(675.04

39.0)()|()1,1(,075.0431.0)()|()1,0(05.04

12.0)()|()0,1(,2.0418.0)()|()0,0(:

)|(),|(log )()/(||||222221112111|,=============⨯===⨯===⨯===⨯

==-=∑Y XY Y X Y XY Y X Y XY Y X Y XY Y X XY XY XY XY i j Y X i j j i i j P P P P P P P P P P P P x p x y p P x p x y p P x p x y p P x p x y p P y x P y x p y x p Y X H 先计算要求

因此：

)()|()()|()|()()|()( )|(nit

0.343 0.149 495.0)

9310.0log 9310.0725.0069.0log 069.0725.02727

.0log 2727.0275.07273.0log 7273.0275.0()]

1|1(log )1|1()1()1|0(log )1|0()1()

0|1(log )0|1()0()0|0(log )0|0()0([)

|(log )|()()|(log )()/(||||||||,Y H X Y H X H Y X H X Y H Y H Y X H X H Y X H bit P P P P P P P P P P P P y x p y x p y p y x p y x p Y X H Y X Y X Y Y X Y X Y Y X Y X Y Y X Y X Y j

i j i j i i i j j i i j -+=⇒-=-=⨯⨯+⨯⨯+⨯⨯+⨯⨯-=⨯+⨯+⨯+⨯-=-=-=∑∑∑也可以用或哈或⑶ nit 0.220 0.095 bit 317.0)|()(),(或哈或=-=X Y H Y H Y X I

2.10 设连续随机变量x 的峰值有限，M x M <<-。试证：

⑴ 若 ⎩⎨⎧>≤≤-=M x M x M M x f x ||0

)2/(1)( 则相对熵 dx x f x f X H x x ])

(1[log )()(2⎰

∞∞-= 取最大值； ⑵ 最大相对熵)2(log )(2max M X H =。

解：⑴ 隐含条件为 1)(=⎰+∞∞-dx x f x

)

(2)(,0log )(log ,02

ln 1)(log :

)()();()(),(log )()(,0)

()(:)(])(1[log )()(,2log 22222常数所以即得和代入可以解最大的使根据变分法C x f e x f x f x x F x f x x f x f x F x f x f F x f dx x f x f X H e x x x x x x x x x x x ===+--=+--=-==∂∂+∂∂=-∞

∞-⎰

λλλϕϕϕλ 因此，M

C x f C M Cdx dx x f dx x f x M

M M

M x x 21)(12)()(==⇒=⨯===⎰⎰⎰+-+-+∞

∞- ⑵ 把求证得到的M x f x 21)(=代入dx x f x f X H x x ])

(1[log )()(2⎰∞∞-=有： )2(log )2(log 21])

(1[log )()(222M dx M M dx x f x f X H M M x x ===⎰⎰-∞

∞-