信息论基础答案2

《信息论基础》答案

一、填空题（共15分，每空1分）

1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。

若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最

大熵是log b-a 。

2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。

3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高

斯信道。

4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不

等概。

5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。

6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号

的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长

就可以降低，从而提高编码效率。

7、八进制信源的最小熵为0 ，最大熵为3bit 。

8、一个事件发生概率为，则自信息量为3bit 。

9、在下面空格中选择填入数字符号“，，，”或“ <”

H XY 二HY HXY HY H X

二、判断题（正确打"，错误打X）（共5分，每小题1分）

1）离散无（"）记忆等概信源的剩余度为0

。

2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(")

3) 互信息可正、可负、可为零。

(")

4) 信源的真正功率P 永远不会大于熵功率P ，即P P

(X )

5) 信道容量与信源输出符号的概率分布有关。

(X )

、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x

0.5

4

h x 2 p x log p x dx

1bit自由度

四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5

它们通过干扰信道，信道输出端的接收信号集为丫= 示。

试计算：

（1）信源X中事件x的自信息量；（3分）

（2）信源X的信息熵；（3分）

（3）共熵H XY ; （ 3 分）

（4）噪声熵H Y X ；（3分）

（5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit

（2）H丄，丄1bit/符号

2 2，已知信道出书概率如下图所

（3 分）

(3) H XY H 0.49,0.01 , 0.1, 0.4 1.432

（1）

(4) H X Y

H XY H X

0.432

I X,Y

H X H Y H X,Y (5)

1 H 0.59, 0.41

H XY

1 0.977 1.432

0.545

五、（10分）一个平均功率受限的连续信道，信道带宽为 声。

（1 ）已知信道上的信号与噪声的平均功率比值为

63,计算该信道的信道蓉量。

（2）如果信道带宽降为 2MHz ，要达到相同的信道容量，信道上的信号与噪声的平均

功率比值应为多少

P S 0.2 0.2 0.2 0.1 0.1 0.1 0.1

C Blog 2 1 §

N

（1

）

C 10

106 log 2 1

63

6 107bit/s

（2

）

-2专 N 1 230 1 109

六、 （10

分）

已知信源共 7个符号信息，其概率空间为

S

S-1 S 2 S 3 S 4 S 5

S

6

S 7

10MHz ，信道噪声为高斯白噪

(3) H XY H 0.49,0.01 , 0.1, 0.4 1.432

（1）试用霍夫曼编码法编成二进制变长码。（7分）（2）计算信源熵，平均码长和编码效率。（9分）

（1）

1

H S H 0.2, 0.2, 0.2, 0.1,0.1,0.1,0.1,

2.72

分）

求随机变量Y X 1 X 2的概率密度函数，并计算变量

丫的熵h 丫 。

已知 p X 1X 2 得

p X

1

X 1 2

2 e

p X 2

1

e X 2

2 2

（2 分） 则p X 1X 2

p X 1 p X 2

（2 分）

所以 X 1和X 2独立，所以 y 为咼斯分布

L 0.2 2 =H S 0.8 3

2.8码元/信源符号

0.97

（3分）

L

七、（10分）设给定两随机变量

X ! 和 X 2， 它们的联合概率密度为

p XX 2

1

X 12 x 2 2

e X,x

S i 0.2

S 2 0.2

S 3 0.2 s 4 0.1 S 5 0.1

Ss 0.1

S 7 0.1

0.4

0.6

1

0.2 0

0.4

1

0.2

0.1

S 1 00

S 010 S 3 011

S 4

100

55 101 56 110

57 111

（7 分）

（2）

2