信息论基础答案2

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

《信息论基础》答案

一、填空题(共15分,每空1分) 1、若一连续消息通过某放大器,该放大器输出的最大瞬时电压为b ,最小瞬时电压为a 。若消息从放大器中输出,则该信源的绝对熵是 无穷大 ;其能在每个自由度熵的最大熵是 ()log b-a 。

2、高斯白噪声信道是指 信道噪声服从正态分布,且功率谱为常数 。

3、若连续信源的平均功率为5 W ,则最大熵为12log10π ⋅ e ,达到最大值的条件是 高斯信道 。

4、离散信源存在剩余度的原因是 信源有记忆(或输出符号之间存在相关性) 和 不等概 。

5、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。

6、离散无记忆信源在进行无失真变长信源编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高编码效率。

7、八进制信源的最小熵为 0 ,最大熵为 3 bit 。 8、一个事件发生概率为,则自信息量为 3 bit 。 9、在下面空格中选择填入数字符号“,,,=≥≤>”或“<” ()H XY = ()()+H Y H X Y ≤ ()()+H Y H X

二、判断题(正确打√,错误打×)(共5分,每小题1分)

1) 离散无记忆等概信源的剩余度为0。

( √ )

2) 离散无记忆信源N 次扩展源的熵是原信息熵的N 倍 ( √ ) 3) 互信息可正、可负、可为零。

( √ )

4) 信源的真正功率P 永远不会大于熵功率P ,即P P ≤

( × )

5) 信道容量与信源输出符号的概率分布有关。

( × )

三、(5分)已知信源的概率密度函数()p x 如下图所示,求信源的相对熵

0.5

()()()4

2

log 1h x p x p x dx

bit =-=⎰自由度

四、(15分)设一个离散无记忆信源的概率空间为

()120.50.5X a a P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣

⎦⎣⎦ 它们通过干扰信道,信道输出端的接收信号集为[]12=,Y b b ,已知信道出书概率如下图所示。

1

x 2

x 1

y 2

y 0.98

试计算:

(1) 信源X 中事件1x 的自信息量;(3分) (2) 信源X 的信息熵;(3分) (3) 共熵()H XY ;(3分) (4) 噪声熵()H Y X ;(3分)

(5) 收到信息Y 后获得的关于信源X 的平均信息量。(3分) (1)()11I x bit =

(2)11,1/22H bit ⎛⎫

= ⎪⎝⎭

符号

(3)()()0.490.4 1.432H XY H ==,

0.01,0.1, (4)()()()0.432H X Y H XY H X =-=

(5)

()()()()

()(),,10.59,0.4110.977 1.432

0.545

I X Y H X H Y H X Y H H XY =+-=+-=+-=

五、(10分)一个平均功率受限的连续信道,信道带宽为10MHz ,信道噪声为高斯白噪声。

(1)已知信道上的信号与噪声的平均功率比值为63,计算该信道的信道蓉量。

(2)如果信道带宽降为2MHz ,要达到相同的信道容量,信道上的信号与噪声的平均功率比值应为多少

2log 1S C B N ⎛

⎫=+ ⎪⎝⎭

(1)()6721010log 163610/C bit s =⨯⨯+=⨯

(2)309212110C

B S

N

=-=-=

六、(10分)已知信源共7个符号信息,其概率空间为

()12345670.20.20.20.10.10.10.1S s s s s s s s P S ⎡⎤⎡⎤=⎢⎥⎢⎥⎣

⎦⎣⎦ (1) 试用霍夫曼编码法编成二进制变长码。(7分) (2) 计算信源熵,平均码长和编码效率。(9分) (1)

1s 2s 3s 4s 5s 6

s 7s 0.2

0.20.2

0.10.1

0.1

0.1

1

1

1

1

1

1

0.4

0.6

0.2

0.2

0.4

0.1

123456700010011

100101110

111

s s s s s s s =======(7分)

(2)

分)

(3分)

七、(10分)设给定两随机变量1X 和2X ,它们的联合概率密度为

()()

22122

12121,2x x p x x e x x π

-+=

-∞<<+∞

求随机变量12Y X X =+的概率密度函数,并计算变量Y 的熵()h Y 。 已知()12p x x 得 (

)12

1x p x -=

(

)2

2

2x p x -=

(2分)

则()()()1212p x x p x p x = (2分) 所以1x 和2x 独立,所以y 为高斯分布 因为 12y x x =+ 所以 ()()0,2E Y D Y == (2分)

所以 (

)2

4

y

p y -=

(2分)

()()

0.2,0.2,0.2,0.1,0.1,0.1,0.1,2.72

H S H ==__

0.220.83 2.8L =⨯+⨯=码元/信源符号()__0.97H S L η==

相关文档
最新文档