信源及信源熵习题答案

第二章：

试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量

解：

设随机变量X 代表女孩子学历

X x 1（是大学生） x 2（不是大学生） P(X)

设随机变量Y 代表女孩子身高

Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y)

已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) =

求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫

⎝⎛⨯-=⎥

⎦

⎤⎢⎣⎡-=-=

一副充分洗乱了的牌（含52张牌），试问

(1) 任一特定排列所给出的信息量是多少

(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量

解：

(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

bit x p x I i i 581.225!52log )(log )(2==-=

(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：

bit C x p x I C x p i i i 208.134

log )(log )(4)(1352

13

2

213

52

13

=-=-==

设离散无记忆信源⎭⎬⎫

⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202032)，求 (1) 此消息的自信息量是多少

(2) 此消息中平均每符号携带的信息量是多少

解：

(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：

6

2514814183⎪⎭

⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p

此消息的信息量是：bit p I 811.87log 2=-=

(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==

从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为%，如果你问一位男士：“你是否是色盲”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量如果问一位女士，则答案中含有的平均自信息量是多少

解： 男士：

symbol

bit x p x p X H bit

x p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%

93)( 837.307.0log )(log )(%

7)(222

22222=+-=-==-=-===-=-==∑

女士：

symbol bit x p x p X H i

i i / 045.0)995.0log 995.0005.0log 005.0()(log )()(222

2=+-=-=∑

设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321

x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。

解：

585

.26log )(/ 657.2)17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0()

(log )()(22222226

2=>=+++++-=-=∑X H symbol bit x p x p X H i

i i 不满足极值性的原因是107.1)(6

>=∑i

i

x p 。

证明：H(X 3/X 1X 2) ≤ H(X 3/X 1)，并说明当X 1, X 2, X 3是马氏链时等式成立。

证明：

log 1)/()(log )()/()(log 1)/()/()()

/()/(log

)()

/(log )()/(log )()

/(log )()/(log )()

/()/(212

31321212332112313211232213133211

2

3

213133211

2

3

133211

2

3

2133211

3

13311

2

3

21332113213=⎪⎪⎭⎫

⎝⎛-⎥⎦⎤⎢⎣⎡=⎪⎭

⎫

⎝⎛-=⎪⎪⎭⎫

⎝⎛-≤=+-=+-=-∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑e x x p x x p e

x x x p x x p x x p e x x x p x x p x x x p x x x p x x p x x x p x x p x x x p x x x p x x x p x x p x x p x x x p x x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i

氏链

是马等式成立的条件是时等式成立

当

_,,)/()/()/()()/()/()()()/()/()()

/()/(01)

/()

/()/()/(321132131232113121212131321213132131313213X X X x x x p x x p x x p x x x p x x p x x p x p x x p x x x p x x p x x p x x x p x x p x x x p x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i ∴=⇒=⇒=⇒=⇒=-≤∴

证明：H(X 1X 2 。。。 X n ) ≤ H(X 1) + H(X 2) + … + H(X n )。

证明：

)

(...)()()()...().../()(0)...;(...

)/()(0);()/()(0);().../(...)/()/()()...(3212112112121332131221212121312121N N N N N N N N N N X H X H X H X H X X X H X X X X H X H X X X X I X X X H X H X X X I X X H X H X X I X X X X H X X X H X X H X H X X X H ++++≤∴≥⇒≥≥⇒≥≥⇒≥++++=---

设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = ，P(1) = 的概率发出符号。 (1) 试问这个信源是否是平稳的 (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；

(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。

解： (1)

这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……” (2)