概率论习题(DOC)

六、计算（每题10分）（20道）

1、设有一个信源，它产生0，1序列的信息。它在任意时刻且不论以前发生过什么符号，均按P （0）=0.4，P(1)=0.6的概率发出符号。试计算：

（1）H （X 2） （2）H （X 3/X 1X 2） （3）)(lim X H N ∞→

解：根据题意，此信源在任何时刻发出的符号概率都是相同的，即概率分布与时间平移无关，且信源发出的序列之间也是彼此无依赖的，所以这个信源是平稳信源，且是离散无记忆信源。

（１）Ｈ（Ｘ）＝-0.4LOG 20.4-0.6LOG 20.6≈0.971 比特／符号

Ｈ（Ｘ2）＝2Ｈ（Ｘ）≈1.942 比特／二符号

（２）Ｈ（Ｘ3|Ｘ1Ｘ2）＝Ｈ（Ｘ3）＝Ｈ（Ｘ）≈0.971 比特／符号 （３） )(lim X H N ∞→=lim1/N ×H(X 1X 2…X Ｎ)＝lim1/N × N Ｈ（Ｘ）

＝Ｈ（Ｘ）≈0.971 比特／符号

２、已知信源X 和条件概率P （Y/X ）如下：

⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡2/12/1)(21x x X P X ⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4/34/14/14/3////)/(/22211211x y x y x y x y X Y P X Y 试计算：H （X ）、H （Y ）、H （XY ）、H （X/Y ）、H （Y/X ）、Ｉ(X ；Y)

解：根据题意，(1)由p(x i y j )=p(x i )p(y j /x i )，求出各联合概率：

p(x １y １)=p(x １)p(y １|x １)＝1/2×3/4＝0.375

p(x １y ２)=p(x １)p(y ２|x １)＝1/2×1/4＝0.125

p(x ２y １)=p(x ２)p(y １|x ２)＝1/2×1/4＝0.125

p(x ２y ２)=p(x ２)p(y ２|x ２)＝1/2×3/4＝0.375

(2)由p(y j )=∑i=1n p(x i y j )，得到Ｙ集合消息概率：

p(y １)=∑i=1２p(x i y １)＝p(x １y １)+ p(x ２y １)=0.375+0.125=0.5

p(y ２)=∑i=1２p(x i y ２)＝1- p(y １)=1-0.5=0.5

(3)由p(x i |y j )=p(x i y j )/p(y i )，求出X 的各后验概率：

p(x １|y １)=p(x １y １)/p(y １)＝0.375/0.5=0.75

p(x 2|y １)=p(x 2y １)/p(y １)＝0.125/0.5=0.25

p(x １|y 2)=p(x １y 2)/p(y 2)＝0.125/0.5=0.25

p(x 2|y 2)=p(x 2y 2)/p(y 2)＝0.375/0.5=0.75

(4)Ｈ（Ｘ）＝∑i=1２p(x i )ＬＯＧ２P(x i )＝-0.5LOG 20.5-0.5LOG 20.5=1比特/符号 Ｈ（Y ）＝∑i=1２p(y i )ＬＯＧ２P(y i )＝-0.5LOG 20.5-0.5LOG 20.5=1比特/符号 Ｈ（ＸY ）＝∑i=1２∑j=1２p(x i y j )ＬＯＧ２P(x i y j )

＝-2×0.375LOG 20.375-2×0.125LOG 20.125=1比特/符号

(5)平均互信息：

I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1=1比特/符号

(6)疑义度：

H(X|Y)= ∑i=1２∑j=1２p(x i y j )ＬＯＧ２P(x i |y j )

＝-2×0.375LOG 20.75-2×0.125LOG 20.25

=2-3/4log3=2-0.93875=1.0615 比特/符号

(7)噪声熵：

H(Y|X)= ∑i=1２∑j=1２p(x i y j )ＬＯＧ２P(y j |x i )

＝-2×0.375LOG 20.75-2×0.125LOG 20.25

=2-3/4log3=2-0.93875=1.0615 比特/符号

3、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：

(1)“３和５同时出现”这事件的自信息量；

(2)“两个１同时出现” 这事件的自信息量；

(3)两个点数的各种组合（无序对）的熵或平均自信息量；

(4)两个点数之和（即２、３、…１２构成的子集）的熵；

(5)两个点数中至少有一个是１的自信息。

( LOG 23≈1.585 LOG 25≈2.3236 LOG 211≈3.46 )

解：根据题意，同时扔两个正常的骰子，可能呈现的状态数有３６种，因为两骰子是独立的，又各面呈现的概率都是1/6，所以３６种中的任一状态出现的概率相等，为１/３６。

(1)设“３和５同时出现”这事件为Ａ。在这３６种状态中，３和５同时出现有两种情况即３、５和５、３。所以

18

1362)(==A P 得 I(A)＝－LOGP(A)=LOG 218≈4.17 比特

(2) 设“两个１同时出现”这事件为Ｂ。在这３６种状态中，两个１同时出现只有一种情况。所以

36

1)(=A P 得 I(Ｂ)＝－LOGP(Ｂ)=LOG 236≈5.17 比特

(3)设两个点数的各种组合（无序对）构成信源Ｘ，这信源Ｘ的符号集Ａ（样本集）就是这36种状态，所以Ａ＝{x 1,x 2, …x 36},并且其为等概率分布。得

⎥⎥⎦⎤⎢⎢⎣⎡=⎥⎦⎤⎢⎣⎡361...,,36

1,361...,)(,36,2,1x x x x P X 所以 H(X)=LOG 236≈5.17 比特/符号(比特/状态)

(4) 设两个点数之和构成信源Ｚ，它是由两个骰子的点数之和组合，

即Ｚ＝Ｘ+Ｙ（一般加法）而