信息论基础复习题目PPT课件

p(x2 y2) p(x2) p(y2 | x2) 0.50.8 0.40
22
则：H(XY)
p(xi y j ) log p(xi y j )
i1 j1
1.43比特/ 信源符号
.
15
N
由p( y j ) p(xi y j )得到Y集中各消息概率 i 1 2 p( y1) p(xi y1) p(x1 y1) p(x2 y1) 0.59 i 1
则该事件携带的信息量为：
I (xi | yj ) log p(xi | yj ) log(1/ 8) 3bit
由结果可知:
事件yj的出现降低了事件xi发生所携带的信息量
原因:
事件yj的出现带来了事件xi的部分的信息，导致对事件xi的
不确定性减小
.
6
例2-4
设一系统的输入符号集X=(x1,x2,x3,x4,x5)，输出符号集 Y=(y1,y2,y3,y4) 输入符号与输出符号间的联合分布为
x 0.98 1 0.02
y1
x 0.2
2
0.8
y2
.
13
解：由题意可知
p(x1 ) 0.5 p(x2 ) 0.5 p( y1 | x1 ) 0.98 p( y2 | x1 ) 0.02 p( y1 | x2 ) 0.2 p( y2 | x2 ) 0.8
2
则：H ( X ) p(xi ) log p(xi ) i 1
.
3
（2）此消息中平均每个符号携带的信息量为：
I2 87.81/ 45 1.95bit / symbol
信源的信息熵:
4
H ( X ) p(ai ) log p(ai ) i 1
3 log 3 1 log 1 1 log 1 1 log 1 8 84 44 48 8
1.91bit / symbol
log
1 4
2比特
I (a4
3)
log
p(a4 )
log
1 8
3比特
此消息中共有14个“0”符号，13个“1”符号，12个“2” 符号，6个“3”符号，则得到的自信息量是：
I 14I (a1) 13I (a2) 12I (a3) 6I (a4 )
141.415132 122 63 87.81bit
2
p( y2 ) p(xi y2 ) p(x1y2 ) p(x2 y2 ) 0.41 i1
2
则：H (Y ) p( yi ) log p( yi ) i 1 0.59log 0.59 0.41log 0.41 0.98比特/信源符号
.
16
平均互信息 ：
I(X;Y) H(X ) H(Y) H(XY) 0.55比特/信源符号
2.665bit / symbol
5
H (X ) p(xi ) log p(xi ) i1
0.25log 0.25 0.40log 0.40 0.15log 0.15 0.15log 0.15 0.05log 0.05
=2.066bit / symbol
.
8
4
H (Y ) p(yi )log p(yi ) i1 0.35log 0.35 0.35log 0.35 0.20log 0.20 0.10log 0.10 1.856bit / symbol
2 i 1
2
p(xi ) p( y j | xi ) log
j 1
p( y j | xi ) p( y j )
0.186比特/信源符号
则通过测量阻值可以平均得到的关于瓦数的信息量是0.816比特
.
19
例2-11：有一离散无记忆信源，其输出为
相应的概率为
p(0) p(1) 1/ 4，p(2) 1/ 2
由I(X ;Y) H(X ) H(X | Y) H(Y) H(Y | X )得：
疑义度 ： H(Y | X ) H(Y) I(X;Y) 0.43比特/ 信源符号
噪声熵：
H(X | Y) H(X ) I(X;Y) 0.45比特/ 信源符号
.
17
例2-10：设有一批电阻，按阻值分70%是2千欧姆，30%是5
.
5
解：（1）令把棋子任意放在棋盘的某一格为事件xi，则该事件
发生的概率为： p(xi ) 1/ 64
则该事件携带的信息量为：
I (xi ) log p(xi ) log(1/ 64) 6bit
（2）设行为随机变量X，列为随机变量Y，则在事件yj发生 后事件xi发生的概率为：
p(xi | y j ) 1/ 8
y1
1/ 8W 0.64
y2 1/ 4W
0.36
并且已知：
p( y1 | x1) 0.8, 则p( y2 | x1) 0.2
.
18
首先计算 p(y1 | x2)和p(y2 | x2)
根据全概率公式
p( y1) p( y2 )
p(x1) p( y1 p(x1) p( y2
| |
x1) x1)
p(x2 ) p(x2 )
p( p(
y1 y
| x2 ) 2| x2 )
以及p( y1 | x2 ) p( y 2| x2 ) 1
可得：
p(
y1
|
x2
)
8 30
0.267
p(
y2
|
x2 )
22 30
0.733
通过测量电阻阻值可以得到关于瓦数的平均信息量就是平均互
信息I（X；Y）
I (X ;Y )
上式表明：在随机变量Z出现符号zk的前提条件下，信道1通
信前、后，输入与输出端同时出现yj和xi的条件不确定性的减少。
利用互信息和条件互信息可解决符号序列的信息测量问题
.
11
例2-6
信源X
有扰信道
问:通信中发送的信息是多少?
信道中损失的信息是多少? X通过信道传递了多少信息给信宿？
信宿Y
发送的信息:H(X) 损失的信息:H(X|Y) 通过信道传递到接收端的关于X的信息:I(X;Y)
求（1）此消息的自信息量。 （2）在此消息中平均每个符号携带的信息量。
.
2
解：（1）消息的自信息量就是等于消息中各个符号的自信息量之和。根据题意可 得：
I (a1
0)
log
p(a1)
log
3 8
1.415比特
I (a2
1)
log
p(a2 )
log
1 4
2比特
I (a3
2)
log
p(a3 )
H(X|Y) = H(XY)-H(Y) = 2.665-1.856 = 0.809bit/symbol
H(Y|X) = H(XY)-H(X) = 2.665-2.066 = 0.599bit/symbol
.
9
2.2.2 条件互信息
定义：联合集ＸＹＺ中，在给定zk的条件下，xi与yj之间的
互信息量定义为条件互信息量，即
（3）. 求I ( X ;Y1 | Y2 )和I ( X ;Y2 | Y1)，并解释它们的含义。
.
20
解：（1）因为 I (X ;Y1) H (Y 1) H (Y1 | X )
I ( X ;Y2 ) H (Y 2) H (Y 2| X )
所以必须求出
p(y1)、p(xy1)、p(y1 | x) p(y2 )、p(xy2 )、p(y2 | x)
设计两个独立试验去观察它，其结果分别为
X {0,1,2}
已知条件概率为
Y1 {0,1},Y2 {0,1}
P(Y1 | X )
0 1 2
01
10 01 1/2 1/2
0 P(Y2 | X )
1
0 10 1 10 2 01
(1). 求I ( X ;Y1)和I ( X ;Y2 )，并判断哪个实验好？
（2）. I (X ;Y1Y2 )并计算做Y1或Y2比做Y1或Y2中的一个实验各可多得 关于X的信息；
log 24 log 27
存在称三次的方法必然找到该球
可见：信息的度量是为了找到解决问题的方法，而不是纯粹度量
信息的大小
.
1
例2-2 设离散无记忆信源
X P
a1 3 8
0
a21 1
4
a3 2 1
4
a4 3 1 8
其发生的消息为：
（20212013021300120321011032101002103201122 3210）
由p(xy1) p(x) p( y1 | x) 和p(xy2 ) p(x) p( y2 | x)可得：
P( XY1) Y1
X
0
01 1/4 0
P( XY2 ) Y2
I (xi ;
yj
|
zk )
log
p(xi | p(xi
y j zk ) | zk )
由公式可知： I (xi ; y j | zk ) I (xi | zk ) I (xi | y j zk )
表明：在随机变量Z出现符号zk的前提条件下，随机变量Y出现
符号yj前、后，对信源发送符号xi的条件不确定性的减少
结论: (2)问的值与信源的信息熵不完全相等
原因：(2)问的值是该特定消息中平均每个符号携带的信息
量，而信息熵是离散无记忆信源平均每个符号携带的信息量， 是统计平均值。
.
4
例2-3：
设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意放在棋盘中的某方格且让乙猜测棋子所在的位 置所携带的信息量： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号； （2）将方格分别按行和列编号，甲将棋子所在方格的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的 位置。
log p(xi y j | zk ) p(xi | zk ) p( y j | zk )
I (xi | zk ) I ( y j | zk ) - I (xi y j | zk )
所以有：I(xi; y j | zk ) I(xi | zk ) I(y j | zk ) - I(xi y j | zk )
y1
y2
y3 y4
x1 0.25 0
0
0
x2 0.10 0.30 0 0
x3
0
0.05 0.10
0
x4 0
x5
0
0 0.05 0.10
0
0.05
0
试求: H(XY)、H(X)、H(Y)、H(Y|X)和H(X|Y)
.
7
解：由全概率公式可知：
p(x1) 0.25, p(x2 ) 0.40, p(x3 ) 0.15, p(x4 ) 0.15, p(x5 ) 0.05 p(y1) 0.35, p(y2 ) 0.35, p(y3 ) 0.2, p(y4 ) 0.10
.
10
由I (xi ;
yj
|
zk
)
log
p(xi | p(xi
y j zk ) | zk )
可知：
I (xi ;
yj
|
zk
)
log
p(xi | p( xi
y j zk ) p(y j zk ) | zk ) p(y j zk )
log
p(xi y j zk )
p(xi | zk ) p( y j | zk ) p(zk )
例2-1：有12个球，只有一个是非标重球，问是否存在用天平称3次必然找到该
球的方法？(从信息的角度解决)
解：天平的状态有三种：平衡、左轻、左重
每称一次消除一种状态，则带来的信息量为log3 则称3次后，带来的信息量为3log3 = log27
而一个非标球的携带的信息量为
结论:
log( 1 • 1 ) log 24 12 2
千欧姆；按功耗分64%是1/8W，其余是1/4W。现已知2千欧姆 阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信
息量是多少？
解：根据题意，设电阻的阻值为事件X，电阻的功率为事件Y。它 们的概率空间分别为：
X P( x)
x1
2K 0.7
x2 5K
0.3
Y P( y)
则从已知可求：
54
H (XY )
p(xi y j ) log p(xi y j )
i1 j
0.25log 0.25 0.10log 0.10 0.30log 0.30 0.05log 0.05
0.10log 0.10 0.05log 0.05 0.10log 0.10 0.05log 0.05
0.5 log 0.5 0.5 log 0.5
1比特 / 信源符号
.
14
由p(xi y j ) p(xi ) p( y j | xi ), 求出各联合概率
p(x1y1) p(x1) p( y1 | x1) 0.50.98 0.49
p(x1y2 ) p(x1) p( y2 | x1) 0.50.02 0.01 p(x2 y1) p(x2) p( y1 | x2) 0.50.2 0.10
如果X=Y，说明信道无干扰,则I(X;Y)=H(X) 如果X与Y相互独立，说明干扰很大,I(X;Y)=0
X P
x1 0.5
x2 接到下图所示的 0.5
信道上，求在该信道上传输的平均互信息量I(X;Y)、疑 义度H(X/Y)、噪声熵H(Y/X)和联合熵
H(XY).