信源及信息熵

n
n
P1(xi )log P1(xi ) (1 ) P2(xi )log P2(xi )
i 1
i 1
2020/5/30
信源及信息熵
n
P1(xi ) log[ P1(xi ) (1 )P2 (xi )]
i1
n
(1 )P2 (xi ) log[ P1(xi ) (1 )P2 (xi )] i1
2020/5/30
信源及信息熵
2、自信息量
定义
消息xi的概率P(xi)对数的负值，也叫无条件自信息 量，用I(xi)表示
表示
I(xi ) log a P(xi ) 单位由对数的底a决定——当a=2时为bit(binary unit)，a=e时为nat(nature unit)，a=10时为 Hart(Hartley)
i
i 1,2, , n
P(xi )
n
其中，0 P(xi ) 1且 P(xi ) 1 i1
2020/5/30
信源及信息熵
例1
X 1 2 3 4 5 6 P(X) 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6 1/ 6
例2
X P(X)
1x/12
x2 1/ 4
x3 1/8
1x/48
表示
I(xi1 xi2 xiN ) log P(xi1 xi2 xiN ) log P(xi1 ) log P(xi2 / xi1 ) log P(xiN / xi1 x ) iN1
2020/5/30
信源及信息熵
式中，记I(xi2 / xi1 ) log P(xi2 / xi1 )， ， I(x iN / x i1 x ) iN1 log P(x iN / x i1 x iN1 )，叫条件自信息量
i1
令
P(x
i
)
{H(X)
[
n j1
P(x
j
)
1]}
0
i 1,2, , n
P(x
i
)
{
n j1
P(
x
j
)
log
P(x
j
)
[
n j1
P(
x
j
)
1]}
[log e log P(xi )] 0 i 1,2, , n
2020/5/30
信源及信息熵
log P(xi ) log e i 1,2, , n
i1 1 i2 1 iN 1
nn
n
P(x i1 x i2 x iN ) log P(x i1 )
i1 1 i2 1 iN 1
nn
n
P(x i1 x i2 x iN ) log P(x i2 / x i1 )
i1 1 i2 1 iN 1
nn
n
P(x i1 x i2 x iN ) log P(x iN / x i1 x i2 x ) iN1
2020/5/30
信源及信息熵
以bit为单位的自信息量 I(xi ) log P(xi )
➢I(xi)与xi的概率P(xi)相关 ➢I(xi)是P(xi)的减函数，且当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0 ➢I(xi)是P(xi)的连续函数
2020/5/30
信源及信息熵
1 2
1 4
log
1 4
2
1 8
log
1 8
1 2 3 1.75(bit ) 244
2020/5/30
信源及信息熵
例6
X 0 1 P(X) p 1 p 信源的信息熵及p-H(p)曲线
2
H(X) P(xi ) log P(xi ) p log p (1 p) log(1 p) H(p) i1
n
n
P1(xi ) log[ P1(xi ) (1 )P2 (xi )] P1(xi ) log P1(xi )
i1
i1
n i1
P1(xi ) log
P1(xi ) (1 )P2 (xi ) P1(xi )
n i1
P1
(x
i
)[
P1
(
x
i
)
(1 P1 (x i
)P2 )
(x
i
)
1]
习题，(P68)2.5、2.6
2020/5/30
信源及信息熵
二、多符号离散信源及信息熵
1、多符号离散信源
定义
信源发出的消息为有限或可数的符号序列，而符 号序列中任何时刻的符号都随机地取值于同一个 有限集合
表示
离散型随机过程X1X2…XN
2020/5/30
信源及信息熵
设Xk {x1, x 2 , , x n } k 1,2, , N P(Xk ) {P(x1), P(x 2 ), , P(x n )} 随机过程X1X2 X N的取值xi1 xi2 xiN为信源发出的消息 i1,i2 , ,i N 1,2, , n
i1 1 i2 1 iN 1
2020/5/30
信源及信息熵
nn
式中，记H(X2 / X1)
P(x i1 x i2 ) log P(x i2 / x i1 )， ，
i1 1 i2 1
H(X N / X1X 2 X N1 )
nn
n
P(x i1 x i2 x iN ) log P(x iN / x i1 x i2 x iN1 )，
x2 1/ 4
x3 1/ 4
x 1/
44
信源的信息熵
H(X)
4 i1
P(x i
) log
P(x i
)
4
1 4
log
1 4
2(bit )
2020/5/30
信源及信息熵
例5
X P(X)
1x/12
x2 1/ 4
x3 1/8
1x/48
信源的信息熵
H(X)
4 i1
P(x
i
)
log
P(x
i
)
1 2
log
2020/5/30
信源及信息熵
➢H(X)反映信源每发出一条消息所提供的平均 信息量，不反映信源发出某条特定消息的信息 量 ➢一般情况下，H(X)不等于每接受一条消息所 获得的平均信息量
2020/5/30
信源及信息熵
4、信息熵的主要性质和最大熵定理 ①非负性 H(X) 0 0 P(xi ) 1, I(xi ) log P(xi ) 0
i1 1 i2 1 iN 1
叫条件熵
信息熵的链接准则
H(X1X2 XN ) H(X1) H(X2 / X1) H(XN / X1X2 XN1)
2020/5/30
信源及信息熵
H(X2 / X1) H(X2 )
nn
nn
P(xi1 xi2 ) log P(xi2 / xi1 )
i1
i1
n
同理可证 (1 )P2 (xi ) log[ P1(xi ) (1 )P2 (xi )] i1
n
(1 )P2 (xi ) log P2 (xi ) i1
2020/5/30
信源及信息熵
③最大熵定理
等概率信源具有最大熵，最大熵H(X)max=logn
n
H(X)在 P(xi ) 1限制下的条件极值
信源及信息熵
例1
X1X2 P(X1X 2
)
x11/x41
x1x2 1/8
x1x3 1/8
x2x1 1/8
x2x2 1/16
x2x3 1/16
x3x1 1/8
x3x2 1/16
x3x3 1/16
2020/5/30
信源及信息熵
2、自信息量
定义
消息xi1xi2…xiN的概率P(xi1xi2…xiN)对数的负值，也 叫联合自信息量，用I(xi1xi2…xiN)表示
自信息量的链接准则 I(xi1 xi2 xiN ) I(xi1 ) I(xi2 / xi1 ) I(xiN / xi1 x ) iN1
2020/5/30
信源及信息熵
例2
X1X2 P(X1X 2
)
x11/x41
x1x2 1/8
x1x3 1/8
x2x1 1/8
x2x2 1/16
x2x3 1/16
x3x1 1/8
x3x2 1/16
x3x3 1/16
信源发出消息x1x1和x3x2各自的自信息量
I(x1x1 )
log
P(x1x1 )
log
1 4
2(bit
)
I(x3x 2
)
log
P(x3x 2
)
log
1 16
4(bit
)
2020/5/30
信源及信息熵
3、信息熵
定义
信源各消息自信息量的数学期望，也叫联合熵， 用H(X1X2…XN)表示
I(x 4 ) log
2020/5/30
P(x 4
)
log
8
3(bit
)
信源及信息熵
3、信息熵
定义
信源各消息自信息量的数学期望，也叫无条件熵， 用H(X)表示
表示
n
n
H(X) E[I(xi )] P(xi )I(xi ) P(xi )log P(xi )
i 1
i 1
单位一般为bit或bit/symbol
X1X2 XN P(X1X2 XN )
x
i1
x
i2
xiN i1,i2 , ,iN P(xi1 x i2 x iN )
1,2,
,n
nn
n
其中，0 P(xi1 xi2 xiN ) 1且
P(x i1 x i2 x iN ) 1
i1 1 i2 1 iN 1
2020/5/30
P(x i
)
2 e
i 1,2, , n
n
P(xi ) nP(xi ) 1 i 1,2, , n
i1
P(x i
)
1 n
i 1,2, , n
H(X)max
n
P(xi )log P(xi )
i 1
n
i 1
1 log n
1 n
log n
2020/5/30
信源及信息熵
例4
X P(X)
1x/14
n
n
P1(xi ) log P1(xi ) (1 )P2 (xi ) log P2 (xi )
i1
i1
利用不等式log x x 1证明
n
n
P1(xi ) log[ P1(xi ) (1 )P2 (xi )] P1(xi ) log P1(xi )
i1
i1
2020/5/30
信源及信息熵
定义
信源发出的消息为单一符号，而这些符号随机地 取值于一个有限集合
表示
离散型随机变量X
2020/5/30
信源及信息熵
设X {x1, x 2 , , x n } P(X) {P(x1), P(x 2 ), , P(x n )} 随机变量X的取值xi为信源发出的消息 i=1,2,…,N
X P(X)
x
n
H(X) P(xi )I(xi ) 0 i1
②严格上凸性
2020/5/30
信源及信息熵
严格上凸性的描述——设函数f(x)对任一小于1的正 数α及定义域中任意两个值x1、x2，如果
f[x1 (1 )x2] f (x1) (1 )f (x2)
称函数f(x)为严格上凸函数
n
[P1(xi ) (1 )P2(xi )]log[ P1(xi ) (1 )P2(xi )] i 1
n
[P1 (x i ) (1 )P2 (x i ) P1 (x i )] i1
n
n
( 1)[ P1(xi ) P2 (xi )] 0
i1
i1
2020/5/30
信源及信息熵
P1(xi ) P2 (xi )，等号不成立
n
n
P1(xi ) log[ P1(xi ) (1 )P2 (xi )] P1(xi ) log P1(xi )
信源及信息熵
第2章 信源及信息熵
教学内容和要求 ➢掌握单符号离散信源及信息熵，理解其性质 ➢了解多符号离散信源 ➢掌握N次扩展信源及信息熵 ➢掌握m阶马尔科夫信源及信息熵 ➢掌握单符号连续信源及信息熵，理解其性质 ➢了解多符号连续信源
2020/5/30
信源及信息熵
一、单符号离散信源及信息熵
1、单符号离散信源
表示
H(X1X2 X N ) E[I(x i1 x i2 x iN )]
nn
n
P(x i1 x i2 x iN )I(x i1 x i2 x iN )
i1 1 i2 1 iN 1
2020/5/30
信源及信息熵
nn
wk.baidu.com
n
P(x i1 x i2 x iN ) log P(x i1 x i2 x iN )
例3
X P(X)
1x/12
x2 1/ 4
x3 1/8
1x/48
信源发出各消息的自信息量
I(x1 )
log
P(x1 )
log
1 2
1(bit
)
1
I(x 2 ) log P(x 2 ) log 4 2(bit )
1 I(x3 ) log P(x3 ) log 8 3(bit )
1
i1 1 i2 1 iN 1
2020/5/30
信源及信息熵
n
P(x i1 ) log P(x i1 ) i1 1
nn
P(x i1 x i2 ) log P(x i2 / x i1 )
i1 1 i2 1
nn
n
P(x i1 x i2 x iN ) log P(x iN / x i1 x i2 x ) iN1
当p=0时，H(p)=0 p=0.25时，H(p)=0.811(bit)
2020/5/30
信源及信息熵
p=0. 5时，H(p)=1(bit) p=0.75时，H(p)=0.811(bit) p=1时，H(p)=0
H(p) 1 0.811
2020/5/30
0 0.25 0.5 0.75 1 p
信源及信息熵