信息论与编码课件第二章

X ,
p(x)=
x1 p(x1)
x2 p(x2)
xn p(xn)
连续信源
n
p(xi ) 1
i1
X , (x)=
(来自百度文库 , b
( x
) )
ab(x)dx1
信源分类和描述
单符号信源 X
X ,p(x) p(x x 11)
x2 p(x2)
xn p(xn)
符号序列信源 XN （N次扩展信源）
条件自信息量与条件熵
条件自信息量定义
I ( x|y ) = log 1 = - log p(x|y) p(x | y)
条件熵定义(条件自信息量的统计平均)
H(X|
y)=
EXI(x|y)=
p(x|y)lop(g x|y)
x X
H(X|Y) = E YH (X|y)= p(y)H(X| y) yY
H (X |Y ) P (x)lyo P (x g |y) x X y Y
信息熵单位
• 对数的底a = 2时，信息熵单位为比特/符号( bit/符号） • 对数的底a = e时，信息熵单位为奈特/符号( nat/符号） • 对数的底a = 3时，信息熵单位为铁特/符号( Tet/符号） • 对数的底a = 10时，信息熵单位为哈特/符号( Hart/符号）
11
离散二元信源的信息熵
I (x ) y I (x ) I (y |x ) I (x ) y I (y ) I (x |y )
当事件x 和事件y 相互独立时有
I(x|y)I(x) I(y|x)I(y) I(x) y I(x ) I(y )
信息熵、条件熵、联合熵 三者之间的关系
H ( X ) H Y ( X ) H ( Y |X ) H ( X ) H Y ( Y ) H ( X |Y )
当集合X 和集合Y 相互独立时有
H (X |Y )H (X ) H (Y |X )H (Y ) H (X ) Y H (X ) H ( Y )
17
例题 有两个二元随机变量X和Y，它们的联合概率
为
p(xy) x = 0 x = 1
y = 0 1/8 3/8
y = 1 3/8 1/8
并定义另一随机变量Z=X·Y（一般乘积)，试计算：
编辑ppt
解：(1)根据 X 和 Y 的联合概率分布，分别求 得 X 、Y 和 Z 的边沿概率分布如下：
X0 1 p½ ½
Y0 1 p½ ½
Z0 1 p 7/8 1/8
编辑ppt
18
19
X和 Z以及Y和 Z的联合概率分布函数分别
为：
Z0 1
Z0 1
X
Y
0 1/2 0
0 1/2 0
1 3/8 1/8 1 3/8 1/8
第二章 信源和信息熵
信源分类和描述 离散信源的信息熵 连续信源的信息熵
第二章 作业
教材第59页~62页 2.1，2.2，2.3(1)(2)，2.4， 2.8，2.13，2.14， 2.16
信源分类和描述
离散信源 连续信源
单符号信源 符号序列信源
无记忆信源 有记忆信源
信源分类和描述
离散信源
H ( X ) p lp o ( 1 g p ) l1 o p ) g
pX (x)0p
1 1p
编辑ppt
离散信源信息熵的含义
H(X)表示信源的平均不确定度——平均 信息量
H(X)表示信源的随机性 H(X)表示信源输出每个符号所提供的平
均信息量 H(X)表示信宿所能获得的最大信息量
的信息量为无穷大 信息量具有可加性
离散信源符号的信息量
信息量定义
I(x)
lo
ga
1 p(x)
-l
o
ga
p(x)
信息量单位
• 对数的底a = 2时，信息量单位为比特( bit） • 对数的底a = e时，信息量单位为奈特( nat） • 对数的底a = 3时，信息量单位为铁特( Tet） • 对数的底a = 10时，信息量单位为哈特( Hart）
(1) 熵 H(X)、H(Y)、H(Z)、H(X, Z)、 H(Y, Z) 、 H(X, Y, Z)
(2) 条件熵 H(X|Y)、H(X|Z)、H(Z|X)、H(Z|Y)、 H(Y|Z)、H(Y|XZ)、H(Z|XY)
(3) 互信息 I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(Y;Z|X)和I(X;Z|Y)
信源分类和描述
无记忆信源
X N
N ( )N (X 1,X 2, ,X N ) N (X l)
l 1
有记忆信源
p (X l|X l 1 ,X l 2 , ,X l m )
信息的特性
事件（消息）的信息量大小与其不确定 度（概率）有关
事件概率越小，信息量越大 确定性事件的信息量为零，不可能事件
编辑ppt
20
X、Y和 Z的联合分布函数为
1
3
pXYZ (0,0,0) 8 , pXYZ (0,1,0) 8
3
1
pXYZ (1,0,0) 8 , pXYZ (1,1,1) 8
pXYZ (1,1,0) pXYZ (0,0,1) pXYZ (1,0,1) pXYZ (0,1,1) 0
9
离散信源符号的信息量
I(X)=log2(p)
14
12
10
8
6
4
2
P(x)
0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
编辑ppt
离散信源的信息熵(Entropy)
信息熵定义(信息量的统计平均或者说数学期望)
H(X) = EI(x)= – p(x)lopg(x) xX
X ,p (x ) p ( ( x x 1 1 ,,x x 1 1 , , ,,x x 1 1 ) )p ( ( x x 2 2 ,,x x 1 1 , , ,,x x 1 1 ) )
(x q ,x q , ,x q ) p (x q ,x q , ,x q )
或 X N ,p ( x ) p ( ( x x 1 1 ,,x x 1 1 , , ,,x x 1 1 ) )p ( ( x x 2 2 ,,x x 1 1 , , ,,x x 1 1 ) ) p ( ( x x q q ,,x x q q , , ,,x x q q ) )
联合自信息量与联合熵
联合自信息量定义
I ( xy ) = log 1 = - log p(xy) p ( xy )
联合熵定义(联合自信息量的统计平均)
H(XY)=
EXYI(x)y=
p(xy)I(xy)
xXyY
= p(x)ylopg(x)y
xXy Y
自信息量、条件信息量、联合信息量 三者之间的关系