第3讲——条件熵联合熵及熵的性质

i j
p(xi ) log 2 p(xi )
i
H(X)
其中, p( y j ) p(xi / y j ) p(xi y j ) p(xi )
j
j
基本定理推广
H(X/Y) ≤H(X)
H(Un Un1Un2 Uns H(Un Un1 Unm ) 1 s mn N
H(XY) ≤H(X)+H(Y)
p(xi ) log p(xil ) H ( X l )
i
l 1
l 1 i
l 1
进一步化简
H (XL ) LH (X )
?
平均符号熵
HL (X)
1 L
H (XL)
H
(X
)
离散无记忆信源的序列熵
信源的序列熵
nL
H (XL ) p(xi ) log p(xi ) i 1
L
L
L
p(xi ) log p(xil )
第二章 信源及其信息熵
2.1.3 条件熵及联合熵
条件熵
条件熵是在联合符号集合XY上的条件自信息量的数学期望。
在已知随机变量Y的条件下，随机变量X的条件熵定义为：
mn
H ( X / Y ) E[I (xi / y j )]
p(xi y j )I (xi / y j )
j 1 i1
要用联合 概率加权
ij
ij
p(xi ) log 2 p(xi ) p( y j / xi ) H (Y / X )
i
j
H ( X ) H (Y / X )
利用: p(xi y j ) p(xi ) p( y j / xi )
p( y j / xi ) 1
j
极值性
➢ 极值性——最大离散熵定理
H ( X ) log 2 K
ij
或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符号
2.1.4 熵的基本性质
熵的基本性质
X P
x1 p1
x2 p2
xK
pK
Leabharlann Baidu
K
pk 1, pk 0 (k 1,2,..., K )
k 1
K
H (X ) H ( p1, p2 pK ) pk log pk k 1
联合熵
• 联合离散符号集合XY上的每个元素对 ( xi y j )的联合
自信息量的数学期望。
nm
nm
H ( XY )
p( xi y j )I ( xi y j )
p( xi y j ) log 2 p( xi y j )
i1 j 1
i1 j 1
熵、条件熵、联合熵关系
H ( XY) H ( X ) H (Y X ) H (Y ) H ( X Y )
离散无记忆:
p(xi ) p(xi1 , xi2 , , xiL )
L
p(xi1 ) p(xi2 ) p(xi3 ) p(xiL ) p(xil ) l 1
离散无记忆信源的序列熵
信源的序列熵
nL
H (XL ) p(xi ) log p(xi ) i 1
L
L
L
p(xi ) log p(xil )
H (Y ) H (1 , 1 , 1) 236
1 log 1 1 log 1 1 log 1 1.47bit 2 23 36 6
例题
• 条件熵H(X|Y)
由 p(xi | y j )
p(xi y j )
n
p(xi y j )
p(xi y j ) p( y j )
i 1
得
p(x0 | y0 )
X p(
x)
x1 1
2
x2 1
4
x3 1 4
X2信源 的元素
a1 a2 a3 a4 a5 a6 a7 a8 a9
对应的 消息序列 x1x1 x1x2 x1x3 x2x1 x2x2 x2x3 x3x1 x3 x2 x3 x3
概率p(ai) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16
证明： H ( X / Y )
p(xi y j ) log 2 p(xi / y j )
ij
j
p(
y
j
)
i
p(xi / y j ) log 2 p(xi / y j )
p( y j ) p(xi / y j ) log 2 p(xi )
j
i
p( y j ) p(xi / y j ) log 2 p(xi )
p(xi ) log p(xi1 )
i
i1 1 i2 1 i3 1 iL 1
LLL
L
p(xi1 ) p(xi2 ) p(xi3 ) p(xiL ) log p(xi1 )
i1 1 i2 1 i3 1 iL 1
L
L
L
L
p(xi1 ) log p(xil ) p(xi2 ) p(xi3 ) p(xiL )
例题
• 一个二进信源X发出符号集{0,1},经过离散无记忆信道传
输,信道输出用Y表示.由于信道中存在噪声,接收端除收
到0和1的符号外,还有不确定符号“2” X
Y
• 已知X的先验概率:
3/4
0
0
p(x0)=2/3, p(x1)= 1/3,
1/4
• 符号转移概率：
2
p(y0|x0)=3/4, p(y2|x0)=1/4
由
n
m
p(xi y j ) p( y j ), p(xi y j ) p(xi )
i 1
j 1
得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2
p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6
p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3
mn
p(xi y j ) log p(xi / y j )
j 1 i1
nm
H (Y / X ) E[I ( y j / xi )]
p(xi y j ) log 2 p( y j / xi )
i1 j 1
条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存 在的不确定度。这是传输失真所造成的。有时称H(X/Y)为 信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。
H (Y | X ) p(xi , y j ) log p( y j | xi )
ij
1 log 3 1 log 1 1 log 1 1 log 1 0.88bit 2 46 46 26 2
例题
• 联合熵H(XY)
H(XY)＝H(X)＋H(Y|X)=1.8bit/符号
• 信源输出熵H(Y)
i1 1
i2 1
i3 1
iL 1
L
p(xi1 ) log p(xi1 ) H (X ) i1 1
L
H (XL ) H (Xl ) LH (X )
l 1
离散无记忆信源实例
例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以 单个符号出现为一事件,则此时的信源熵:
H(X ) log 2 2 1bit – 即用 1比特就可表示该事件。
这说明信源空间中增加某些概率很小的
符号，虽然当发出这些符号时，提供很大的
信息量，但由于其概率接近于0，在信源熵中
占极小的比重，lim
持不变。
0
log
2
0
，使信源熵保
可加性
➢ 可加性 H ( XY ) H ( X ) H (Y / X )
H ( XY ) H (Y ) H ( X / Y )
证明: H (XY )
p(xi y j ) log 2 p(xi y j )
ij
p(xi y j ) log 2[ p(xi ) p( y j / xi )]
ij
p(xi ) p( y j / xi ) log 2 p(xi )
p(xi y j ) log 2 p( y j / xi
N
H (U1U2 L U N ) H (Un ) n1
2.1.5 离散序列信源的熵
离散无记忆信源
设信源输出的随机序列为 X =(X1X2…Xl…XL)
序列中的变量Xl∈{x1,x2,… xn}
p(xi ) p(xi1 , xi2 , , xiL ) p(xi1 ) p(xi2 | xi1 ) p(xi3 | x xi1 i2 ) p(xiL | xi1 xi2 x ) iL1
• 如果以两个符号出现(L=2的序列)为一事件，则随机序 列X∈(00,01,10,11)，信源的序列熵
H (X2 ) log 2 4 2bit
– 即用2比特才能表示该事件。
• 信源的符号熵
H2 (X)
1 2
H (X2)
1bit
H2 (X) 2H (X)
离散无记忆信源实例
• 例:有一离散平稳无记忆信源 求：二次扩展信源的熵
a2
0 2/9 7/9
离散有记忆信源实例
由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表
a0
a1
a2
a0 1/4 1/18 0
当考虑符号之间有依赖性时, 计算得条件熵
a1 1/18 1/3 1/18 a2 0 1/18 7/36
p(xi ) log p(xil ) H ( X l )
i
l 1
l 1 i
l 1
进一步化简
H (XL ) LH (X )
?
平均符号熵
HL (X)
1 L
H (XL)
H
(X
)
离散无记忆信源的序列熵
H (Xl ) p(xi ) log p(xil )
i
LLL
L
H ( X1) p(xi ) log p(xi1 )
离散无记忆信源实例
• 信源的序列熵
9
H (X 2) p(ai )log p(ai ) 3bit i1
• 平均符号熵为 H2(X ) H(X 2) / 2 1.5bit
• 信源熵为
3
H (X ) p(xi )log p(xi ) 1.5bit i1 H(X 2) 2H(X )
离散有记忆信源实例
1/2
p(y1|x1)=1/2, p(y2|x1)=1/2，
1
1 1/2
• 信源熵H(X)
H (X ) H (2 , 1) 2 log 2 1 log 1 0.92bit 33 3 3 3 3
例题
• 条件熵H(Y|X) 由 p(xi y j ) p(xi ) p( y j / xi ) p( y j ) p(xi / y j ) 得联合概率：
信源X中包含K个不同离散消息时，信源 熵 H (X ) log2 K，当且仅当X中各个消息 出现的概率全相等时，上式取等号。 表明等概信源的不确定性最大，具有最 大熵，为 log 2 K
基本定理
定理：1. H(X/Y) ≤H(X) （条件熵不大于无条件熵） 2. H(XY) ≤H(X)+H(Y)
确定性
➢ 确定性
H(1,0) H(0,1) H(1,0,0,...0) 0
当信源X的信源空间[X，P]中，任一概率 分量等于1，根据完备空间特性，其它概 率分量必为0，这时信源为一个确知信源， 其熵为0。
扩展性
➢ 扩展性
lim
0
HK
( p1,
p2 ,
,
pK
,)
HK
(
p1,
p2 ,
,
pK
)
例:已知离散有记忆信源中各 符号的概率为:
X P
a0 11
36
a1 4
9
a2 1 4
设发出的符号只与前一个符号有关,这两个符号的概率
关联性用条件概率p(aj|ai)表示,如表
求离散信源的序列熵和平均每个符号的熵?
p(aj|ai)
a0
a1
a2
a0 9/11 2/11 0
a1 1/8 3/4 1/8
概率矢量
非负性
➢ 非负性 H(X)≥0 由于0≤pk≤1, 所以logpk≤0，-logpk≥0， 则总有H(X)≥0。
对称性
➢ 对称性
H ( p1, p2,... pK ) H ( pK , p1, p2,... pK1)
根据加法交换律可以证明，当变量交换顺序 时熵函数的值不变, 即信源的熵只与概率空间 的总体结构有关，而与各概率分量对应的状 态顺序无关。
p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6
p(x0 y0 ) 1/ 2 1 p( y0 ) 1/ 2
p(x1 | y0 )
p(x1 y0 ) p( y0 )
0
同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2
H (X | Y ) p(xi , y j ) log p(xi | y j ) 0.33bit