条件熵联合熵及熵的性质

p ( xi y j ) ? p ( y j ), p ( xi y j ) ? p ( xi )
i?1
j?1
得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2
p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6
mn
?? ? ?
p ( xi y j ) log p ( xi / y j )
j?1 i?1
nm
?? H (Y / X) ? E[ I ( yj / xi )] ? ?
p(xi y j ) log 2 p( y j / xi )
i?1 j?1
条件熵是一个确定值，表示信宿在收到 Y后，信源X仍然存 在的不确定度。这是传输失真所造成的。有时称 H(X/Y)为 信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。
例题
? 一个二进信源X发出符号集{0,1},经过离散无记忆信道传
输,信道输出用Y表示.由于信道中存在噪声,接收端除收
到0和1的符号外,还有不确定符号“2”X
Y
? 已知X的先验概率:
3/4
0
0
p(x0)=2/3, p(x1)= 1/3, ? 符号转移概率：
1/4 2
p(y0|x0)=3/4, p(y2|x0)=1/4
? H(Y| X) ? ? p(xi, yj )logp(yj | xi) ij
?
?
1
3 log
?
11 log
?
1
1 log
?
11 log
?
0.88bit
2 46 46 26 2
例题
? 联合熵H(XY)
H(XY) ＝H(X) ＋H(Y|X)=1.8biHale Waihona Puke Baidu/ 符号
? 信源输出熵H(Y)
n
m
? ? 由
p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3
H(Y) ? H(1 , 1 , 1) 236
? ? 1 log1 ? 1 log1 ? 1 log1 ? 1.47bit 2 23 36 6
例题
? 条件熵H(X|Y)
? 由 p( xi | y j ) ?
联合熵
? 联合离散符号集合XY上的每个元素对 ( xi y j )的联合
自信息量的数学期望。
nm
nm
?? ?? H ( XY) ?
p( xi y j )I ( xi y j ) ? ?
p( xi y j ) log 2 p( xi y j )
i?1 j?1
i?1 j?1
熵、条件熵、联合熵关系
H ( XY) ? H ( X) ? H (Y X) ? H (Y) ? H ( X Y)
可加性
? 可加性 H ( XY ) ? H ( X ) ? H (Y / X )
H ( XY ) ? H (Y ) ? H ( X / Y )
?? 证明: H (XY) ? ?
得联合概率：
p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6
K
? pk ? 1,
k?1
pk ? 0
(k ? 1,2,...,K)
K
? H(X) ? H(p1, p2 ? pK ) ? ? pk log pk k?1
概率矢量
非负性
? 非负性 H(X)≥0 由于0≤pk≤1, 所以logpk≤0，-logpk≥0， 则总有H(X)≥0。
对称性
? 对称性
H( p1, p2,...pK) ? H( pK, p1, p2,...pK?1)
1/2
p(y1|x1)=1/2, p(y2|x1)=1/2，
1
1 1/2
? 信源熵H(X)
H(X) ? H (2 , 1) ? ? 2 log 2 ? 1 log 1 ? 0.92bit 33 3 3 3 3
例题
? 条件熵H(Y|X) 由 p(xi yj ) ? p(xi ) p( yj / xi ) ? p(yj ) p(xi / yj )
扩展性
? 扩展性
lim
?? 0
H
K
(
p1
,
p2
,?
, pK ? ?, ?) ? H K ( p1, p2 ,?
, pK )
这说明信源空间中增加某些概率很小的
符号，虽然当发出这些符号时，提供很大的
信息量，但由于其概率接近于 0，在信源熵中
占极小的比重，lim
持不变。
?? 0
?
log
2
?
?
0
，使信源熵保
2.1.3 条件熵及联合熵
条件熵
条件熵是在联合符号集合XY上的条件自信息量的数学期望。
在已知随机变量Y的条件下，随机变量X的条件熵定义为：
mn
?? H ( X / Y) ? E [ I ( xi / y j )] ?
p ( xi y j )I ( xi / y j )
j?1 i?1
要用联合 概率加权
? H(X | Y) ? ? p(xi, yj )log p(xi | yj ) ? 0.33bit ij 或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit/符号
2.1.4 熵的基本性质
熵的基本性质
?X? ??P ??
?
?x1 ?? p1
x2 p2
? ?
xK ? pK ??
根据加法交换律可以证明，当变量交换顺序 时熵函数的值不变 , 即信源的熵只与概率空间 的总体结构有关，而与各概率分量对应的状 态顺序无关。
确定性
? 确定性
H(1,0) ? H(0,1) ? H(1,0,0,...0) ? 0
当信源 X的信源空间 [ X，P]中，任一概率 分量等于 1，根据完备空间特性，其它概 率分量必为 0，这时信源为一个确知信源， 其熵为 0。
p( xi y j )
n
?
p( xi y j )
p(xi y j ) p( yj )
i?1
得
p(x0 | y0 ) ?
p( x0 y0 ) ? 1 / 2 ? 1 p( y0 ) 1 / 2
p(x1 | y0 ) ?
p(x1 y0 ) ? 0 p( y0 )
同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2