第三章离散信源及离散熵

电子科技大学
H(X) = −∑p(xi )lbp(xi )
i =1
4
1 1 1 1 1 1 = − lb − lb − lb × 2 2 2 4 4 8 8
2011-3-13
1 1 1 1 1 1 = lb2 + lb4 + lb8 = + × 2 + × 3 2 4 4 2 4 4 bol = 1.75(bit / sym )
2011-3-13
1、离散平稳信源及其数学模型 对于多符号离散信源发出的符号序列 X1X2 L 如果任意两个不同时刻k …， 如果任意两个不同时刻k和l，k=1,2, …， l=1,2, …，其概率分布相同，即 …，其概率分布相同， P(Xk ) = P(Xl ) 则称该多符号离散信源为一维离散平稳 信源。 信源。
该信源的离散熵
2011-3-13
H(X1X2 ) = −∑p(ai )lbp(ai )
= −∑∑p(xi1 xi 2 )lbp(xi1 xi 2 )
i1 =1i 2 =1 n n n n
n2
电子科技大学
i =1
= −∑∑p(xi1 xi 2 )lbp(xi1 )p(xi 2 / xi1 )
i1 =1i 2 =1
电子科技大学
H(X) = −∑p(i)lbp(i)
i =1
6
1 1 bol = − lb × 6 = lb6 = 2.585(bit / sym ) 6 6
2011-3-13
例2，求某一天简单的天气气象这一信源 的离散熵。 的离散熵。 该信源的数学模型为： 解： 该信源的数学模型为：
) ) ) 雨 x1(晴 x2(阴 x3( ) x4(雪 X 1 1 1 P(X) = 1 2 4 8 8
2011-3-13
离散熵则既反映了信源输出X 离散熵则既反映了信源输出X所包含的平 均自信息量， 均自信息量，是消除信源不确定度所需 要的信息的度量， 要的信息的度量，同时又描述了信源的 平均不确定度。 平均不确定度。 换句话说， 换句话说，平均自信息量只有在信源输 出时才有意义， 出时才有意义，而离散熵则不管信源输 出与否都有意义。 出与否都有意义。
2011-3-13
与此相对应，将该信源的离散熵H(X 与此相对应，将该信源的离散熵H(X1X2) 称为联合熵，信源符号的离散熵H(X 称为联合熵，信源符号的离散熵H(X1)、 H(X2)称为无条件熵。 称为无条件熵。
Qp(xi 2 ) = ∑p(xi1 xi 2 ) = ∑p(xi1 )p(xi 2 / xi1 )
n n i =1 i =1
电子科技大学
H(X) = E[I(xi )] = ∑p(xi )I(xi ) = −∑p(xi )lbp(xi )
离散熵的单位是比特/符号(bit/symbol)。 离散熵的单位是比特/符号(bit/symbol)。
2011-3-13
电子科技大学
离散熵是从整体出发对一个离散信源信 息量的度量。 息量的度量。 需要注意， 需要注意，平均自信息量和离散熵虽然 在数值上相同，但在含义上却有区别： 在数值上相同，但在含义上却有区别： 平均自信息量所反映的仅仅是信源输出X 平均自信息量所反映的仅仅是信源输出X 所包含的平均自信息量， 所包含的平均自信息量，是消除信源不 确定度所需要的信息的度量； 确定度所需要的信息的度量；
λ
λ
电子科技大学
1 1 H(X)max = −∑p(xi )lbp(xi ) = −∑ lb = lbn n i =1 i =1 n
n
n
H(X) ≤ lbn 2011-3-13
例1，求掷骰子这一信源的离散熵。 求掷骰子这一信源的离散熵。 解：该信源的数学模型为
1 2 L 6 X P(X) = 1 1 L 1 6 6 6
, 其中ai = xi1 xi 2 Lxi N , i1, i2 ,L, iN ∈{1,2,L,n}
p(ai ) = p(xi1 xi 2 Lxi N ) = p(xi1 )p(xi 2 / xi1 )Lp(xi N / xi1 xi 2 Lxi N−1 )
2011-3-13
且 p(ai ) = 1 ∑
X1X2 LXN
2011-3-13
电子科技大学
其联合概率分布为 P(X1X2 LXN ) N维离散平稳信源的数学模型： 维离散平稳信源的数学模型：
a2 L anN X1X2 LXN a1 P(X X LX ) = p(a ) p(a ) L p(a ) 2 1 2 N nN 1
i1 =1i 2 =1
n
n
= −∑p(xi1 )lbp(xi1 ) − ∑∑p(xi1 xi 2 )lbp(xi 2 / xi1 )
i1 =1 i1 =1i 2 =1
n
n
n
= H(X1 ) + H(X2 / X1 )
式中， 称为条件熵， 式中，H(X2/X1 )称为条件熵，是条件信 息量在联合概率上的数学期望。 息量在联合概率上的数学期望。
1 X 0 例3，已知信源 = p 1 − p P(X)
电子科技大学
求离散熵并作出p H(p)曲线 求离散熵并作出p-H(p)曲线。 曲线。 解：H(X) = −∑p(i)lbp(i)
i =0 1
= −[plbp + (1 − p)lb(1 − p)] = H(p)
2011-3-13
电子科技大学
P(Xk ) = P(Xl ) P(XkXk+1 ) = P(Xl Xl +1 )
电子科技大学
L P(XkXk+1LXk+N−1 ) = P(Xl Xl +1LXl +N−1 ) 则称该多符号离散信源为N 则称该多符号离散信源为N维离散平稳信 源。 一般，可将N 一般，可将N维离散平稳信源发出的符号 序列看成长度为N的一段段符号序列， 序列看成长度为N的一段段符号序列，即
2011-3-13
将信源分为无记忆信源(memoryless 将信源分为无记忆信源(memoryless source)和有记忆信源 source)和有记忆信源(memory source)。 和有记忆信源(memory source)。 本章主要讨论离散无记忆信源。 本章主要讨论离散无记忆信源。 从一个离散信源的整体出发， 从一个离散信源的整体出发，它的信息 量应该如何度量？ 量应该如何度量？
电子科技大学
实际上，信源每次发出的消息是符号序 实际上， 列的情况更为普遍。 列的情况更为普遍。 如果信源每次发出的消息都是有限或可 数的符号序列， 数的符号序列，而这些符号都取值于同 一个有限或可数的集合， 一个有限或可数的集合，则称这种信源 为多符号离散信源。 为多符号离散信源。 多符号离散信源的例子有电报、文字等。 多符号离散信源的例子有电报、文字等。
2011-3-13
H(X)在 p(xi ) = 1 限制下的条件极值 ∑
i =1
n
电子科技大学
∂ {H(X) + λ[∑p(xi ) − 1]} = 0 令 ∂p(xk ) i =1
n
k = 1,2,L,n
n n ∂ {−∑p(xi )lbp(xi ) + λ[∑p(xi ) − 1]} 即 ∂p(xk ) i =1 i =1
, 其中0 ≤ p(xi ) ≤ 1, i = 1,2,L,n且 p(xi ) = 1 ∑
n
如果说自信息量反映的是一个随机事件 出现各种结果所包含着的信息量， 出现各种结果所包含着的信息量，那么
2011-3-13
i =1
自信息量的数学期望( 自信息量的数学期望(概率加权的统计平 均值) 均值)所反映的是该随机事件出现所包含 的平均自信息量。 的平均自信息量。 2、单符号离散信源的离散熵 如果将离散信源所有自信息量的数学期 望用H(X)来表示并称其为信源的离散熵 来表示并称其为信源的离散熵， 望用H(X)来表示并称其为信源的离散熵， 也叫香农熵，离散熵的定义为： 也叫香农熵，离散熵的定义为：
n n
= −∑∑p(xi1 xi 2 )lbp(xi1 )
i1 =1i 2 =1 n
− ∑∑p(xi1 xi 2 )lbp(xi 2 / xi1 )
2011-3-13i =1 i1 =1 2
n
= −∑lbp(xi1 )∑p(xi1 xi 2 )
i1 =1 i 2 =1
n
n
电子科技大学
− ∑∑p(xi1 xi 2 )lbp(xi 2 / xi1 )
第3章 离散信源及离散熵
电子科技大学
信源消息是多种多样的：如计算机网络 信源消息是多种多样的： 节点输出的是二进制数据， 节点输出的是二进制数据，模拟电视输 出的是连续视频图像和伴音；又如抽牌， 出的是连续视频图像和伴音；又如抽牌， 可以抽出后放回去再抽， 可以抽出后放回去再抽，也可以抽出后 不放回去再抽。 不放回去再抽。 信源的分类方法可以很多，但从本质上 信源的分类方法可以很多， 考虑， 考虑，一方面将信源分为离散信源和连 续信源(continuous source)， 续信源(continuous source)，另一方面
2011-3-13
电子科技大学
将多符号离散信源发出的符号序列记为 X1X2 L 并设序列中任一符号都取值于集合 Xk ∈{x1, x2 ,L, xn }, k = 1,2,L 一般情况下， 一般情况下，信源在不同时刻发出符号 的概率分布是不同的， 的概率分布是不同的，即 P(Xk ) ≠ P(Xl ), k = 1,2,L, l = 1,2,L 这种情况分析起来比较困难，不作讨论。 这种情况分析起来比较困难，不作讨论。
i1 =1 i1 =1 n n
电子科技大学
≥ p(xi 2 / xi1 )