离散信源的信息熵

用什么作为整个信源的信息测度?
信息熵
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.2 信息熵


各离散消息自信息量的数学期望，即信源的平均自信息量—— 信息熵。
n 1 H ( X ) E[ I (ai )] E[log2 ] p(ai ) log2 p(ai ) p(ai ) i 1
电子信息工程学院

式中， 0 p( xi ) 1
q i
(i 1, 2,q)
p( x ) 1
i 1
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.1 自信息


问题的提出:

?????
每个消息携带多少信息量？ 整个信源能输出多少信息量？




信源发出的消息是随机的，具有不确定性，收信者收到消息后， 才能消除不确定性获得信息。 如果某一消息发生的不确定性越大，一旦发生，获得的信息量 就越大。 不确定性的消除是一个从“不知-知”的过程，在此过程中，收 信者获得足够的信息量。 消息发生的不确定性和发生的概率有关，消息发生的概率越小， 则消息中包含的信息量就越大。消息ai 发生所含有的信息量称 为消息ai 的自信息量。 电子信息工程学院
信息论
2.2 离散信源的信息熵

信源：信息的来源，是产生消息或消息序列的源泉 离散信源：信源可能输出的消息数是有限的或可数的，每 次只输出一个消息。 离散信源的数学模型：
X x1 P( x) p ( x ) 1 x2 x3 p( x2 ) p( x3 ) xq p( xq )

第三次获得的信息量
I[P 3 ( x)] log2
1 1 log2 1 P ( x ) 1 2 3
电子信息工程学院
信息论
2.2 离散信源的信息熵
结论：



收到某消息获得的信息量 =不确定性减少的量 =（收到消息前某事件发生的不确定性） -（收到消息后关于该事件的不确定性） 自信息是指某一消息所含有的信息量，消息不同，所含有的 信息量也不同，不能用它作为整个信源的信息测度。
I ( x) loga 1 loga P( x) P( x)
－自信息量的定义
电子信息工程学院
信息论
2.2 离散信源的信息熵
I ( x) loga

1 loga P( x) P( x)
上式中对数的底：

若a = 2，信息量的单位称为比特(bit) 若a = e，信息量的单位称为奈特(nat)， 若 a = 10，信息量的单位称为哈特(Hart) 事件x发生前， I(x)表示事件x发生的不确定性 事件x发生后， I(x)表示事件x所含有（或所提供）的信息量



单位：比特/符号。（底数不同，单位不同） 信源的信息熵H考虑的是整个信源的统计特性。它是从平均意义 上来表征信源的总体信息测度。 对于某特定的信源（概率空间给定），其信息熵是个确定的数 值。 不同的信源因统计特性不同，其熵也不同。
电子信息工程学院
信息论
2.2 离散信源的信息熵
2.2.2 信源熵的物理意义


信源熵H(X)表示信源输出后，每个消息（或符号）所提供的平 均信息量。 信源熵H(X)表示信源输出前，信源的平均不确定性。 信源熵H(X)反映了变量X的随机性。
电子信息工程学院
信息论
2.2 离散信源的信息熵

例如有两个信源，其概率空间分别为：
X a1 P( x) 0.99 a2 0.01 Y b1 P( y ) 0.5 b2 0.5

I(x)的含义：

电子信息工程学院
信息论
2.2 离散信源的信息熵
例2.1 假设一条电线上串联8个灯泡，这8个灯泡 损坏的可能性是等概率的，现假设这8个灯泡有一 个且只有1个已经损坏，让我们检查判断哪一个灯 泡损坏并分析信息获取的过程。
解：用万用表进行检查判断

电子信息工程学院
信息论
2.2 离散信源的信息熵
信息论
2.2 离散信源的信息熵
2.2.1 自信息信息量的度量方法



自信息量I(x) 是 P(x) 的单调递减函数 P(x) ，I(x) ； P(x) ，I(x) ； P(x) = 1时，I(x) ＝ 0； P(x) = 0时，I(x) ＝ ； 两个独立事件的联合信息量应等于它们分别信息量之和，即统 计独立信源的信息量等于分别信息量之和。 满足上述3条件的关系式如下：
第三次 第二次 第二次 第一次 第一次

Baidu Nhomakorabea
第一次获得的信息量
I[P 1 ( x)] I [ P 2 ( x)] log2 1 1 1 1 log2 log2 log2 1 P ( x ) P ( x ) 1 8 1 4 1 2

第二次获得的信息量
I[P 2 ( x)] I [ P 3 ( x)] log2 1 1 1 1 log2 log2 log2 1 P ( x ) P ( x ) 1 4 1 2 2 3
H ( X ) 0.99 log 0.99 0.01log 0.01 0.08(比特 / 符号) H (Y ) 0.5 log 0.5 0.5 log 0.5 1(比特 / 符号)

H (Y ) H ( X ) 可见 信源Y比信源X的平均不确定性要大。信息熵正好反映了信源输 出消息前，接收者对信源存在的平均不确定程度的大小，也反 映了信源随机性的大小。