信息论与编码 第二版 第2章 ppt

2.2.2 离散信源熵
1. 平均自信息量 对于一个给定信源，各个符号的自信息量是与各 自的概率分布有关的一个随机变量，不能作为信源总 体的信息量度，我们采用求平均的方法。定义自信息 量的数学期望为信源的平均自信息量，即
E[ I ( X )] p( xi ) I ( xi ) p( xi ) log p( xi )
I ( xiy j ) log p( xiy j )
p( xiy j ) 为在事件 y j 出现的条件下，x i 发生的
条件概率。


p( xi , y j ) p( xi | y j ) p( y j )
I ( x, y) I ( xi | y j ) I ( y j )
2.2 离散信源熵和互信息
2.2.1 自信息量 2.2.2 离散信源熵 要求：1. 掌握自信息量、联合自信息量和条 件自信息量的含义和计算方法； 2. 掌握单符号熵、条件熵与联合熵的 含义和计算方法。
2.2.1 自信息量
信源发出某一符号 x i (i 1,2, , n) 后，它提供
多少信息量？这就是要解决信息的度量问题。
ij ij
＝－ p( y j ) log p( y j ) H ( X | Y )
j
H (Y ) H ( X | Y )

（2）条件熵
条件熵是在联合符号集合（X，Y）上的条
件自信息量的联合概率加权统计平均值。
H(X|Y)表示已知Y后，X的不确定度。
H ( X | Y ) p( xi , y j ) I ( xi | y j ) p( xi , y j ) log p( xi | y j )
求:
① ② ③ ④
（1）已知发出一个0，求收到符号后得到的信息量；
H (V | u0 ) p(vi | u0 ) log p(vi | u0 )
i
p(v0 | u0 ) 3 / 4 p(v1 | u0 ) 1 p(v0 | u0 ) 1 / 4
1 3 H (V | u0 ) H ( , ) 0.82bit / 符号 4 4
即该信源中平均每个符号所包含的信息量 为1.5bit。

例: 已知某信源的概率空间为
X 0 1 2 3 3 1 1 1 P 8 4 4 8
求由该信源发出60个符号构成的消息所含的信 息量。 解：先求平均每个符号的信息量，即信息熵
3 1 1 1 H ( X ) H ( , , , ) 1.905bit / 符号 8 4 4 8
i i
单位
bit / 符号 nat / 符号 det / 符号

2. 信源熵（信源的平均不确定度） 信源熵H(X)，表示平均意义上信源的总体 特性，是在总体平均意义上的信源不确定性。 信源熵在数量上等于平均自信息量，
H ( X ) p( xi ) I ( xi ) p( xi ) log p( xi )
（2）已知发出的符号，求收到符号后得到的信息量；
H (V | U ) p(ui , v j ) log p(v j | ui )
i 0 j 0
1
1
p(u0 , v0 ) p(v0 | u0 ) p(u0 ) 3 / 8 p(u0 , v1 ) 1 / 8 p(u1 , v0 ) 1 / 4 p(u1 , v1 ) 1 / 4
H (V | U ) p(ui , v j ) log p(v j | ui )
I ( xi , y j ) log p( xi , y j )
当 x i 和y j 相互独立时，有p( xi , y j ) 于是有
p( xi ) p( y j )
I ( xi , y j ) I ( xi ) I ( y j )
条件自信息量： 当 x i 和 y j 相互联系时，在事件 y j出现的条 件下， x i 的自信息量称为条件自信息量，定义为
ij
P( x 0, y 0) P( y 0 | x 0) P( x 0) 1 / 2 P( x 0, y ?) 1 / 6, P( x 0, y 1) 0 P( x 1, y 0) 0, P( x 1, y 1) 1 / 6
2. 随机事件的不确定性
出现概率大的随机事件，包含的不确定性小，
即自信息量小；
出现概率小的随机事件，包含的不确定性大，
即自信息量大；
出现概率为1的随机事件，包含的不确定性为 0，即自信息量为0；
3. 不确定度与自信息量：

信源符号自信息量：指某一符号出现后，提 供给收信者的信息量； 信源符号不确定度：它是信源符号固有的， 不管符号是否发出，都存在不确定度。 信源符号自信息量与信源符号不确定度在数量 上相等，两者单位也相同。
H ( X | Y ) p( xi , y j ) log p( xi | y j ) 0.33bit / 符号
ij

例2-9. 二进制通信系统使用符号0和1，事件u0表示 发出符号“0”，事件u1表示发出符号“1”，事件v0 表示收到符号“0”，事件v1表示收到符号“1”。已 知概率p (u0)=1/2，p(v0 | u0)=3/4， p(v0 | u1)=1/2。 已知发出u0 ，收到符号后获得的信息量； 已知发出符号 ，收到符号后获得的信息量； 已知发出和收到的符号，获得的信息量； 已知收到的符号，被告之发出符号，获得的信息量。

例2-3：英文字母中“e”的出现概率为0.105， “o”的出现概率为0.001。分别计算它们的自 信息量。
解： “e”的自信息量 I (e)= - log2 0.105 =3.25bit; “o”的自信息量 I (o)= - log2 0.001=9.97 bit;


例: 居住某地区的女孩中有25％是大学生，在女大学生中有75％ 身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得 知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息 量？ 解：设x1为女孩是大学生； x2为身高1.6m以上的女孩； 则p( x1)=1/4 ; p (x2)=1/2;
H (Y ) p( y j ) log p ( y j )
j 1 n
P( y 0) P( xi , y 0) 1 / 2
i
P( y 1) 1 / 6 P( y ?) 1 / 3
H (Y ) H (1 / 2,1 / 6,1 / 3) 1.47bit / 符号

例2-5 设信源符号集X＝{x1,x2,x3},每个符号发 生的概率分别为p(x1)=1/2， p(x2)=1/4， p(x3)=1/4，求信源熵H(X)。 解：
H ( X ) p( xi ) log p( xi )
i
1 1 1 1 1 1 ＝ log log log 1.5bit / 符号 2 2 4 4 4 4
H Xy j p xiy j I xiy j
i





它表示信源Y发符号 yj 的前提下，信源X每发一个 符号提供的平均信息量。

例2-8 一个二进制信源X发出符号集{0,1}，经过离散 无记忆信道传输，信道输出用Y表示。由于信道中存 在噪声，接收端除收到0和1的符号外，还有不确定 的符号，用“？”表示。已知X的先验概率为 P(x=0)=2/3, P(x=1)=1/3,符号的转移概率为
在通信的一般情况下，收信者所获取的信息量， 在数量上等于通信前后不确定性的消除(减少)的量。
1. 定义：任意随机事件的自信息量定义为该事件发生概 率的对数的负值。 如：定义为具有概率为p(xi)的符号xi的自信息量为 I (xi)= - log p(xi) 说明：自信息量的单位与所用的对数的底数有关。 对数底数为2，信息量单位为比特（bit）； 对数底数为e，信息量单位为奈特（nat）； 对数底数为10，信息量单位为笛特（det）； 3个信息量单位之间的转化关系为： 1 nat = log2 e = 1.433 bit 1 det = log210 = 3.322 bit
P(y=0|x=0)=3/4, P(y=?|x=0)=1/4, P(y=1|x=1)=1/2, P(y=?|x=1)=1/2,其余为零。 求H(X),H(Y|X),H(X,Y),H(Y),H(X|Y)。

解： H(X) H(2/3,1/3) 0.92bit/ 符号
H (Y | X ) p( xi , y j ) log p( y j | xi )
i i
但两者的含义不同：

平均自信息量：消除信源不确定度时所需要
的信息的量度，即收到一个信源符号，全部解
除了这个符号的不确定度。或者说，获得这样
大的信息量后，信源不确定度就被消除了。

信源平均不确定度（信源熵） ：在总体平均 意义上的信源不确定度。不管是否输出符号， 只要这些符号具有某种概率分布，就决定了信 源的平均不确定度（信源熵）。
“女大学生中有75％身高为1.6m以上”即 p(x2 | x1)=3/4;
事件“身高1.6m以上的某女孩是大学生”出现的概率为
p( x1 , x2 ) p( x2 | x1 ) p( x1 ) 3 p( x1 |x 2 ) p( x 2 ) p( x 2 ) 8
则信息量
3 I ( x1 | x 2 ) log p ( x1 | x 2 ) log 1.42 bit 8
H ( X | Y ) p( xi , y j ) log p( xi | y j )
ij
P( x 0, y 0) P( x 0 | y 0) 1 P( y 0) P( x 1 | y 0) 0 P( x 0 | y 1) 0 P( x 1 | y 1) 1