《信息理论与编码》PPT课件

2、条件熵
H(Y/X):噪声对各符号产生的平均
信量，称为噪声熵。 H(X/Y)：在传输符号时平均损失
的信息量，称为疑义度。
定义：在给定Y条件下，X的条件熵
H（X/Y）= p(yj )H(X / yj )
j
相应地，在给定X的条件下，Y的条件熵H(Y/X)定义为
H(Y/X)= p(xi )H (Y / xi )
P( A)P(C / A)
0.5
8
I
( xi
)

log
8 3

1.415bit
第一节：单符号离散信源 一：符号的信息量 二：信源的平均信息量
1、信息熵
H (X )

n i 1
p(xi )I (xi )

n i 1
p(xi ) log
1 (bit / 符号）
p(xi )
信源X中各符号平均 信息量。单位bit/symbol
i
3、联合熵
H（XY）= i, j
p(xi y j )I (xi y j )
i, j
p(xi y j ) log
1 p(xi y j )
联合熵H（XY）表示X和Y同时提供的符号平均信息量
4、 平均互信息量
I(X ;Y)
i, j
p(xi y j )I (xi ; y j )
求: (1)H(Y/u0)(2)H(Y/X)(3)H(XY (4)H(X/Y)?I(X;Y)
2-10 在一个袋中放入5个黑球、10个白球，以摸出 一个球为一次实验，摸出的球不再放进去。求：
（1）一次实验X包含的不确定度； （2）第一次实验X摸出的是黑球，第二次实验Y给出
的不确定度； （3)第一次实验X摸出的是白球，第二次实验Y给出
H(1,0,0,…0)=0
4、最大熵定理：对于X{a1,a2,…an} 当p(ai)=1/n时，Hmax(X)=log2n
5、条件熵小于无条件熵 在相互独立时取等号。
H(X/Y)<=H(X) H(X/Y1Y2)<=H(X/Y1)
联合熵大于独立熵 在X=Y时，取等号。
H(XY)>=H(x) H(XY)<=H(x)+H(Y)
为全损离散信道
什么叫无扰离散信道?
由于没有噪声，X=Y,所以信道不损失信息量， 疑义度H（X／Y）为零，噪声熵也为零。 此时 有： I（X；Y）=H（X）这时的信道叫无扰离散信道。
三、数据处理中信息的变化
数据处理定理 (1) :
当消息通过多级处理器时，随着处理器数目 的增多，输人消息与输出消息之间的平均互
作业: 2-12, 2-14
2.3 离散序列信源的熵
设:信源输出的随机序列为X=X1X2X3…XL
Xi x1, x2,..., xn,i 1,2,..., L
序列熵:H(X1X2X3…XL)=H(XL) bit/seq 序列平均符号熵:HL(X)=H(XL)/L bit/symbol
(3)H(Y/X=“白”)=H(5/14,9/14)=0.94
(4)H(Y)
P(y=“黑”)=1/3,P(y=“白”)=2/3
H(Y)=0.92
通过第2次的实验结果能够获得的关于第1次实 验的信息量为I(X;Y)=?
什么叫全损离散信道?
分析: I（X；Y）＝H（X）-H（X／Y） 如果X与Y是相互独立的，I（X；Y）=0。 信源发出的信息量在信道上全部损失掉了，此时称
H（XY）＝H（X）＋H（Y／X） H（XY）＝H（Y）＋H（X／Y）
1）I（X；Y）= H（X）一H（X／Y ） 2) I（X；Y）= H（Y）一 H（Y／X） 3） I（X；Y）= I（Y；X）
4) I(X;Y)=H(X)+H(Y)-H(XY)
例2-9：二进制通信系统使用符号0和1，由于存在失真， 传输时会产生误码。设：u0---发出一个0；u1—发 出一个1；v0—收到一个0；v1—收到一个1。
P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2. (1)已知发出一个0，求收到符号后的信息量； (2)已知发出一个符号，求收到符号后的信息量； (3)已知发出的和收到的符号，求能得到的信息量； (4)已知收到的符号，求被告知发出的符号能得到的信息量。
求: (1)H(Y/u0) (2)H(Y/X) (3)H(XY) (4)H(X/Y) ?I(X;Y)
i, j
p(xi y j ) log
p(xi / y j ) p(xi )
表示通信系统在传输一个符号时，所传送的平均信息量。
各参数的意义总结:
H（X）是符号集合X中每个符号包含的平均信息量. I（X；Y）信道上能传输的平均信息量.
H（X／Y）称为疑义度，它是信道中每个符号损失的 信息量。 H（Y／X） 称为噪声熵。 H(XY)联合熵
的不确定度； （4）第二次实验Y包含的不确定度。
求: (1)H(X) (2)H(Y/X=“黑”) (3)H(Y/X=“白”) (4)H(Y)
求:
(1)H(X)
(2)H(Y/X=“黑”)
(3)H(Y/X=“白”)
(4)H(Y)
练习:
(1)H(X)=H(1/3,2/3)=0.92
习题2-11
(2)H(Y/X=“黑”)=H(2/7,/5/7)=0.86
回答问题:
什么是符号的条件信息量？什 么是符号的互信息量？它们的 物理意义是什么？在什么情况 下某个符号的自信息量会为0?
2-5：居住某地区的女孩中有25%是大学生，在女大学 生中有75%身高为1.6m以上，而女孩中身高1.6m以上 的占总数一半。假如得知“身高1.6m以上的某女孩是 大学生的消息，问获得多少信息量。
A=“女孩”，B=“大学生”，C=“身高1.6m以上” P(B/A)=0.25 P(C/AB)=0.75 P(C/A)=0.5
P(B / AC) P( ABC) P( AB)P(C / AB) P( AC) P( A)P(C / A)
P( A)P(B / A)P(C / AB) 0.25 0.75 3
信息量趋于变小。 I(X;Z)<=I(X;Y)
I(X;Z)<=I(Y;Z)
X
wenku.baidu.com
Y 第一级处理器
输入
Z 第二级处理器
数据处理定理(2) :如果想从测量值Y中获得关于X的 信息量，则测量次数越多越好。
I(X;Y1)<=I(X;Y1Y2)
四、熵的性质
1、非负性 2、对称性 3、确定性
H(X)>=0, I(X;Y)>=0 H(p1,p2,…pn)=H(p2,p1,…pn)