第二章-2 1信息的度量

2020/3/20
6
基于这一考虑，哈特莱首先提出采用消息出现 概率的对数（以2为底）来作为离散消息的度量单位， 称为信息量，用I（xi）表示：
I(xi)=log[1/P(xi)]=-logP(xi)
式中，P(xi)为该消息发生的概率。当对数以2 为底时，信息量单位为比特(bit)；对数以e为底时， 信息量单位为奈特(nit)。
... ... ...
P(xn/x1) P(xn/x2) ... P(xn/xn)
对于连续信源，其消息的取值是无限的，必须用
概率密度函数反映其统计特性。消息各点之间的统 计关联性可以用二维或多维概率密度来描述。
2020/3/20
5
离散信源的信息量
对二进制来说： 1位符号可以表示2个事件。 2位符号可以表示4个事件。 3位符号可以表示8个事件。 对于二维离散序列，N位符号所构成的随机 离散序列可能出现的消息量为2N。
信息的度量
信 息 （ INFORMATION ） ： 抽 象 的 、 本 质 的 。 是消息的有效内容。
消息（MESSAGE）：随机的、无法预知的。 是信息的载体，信号的内容。
信号（SINGNAL）：消息的载体形式。
用相同的消息量来表达的信息量是不一样的。 对于一个通信系统，若用相同长度的二进制信号 ，能传输的信息量越大，说明其通信能力越强。
I（xiyj）=-logP(xiyj)
式中P(xiyj)为信源X出现xi而信源Y出现yj的 联合概率。当X和Y统计独立时，联合信息量等 于X和Y各自信息量之和,如下式：
I（xiyj）=-logP(xiyj) =-logP(xi)P(yj) =[-logP(xi)]+[-logP(yj)]
2020/3/20
x0,N
iN
2020/3/20
29
=-
p(x)dx{log[p(x)dx]}
=-
p(x)logp(x)dx-logdx
p(x)dx
=- p(x)logp(x)dx+log(1/dx)
称为绝对熵。
定义
H（X）=- p(x)logp(x)dx为相对熵。
例2-7
2020/3/20
30
2
表2-1 英文字母的出现概率
符号 概率 符号 概率 符号
空隙 0.20
s
0.052 y,w
e
0.105
h
0.047
g
t
0.072
d
0.035
b
o 0.0654 i
0.029
v
a
0.063
c
0.023
k
n 0.059 f,u 0.0225 x
l
0.055 m 0.021 j,q,z
r
0.054
p 0.0175
3、平均互信息量与熵和共熵的关系为 I（X，Y）=H（X）+H（Y）-H（XY）
2020/3/20
27
连续信源的信息度量
根据抽样定理，如果一个连续的低通信号其上限 频率为ω，那么可以用频率为2ω的抽样序列进行无 失真的表示。
设一连续的平稳随机函数，其一元概率密度为 p(x)，我们将随机变量的取值范围内分成2N小段，当 N足够大时，Δxi小段内的概率可近似表示为
目前常用比特。
2020/3/20
7
例2-1 例2-2
以上是单一符号出现的信息量。对于由一串符 号构成的消息，如果各符号的出现相互独立，整个 消息的信息量I
N
I=- nilogP(xi) i1
例2-3
2020/3/20
8
当存在两个信源X和Y时，它们所出现的符 号分别为xi和yj，则定义这两个信源的联合信息 量为I（xiyj）
若上例中A、B、C符号统计独立，则可求得平均信息量
N
H（X）=- p(xi) log p(xi) 1.543(bit / 符号 ) i 1
符号间统计独立时信源的熵高于统计相关的熵， 符号间相互关联将使平均信息量减小。
2020/3/20
18
通信中要寻求解决的问题
通信系统的目的是信息传输，接收端 （信宿）要能最大的获取发送端（信源） 的信息。要解决以下问题：
2、若出现xi就一定要出现yj。 P(xi/yj)=1， I(xi,yj)= I(xi) ，互信息 量等于信源信息量。
2020/3/20
12
2．7．3 离散信源的平均信息量（熵）
当消息很长时，用符号出现的概率来计算消息 的信息量是比较麻烦的，此时引入平均信息量（熵） 的概念。
平均信息量（熵）：每个符号所含信息量的统 计平均值，用H（X）表示
互关联的。即当前出现的符号，其概率与先前出现 过的符号有关，必须用条件概率来描述离散消息。
2020/3/20
4
通常，只考虑前一个符号对后一个符号的影响， 用转移概率矩阵来描述。
P(x1/x1) P(x1/x2) ... P(x1/xn)
P(x2/x1) P(x2/x2) ... P(x2/xn)
...
概率 0.012 0.011 0.0105 0.008 0.003 0.002 0.001
2020/3/20
3
表2-2 汉字电报中数字代码的出现概率
数0
1
2
3
4
5
6
7
8
9
字
概 率
0.26 0.16
0.08 0.062 0.06 0.063 0.155 0.062 0.048 0.052
一般情况下，离散信号中各符号的出现是相
P(xi≤x≤xi+Δx)≈p(xi)Δxi
2020/3/20
28
当各抽样点统计独立时每个点包含的平均 信息量（熵）为：
H(X)≈-
N
p(xi)Δxilog[p(xi)Δxi]]
iN
令Δxi→0,N→∞,则可得连续每个抽样点 的平均信息量
N
H(X)= lim {- p(xi) xilog{p(xi)xi]}
=-P(A)[P(A/A)logp(A/A)+P(B/A)logP(B/A)+P(C/A)logp(C/A) -P(B)[P(A/B)logp(A/B)+P(B/B)logP(B/B)+P(C/B)logp(C/B) -P(C)[P(A/C)logp(A/C)+P(B/C)logP(B/C)+P(C/C)logp(C/C) =0.872(bit/符号)
2020/3/20
10
互信息量：后验概率与先验概率之比的对数。
I(xi,yj)=log[P(xi/yj)/P(xi)] 式中P(xi/yj)为条件概率
I(xi,yj)反映了两个随机事件之间的统计关联程 度，其物理意义为接收端获取信源信息的能力。
2020/3/20
11
1、若xi与yj之间统计独立，即出现yj 与出现xi无关。P(xi/yj)= P(xi)， I(xi,yj)=0，互信息量为0。
9
在数字通信系统中，信源发送的离散符号集 合可以看成是X，信宿接收的离散符号集合可以 看成是Y，通常X的概率场是已知的，称为先验概 率，记为P（xi）。
当接收端每收到Y中的一个符号yj以后，接收 者要重新估计发送端各符号xi的出现概率分布， 这个概率分布称为条件概率或后验概率，用P （xi/yj）表示。
如前所述，离散消息源当所有符号等 概输出时，其熵最大。
连续信息源的最大熵条件如何求得？ 最大熵是多少？
2020/3/20
31
取决于消息源输出上所受的限制。常 见的限制有两种。
峰值受限：对于有线性要求的系统， 为了避免线性失真，对信号的峰值幅度有 限制。
均方值受限（功率受限）：无线性要 求的系统。
1、发送信号的概率如何分布才能得到最大熵？
2、最大熵是多少？
2020/3/20
19
当离散信源中每个符号等概出现，而且各符号
的出现为统计独立时，该信源的平均信息量最大。 此时最大熵
H max
N
i 1
1 N
log
1 N
log N
2020/3/20
20
若二元离散信源的统计特性为
x1 x2 PQ
P+Q=1
ij
2020/3/20
24
两个离散信源X和Y，X中出现xI的条件下Y中出 现yi的平均信息量称为条件熵，定义为
H(X/Y)=- P(xiyj)logP(xi/yj)
i
j
同理有
H(Y/X)=- P(xiyj)logP(yi/xj) ij
2020/3/20
25
互信息量的统计平均值称为平均互信息量，定义为
2A
其中x的取值范围为（-A，A） 最佳分布时的最大熵为
H(X)=log(2A)(bit)
2020/3/20
34
连续信源编码的目的，就是要根据信 源输出的受限情况，将其信源的概率密 度函数变换为符合最大熵条件的概率密 度函数，以得到最大熵。
2020/3/20
35
与离散信源相对应，当发送端连续信源为X， 接收到的连续信源为Y时，它们的相对条件熵
I(X，Y)=-
i
j
P(xiyj)I(xj，yi)
=-
i
j
P(xi/yj) P(xiyj) log p(xi)
2020/3/20
26
1、共熵与熵和条件熵的关系为 H（XY）=H（X）+H（Y/X） H（XY）=H（Y）+H（X/Y）
2、平均互信息量与熵和条件熵的关系为 I（X，Y）=H（X）-H（X/Y） I（X，Y）=H（Y）-H（Y/X）
log 2
1 4
1 8
log 2
1) 8
57
1.9056 57 108.62(bit)
2020/3/20
15
如果消息中各符号出现统计相关，则式（27）不再适用，必须用条件概率来计算平均信 息量，此时引入条件熵的概念：
N
N
H(xj/xi)= p(xi) [-p(xj/xi)logp(xj/xi)]
N
H（X）=- i 1
例2-5
p(xi)logp(xi)
2020/3/20
13
一消息由0、1、2、3四种符号组成，各符号 出现概率分别为3/8，1/4，1/4和1/8。消息总 长57 个符号，其中0出现23次，1出现14次， 2出现13次，3出现7次。用上述二种方法求 该消息的信息量。
2020/3/20
14
解法一：
I
4
i 1
ni
log
Pi
23log 2
3 8
14 log 2
1 4
13log 2
1 4
7 log2
1 8
32.55 28 26 21 108.55(bit)
解法二：
4
I H N Pi log Pi 57 i 1
(
3 8
log 2
3 8
1 4
log 2
1 4
1 4
2020/3/20
32
1、对于均方值受限系统（功率受限系统
最佳概率密度函数为正态分布
p(x)= 1 exp[-x2/(2 2)]
2
其中数学期望为0，方差为 2
最佳分布时的最大熵为
H(X)=log 2e (bit)
2020/3/20
33
2、对于峰制受限情况（功率受限系统）
最佳概率密度函数为均匀分布 p(x)= 1
i 1
j 1
NN
= - p(xi)p(xj/xi)logp(xj/xi) i1 j1
NN
= - p(xi,xj)logp(xj/xi) i1 j1
2020/3/20
16
例2-6 某离散信源由A、B、C三种符号组成。 相邻两符号出现统计相关，其转移概率矩阵
P(A/ A) P(A/ B) P(A/ C) 9 1 0
减小或消除符号间的关联，并使各符号 的出现趋于等概，将使离散信源达到最大熵 ，从而以最少的符号传输最大的信息量。这 就是离散信源编码的目的。
2020/3/20
23
对于两个离散信源X和Y的情况，X中xi和Y中yi 同时出现的平均信息量称为联合熵或共熵，定 义为
H(XY)=-
P(xiyj)logP(xiyj)
11 8
P(B / A)
P(B/ B)
P(B/C) =
2 11
3 4
2 9
P(C / A) P(C / B) P(C / C) 0 1 7
89
且已知P（A）= 11
36
P（B）= 4
9
P（C）= 1
4
求该信源的条件平均信息量。
ຫໍສະໝຸດ Baidu
2020/3/20
17
33
H（xj/xi）=- p(xi) p(xj / xi) log p(xj / xi) i1 j 1
H(X)=-(PlogP+QlogQ)=-[PlogP+(1-P)log(1-P)]
对此式求导求极值，由dH(X)/dP=0,可知当概率 P=Q=1/2时，有信源的最大熵H(X)max=1(bit)
2020/3/20
21
图 2-1 熵与概率的关系
2020/3/20
22
对于三元离散信源，当概率P1=P2=P3=1/3 时信源最大熵H(X)max=1.585(bit),此结论可 以推广到N元离散信源。
2020/3/20
1
假设离散信源为包含N种符号x1,x2,…,xN 的集合，每个符号出现的概率分别为
P(x1),P(x2),…,p(XN), 那 么 可 以 用 概 率 场 来 描 述信源。
(
x1, P(x1),
x2, P(X2),
…, …,
N
P(Xi)=1
i1
Xn P(Xn)
)
2020/3/20
H(X/Y)=- p(y)p(x/y)log(x/y)dxdy