第二章 信源及其信息量 李伟

1 （2）在二维联合集X Y上的条件分布概率为 p( y j xi ) ，这一 12 事件提供给甲的信息量为条件自信息量 I(yj︱xi) = -log p(yj︱xi) = log12 = 3.585（比特）
2.2.2
离散集的平均自信息量
⑴ 平均自信息量(熵) 人们注意的是整个系统的统计特性，当信源各个消息的出现概率 相互统计独立时，这种信源称为无记忆信源，无记忆信源的平均自 信息量定义为各消息自信息量的概率加权平均值（统计平均值）， 即平均自信息量H(X)定义为：
（2）非负性：H(X) 0 （3）确定性：在集合X = (x1，x2，…，xN)中，若有一个 事件是必然事件，则其余事件必为不可能事件，即该集合的 概率分布为 x x x x
1 0
2 i
0
1

0
N
（4）可加性：
集合X = {x1，x2，…，xi，xi+1，…，xN}的概率分布为：
x 2 xi xi 1 x N x1 p( x ) p( x ) p( x ) p( x ) p( x ) 2 i i 1 N 1
则下式成立：
H(X)= H(x1，x2，…，xi，xi+1，…，xN)
pi pi 1 H ( x1 , x2 ,, xi 1 , xi xi 1 , xi 2 ,, xN ) ( pi pi 1 ) H ( , ) pi pi 1 pi pi 1
⑵.平均互信息量
定义xi ∈ X和yj ∈ Y之间的互信息量为I(xi ;yj )，在集合X上对 I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为：
I ( X ; y j ) p xi y j I ( xi ; y j ) p xi y j log
i i




p ( xi y j ) p ( xi )
x1 1
熵H(X4) = - 0 log 0 –1 log 1 = 0 计算结果说明确定事件的熵为零 (5) 信源五：一般情况下，二元信源的概率分布为
H 2(δ )
1 X 5 0 q( X ) 1 5 熵 H(X) = –δ log δ -（1-δ ）log（1-δ ） 记H2(δ ) = –δ log δ -（1-δ ）log（1-δ ） H2(δ )与δ 的关系如图2-2所示。
⑷平均互信息量与信源熵、条件熵的关系 I(X;Y)= H（X）-H（X︱Y）
I(X;Y)= H（Y）-H（Y︱X）
I(X;Y)= H(X)+ H(Y)- H(XY )
I X ; Y
H X Y
H Y X
它们之间 的关系可 以用维拉 图表示
H X
H Y
H X , Y
针对信源X某一单个消息或符号

ai
I (ai ) log p(ai )
【例2.1】若盒中有6个电阻，阻值为1Ω 、2Ω 、3Ω 的分别 为2个、1个、3个，将从盒子中取出阻值为iΩ 的电阻记为事 件 x i （i = 1，2，3），则事件集X = {x1, x2, x3}，其概率 分布 x x x
第2章 离散信源及其信息熵
内容提要： 根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要研究离散信源下各种信息的定量计算 ，讨论它们的性质和相互关系。
2.1 信源基本分类及其数学模型
在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。
i j i j i j i j i j
p( xi y j )
从通信角度来看： 若将X = {x1，x2，…，xi，…}视为信源输出符号； Y = {y1，y2，…，yj，…}视为信宿接收符号； 从通信角度来看，H (X︱Y)是收到确定消息yj后，由 于信道干扰，关于发送的是否为xi仍具有的疑义度， 故称H (X︱Y)为疑义度（损失熵）。 存在以下两种极端情况：
H X
q( x )I ( x ) q( x ) log q( x )
i i i i i i
H(X)的表达式与统计物理学中的热熵具有相类似 的形式，在概念上二者也有相同之处，故借用熵
这个词把H(X)称为集合X的信息熵，简称熵。
【例2.3】计算下列信源的熵
x1 （1）信源一： X 2 x0 q ( X ) 0.99 0.01 2
（1）对于无噪信道H (X︱Y) = 0 （2）在强噪声情况下，收到的Y与X毫不相干 ，可视为统计独立，H (X︱Y) = H (X)
从通信角度来看，H (Y︱X)是发出确定消息xi后，由 于信道干扰而使yj存在的平均不确定性，称H (Y︱X) 为噪声熵（散布度）。 存在以下两种极端情况： （1） 对于无扰信道，有H (Y︱X) = 0。
再将式对集合Y进行统计平均，就可以得到平均互信息量
I X ; Y p( xi y j ) I ( xi ; y j ) p( xi y j ) log
i j i j
p( xi y j ) p( xi ) p( y j )
当X,Y统计独立时，I(xi ;yj )= 0，从而I(X ; Y)= 0
维拉图
从通信的角度来讨论 平均互信息量I(X ; Y) 的物理意义
由第一等式I(X;Y)= H（X）-H（X︱Y）看I(X;Y)的物理意义
设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均 不确定性,H（X︱Y）是观察到Y后，集X还保留的不确定性，二 者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。 对于无扰信道，I(X ; Y)=H(X)。
0 0.5 1 δ 图 2-2 H2(δ )与δ 关系
⑵．平均条件自信息量(条件熵) 若事件xi, yj的联合分布概率为p(xi yj )，给定yj条 件下事件xi的条件自信息量为I (xi︱yj)，则H (X ︱Y) 定义为：
H(X Y)
p(x y )I (x y ) p(x y ) log
2 平均互信息量的性质
(1)
非负性： I X ; Y 0
I(X ; Y)= I(Y ; X)
(2) 互易性： 由 I X ;Y

i j
p( xi y j ) log
p( xi y j ) q( xi ) ( y j )
的对称性可得到。
(3)
I X ;Y H X I X ; Y H Y
x1 x2 x3 X 3 x0 （3）信源三: 等概信源 0.25 0.25 0.25 0.25 q ( X 3 ) 熵 H(X3) = -4×0.25 log 0.25 = log4 = 2（比特/符号）
（4）信源四： 信源为确定事件
X 4 x0 q( X ) 0 4
。
I ( xi ; y j ) I ( xi ) I ( xi y j ) log
p ( xi y j ) p ( xi )
称上式为事件xi和事件yj之间的互信息量。 注：式I(xi ；yj ) 和式I(xi，yj )的区别在于： 前者是事件xi∈X和事件yj∈Y之间的互信息量， 后者是二维空间XY 上元素xi yj 的自信息量。
X 1 q( X ) 1 3
2
1 6
1 2
3
计算出各事件的自信息量列表2-1如下：
消息xi 概率分布q (xi) 自信息量I (xi)
x1 1/3 log 3
x2 1/6 log 6
x3 1/2 log 2
自信息量I(ai)代表两种含义：
1.事件ai发生以前，表示事件发生的先验不确定性
？思考题：
若有6行8列的棋方格看，现有A,B两个质点分别以 等概率落入方格内，但两质点不能落入同一格内 ，若A,B是可分辨的，求A,B同时落入的平均自信 息量。
2.2.3 互信息量
⑴.互信息量 从通信的角度引出互信息量的概念 信源符号X={x1，x2，…，xI} ，xi∈{a1,a2,…,ak}，i = 1, 2 ,…, I。 经过信道传输，信宿方接收到符号 Y = {y1，y2，…，yJ}，yj∈{b1,b2,…,bD}，j = 1, 2, …,J。 {x1，x2，…xI} {y1，y2，…yJ}
2.当事件ai发生以后，表示事件ai所能提供的最大 信息量（在无噪情况下）
联合自信息量
二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为：
I ( xi y j ) log p( xi y j )
条件自信息量
在已知事件yj条件下,随机事件xi发生的概率为条件概 率p(xi︱yj),条件自信息量 I ( xi y j )定义为：
1、离散信源 数学模型如下：
X a1 P p 1
a2 p2
... ...
xq pn

p
i 1
q
i
1
集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。
例：天气预报 无记忆信源 X的各时刻取值相互独立。
熵 H(X1) =-0.99 log 0.99 － 0.01 log 0.01 = 0.08（比特/符号）
（2）信源二：等概信源
X 2 x0 x1 q( X ) 0.5 0.5 2
熵 H(X2) = - 0.5 log 0.5 - 0.5 log 0.5 = 1（比特/符号）