平均互信息量和各种熵关系

X
P(
X
)
x1, p( x1
),
x2 , p( x2
L ),L
, ,
xi p( xi
, ),L
L ,
, xn p( xn
)
其中，输入离散事件集 X {xi ,i 1, 2,..., n}，
对每一个事件xi X ,相应的概率为p(xi )，简记为pi，
n
P {pi ,i 1, 2,..., n}，且 pi 0，i 1, 2,..., n; pi 1 i 1
平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函数；
该性质是研究信道容量的理论基础
平均互信息量I(X;Y)是信道传递概率p(yj/xi)的下凸函数。
该性质是研究率失真函数的理论基础
15
HUST Furong WANG--- Information and Coding Theory
HUST Furong WANG--- Information and Coding Theory
第2章 信源熵
2.1 单符号离散信源
2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量
求平均互信息I(X;Y)－例题
平均互信息I ( X ;Y ) H (Y ) H (Y / X ) 由信道特性决定的条件熵
22
H (Y / X )
p(xi ) p( y j / xi ) log2 p( y j / xi )
5
HUST Furong WANG--- Information and Coding Theory
平均条件互信息量
定 平 在 定义均整义：条个式件为X中互以在信p联息(x合量i |集等ydXej于f)Y后由上验，y概j所由率提y加j供提权的供的互的平信关均息于值量集，IX其(的xi ; y j )
平均互信息量
定义：平均互信息量I(X;Y)是平均条件互信息量I(X;yj)在整个 集Y上的概率加权平均值。其定义式为
I ( X ;Y ) p( y j )I ( X ; y j )
Y
定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值
I(X;Y)
n i1
m
p(xi y j )I (xi; y j )
一、平均互信息量定义 二、平均互信息量物理意义 二、平均互信息量性质 2.1.6 各种熵之间的关系
1
HUST Furong WANG--- Information and Coding Theory
离散集的平均互信息量
不同概率空间集合之间的平均互信息量对于通信问题的 探讨十分重要。
通信的目的是在接收端准确地或以尽可能小的失真复现 发送的消息。一般通信系统的输入和输出存在一定的概 率关系。
XY
XY
等号成立的条件是, 对于i, j 都有p(xi ) p(xi | y j ), ( p( y j ) 0)
即 当且仅当X 与Y相互独立时, I (X ;Y ) 0
证毕
13
HUST Furong WANG--- Information and Coding Theory
性质2：对称性I(X;Y)=I(Y;X)的证明
且
pij=p( y j
/ xi )
p(xi y j ) ; p(xi )
pji =p( xi
/
yj)
p(xi y j ) p(yj )
若对于所有的i, j,事件xi和y j ;彼此统计独立,且有p(xi y j ) p(xi ) p( y j ) i, j 成立,
则称集X 与Y统计独立,否则称集X 与Y统计相关
XY p( xy)
x1 y1, p(x1 y1
),
x1 y2 , L p(x1y2 ),L
, xi y j , L , xn ym , p(xi y j ),L , p(xn ym )
其中，X 和Y的联合空间 XY {xi y j ; xi X , yj Y ,i 1, 2,..., n; j 1, 2,..., m}，
11
HUST Furong WANG--- Information and Coding Theory
平均互信息的性质
1、互易性（对称性） I(X;Y)= I(Y;X)
该性质表示从集Y中获得关于X的信息量等于从集X中获 得关于Y的信息量。
当集X和集Y统计独立时，有I(X;Y)= I(Y;X)=0 它意味着不能从一个集获得关于另一个集的任何信息
对每组事件(积事件)xi y j XY相应的概率二维联合概率p(xi y j )，
nm
m
n
且
p(xi y j ) 1; p(xi ) p(xi y j ); p( y j ) p(xi y j );
i1 j1
j 1
i 1
一般有条件概率p( y j / xi )和p(xi / y j ), 分别简记为pij和pji
以{Y , P}表示输出离散概率空间
Y
P(Y
)
y1,
p(
y1
),
y2, L p( y2 ),L
, ,
y j , L , ym
p( y j ),L
,
p(
ym
)
其中，输出离散事件集 Y {y j , j 1, 2,..., m}，
对每一个事件y
j
Y
,
相应的概率为p(
y
j
)，简记为p
，
j
m
P {p j ,j 1, 2,..., m}，且 p j 0，j 1, 2,..., m; p j 1
4
j 1
HUST Furong WANG--- Information and Coding Theory
输入X、输出Y的联合空间XY
以{XY , p(xy)}表示二维联合概率空间
得
I(X;yj)
X
p( xi
|
y
j
)
p(xi ) p(xi | y
j
)
1
log
e
X
p(xi ) p(xi | y j ) log e 0
故 I(X;yj) 0
当且仅当 p(xi ) p(xi | y j ) 时,I (X ; y j ) 0 证毕
8
HUST Furong WANG--- Information and Coding Theory
| xi ) log
p( y j | xi ) p(yj )
def
I ( X ;Y ) p(xi y j )I (xi ; y j )
XY
其中I (xi ;
yj)
log
p(xi | y j ) p(xi )
log
p( y j | xi ) p(yj )
当xi和y j相互独立时,I (xi ; y j ) 0 (i
I(X; yj)仍然是一个随机变量，随yj的变化而变化， 因此，不能作为信道中流通信息量的整体测度。
7
HUST Furong WANG--- Information and Coding Theory
定理 I(X;yj)≥0 的证明
证明: 将平均条件互信息量的表示式
I (X ; yj )
X
互信息量I(xi;yj)是定量研究信息流通问题的重要 基础。
它只能定量地描述输入随机变量发出某个具体消息xi， 输出变量出现某一具体消息yj时，流经信道的信息量。
“输入xi ，输出yj”是一个概率为p(xi yj) 的随机事件， 相应的I(xi;yj)也是随xi和yj变化而变化的随机量。
互信息量I(xi;yj)不能从整体上作为信道中信息流 通的测度。
XY
p(xi y j ) log
p(xi ) ; p(xi | y j )
利用不等式 ln w w 1; 和关系式log w ln wlog e
I (X ;Y )
XY
p( xi
|
y
j
)
p(
y
j
)
p( p( xi
xi ) |y
j
)
1
log
e
p(xi ) p( y j )
p(xi | y j )p( y j )log e 0
1, 2,L
;
j
1, 2,L
) 且I ( X ;Y ) 0 10
HUST Furong WANG--- Information and Coding Theory
平均互信息的性质
平均互信息量有以下基本性质：
1、互易性（对称性） 2、非负性 3、极值性 4、凸函数性
5、数据处理定理 平均互信息和各类熵的关系
j 1
n i1
m
p(xi y j ) log
j 1
p(xi / y j ) p(xi )
称I(X;Y)是Y对X的平均互信息量，简称平均互信息，也称平均 交互信息量或交互熵。
平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一 个确定的量，因此，可以作为信道中流通信息量的整体测度。
平均互信息量I(X;Y)的凸函数性－例题
二元对称信道的X 输入概率空间为
X 0 1
P(X)
p
1 p
0
q
0
1-q
信道的转移概率图为右图所示
求平均互信息量I(X;Y),并画图
1-q
1
q
1
二元对称信道
16
HUST Furong WANG--- Information and Coding Theory
I ( X ; y j ) p(xi | y j )I (xi ; y j ) X