第二章基本信息论2_平均互信息量

I ( X ;Y ) I (Y ; X )
2、非负性
I ( X ;Y ) 0
3、极值性
I ( X ;Y ) H ( X )
Q H (X
/Y)
m j 1
n i 1
p(xi y j ) lb
1 p( xi / y j )
0
I ( X ;Y ) H ( X ) H ( X /Y ) H ( X )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
1 p( xi / y j )
H(X) H(X /Y)
其中：H ( X
/Y)
m j 1
n i 1
5 0.515 1 (-1.322) 3 (0.222) 3 0.263
24
24
8
8
0.067比特/消息
因此，信宿收到一个消息后，获得的平均信息量
是0.067比特/消息
思考：1）互信息量有正有负说明什么？ 2）平均互信息量必为正，为什么？
二、平均互信息量的物理意义
1、I ( X ;Y )
p(x1) p(1) 1/ 4 p(x2 ) p(0) 3/ 4
信道转移概率p( yj / xi )：
p( y1 / x1) p(1/1) 5/ 6 p( y1 / x2 ) p(1/ 0) 1/ 2
p( y2 / x1) p(0 /1) 1/ 6 p( y2 / x2 ) p(0 / 0) 1/ 2
X 对Y的平均互信息量：
mn
I (Y ; X ) E[I ( y j; xi )]
p(xi y j )I ( y j ; xi )
j1 i1
m j 1
n i 1
p( xi y j ) lb
p( y j / xi ) p( y j )
p( y j
/ xi )
p( xi y j ) p( xi )
1）计算联合概率： p(xi y j ) p(xi ) p( y j / xi ) 15 5
p( x1 y1) p( x1) p( y1 / x1) 4 6 24
p( x2 y1)
p( x2 ) p( y1
/
x2 )
3 4
1 2
3 8
p( x1 y2 )
p( x1) p( y2
/
x1 )
1 4
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H ( X /Y ) 0.811 0.744 0.067比特/消息
2）噪声熵：
mn
H (Y / X )
p(xi y j ) lb p( y j / xi ) 0.913比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H (Y ) H (Y / X ) 0.980 0.913 0.067比特/消息
m j 1
n i 1
p( xi y j ) lb
1 p( y j )
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
H (Y ) H (Y / X )
其中：H (Y
/X)
m j 1
n i 1
p( xi y j ) lb
1 p( y j / xi )
表示信道输入信号由于信道中的噪声干扰而在信
2.2 平均互信息量
一、平均互信息量的定义
互信息量 I (xi ; y j ) 在联合概率空间上的数学期望
Y对X的平均互信息量：
mn
I ( X ;Y ) E[I (xi; y j )]
p(xi y j )I (xi ; y j )
j1 i1
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
平均互信息量
I ( X ;Y ) I (Y ; X ) H ( X ) H (Y ) H ( XY )
•信源X的先验平均不确定度+信宿Y的先验平均不
确定度–信源、信宿双方通信后整个系统尚存的后
验平均不确定度
•通信前后关于整个系统平均不确定性消除的程度
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
j 1
7 lb 7 5 lb 5 0.980比特/消息 12 12 12 12
平均互信息量：
mn
I ( X ;Y )
p( xi y j )I ( xi ; y j ) 0.067比特/消息
j1 i1
1）损失熵：
mn
H ( X /Y )
p( xi y j ) lb p( xi / y j ) 0.744比特/消息
4、凸函数性
I ( X ;Y )
I (Y ; X )
m j 1
n i 1
p( xi y j ) lb
p( y j / xi ) p( y j )
m n
p( xi ) p( y j / xi ) lb n
•信宿接受消息Y前后关于X的平均不确定性消除 的程度 •H(X)经信道损失了H(X/Y)后信宿获得的净信息量 •收到消息集合Y后获得关于信源X的平均信息量 •信宿每收到一个消息所获得的平均信息量
2、I (Y ; X )
m j 1
n i 1
p( xi y j ) lb
p( y j / xi ) p( y j )
i
3）计算后验概率： p(xi / y j ) p(xi y j ) / p( y j )
4）计算互信息量：I (xi ; 5）计算平均互信息量：
y
j
)
lb
p(xi / y p( xi )
j
)
I ( X ;Y )
p( xi y j )I (xi ; y j )
ji
解：根据题意，信源概率分布：
p(x1)=1/4 x1=1 X空间
5/6 1/2
1/6
y1=1 p(y1) Y空间
p(x2)=3/4 x2=0
1/2
y2=0 p(y2)
分析：已知信源概率分布：p( xi ) 信道转移概率： p( yj / xi )
求平均互信息量：I ( X; Y )
mn
I ( X ;Y ) E[I (xi; y j )]
p(x1)=1/4 x1=1 X空间
5/6 1/2
1/6
y1=1 p(y1)=7/12 Y空间
p(x2)=3/4 x2=0
1/2
y2=0 p(y2)=5/12
n
信源熵：H ( X ) p(xi )lb p(xi )
i 1
1 lb 1 3 lb 3 0.811比特/消息 4444
m
信宿熵：H (Y ) p( y j )lb p( y j )
宿端表现的散步范围，称为散布度（噪声熵）
•由于信道噪声的干扰，信源发出消息后无法判断 信宿是否正确收到消息
•信源发出消息X后，对信宿Y仍存在的平均不确 定度
X对Y的平均互信息量
I (Y ; X ) H (Y ) H (Y / X )
•信宿Y的先验平均不确定度–信源发出消息X后对 信宿Y尚存的后验平均不确定度
y
j
) lb
p( xi y j ) p(xi ) p( y
j
)
I (Y ; X )
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
•信源发出消息X前后关于信宿Y的平均不确定性的 消除程度
3、I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
n i 1
m j 1
p( xi y j ) lb
1 p(xi )
m j 1
n i 1
p(xi y j ) lb
计算过程：
1）收到yj后，从yj中获得关于xi的非平均信息量
I
( xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
2）收到yj后，从yj中获得关于集合X的平均信息量
I ( X ;
y j
)
EX [I ( xi ; y j )]
n i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
p(xi y j )I (xi ; y j )
j1 i1
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
计算步骤：
1）计算联合概率：p(xi y j ) p(xi ) p( y j / xi )
2）计算信宿端概率分布：p( y j ) p(xi ) p( y j / xi )
1 6
1 24
p( x2 y2 )
ቤተ መጻሕፍቲ ባይዱ
p(x2 ) p( y2
/
x2 )
3 4
1 2
3 8
2）计算信宿端概率分布：p( y j ) p(xi ) p( y j / xi )
i
p(xi y j )
i
p( y1)
p( x1 y1)
p( x2 y1)
5 24
3 8
7 12
p( y2 )
p( x1 y2 )
m j 1
n i 1
p( xi y j ) lb
p( xi y j ) p( xi ) p( y j )
I ( X ;Y )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
p( xi
/
yj)
p( xi y j ) p( y j )
mn j1 i1
p( xi
1 p( y j )
m j 1
n i 1
p(xi y j ) lb
1 p( xi y j )
H ( X ) H (Y ) H ( XY )
其中：H ( XY )
m j 1
n i 1
p( xi y j ) lb
1 p( xi y j )
为联合熵，表示信源信宿双方通信后整个 系统仍存在的平均不确定度
0.263比特/消息
5）计算平均互信息量：I ( X ;Y ) p(xi y j )I (xi; y j )
ji
I ( X ;Y ) p( x1 y1)I ( x1; y1) p( x1 y2 )I ( x1; y2 )
p( x2 y1)I ( x2; y1) p( x2 y2 )I ( x2; y2 )
3）联合熵：
mn
H ( XY )
p( xi y j ) lb p( xi y j ) 1.724比特/消息
j1 i1
平均互信息量：
I ( X ;Y ) H ( X ) H (Y ) H ( XY ) 0.811 0.980 1.724 0.067比特/消息
三、平均互信息量的性质
1、对称性
p( xi y j ) lb
1 p( xi / y j )
称为信道疑义度/可疑度（损失熵）
•信宿收到信源发出的消息Y后，对信源X仍存在 的平均不确定度
•通信过程中信息在信道中的损失量
Y对X的平均互信息量
I ( X ;Y ) H ( X ) H ( X /Y )
•信源X的先验平均不确定度–观察到Y后对信源X 尚存的后验平均不确定度
3）收到集合Y后，从Y中获得关于集合X的平均信 息量
I ( X ;Y )
EY [I ( X ; y j )]
m j 1
n
p( y j )
i 1
p( xi
/
y j ) lb
p( xi / y j ) p( xi )
m j 1
n i 1
p( xi y j ) lb
p( xi / y j ) p( xi )
p(x2 y2 )
1 24
3 8
5 12
3）计算后验概率： p(xi / y j ) p(xi y j ) / p( y j )
p( x1
/
y1 )
p( x1 y1) /
p( y1)
5/ 24 7 /12
5 14
p( x2
/
y1 )
p( x2 y1) /
p( y1)
3/8 7 /12
9 14
1/ 24 1 p( x1 / y2 ) p( x1 y2 ) / p( y2 ) 5/12 10
p(x1 / y2 ) p( x1 )
lb 1 / 10 1/ 4
lb
2 5
1.322比特/消息
I (x2;
y1 )
lb
p( x2 / y1) p( x2 )
lb
9 /14 3/4
lb
6 7
0.222比特/消息
I (x2;
y2 )
lb
p(x2 / y2 ) p(x2 )
lb
9 /10 3/4
lb
6 5
p( x2
/
y2 )
p(x2 y2 ) /
p( y2 )
3/8 5 / 12
9 10
4）计算互信息量：I
(
xi
;
y
j
)
lb
p(xi / y p( xi )
j
)
I (x1;
y1 )
lb
p(x1 / y1) p( x1 )
lb
5 / 14 1/ 4
lb 10 7
0.515比特/消息
I (x1;
y2 )
lb