第二章基本信息论2_平均互信息量

m n
m
n
p ( y j / xi ) p( y j )
p ( xi y j )
p ( xi ) p ( y j )
p ( y j / xi ) =
p( xi y j ) p ( xi )
= ∑∑ p ( xi y j )lb
j =1 i =1
I ( X ;Y ) = ∑∑ p( xi y j )lb
= H ( X ) − H ( X /Y ) 1 其中：H ( X / Y ) = ∑∑ p( xi y j )lb p( xi / y j ) j =1 i =1
m n
称为信道疑义度/可疑度（损失熵）
•信宿收到信源发出的消息Y后，对信源X仍存在 的平均不确定度 •通信过程中信息在信道中的损失量
Y对X的平均互信息量
2、I (Y ; X ) = ∑∑ p( xi y j )lb
j =1 i =1
m
n
p( y j / xi ) p( y j )
m n 1 1 = ∑∑ p ( xi y j )lb − ∑∑ p ( xi y j )lb p( y j ) j =1 i =1 p ( y j / xi ) j =1 i =1
I 5）计算平均互信息量： ( X ;Y ) = ∑∑ p( xi y j ) I ( xi ; y j )
j i
I ( X ;Y ) = p ( x1 y1 ) I ( x1 ; y1 ) + p ( x1 y2 ) I ( x1 ; y2 ) + p( x2 y1 ) I ( x2 ; y1 ) + p( x2 y2 ) I ( x2 ; y2 )
I ( X ;Y ) = H ( X ) − H ( X / Y )
•信源X的先验平均不确定度–观察到Y后对信源X 尚存的后验平均不确定度 •信宿接受消息Y前后关于X的平均不确定性消除 的程度 •H(X)经信道损失了H(X/Y)后信宿获得的净信息量 •收到消息集合Y后获得关于信源X的平均信息量 •信宿每收到一个消息所获得的平均信息量
3 1 3 p ( x2 y 2 ) = p ( x2 ) p ( y 2 / x 2 ) = × = 4 2 8
2）计算信宿端概率分布： p ( y j ) = ∑ p( xi ) p ( y j / xi )
i
= ∑ p( xi y j )
i
5 3 7 p ( y1 ) = p ( x1 y1 ) + p ( x2 y1 ) = + = 24 8 12 1 3 5 p ( y2 ) = p ( x1 y2 ) + p ( x2 y2 ) = + = 24 8 12
5 1 3 3 = × 0.515 + × (-1.322) + × ( −0.222) + × 0.263 24 24 8 8
= 0.067比特/消息
因此，信宿收到一个消息后，获得的平均信息量 是0.067比特/消息
思考：1）互信息量有正有负说明什么？ 2）平均互信息量必为正，为什么？
二、平均互信息量的物理意义
j i
i
解：根据题意，信源概率分布：
p ( x1 ) = p (1) = 1/ 4
信道转移概率p( yj / xi )：
p ( x2 ) = p (0) = 3/ 4 p ( y1 / x2 ) = p (1/ 0) = 1/ 2 p ( y2 / x2 ) = p(0 / 0) = 1/ 2
p ( y1 / x1 ) = p (1/1) = 5/ 6 p ( y2 / x1 ) = p (0 /1) = 1/ 6
n i
5/6 1/2 1/6
y1=1 p(y1)=7/12 Y空间 y2=0 p(y2)=5/12
信源熵： ( X ) = − H
∑ p( x )lb p( x )
i =1 i
1 1 3 3 = − lb − lb = 0.811比特/消息 4 4 4 4
信宿熵：H (Y ) = − ∑ p ( y j ) lb p ( y j )
1、I ( X ;Y ) = ∑∑ p ( xi y j )lb
j =1 i =1 n m m n
p ( xi / y j ) p( xi )
m n 1 1 = ∑∑ p ( xi y j )lb − ∑∑ p ( xi y j )lb p ( xi ) j =1 i =1 p ( xi / y j ) i =1 j =1
p ( x2 / y1 ) 9 /14 6 I ( x2 ; y1 ) = lb = lb = lb = −0.222比特/消息 p ( x2 ) 3/ 4 7
p ( x2 / y 2 ) 9 /10 6 I ( x2 ; y2 ) = lb = lb = lb = 0.263比特/消息 p ( x2 ) 3/ 4 5
j =1
j =1 i =1
m
n
p ( xi / y j ) p ( xi )
计算过程： 1）收到yj后，从yj中获得关于xi的非平均信息量 p ( xi / y j ) I ( xi ; y j ) = lb p ( xi )
2）收到yj后，从yj中获得关于集合X的平均信息量
I ( X ; y j ) = E X [ I ( xi ; y j )] = ∑ p ( xi / y j )lb
m
n
= H (Y ) − H (Y / X ) 其中：H (Y / X ) = ∑∑ p ( xi y j )lb
j =1 i =1 m n
1 p ( y j / xi )
表示信道输入信号由于信道中的噪声干扰而在信 宿端表现的散步范围，称为散布度（噪声熵） •由于信道噪声的干扰，信源发出消息后无法判断 信宿是否正确收到消息 •信源发出消息X后，对信宿Y仍存在的平均不确 定度
3）计算后验概率： p ( xi / y j ) = p( xi y j ) / p( y j )
5/ 24 5 p ( x1 / y1 ) = p ( x1 y1 ) / p( y1 ) = = 7 /12 14
3/ 8 9 p( x2 / y1 ) = p( x2 y1 ) / p ( y1 ) = = 7 /12 14 1/ 24 1 p ( x1 / y2 ) = p ( x1 y2 ) / p ( y2 ) = = 5/12 10 3/8 9 p ( x2 / y 2 ) = p ( x 2 y 2 ) / p ( y 2 ) = = 5/12 10
j =1 i =1
m
ห้องสมุดไป่ตู้
n
= ∑∑ p ( xi y j )lb
j =1 i =1
m
n
p ( xi / y j ) p ( xi )
计算步骤： 1）计算联合概率： p ( xi y j ) = p ( xi ) p ( y j / xi ) 2）计算信宿端概率分布： p ( y j ) = ∑ p( xi ) p ( y j / xi ) 3）计算后验概率： p ( xi / y j ) = p( xi y j ) / p( y j ) p ( xi / y j ) 4）计算互信息量： I ( xi ; y j ) = lb p( xi ) 5）计算平均互信息量： I ( X ;Y ) = ∑∑ p( xi y j ) I ( xi ; y j )
X对Y的平均互信息量
I (Y ; X ) = H (Y ) − H (Y / X )
•信宿Y的先验平均不确定度–信源发出消息X后对 信宿Y尚存的后验平均不确定度 •信源发出消息X前后关于信宿Y的平均不确定性的 消除程度
3、I ( X ;Y ) = ∑∑ p( xi y j )lb
j =1 i =1
1）计算联合概率： p ( xi y j ) = p ( xi ) p ( y j / xi ) 1 5 5 p ( x1 y1 ) = p ( x1 ) p( y1 / x1 ) = × = 4 6 24 3 1 3 p ( x2 y1 ) = p( x2 ) p ( y1 / x2 ) = × = 4 2 8 1 1 1 p ( x1 y2 ) = p( x1 ) p ( y2 / x1 ) = × = 4 6 24
4）计算互信息量： I ( xi ; y j ) = lb 4
p ( xi / y j ) p( xi )
p( x1 / y1 ) 5/14 10 I ( x1 ; y1 ) = lb = lb = lb = 0.515比特/消息 p ( x1 ) 1/ 4 7
p ( x1 / y2 ) 1/10 2 I ( x1 ; y2 ) = lb = lb = lb = −1.322比特/消息 p ( x1 ) 1/ 4 5
j =1 i =1 n
m
n
p ( xi / y j ) p( xi ) p ( xi y j ) p ( xi ) p ( y j )
p ( xi / y j ) = = I (Y ; X )
p ( xi y j ) p( y j )
= ∑∑ p ( xi y j )lb
j =1 i =1
m
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
i =1
n
p( xi / y j ) p ( xi )
3）收到集合Y后，从Y中获得关于集合X的平均信 息量
I ( X ;Y ) = EY [ I ( X ; y j )] = ∑ p ( y j )∑ p( xi / y j )lb
j =1 i =1
m
n
p ( xi / y j ) p( xi )
= ∑∑ p( xi y j )lb
p(x1)=1/4 x1=1 X空间 p(x2)=3/4 x2=0 1/2 5/6 1/2 1/6 y2=0 p(y2) y1=1 p(y1) Y空间
分析：已知信源概率分布：p( xi ) 信道转移概率： p( yj / xi ) 求平均互信息量：I ( X; Y )
I ( X ;Y ) = E [ I ( xi ; y j )] = ∑∑ p ( xi y j ) I ( xi ; y j )
2.2 平均互信息量
一、平均互信息量的定义
互信息量 I ( xi ; y j ) 在联合概率空间上的数学期望 Y对X的平均互信息量：
m n
I ( X ;Y ) = E [ I ( xi ; y j )] = ∑∑ p ( xi y j ) I ( xi ; y j )
j =1 i =1
= ∑∑ p ( xi y j )lb
[例] 某二元通信系统，它发送1和0的概率分别为： p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不 能无差错地进行。即有1/6的1在接收端错成0，1/2 的0在接收端错成1。问信宿收到一个消息后，获 得的平均信息量是多少？
p(x1)=1/4 x1=1 X空间 p(x2)=3/4 x2=0 1/2
m
n
p ( xi y j ) p ( xi ) p ( y j )
m n 1 1 = ∑∑ p ( xi y j )lb + ∑∑ p ( xi y j )lb p ( xi ) j =1 i =1 p( y j ) i =1 j =1
n
m
1 − ∑∑ p ( xi y j )lb p ( xi y j ) j =1 i =1 = H ( X ) + H (Y ) − H ( XY ) 1 其中：H ( XY ) = ∑∑ p ( xi y j )lb p ( xi y j ) j =1 i =1
j =1 i =1
m
n
p ( xi / y j ) p ( xi )
X 对Y的平均互信息量：
I (Y ; X ) = E [ I ( y j ; xi )] = ∑∑ p ( xi y j ) I ( y j ; xi )
j =1 i =1
m
n
= ∑∑ p ( xi y j )lb
j =1 i =1
为联合熵，表示信源信宿双方通信后整个 系统仍存在的平均不确定度
m n
m
n
平均互信息量
I ( X ;Y ) = I (Y ; X ) = H ( X ) + H (Y ) − H ( XY )
•信源X的先验平均不确定度+信宿Y的先验平均不 确定度–信源、信宿双方通信后整个系统尚存的后 验平均不确定度 •通信前后关于整个系统平均不确定性消除的程度