信息论第三讲-平均交互信息量的特性

意味着平均。
当符号速率为n符号/秒时，其熵速率R为：
R=nI(X,Y)
R=n[H(X)-H(X/Y)]=n[H(Y)-H(Y/X)]
对于一个无噪声信道来说：
bit/s
R=nI(X,Y)=nH(X)
2013-12-20
bit/s
24
由于参数n与信道和信源无关，因此一 般在分析中可以表示为：n=1；即
15
可以进一步证明： 当信道一定时，I(X,Y)是信源先验概率的上 凸函数；这就是说，对于一定的信道转移概 率分布，总可以找到一个先验概率分布为
pm(xi)的信源X，使平均交互信息量达到相应
的最大值Imax ，这时称这个信源为该信道的
匹配信源。可以说不同的信道转移概率对应
不同的I。或者说Imax是P(Y/X)的函数。
2013-12-20 6
X和Y相互独立，交互性最小，
I(X,Y) =0；
X和Y完全相关，交互性最大，
I(X,Y) =H(X)=H(Y)；
H(X/Y)=H(Y/X)=0，
相当于信道无信息损失。
2013-12-20 7
x1 x2 x3
1 1 1
y1 y2 y3
x1 x2 x3 x1 x2 x3
1 1 1 1 1 1
噪声熵：H(Y/X)
2013-12-20 2
2.5 平均交互信息量的特性
2.5.1 I(X,Y)的非负性 2.5.2 平均交互信息量的交互性
2.5.3 平均交互信息量的极值性
2.5.4 平均交互信息量的凸函数性 2.5.5 平均交互信息量的不增性
2013-12-20
3
2.5.1 I(X,Y)的非负性
2013-12-20
5
2.5.2 平均交互信息量的交互性
由于p(xi,yj)=p(yj,xi) 则：I(X,Y)=I(Y,X)（对于一个信息系统来说） 交互性表明在Y中含有关于X的信息，I(X,Y)； 在X中含有关于Y的信息，I(Y,X)；而且两者相 等。实际上I(X,Y)和I(Y,X)只是观察者的立足 点不同，对信道的输入X和输出Y的总体测度 的两种表达形式。
29
2.6.3 离散无噪声信道的信道容量
这里讨论三种无噪声信道的信道容量。
①具有一一对应关系的无噪声信道
其信道转移概率图及矩阵如下：
x1 x2 x3 x4 x5
2013-12-20
1 1 1
y1 y2 y3 y4 y5
定理: 对于所有满足p(x,y,z)>0的(x,y,z)，
I ( X , Y ; Z ) I (Y ; Z )
当且仅当p(z/x,y)=p(z/y)时，等式成立。
这个关系就称为平均交互信息量的不增加性。
2013-12-20 22
2.6 离散信道的信道容量
Capacity of Discrete Memoryless Channel 信道容量是表征信道最大传信能力的信道参量。
i 1 j 1 n m
H (Y / X ) p( yj ) p( xi / yj ) log p( xi / yj ) 0
所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)
2013-12-20
9
2.5.3 平均交互信息量的极值性
平均交互信息量I(X,Y)不可能超过信源熵H(X)，
Y P(X/Y)
H(X/Y)
27
2.6.2 信道容量的计算方法
信道容量是在一定的信道条件下，对所有可 能的先验概率求平均交互信息量的最大值。 作辅助函数
F [ p( x1), p( x 2),... p( xn )] I ( X , Y ) p( xi )
i 1 n
求辅助函数对p(xi)的偏导置为0，得下列方程组。
=∑p(xi){-[plogp+(1-p)log(1-p)]} =H(p)
其中：记H(p)= -[plogp+(1-p)log(1-p)] 另外：为了求H(Y)， 利用p(yj)= ∑p(xi)p(yj/xi)；可得：
p(y=0)=ω(1-p)+(1-ω)p p(y=1)=ωp+(1-ω)(1-p)
Discrete Memoryless Channel-DMC
离散无记忆信道；
Binary Symmetric Channel-BSC
二元对称信道；
2013-12-20
23
2.6.1 熵速率与信道容量
平均交互信息量I(X,Y)是通信系统{X, P(Y/X), Y}
输出一个符号传输的信息量，也就是接收熵，熵就
F p( xi ) 0 n p( xi ) 1 i 1
2013-12-20 28
由此方程组可以解得使I(X,Y)达到最大值的信源先 验概率分布和待定系数λ ，然后求出信道容量C。
C log 2
j 1
m
j
j C log p( yj )
( j 1,2,... m)
由这个C值，根据上面关系求p(yj)，再由p(yj) 和 p(yj/xi)求信源先验概率分布p(xi)。解这个方程组后 就可以得到最佳信源先验概率分布。
p( yj )
2013-12-20
p( xi ) p( yj / xi )
i 1
n
( j 1,2,... m)
2013-12-20 20
[ 例 2-12] ： I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p) ， 当固定信源先验概率分布ω时，I(X,Y)是信 道转移概率p的下凸函数，如图所示。
I(X,Y)
H(ω) )
0
2013-12-20
1/2
1
p
21
串联信道关系(练习)
X Y Z
DMC1
DMC2
y1 y2 y3 y1 y2 y3
x1 x2 x3
1 1 1
y1 y2 y3
这种信道的特点是： n=m，每行只有一个元素为1，每列只有一个元素 为1。其转移概率不为1，就为0。
2013-12-20 8
这时有：
H ( X / Y ) p( xi ) p( yj / xi ) log p( yj / xi ) 0
Jensen不等式: 如果f(x)是严格的上凸函数, 则E(f(x))≤f(E(x))。 由，当x为大于0的实数时，底大于1的对数 logx是x的严格上凸函数。因此
f{∑pixi}≥∑pif(xi)，
如f(x)=logx，则有：
log{∑pixi}≥∑pilogxi
2013-12-20 4
根据这个关系，考虑平均交互信息量， I(X,Y)= ∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)] 则： -I(X,Y)= ∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)] ≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)] =log{∑p(xi) ∑p(yj)}=0 所以有：I(X,Y) ≥0
2013-12-20 14
2.5.4 平均交互信息量的凸函数性
平均交互信息量是先验概率p(xi)和信道转移概 率p(yj/xi)的函数，可以记为：
I(X,Y)=I[p(xi),p(yj/xi)]
也就是说：
信道固定，I(X,Y)是先验概率的函数; 信源固定，I(X,Y)是信道转移概率的函数。
2013-12-20
C max{nI ( X , Y )} max{n[ H ( X ) H ( X / Y )]}
P( X ) P( X )
信道容量 C 与信源无关，只是信道转移概率的 函数，不同的信道就有不同的信道容量。它反 映了信道本身的传信能力。
X P(X) H(X)
2013-12-20
P(Y/X)
2013-12-20 16
[例2-11] 设二元对称信道的信源空间为：
X={0,1}; [P(X)]={ω, 1-ω};
平均交互信息量为：I(X,Y)=H(Y)-H(Y/X)；
信道转移概率如图。
0 p 1
2013-12-20
1-p p
0
1-p
1
17
H(Y/X)=-∑∑p(xi)p(yj/xi)logp(yj/xi)
R=I(X,Y)
=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)]
熵速率R是先验概率的函数，也是信道
转移概率的函数。
2013-12-20 25
信道容量是在给定信道条件下（即一定
的信道转移概率），对于所有可能的信 源先验概率的最大熵速率。它表示为：
C max R
P( X )
2013-12-20 26
则：
H(Y)=H(ω(1-p)+(1-ω)p)
2013-12-20 18
可得平均交互信息量为：
I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p) 可知，当p值一定，I(X,Y)是ω 的上凸函数，
I(X,Y)
1-H(p)
0
2013-12-20
1/2
1
ω
19
当信源一定时，平均交互信息量I(X,Y)是信 道转移概率的下凸函数； 这就是说，对于一个已知先验概率为P(X) 的离散信源，总可以找到一个转移概率分 布为Pm(Y/X)的信道，使平均交互信息量达 到相应的最小值Imin 。可以说不同的信源 先验概率对应不同的Imin 。或者说Imin 是 P(X)的函数。即平均交互信息量的最小值 是体现了信源本身的特性。
因为H(X/Y) ≥0
所以有I(X,Y)=H(X)-H(X/Y)≤H(X)
因为H(Y/X) ≥0
所以有I(X,Y)=H(Y)-H(Y/X)≤H(Y)