5信道容量

平均互信息的非负性
离散信道输入概率空间为X,输出概率空间为Y,则I(X,Y)≥0， 当X和Y统计独立时，等式成立 [证明] 根据信息熵的定义，直接运用詹森不等式得
I ( X ;Y )

X ,Y
P( xy) log P( xy)
P( x) P( y ) P( xy)
log

X ,Y
P( x) P( y ) log P( x) P( y ) log1 0 P( xy) X ,Y
对称性
非负性 确定性 代数性质： 连续性 扩展性 强可加性 I(ai) H(X) 可加性
递推性
极值性 解析性质： 上凸性 最大离散 熵定理
非负性 交互性
I(ai ; bj)
I(X;Y)
极值性
上凸性 I(X;Y)有极大值
不增性
无噪信道 信道容量
C max{I ( X ; Y )}
p( X )
对称信道
p1(aibj)
p1 (b j ) p1 (ai ) p0 (b j / ai )
i 1
r
I 2 [ p(ai )] p2 (ai ) p0 (b j / ai ) log
i 1 j 1
r
s
p0 (b j / ai ) p2 (b j )
p2(aibj)
p2 (b j ) p2 (ai ) p0 (b j / ai )
Y X
运用詹森不等式
P ( xy) log 1
X ,Y X ,Y
log P ( y ) P ( x | y ) log P ( y ) P ( x | y ) 0 1 1 同理
P2 ( xy) log
X ,Y
P ( x | y) P2 ( x | y )
证明：
p(aib j ) p(b j ai )
I ( X ; Y ) p(ai b j ) log
i 1 j 1 r s
p(ai b j ) p(ai ) p(b j ) I (Y ; X )
p(b j ai ) log
i 1 j 1
rБайду номын сангаас
s
p(b j ai ) p(b j ) p(ai )
i 1 j 1
log{ p2 (ai / b j ) p(b j )}
i 1 j 1
r
s
log1 0
I [p1 (ai ) p2 (ai )] I [ p1(ai )] I [ p2 (ai )]
平均交互信息量是 (ai )的 型凸函数 p
P( y | x) P ( y | x) P2 ( y | x) 1
1,0 1
I [ P ( y | x)] I [ P ( y | x)] I [ P2 ( y | x)] 1 [P ( xy) P2 ( xy)]log 1
X ,Y
I [ p(ai )]
p1(ai)
X
p0(bj/ai)
I1[p(ai)]
Y
p2(ai)
X
p0(bj/ai) I2[p(ai)]
Y
p (ai)
X
p0(bj/ai)
I [p(ai)]
Y
p(ai ) p1 (ai ) p2 (ai ) 0 , 1
1
证明
I [p1 (ai ) p2 (ai )] I [ p1(ai )] I [ p2 (ai )]
r s r
p1 (ai b j ) 1, p2 (ai b j ) 1
i 1 j 1 i 1 j 1
p1 (ai b j ) log
i 1 j 1 r s
r
s
p (b j ) p1 (b j ) p (b j ) p1 (b j ) }
log{ p1 (ai b j )
I ( X ; Y ) I (Y ; X )
平均互信息的I(X,Y)的凸状形
4 平均互信息的I(X,Y)的凸状形 根据平均互信息的定义
I ( X ;Y )

X ,Y
P( x) P( y | x) log
及
P( y | x ) P( y )
P( y )
P( x) P( y | x)
[例3.1] 二元对称信道，简记BSC.其传递概率如图3.3 所 示,Y∈｛0，1｝，设信源的概率分布为：，求此信道的信 道容量.
X a1 0
1 p
Y b1 0
p p
a2 1
1 p
b2 1
[解] 求噪声熵 H(Y|X)平均互信息
H (Y | X )
0 P( y | x)
i 1 j 1
log{ p1 (ai / b j ) p(b j )}
i 1 j 1
r
s
log1 0
p2 (ai b j ) log
i 1 j 1 r s r s
p(b j ) p2 (b j ) p(b j ) p2 (b j ) }
log{ p2 (ai b j )
X
I ( X , Y ) P( x) P( y | x) log
X ,Y
P( y | x) P( x) P( y | x)
X
可知，I(X,Y)是输入信源X概率分布P(x)及信道传递 概率的P(y|x)的函数，因此对于不同信源或不同的 信道得到的平均互信息是不同的。
平均交互信息量的上凸性证明
X a1 0
1 p
Y b1 0
p p
求平均互信息
I ( X ; Y ) H (Y ) H (Y | X ) H (1 p) (1 ) p H ( p )
主要内容
平均互信息的特性
非负性、极值性、交互性、凸状性
信道容量的一般计算方法
离散无噪信道 对称离散信道 准对称信道 一般离散信道容量
离散无记忆信道的N次扩展
3.3 平均互信息的特性
1 平均互信息的非负性 2 平均互信息的极值性 3 平均互信息的交互性 4 平均互信息的I(X,Y)的凸状形
3.4 信道容量及其一般计算方法
研究信道的目的是要讨论信道中平均每个符号所 能传送的信息量，即信道传输率R。由前已知，平 均互信息I(X,Y)就是接收到符号Y后平均每个符号 获得的关于X的信息量。因此信道的信息传输率 就是平均互信息。即 R=I(X;Y)=H(X)-H(X|Y) (bit/符号) 若平均传输一个符号需要t秒钟，则信道在单位时 间内平均传输的信息量称为信息传输速率：

所以 I(X,Y)≥0 因为logx是严格的∩型凸函数，所以只有对所有的x和y都 有P(xy)=P(x)P(y)时等式才成立
平均互信息的极值性、交互性
2 平均互信息的极值性 I(X;Y)=H(X)-H(X|Y)≤H(X) 3 平均互信息的交互性
平均互信息的交互性
I ( X ; Y ) I (Y ; X )
P( x | y ) P ( x | y) P ( xy) log 1 1 P( x) P( x) X ,Y P2 ( x | y ) P( x)
P2 ( xy) log
X ,Y

X ,Y
P ( x | y) P( x | y ) P ( xy) log P2 ( xy) log 1 P ( x | y) P2 ( x | y ) X ,Y 1 P( x | y ) P( x | y ) log P ( xy) 1 P ( x | y) P ( x | y) X ,Y 1 1
平均互信息的I(X,Y)的凸状形
定理3.2 平均互信息I(X,Y)是信道传递概率分布 P(y|x)的∪型凸函数。 [证明] 设X的概率分布P(x)固定不变，则平均互信息 I(X,Y)将只是信道传递概率P(y|x)的函数，简写成 I[(P(y|x)],选择两种已知信道与此信源相连，设它 们的传递概率分别为P1(y|x), P2(y|x),我们有选择第三种信道使其传递概率满足
1
P( x) P( y | x) log P( y | x)
X Y
0 1 p p p 1 p 1
P( x 0) H ( p ) P( x 1) H ( p) H ( p)
求 H(Y)
P( y 0) P( x 0) P( y 0 | x 0) P( x 1) P( y 0 | x 1) (1 p ) (1 ) p P( y 1) P( x 0) P( y 1 | x 0) P( x 1) P( y 1 | x 1) p (1 )(1 p ) H (Y ) H (1 p ) (1 ) p
i 1 j 1 r s
p2 (ai b j ) log
i 1 j 1
p1 (ai b j ) log
i 1 j 1 r s
r
s
p(b j ) p1 (b j ) p(b j ) p2 (b j )
s
p2 (ai b j ) log
i 1 j 1
P( x)
单位是比特/符号或奈特/符号，而对应的输入 概率分布为最佳概率分布。 单位时间内平均传输的信息速率为：
1 Ct maxI ( X ; Y ) t
P( x)
信道容量C与输入信源的概率无关，它只是信 道传输概率的函数，只与信道的统计特性有关。它 是完全描述信道特性的参量，是信道能传输的最大 信息量
即
[*] I [ p1 (ai )] I [ p2 (ai )] I [p1 (ai ) p2 (ai )] 0
证明：
I1[ p(ai )] p1 (ai ) p0 (b j / ai ) log
i 1 j 1
r
s
p0 (b j / ai ) p1 (b j )
p(a1) a1 b1
p(a2) a2 X
p(ar) ar
p0(bj/ai)
Y b2 bs
I ( X ; Y ) p(ai ) p0 (b j / ai ) log
i 1 j 1
r
s
p0 (b j / ai )
p(a ) p (b
i 1 i 0
r
j
/ ai )
I[ p(ai ) p0 (bj / ai )]
0

I [P ( y | x) P2 ( y | x )] I [ P ( y | x)] I [ P2 ( y | x )] 1 1
平均互信息的I(X,Y)的凸状形
意义：当信源固定后，选择不同的信道来传 输同一信源符号时，在信道的输出端获得的 关于信源的信息量是不同的。同时由于是∪ 型凸函数，对每一种信源必存在一种最差的 信道，此信道的干扰最大，而输出端获得的 信息量最小
平均互信息的I(X,Y)的凸状形
定理3.1 平均互信息I(X,Y)是输入信源X概 率分布P(x)的∩型凸函数。 意义：当固定某信道时，选择不同的信源 (其概率分布不同)与信道连接，在信道输出 端接收到每个符号后获得的信息量是不同 的。而且对每一个固定的信道， 一定存在 一种信源，使输出端获得的平均信息量最 大。
r
s
p0 (b j / ai ) p1 (b j ) p0 (b j / ai ) p2 (b j ) p0 (b j / ai ) p(b j ) p0 (b j / ai ) p(b j )
p2 (ai b j ) log
i 1 j 1 r s
p1 (ai b j ) log
1 1 1 Rt I ( X ; Y ) H ( X ) H ( X | Y ) t t t (bit / s)
信道容量：对于固定的信道，总存在一种 信源，使传输每个符号平均获得的信息量 最大。也就是每个固定信道都有一个最大 的信息传输率。定义这个最大的信息传输 率为信道容量C。
C max I ( X ; Y )
i 1
r
I [ p(ai )] p(ai ) p0 (b j / ai ) log
i 1 j 1
r
s
p0 (b j / ai ) p(b j )
p(b j ) p(ai ) p0 (b j / ai )
i 1
r
[*] p1 (ai b j ) log
i 1 j 1 r s