串联信道及其信道容量

P( z x) P( y x) P( z xy)
Y
x X , y Y , z Z
则总信道的传递矩阵
P ( z x ) P ( y x ) P ( z xy ) rt rs st
若X，Y，Z满足马尔可夫链，得总信道的传递概率
电子信息工程学院
信息论
3.8串联信道及其信道容量

由信息不增原理
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ;W ) C (1,2) max I ( X ; Z ) C (1,2,3) max I ( X ;W )

X
可以看出,串接的信道越多,其信道容量可能会越 小,当串接信道数无限大时,信道容量可能会趋于0 信道1
对于串联信道，若其输入输出变量之间组成一个马尔可夫链 ，则存在下述定理。该定理对于串联的单符号离散信道或是输 入、输出都是随机序列的一般信道都成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理

定理3.7 当且仅当
I ( XY ; Z ) I (Y ; Z ) P( Z / XY ) P( Z / Y )
时等式成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.8 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.8表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据 Y进行处理后，无论变量 Z是Y 的确定对应关系还是概率关系，决不会减少关于 X 的不确定 性。故定理3.8称为数据处理定理。
电子信息工程学院
信息论
3.8串联信道及其信道容量
证： 串联信道总的信道矩阵为
1 1 3 3 P( z | x) 0 1 2 1 1 0 2 3 0 1 3 1 2 0 3 0 1 1 1 3 3 1 3 0 2 2 3 1 3 1 2
电子信息工程学院
信息论
3.8串联信道及其信道容量

例：有二个信道的信道矩阵分别为
1 1 3 3 0 1 2 1 3 1 2
和
1 0 0
0 2 3 1 3
0 1 3 2 3
它们的串联信道如下图所示。 求证：
I ( X ; Z ) I ( X ;Y )
信息论
3.6串联信道及其信道容量
若信道II的传递概率使其输出只与输入Y有关，与前面的输 入X无关，即满足 P( z x ) P ( y x ) ( z y )
Y
称这两信道的输入和输出X，Y，Z序列构成马尔可夫链。
电子信息工程学院
信息论
3.8串联信道及其信道容量

这两个串联信道可以等价成一个总的离散信道，其输入 为X，输出为Z，此信道的转移概率为
电子信息工程学院
信息论
3.8串联信道及其信道容量
P( z x) P( y x) P( z y)
Y
x X , y Y , z Z
信道矩阵为
P ( z x ) P ( s st

串联信道的转移矩阵为:
求得:
I ( X ; Y ) 1 H ( p)
p 1 p P P 1 2 p 1 p

I ( X ; Z ) 1 H [2 p(1 p)]
在实际通信系统中,信号往往要通过几个环节的传输,或 多步的处理,这些传输或处理都可看成是信道,它们串接 成一个串联信道。
可见该串联信道满足 根据概率关系和上式得
P( y | x) P( z | x) ,(对所有x, y, z) P( x | z) P( x | y) ,(对所有x, y, z)
所以
I ( X ; Z ) I ( X ;Y )
电子信息工程学院
信息论
3.8串联信道及其信道容量

举例：设有两个离散二元对称信道，其组成的串联信道如 图所示，求该串联信道的信道容量。
电子信息工程学院
信息论
3.8串联信道及其信道容量

两个BSC信道的转移矩阵为:
p 1 p p (1 p) 2 p 2 1 p PP 1P 2 p 1 p p 1 p 2 p(1 p) 2 p(1 p) (1 p) 2 p 2
Y
信道2
Z
…
信道m
电子信息工程学院