第4章 信道容量

j j1
N
P( y j ) 2
j C
j 1,2,, N
j 1,2,, N
P( y j ) P ( x i ) P( y j / x i )
i 1
N
解出P(x i )
i 1,2,, N
例1：已知二元信道（ Z信道）Y / X ~ P(Y / X) 0 1 P(Y / X) 0 . 25 0 . 75 求信道容量C及达到C的信源概率P(X)
j1 j1
N
C P( y j / x i )C i 1,2,, N
j1
P(y / x )[logP(y ) C] P(y / x ) P(y / x ) log P(y / x )
j1 j i j j1 j i j j1 j i j i
N
N
N
i 1,2,, N
P( y j ) [P( y j ) log P( y j )] P( x i ) j1 P ( y j )
M N N [ P( x k )P( y j / x k ) log P( y j / x k )] [ P( x k ) 1] P( x i ) k 1 j1 P ( x i ) k 1 M N [P( y j ) log P( y j )] [ P ( x k ) P ( y j / x k )] P( x i ) k 1 j1 P ( y j ) M N N [ P( x k )P( y j / x k ) log P( y j / x k )] [ P( x k ) 1] P( x i ) k 1 j1 P ( x i ) k 1 M
j1
达到C的信源概率P(X)
1 P( x i ) N i 1,2,, N
对称信道行可置换
H(Y / X) P( x i , y j ) log P( y j / x i ) P( x i ) P( y j / x i ) log P( y j / x i )
i 1 j1 i 1 j1 N M N M
C log 2 0.9 log 0.9 0.1log 0.1 0.531 (bit )
1 P( x 0) P( x 1) 2
例5：已知二 四元对称信道 Y / X ~ P(Y / X) 1 / 3 1 / 6 1 / 6 1 / 3 P(Y / X) 1 / 6 1 / 3 1 / 3 1 / 6 求信道容量C及达到C的信源概率P(X)
解出P(x1 ) P(x 2 ) P(x N )
P(x ) NP(x ) 1
i 1 i i
N
1 P( x i ) N
i 1,2, , N
例4：已知二元对称信道 Y / X ~ P(Y / X ) 0.9 0.1 P(Y / X) 0 . 1 0 . 9 求信道容量C及达到C的信源概率P(X)
第4章 信道容量
4.1 单符号离散信道的信道容量
1、N元信道及其信道容量 ① N元信道
将N元信源转移为N源信宿的信道
②N元信道的信道容量
信道容量C
C log[ 2 j ]
j1 N
其中 j由 P( y j / x i ) j P( y j / x i ) log P( y j / x i )解出
C
i 1,2,, N
当M=N，方程有唯一解
引入辅助变量 j logP(y j ) C
P( y j / x i ) log
j1 N N
j 1,2,, N
N
P( y j ) P( y j / x i )
P( y j / x i ) log P( y j ) P( y j / x i ) log P( y j / x i )
[logP( y j ) log e]P( y j / x i ) P( y j / x i ) log P( y j / x i )
j1 M j1
M
M
P( y j / x i ) log P( y j ) log e P( y j / x i ) log P( y j / x i )
i 1,2,, N
C
注意到 P( x i )P( y j / x i ) log
i 1 j1
P( y j / x i )
P( x i )[loge ] log e
i 1
N
P( y j / x i ) log
j1
M
P( y j ) P( y j / x i )
行可置换—— {1 / 3,1 / 6,1 / 6,1 / 3},{1 / 6,1 / 3,1 / 3,1 / 6}
列可置换—— {1 / 3,1 / 6}, {1 / 6,1 / 3}, {1 / 6,1 / 3}, {1 / 3,1 / 6}
②对称信道的信道容量
对称信道的信道容量C
M
C log M q j log q j
由11 02 1log1 0 log 0 0 0.251 0.75 2 0.25log 0.25 0.75log 0.75 0.811 解出1 0 2 1.082
C log(20 21.082 ) log1.472 0.558(bit )
2、对称信道及其信道容量 ①对称信道
行可置换——矩阵中每一行都是集合 {q1 , q 2 ,, q M }中各 元素的不同排列 列可置换——矩阵中每一列都是集合 {p1 , p2 ,, p N }中各 元素的不同排列 对称信道——信道转移概率矩阵既行可置换又列可置换
例2：二元对称信道 Y / X ~ P(Y / X) P(0 / 0) P(1 / 0) q P( Y / X ) P(0 / 1) P(1 / 1) q q q
1 1 1 1 C log 4 2 log 2 log 0.082 (bit ) 3 3 6 6
1 P( x 0) P( x 1) 2
3、二元删除信道及其信道容量 ①二元删除信道
弱对称信道——信道转移概率矩阵行可置换，且按列分 为s个不相交的子信道，各子信道的转移概率矩阵既行可置 换又列可置换 二元删除信道——二-三元弱对称信道
i 1
N
I(X; Y) [ P( x i ) 1]
i 1
N 令 {I(X; Y) [ P( x k ) 1]} P( x i ) k 1 N {H(Y) H(Y / X) [ P( x k ) 1]} P( x i ) k 1
N
M N M N { P( y j ) log P( y j ) P( x k )P( y j / x k ) log P( y j / x k ) [ P( x k ) 1]} P( x i ) j1 k 1 j1 k 1
P(X) j1 j1
M
?
M
信宿等概率是否可达？
对称信道列可置换，不失一般性，记信道转移概率矩阵
p1 p 2 p p 3 2 P(Y / X) p N 1 p N p N p1
如果信宿等概率
1 P( y1 ) p1P( x1 ) p 2 P( x 2 ) p N 1P( x N 1 ) p N P( x N ) M 1 P( y 2 ) p 2 P( x1 ) p 3P( x 2 ) p N P( x N 1 ) p1P( x N ) M
例6：二元删除信道 Y / X ~ P( Y / X) 0 P(0 / 0) P(e / 0) P(1 / 0) 1 P(Y / X) P ( 0 / 1 ) P ( e / 1 ) P ( 1 / 1 ) 0 1
行可置换—— {1 , ,0}, {0, ,1 } 按列分为两个不相交的子信道
j1 M j1
M
( y j / x i )
log e
0
i 1,2,, N
P( y j / x i ) log
j1
N M
M
P( y j ) P( y j / x i )
loge
P( y j )
P(0 / 0) P(1 / 0) 1 0 P1 (Y / X) P ( 0 / 1 ) P ( 1 / 1 ) 0 1
行可置换—— {1 ,0},{0,1 }
列可置换—— {1 ,0},{0,1 }
P(e / 0) P2 (Y / X) P(e / 1)
P( x i ) q j log q j q j log q j
i 1 j1 j1
N
M
M
C max I(X; Y) max[H(Y) H(Y / X)]
P(X) P(X)
max H(Y) q j log q j log M q j log q j
P( y1 ) 21 C 200.558 20.528 0.679 P( y 2 ) 22 C 21.082 0.558 21.640 0.321
由P( y1 ) 1P( x1 ) 0.25P( x 2 ) 0.679 P( y 2 ) 0P( x1 ) 0.75P( x 2 ) 0.321 解出P( x1 ) 0.572 P( x 2 ) 0.428
行可置换—— {q, q}, {q, q} 列可置换—— {q, q}, {q, q}
例3：二 - 四元对称信道Y / X ~ P(Y / X) P(0 / 0) P(1 / 0) P(2 / 0) P(3 / 0) 1 / 3 1 / 6 1 / 6 1 / 3 P(Y / X ) P ( 0 / 1 ) P ( 1 / 1 ) P ( 2 / 1 ) P ( 3 / 1 ) 1 / 6 1 / 3 1 / 3 1 / 6