4-第四讲_信道容量及其计算

通过信道传输，接收到的随机序列为 Y (Y1 ,Y2 ,YN )
若信道是无记忆的，即满足
P( y | x) P( yi | xi ),
i 1
N
则
I ( X; Y) I ( X i ;Yi )
i 1
N
证明：设信道输入输出序列X和Y的一个取值为
k (ak ak ak ), ak {a1 , a2 ,a K }, i 1,2, N
平均互信息就是信道容量。
（3）、一般DMC容量的计算
定理：一般离散信道的平均互信息 I(X;Y) 达到极大 值的充要条件是：输入概率矢量 Q{Q0 , Q1 ,QK 1} 满足
I ( x k;Y ) C I ( x k;Y ) C
for all k , Qk 0 for all k , Qk 0
4 －2
信道容量的计算
（1）、对称信道的容量
对称信道：信道矩阵的每一行都是由同一概率分布的
不同排列组成，并且每一列也是同一元素 集的不同的排列组成。 1 2 1 1 1 1 3 3 6 6 1 P , P 6 1 1 1 1 6 6 3 3 1 3
p( x)
对于对称信道，输入符号的概率分布为等概时，输出 符号也一定是等概的。
C log J H ( p1 ' , p 2 ' , p J ' )
输出符号集个数 例： ( P 95－例3. 5 )
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
log E[log
p (bh1 ) p (bh2 ) p (bhN )
p (bh1 ) p (bh2 ) p (bhN ) p( h )
log p ( k h )
X ,Y X ,Y
p (bh1 ) p (bh2 ) p (bhN ) p( h )
log p ( k | h ) p (bh1 ) p (bh2 ) p (bhN ) log p (bh1 ) p (bh2 ) p (bhN ) log 1 0
1 2 X1 XN
N
)
p( x1 ) p( x1 x2 )
X2
I ( X ;Y ) I ( X ;Y )
i 1
N
E[log
p (bh1 | ak1 ) p (bh2 | ak 2 1 ) p (bhN | ak N ) p( h ) p (bh1 | ak1 ) p (bh2 | ak 2 ) p (bh1 N | ak N ) p (bh1 ) p (bh2 ) p (bhN ) p( h ) ] log E[ ] ]
（与公式计算的结果相同）
此时平均互信息就是信道容量
C (1 p q) log( 1 p q) 2 p log p (1 q) log (1 q)
此例题可作为后面：一般信道容量充分必要条件定理 的例子。该定理说明：只要信源每个符号对于输出端 Y提供相同的互信息（概率为零的除外），则此时
其中 I ( x k ; Y ) 是信道输入x=k时，关于信道输 出一个字母的平均互信息，即
P( j | k ) I ( x k ; Y ) P( j | k ) log j P(i) P( j | i)
i
一般信道容量的计算方法
（拉格朗日乘子法）
（4）、扩展信道的信道容量 定理1：如果信道的输入随机序列为 X ( X 1 , X 2 , X N )
X Y
1 P( y | x)
1 1 H (Y ) [ p log p log ] H (Y ) H ( p) p p
对于对称信道
I ( X ;Y ) H (Y ) H (Y | X ) H (Y | X ) p( x) p( y | x) log
X Y
1 p( x) H (Y | X x) p ( y | x) X
I ( X ; Y ) p x (0) I ( x 0; y ) p1 (1) I ( x 1; y ) 1 P( y | x 0) 1 P( y | x 1) P ( y | x 0) log P( y | x 1) log 2 y P( y ) 2 y P( y ) 1 P (0 | 0) P (1 | 0) P (2 | 0) [ P(0 | 0) log P (1 | 0) log P (2 | 0) log ] 2 Py (0) Py (1) Py (2) 1 P(0 | 1) P (1 | 1) P (2 | 1) [ P (0 | 1) log P (1 | 1) log P (2 | 1) log ] 2 Py (0) Py (1) Py (2) 1 1 [(1 q ) log 2 0 q log 1] [0 (1 q ) log 2 q log 1] 2 2 1 q
1 1 1 3 3 6 P 1 1 1 6 3 6 1 6 , 1 3 0.7 0.1 0.2 P 0 . 2 0 . 1 0 . 7
定理：达到准对称离散信道信道容量的输入分布为 等概分布。
n
C log r H ( p1 ' , p2 ' , ps ' ) N k log M k
X 2 ,Y2
ห้องสมุดไป่ตู้

X 1 ,Y1
p(a
X N ,YN
k1 h1
b ) log
p(bh1 | ak1 ) p(bh1 )
p(a
k 2 h2
b ) log
p(bh2 | ak2 ) p(bh2 )


p(ak N bhN ) log
k1
p(bhN | ak N ) p(bhN ) p(bh1 | ak1 ) p(bh2 | ak2 ) p(bh1 N | ak N ) p(bh1 ) p(bh2 ) p(bhN ) ]

X 1 ,Y2
p(a
X N ,YN
ak N bh1 bhN ) log
E[log
p(bh1 | ak1 ) p(bh2 | ak2 ) p(bh1 N | ak N ) p(bh1 ) p(bh2 ) p(bhN )
1 X1
这里用到（全概率公式）
p( x ) p( x x x
1 3 1 3
1 6 1 6
1 6 , 1 3
1/6
1/6
1/6
1/3 1/6 1/3
0. 7
0.7 0.1 0.2 P 0 . 2 0 . 1 0 . 7
0. 1 0. 2 0. 2 0. 1 0. 7
例： 二元对称信道的容量：
I ( X ; Y ) H (Y ) H (Y | X ) H (Y ) P( x) P( y | x) log
因为信道是无记忆的：
I ( X ;Y ) E[log
另一方面
p(bh1 | ak1 ) p(bh2 | ak21 ) p(bhN | ak N ) p( h )
]
I ( X ;Y ) p(a
i 1 i i i 1 X i ,Yi
N
N
ki hi
b ) log
p(bhi | aki ) p(bhi )
I（X；Y）是输入随机变量的概率分布的上凸函数，
所以对于固定的信道，总存在一种信源分布，使传输 每个符号平均获得的信息量最大，也就是说，每一个 固定信道都有一个最大的信息传输率。 信道容量定义为信道中每个符号所能传递的最大 信息量，也就是最大 I (X；Y)值。
C max{I ( X ;Y )}
Y
定理2：如果信道的输入随机序列为 X ( X 1 , X 2 , X N )
Py (0) Px (0) P(0 | 0) Px (1) P(0 | 1) (1 q) / 2 Py (1) Px (0) P(1 | 0) Px (1) P(1 | 1) (1 q) / 2; Py (2) Px (0) P(2 | 0) Px (1) P(2 | 1) q
由于信道是对称的，上边的条件熵与x无关，所以
H (Y | X ) H (Y | X x) p( y | x) log
y
1 H ( p1 ' , p2 ' , p J ' ) p ( y | x)
I ( X ;Y ) H (Y ) H ( p1 ' , p2 ' , p J ' ) C max [ H (Y ) H ( p1 ' , p2 ' , p J ' )]
1 2 N i
h (bh bh bh ), bh {b1 , b2 ,bJ }, i 1,2, N
1 2 N i
p( h | k ) p( h | k ) I ( X ;Y ) p( k h ) log E[log ] p( h ) p( h ) X ,Y
X a1=0 p p a2=1 1-p 1=b2
1-p
Y 0=b1
0
1
0 1 p p 1 p 1 p
二元删除信道 （BEC）：输入符号X取值于{ 0, 1}，
输出符号取值于{ 0, 2, 1}，传递概率为
p 1-p 2 1-q 1 q 1
0
0
0
2
1
0 p 1 p 0 1 0 1 q q
删除信道的必要性
0
1
0
1
？2
2、 信道容量定义
信息传输率：信道中平均每个符号所能传送的信息量。
R = I(X;Y) = H(X)-H(X|Y) （bit/符号）
有时我们需要关心单位时间内（一般为秒为单位） 平均传输的信息量，若平均传输一个符号需要 t 秒，则 信道每秒平均传输的信息量为（速率）
1 1 1 Rt I ( X ;Y ) H ( X ) H ( X | Y ) (bit / sec) t t t
k 1
r是输入个数，n是不相交子集数，Nk是行之和，Mk是列之和
例：求二元对称删除信道的C。（例3.8中特例 ）
1-q
0 0 1 q 1 0
2 q q
1 1 q 0
q q 1-q
0
2
1
解：达到信道容量的输入分布为等概分布。
P(0) P(1) 1/ 2
此时输出分布为：
第四讲 信道容量及其计算
4 －1 4 －2 信道容量 信道容量的计算方法
4－1 信道容量
1、常见的简单DMC离散信道： 二元对称信道 （DSC）：输入符号X取值于{0,1}， 输出符号取值于{0,1}，传递概率为
P(0 | 0) P(1 | 1) 1 p, P(0 | 1) P(1 | 0) p
1 1 1 1 1 1 1 1 1 1 1 1 C log 4 H ( , , , ) 2 ( log log log log ) 3 3 6 6 3 3 3 3 6 6 6 6 0,0817(bit / symbol )
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
P( x)
此时输入的概率分布称为最佳输入分布。
信道容量C与输入信源的概率无关（C只对应着一种
信源概率分布，即最佳概率分布），它只是信道传输概 率的函数（不同的转移概率对应不同的信道），只与信
道的统计特性有关，所以信道容量是完全描述信道特性
的参量。 信道容量表示了信道传送信息的最大能力，这个量 在信息论研究中有重要意义。编码定理将证明：传送的 信息量R必须小于信道容量C，否则传送过程中将会造 成信息损失；若R<C，就可以通过编码方法保证将全部 信息几乎无误地传送倒收端。
1 3 1 2 1 6 1 6 1 3 1 2
1/3 1/3 1/6 1/6 1/6 1/6
1/2 1/3
1/2 1/3 1/6
1/6
1/3 1/3
1/3 1/6 1/2
行
列
行
列
而以下两个矩阵不是对称的，而是准对称的。
（行对称而不是列对称）
1/3
1/3
1 3 P 1 6