离散信道的信道容量

5.1
信道容量的定义
信息传输率是衡量通信质量的一个重要指标，定理 1.1知：对于固定信道，总存在某种输入概率分布q(x)， 使I（X; Y）达到最大值，定义这个最大值为信道容 量，记为C。 C∆ max I ( X ;Y ) （比特/码符号） q( x) （5-2） 使I（X; Y）达到信道容量的分布q (x)为最佳分布。
p( y j x 2 )
=
12 1 12 1 × log + log = log 3 2 16 2 16
I ( x3 ; X ) =
∑
j =1
p ( y j x3 ) log
p( y j x3 )
ω(y j )
16 2 26 3 36 1 × log + log + log = log 3 6 1 18 6 19 6 16
∑
3
∑
∑Fra Baidu bibliotek
∑
∑ ω(y
j =1
6
j
) =1
∑ ∑
再计算出：
I ( x1 ; Y ) = I ( x2 ; Y ) =
6
∑
j =1
6
p ( y j x1 ) log
p ( y j x1 )
ω(y j ) ω(y j )
=
= 1 × log
1 = log 3 13
∑
j =1
6
p ( y j x 2 ) log
(5) 验证是否满足q(xi) ≥0， i =1, 2, …, K。 K 先由式（5-16） −1 ω ( y k ) = exp − C − p ( y i x k ) H (Y x i ) i =1 计算出ω（yk） k =1, 2, …, K K 再由式（5-21） q ( xi ) = ∑ ω ( y j ) p −1 ( y i x j ) i = 1,2, L , K
∑ I ( X ;Y )
i j i =1
（2）对每个i,输入分布q (xi) 可使I (Xi; Yj) 达到信道容量C， 则：
C N ∆ max I (X ;Y )
q (x )
N q ( x1 )Lq ( x N
≥
q ( x1 )
N
max
= max I ( X 1 ; Y1 ) + max I ( X 2 ; Y2 ) + L + max I ( X N ; Y N )
∂α
则信道容量
C = I (X; Y)︱a=0.5 = 1-q
3.信道转移概率矩阵为非奇异方阵 计算信道容量C按下面步骤进行： (1)先验证信道转移概率矩阵P =[p(yj︱xi)]是方阵，且矩阵P的行列 式︱[p(yj︱xi)]︱≠0；
(2)计算出逆矩阵P－１=[ p-1 (yj︱xk)]； (3)根据式（5-17），计算出；
1 P = 0 0 0 1 2 0 0 1 2 0 0 0 1 6 0 0 2 6 0 0 3 6
1 x1 1/2 x2 x3 1/2 1/6 2/6 3/6 y1 y2 y3 y4 y5 y6
图5-2 无损信道
，计算该信道的信道容量。
1. 先考察平均互信息量I（X; Y）= H（X）-H（X︱Y）， 在无噪信道条件下，H（X︱Y）= 0，则平均互信息量I（ X; Y）= H（X） 2. 根据定义计算信道容量C
q ( x2 ) q ( xN )
∑ I (X ;Y ) )
i i i =1
=
∑C
i =1
i
= NC CN ≥ NC (5-5)
综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下， 有CN = NC，即定理中等号成立，这时N长序列的传输问题可 归结为单符号传输问题。
5.2.1 达到信道容量的充要条件
=−
∑ω ( y
j =1
3
j ) log
ω ( y j ) + ∑∑ q( xi ) p ( y j xi ) log p( y j xi )
i =1 j =1
2
3
= -(1-q) [α logα + (1-α) log (1-α)] 根据定义，求C的问题就转化为α为何值时，I (X; Y ) 达到最大值 。令 ∂I ( X ; Y ) = 0 ⇒ α = 0.5
H (Y x i ) = −
∑ p( y
j =1
K
j
x i ) ln p ( y j x i )
K
i = 1,2, L , K
K −1 (4)根据式（5-18） C = ln ∑ exp − ∑ p ( y i x k ) H (Y x i ) k =1 i =1 ，计算出信道容量C；
q( x)
C ∆ max I ( X ; Y ) = max H ( X )
q( x)
从上式可看出，求信道容量C的问题转化为寻找某种分布q (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在 1 信源消息等概分布时 q( x1 ) = q( x 2 ) = q( x3 ) = ，熵值达到最 3 大，即有
定理5.3 实现DMC准对称信道的信道容量的分布为等概分 定理
布。
【例5.6】 信道输入符号集X = {x1, x2}，输出符号集Y = {y1, y2, y3, y4}，给定信道 例 1 1 1 1 转移概率矩阵 = 4 2 8 8 ，求该信道的信道容量C。 P 1 1 1 1 8 2 4 8 1 q 这是一个准对称信道，根据定理5.3，当X等概分布， ( x1 ) = q( x 2 ) = 2
第5章 章 离散信道的 信道容量
第5章 离散信道的信道容量 章
内容提要 信道对于信息率的容纳并不是无限制的 ，它不仅与物理信道本身的特性有关，还与 信道输入信号的统计特性有关，它有一个极 限值，即信道容量，信道容量是有关信道的 一个很重要的物理量。这一章研究信道，研 究在信道中传输的每个符号所携带的信息量 ，并定义信道容量。
∑
∑
∑
∑
∑
∑∑
2
= 0.0325 (比特/符号)
2. 信源只含两个消息 【例5.8】 信道输入符号集X = {x1, x2 }，输出符号 例 集Y = {y1, y2, y3}，给定信道转移概率矩阵
0 1 − q q P = 0 q 1 − q ，求信道容量C。
设使平均互信息量达到信道容量的信源分布为 q(x1) =α ， q(x2) =1-α =1 α 。 2 j = 1,2,3 由 ω ( y j ) = ∑ q ( xi ) p( y j xi ) i =1 可算出 2 ω ( y1 ) = ∑ q( x i ) p( y1 xi ) = α (1 − q)
4
由
1 ω ( y j ) = q( xi ) p( y j xi ) = 2 i =1
∑
2
∑ p( y
i =1
2
j
x，先算出 i)
1 2 1 1 1 3 p ( y1 x i ) = × ( + ) = ω ( y1 ) = 2 i =1 2 4 8 16 1 2 1 1 1 1 p( y 2 xi ) = × ( + ) = ω ( y2 ) = (5-8) 2 i =1 2 2 2 2 1 2 1 1 1 3 ω ( y ) = p( y3 xi ) = × ( + ) = 3 2 i =1 2 8 4 16 1 2 1 1 1 1 ω ( y4 ) = p( y 4 xi ) = × ( + ) = 2 i =1 2 8 8 8 1 q ( x1 ) = q( x 2 ) = 代入式(5-7)，可算得信道容量 将式(5-8)和 2 4 1 2 4 = − ω ( y j ) logω ( y j ) + p( y j xi ) log p( y j xi ) C = I ( X ;Y ) 1 2 i =1 j =1 q ( x1 ) = q ( x2 ) = j =1
定理5.2 使平均互信息量I（X; Y）达到信道容量C的 定理
充要条件是信道输入概率分布
x2 L xM X x1 q( X ) = q( x ) q( x ) L q( x ) 2 M 1
，简记为q (X) = {q (x1), q (x2), …, q (xM)}满足：
i =1 2 q( x i ) p( y 2 xi ) = αq + (1 − α )q = q ω ( y2 ) = i =1 2 q( xi ) p( y 3 xi ) = (1 − α )(1 − q) ω ( y 3 ) = i =1
∑
∑
平均互信息量 I(X; Y) = H(Y) –H (Y︱X)
5.2.2 几类特殊的信道
1. 准对称信道 定义5.1 如果信道转移 定义 概率矩阵P中，每一行 元素都是另一行相同元 素的不同排列，则称该 信道关于行（输入）对 称。 定义5.2 如果信道 定义 转移概率矩阵P中 ，每一列元素都是 另一列相同元素的 不同排列，则称该 信道关于列（输出 ）对称。
定义5.3 如果信道转移概率矩阵P可按输出符 定义 号集Y分成几个子集（子矩阵），而每一子集 关于行、列都对称，称此信道为准对称信道。
时，信道容量
C = I ( X ;Y )
2
q ( x1 ) = q ( x2 ) =
1 2
平均互信息量
I（X; Y）= H（Y）-H（Y︱X）
=−
∑ω ( y
j =1
4
j ) log
ω ( y j ) + ∑∑ q( xi ) p ( y j xi ) log p ( y j xi ) (5-7)
i =1 j =1
C = max H ( X ) = log 3
q( x)
3. 根据平均互信息量I（X; Y）达到信道容量的充 要条件式（5-6）对C进行验证：
ω ( y j ) = ∑ q( xi ) p( y j xi )
i =1
3
先根据计算出ω(yj)， j =1,2,3,4,5,6
1 1 ω ( y1 ) = q ( x i ) p ( y1 x i ) = × 1 = 3 3 i =1 3 1 1 1 ω (y2 ) = q( xi ) p( y 2 xi ) = × = 3 2 6 i =1 3 1 1 1 q( xi ) p( y3 xi ) = × = ω ( y3 ) = 3 2 6 i =1 满足 3 1 1 1 (y4 ) = q( xi ) p( y 4 xi ) = × = ω 3 6 18 i =1 3 1 2 1 q( xi ) p( y5 xi ) = × = ω ( y5 ) = 3 6 9 i =1 3 1 3 1 q( xi ) p( y 6 xi ) = × = ω ( y6 ) = 3 6 6 i =1
∑
计算 q ( x ) i
i = 1,2, L , K
j =1
【例5.9】 例 ，求信道容量C。
0.9 0.1 给出信道转移概率矩阵 P = 0.2 0.8 , K = 2
0 .9 0 .1 ≠0 （1）P矩阵的行列式 P = 0 .2 0 .8
，说明P是一个非奇异方阵。 （2）P的逆矩阵 P
−1
8 7 −1 = p ( y j xi ) = 2 − 7
[
]
1 − 1.143 7 = 9 − 0.286 7
− 0.143 1.286
5.2
离散无记忆信道容量的计算
下面一条定理给出了一维信道和N维信道的信道容量之间的关系。
定理5.1 如果信道是离散无记忆（DMC）的，则CN ≤ 定理
NC， 其中C是同一信道传输单符号时的信道容量。
若 （1） 输入的N个符号统计独立，即信源离散无记忆, N 根据[定理2.3]有：
I (X ;Y ) ≥
I (xi ; Y ) = C I (xi ; Y ) ≤ C
若q ( x i ) > 0 若q ( x i ) = 0
i = 1,2, L , M
(5-6)
介绍几种无噪信道，对于无噪信道，信道的输入X 和输出Y之间有着确定的关系，一般有三类：无损 信道、确定信道和无损确定信道。
【例5.2】 无损信道 无损信道的输 例 入符号集元素个数小于输出符号集 的元素个数，信道的一个输入对应 多个互不交叉的输出，如图5-2所示， 信道输入符号集X ={x1, x2, x3}，输出 符号集Y ={y1, y2, y3, y4, y5}，其信道 转移概率矩阵记为