信息论第5章

RB H ( X ) H ( X / Y ) H t ( X ) H t ( X / Y )
其中， RB为每秒钟传送的符号数，即码元传输速率。 Ts为传送一个符号所需的平均时间。
1 Rt I(X;Y) RB I ( X ; Y ) Ts
H t ( X ) RB H ( X ) 表示单位时间信源输出的信息量。
f(q)
f [p (1 )q]
f ( p) (1 ) f (q)
f(p)
p
p (1 ) q
q
p
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)， 使得 I（X；Y）达到最大。
C max I(X;Y) 单位： 比特 /符号 C ｔ ＝Ｒ Ｂ * max I(X;Y) 单位：比特 /秒
图 5.3 二元无记忆对称信道
《信息论基础》
5.3 信道容量
一、信道的信息传输率
1、信息传输率Ｒ：信道中平均每个符号所能传送的信息量。
R = I （X；Y ）= H （X）-
H（X/Y）
单位：bit/符号
2、信息传输速率Ｒt：信道中单位时间平均传送的信息量,即收 信者在单位时间内接收到的信息量。 单位：bit/秒
注：对于特定的信道，信道容量是个定值，但是在传 输信息时信道能否提供其最大传输能力，则取决于输 入端的概率分布。
当信道提供其最大传输能力时，相应的输入概
率分布称为最佳输入分布。
信道容量 C 只是信道传输概率的函数，只与信道的 统计特性有关， 而与输入信源的概率分布无关。 对于一个 特定的信道，其信道容量 C 是确定的，是不随输入信源 的概率分布变化而改变的。信道容量 C 取值的大小，直 接反映了信道质量的高低。 所以， 信道容量是完全描述信 道特性的参量，是信道能够传输的最大信息量。 能使平均互信息达到信道容量 C 的信源，称为匹配 信源。
C log2 0.5.0.3,0.2 0.8log0.8 0.2log0.4 0.036bit/ 符号
二. 串联信道及其信道容量
假设有一离散单符号信道 I，其输入变量为 X ，输出变量 Y ，并设另有 一离散单符号信道 II，其输入变量为 Y ，输出变量为 Z ，这两信道串接起来， 组成如图所示的串联信道。其中， X 取值于集合 {a1 , a2 , 合 {b1 , b2 ,
2) 信道容量
可以证明：
准对称信道取得信道容量时，输入符号分布为
等概分布。
即：准对称信道的最佳输入分布为等概分布。
准对称DMC信道信道容量的求解方法：
方法一：计算等概输入时的平均互信息。
方法二：将转移概率矩阵划分为n个互不相交的对 称的子集。根据下面的公式来计算。
C log r pij log pij N k log M k
该信道输入符号和输出符号的个数相同，都为r，且 正确的传输概率为1-p，错误概率p被均匀分给r-1个 输出符号，此类信道称为强对称信道或均匀信道，计 算信道容量。
解：
p p C log r Η p, , , r 1 r 1
3、准对称DMC信道
1) 定义：
准对称信道按列可以划分成几个互不相交的子集合， 而每个子矩阵（由子集所对应的信道转移矩阵中的列所组 成）具有下述性质： （ 1）每一行都是第一行的一种排列； （ 2）每一列都是第一列的一种排列。 则该信道为准对称1 2
YN 。
转移概率为
P(h k ) P( y1 y2
yN x1x2
xN )
(k 1,
, r N ) (h 1,
, sN )
多符号离散信道的传递矩阵
1 1 P( 1 1 ) 2 P( 1 2 ) r
N
2
P( 2 1 ) P( 2 2 )
可以证明，对于 N 个单符号信道组成的串联信道，若其输入输出变量之 间组成一个马尔可夫链，设信道的转移矩阵分别为 P 1, P 2, 的总信道转移矩阵为
, PN ，则串联信道
P总 P 1P 2
PN Pi
i 1
N
【例】 设有两个离散二元对称信道， 其组成的串联信道如图 5.8 所示，求该串联信道的信道容量。
二. 多符号离散信道的数学模型
由于信道输入的随机矢量 X 和输出的随机矢量 Y 往往不是确定关系， 信 道特性通常采用在输入已知的情况下输出的条件概率 P ( y | x) 来表示。离散信 道的数学模型如图所示，也可用数学符号表示为 {X, P(y | x), Y} ，其中信道输 入 X X1 X 2
从 数 学 上 来说 ， 信 道容 量 C 就 是 平 均 互信 息 I [ P( x)] 在
P( x) 1 的约束条件下，对信源概率分布 P( x) 取条件极大值。
X
对于一般信道，信道容量的计算是比较复杂的，从数学上来 说， 就是对互信息 I ( X ; Y ) 求极大值的问题。 但对于某些特殊信道， 可利用其特点，运用信息理论的基本概念，简化信道容量的计算， 直接得到信道容量的数值。下面我们先讨论某些特殊离散信道的 信道容量，然后再讨论一般离散信道的信道容量的计算。
1 6 1 3
1 6 1 3
计算信道容量。 解：
1 1 1 1 C log 4 Η , , , 0.082bit / 符号 3 3 6 6
例题：
已知信道转移矩阵为
p p P r -1 p r -1
p p r -1 r - 1 p p r - 1 p p r -1
P( z x) P( y x) P( z y)
Y
（对所有 x,y,z）
称这两信道的输入和输出（即 X 、 Y 和 Z 序列）构成马尔可夫链，此时串联 信道的信道矩阵为
P ( z x ) P ( y x ) P( z y ) rt rs st
, ar } ，Y 取值于集
, bs } ， Z 取值于集合 {c1 , c2 ,
, ct } 。信道 I 的转移概率记为
P( y x) P(b j ai ) ，而信道 II 的转移概率一般与前面 X 和 Y 都有关，记为 P( z xy) P(ck ai b j ) 。
若信道 II 的输出只与输入 Y 有关，与前面的输入 X 无关，即满足
根据下面的公式可以求得信道容量：
0.2 0.2
C log r pij log pij N k log M k
j 1 k 1
s
n
因为： r 2, N1 0.5 0.3 0.8, M1 0.5 0.3 0.8,
N 2 0.2, M 2 0.2 0.2 0.4, n 2 所以，信道容量为
【例 5.2】 已知某信道的转移概率矩阵为
1 2 P 1 2
1 2 1 4
0 1 4
试计算信道容量，并说明达到信道容量的最佳输入分布。
《信息论基础》
5.4 单符号离散信道及其信道容量
一、几种离散信道的信道容量： 1、无噪信道 2、对称信道 3、准对称信道
1、无噪信道：输入输出一一对应．
a1 a2 an b1 b2 bn
其信道转移概率为
1 0 0 0 1 0 P1 0 0 0 1
疑义度H（X/Y）=0 噪声熵H（Y/X）=0 I （X ；Y ）= H （X ）= H （Y ） 信道容量： C = max H（X）= max H（Y）
j 1 k 1
s
n
其中，r为输入符号集的个数； pij为信道矩阵任一行中的 元素； N k 为第k个子矩阵中行元素之和 ； M k 为第k个子矩阵中列元素之和 ；
0.5 0.3 0.2 已知信道转移矩阵为 P ，计算信道容量。 0.3 0.5 0.2
解：
例题：
0.5 0.3 将上面的信道矩阵分解为两个子集： 0 . 3 0 . 5
H t ( X / Y ) RB H ( X / Y )表示单位时间信道损失的信息量。
二、信道容量C
1）理论基础： 对于固定的信道，平均互信息 I ( X ; Y ) 是信源概率分布 P ( x) 的上凸函数。也就是说，存在一个使 某一特定信道的平均互信息达到极大值的信源分布，该极大 值可以用来表述信道传送信息的最大能力，即信道容量。
二元对称信道的串联信道
二. 串联信道及其信道容量
假设有一离散单符号信道 I，其输入变量为 X ，输出变量 Y ，并设另有 一离散单符号信道 II，其输入变量为 Y ，输出变量为 Z ，这两信道串接起来， 组成如图所示的串联信道。其中， X 取值于集合 {a1 , a2 , 合 {b1 , b2 ,
它表示接收到符号 Y 后，平均获得的信息量就是信源 发出每个符号所含的平均信息量，信道中无信息损失。所 以其信道容量为
C max I ( X ; Y ) max H ( X ) log r （比特 /符号）
P( x) P( x)
r 为输入信源 X 的符号个数。
这表明， 无噪信道的信道容量 C ， 只取决于信源 X 的 符号数 r ，所以当信源等概率分布时信源熵 H ( X ) 最大。
1 3 1 2 1 6
1 6 1 3 1 2
2) 信道容量
当输入符号分布为等概分布时，取得信道容量
, p2 , log s H ( p1
) log s H (P的行矢量) , ps
1 3 已知信道转移矩阵为 P 1 6
例题：
1 3 1 6
2、对称离散信道
1) 定义：如果转移概率矩阵P的每一行包含同样元 素，则为输入对称矩阵；如果转移概率矩阵P的 每一列包含同样元素，则为输出对称矩阵；如果 输入输出都对称，则为对称离散信道。 例如：