信息论基础9PPT课件

n
1
p
p p
n 1 n 1
p n 1
p n 1
p
概率的输 入、输出 关系为：
p( y1)
p
p(x1)
p n 1
p(
y2
)
PT
p( x2
)
n
p 1
p
p(
yn
)
p(
xn
)
p
p
n 1 n 1
p
n 1 p(x1)
n
p
1
p(
x2
)
p(
xn
)
p
p
p( y1) p( y2 )
PT
p(x1)
p(
x2
)
n
p 1
p n 1
p
p(
yn
)
p(
xn
)
p
p
n 1 n 1
p
n n
p
1 1
p( x1 p( x2
) )
p(
xn
)
p
强对称信道矩阵中的每一行都是由同一集合{ p, p , p , , p } 中 n1 n1 n1
6 3
， P2
0.7 0.2
0.1 0.1
0.2 0.7
由于信道矩阵中的每行元素都相同，所以有：
p
p log2
n 1
问题： 信道输入（信源）是什么分布时，输出分布为等概率的？
一般地，输入、输出概率分布与信道转移概率矩阵的关系 为：
n
n
p( y j ) p(xi y j ) p( y j / xi ) p(xi )
i 1
i 1
p( y1) p( y1 / x1)
p(
y2
)
定义这个最大的信息传输率为信道的信道容量，记为 C 。
即：
C max R max I ( X ;Y )
p( xi )
p( xi )
单位是比特/信道符号
有时我们关心的是信道在单位时间内能够传输
的最大信息量。
若信道平均传输一个符号需要 t 秒，则
单位时间的信道容量为：
Ct
1 max
t p( xi )
I ( X ;Y )
（比特/秒）
几种特殊离散信道的信道容量
二. 强对称离散信道的信道容量
对单符号离散信道{X P(Y / X ) Y} ，X {x1, x2, , xn} ，Y {y1, y2, , yn} ，如果 信道矩阵为：
p
p n 1
p
P
(
p( y j
/
xi
))nm
n
1
p
p p
n 1 n 1
于是信道容量为：
C
max[H
p( xi )
(Y
)
H ni
]
求信道容量问题，变成了求一种输入分布使 H (Y ) 取得最大值的问题了。
当然使得
p(
y
j
)
1 n
时，
H
(Y
)
达到最大值
于是信道容量为：
log2 n 。
p
C
max[H (Y )
p( xi )
Hni ]
log2
n
H ni
log2
n
p log2
元素的不同排列组成，所以当输入分布为等概率分布时，即
p(xi )
1 n
时，
输出符号一定是等概率分布的，
p(yj )
Biblioteka Baidu
1 n
，
j
1, 2,
,n 。
几种特殊离散信道的信道容量
三．对称离散信道的信道容量
如果一个矩阵的每一行都是同一个集合 Q {q1, q2, , qm} 中 诸元素的不同排列，称矩阵是行可排列的；如果一个矩阵的 每一列都是同一个集合 P {p1, p2, , pn}中诸元素的不同排列， 称矩阵是列可排列的；
如果矩阵的行和列都是可排的，则称这个矩阵是可排列的， 或称它具有可排列性。
如果一个信道矩阵具有可排列性，它所表示的信道称为对称信 道。
当 m n 时，Q 是 P 的子集；反之，P 是 Q 的子集。 对称信道的信道容量为（信源等概分布时达到）：
C
max[H
p( xi )
(Y
)
H mi
]
log 2
m
j 1
n
p(xi )Hni i 1
n
Hni p( y j / xi ) log2 p( y j / xi ) j 1
所以 Hni
[ p log2
p
(n
1)
(
n
p 1
log2
p )] n 1
[ p log2
p
p log2
p ] ，由此得到：
n 1
I ( X ;Y ) H (Y ) H (Y / X ) H (Y ) Hni
p n 1
p
n 1 ， p 1 p
p
这样的信道称为强对称信道或均匀信道。强对称信道的矩阵中不仅每行之和为
1，每列之和也等于 1。
强对称信道的信道容量为：
C
log2
n
p
log2
p
p
log 2
n
p 1
（比特/信道符号）
且当信源输入为等概率分布时，信息传输率达到信道容量。
当 n 2时，就是二进制均匀信道，信道容量为： C 1 p log2 p p log2 p 1 H ( p) ， H ( p) ( p log2 p p log2 p)
H mi
m
Hmi p( y j / xi ) log2 p( y j / xi ) H (q1, q2, , qm ) j 1
例 如果信道矩阵为：
1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 6 1/ 3 1/ 3
这是一个对称信道。
如果信道矩阵为：
1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 3 1/ 6 1/ 3
上述结论的推导说明如下：
I ( X ;Y ) H (Y ) H (Y / X )
nn
H (Y / X )
p(xi ) p( y j / xi ) log2 p( y j / xi )
i1 j1
n
n
p(xi ) p( y j / xi ) log2 p( y j / xi )
i 1
信息论与编码 第九讲 信道与信道容量
单符号离散信道的信道容量
当信道特性 p( y j / xi ) 固定后，平均互信息量 I (X ;Y ) 随信源分布 p(xi ) 的 变化而变化，它是 p(xi ) 的上凸函数，因此总能找到一种概率分布 p(xi ) （即某一种信源），使信道所能传送的信息率为最大。
p(
y1
/
x2
)
p(
ym
)
p
(
y1
/
xn
)
p( y2 / x1) p( y2 / x2 )
p( y2 / xn )
p( ym / x1) T p(x1)
p( ym / x2 )
p(
x2
)
p(
ym
/
xn
)
p(
xn
)
对于强对称信道，信道矩阵为：
p
p n 1
p
P
( p(yj
/
xi ))nm
这不是一个对称信道。
几种特殊离散信道的信道容量
四. 准对称离散信道的信道容量
如果一个 n 行 m 列的单符号离散信道矩阵 P 具有行可排列性，列不可 排列，则它所表示的信道称为准对称信道。
例如，如下矩阵都是准对称的单符号离散信道矩阵：
1/ 3 P1 1/ 6
1/ 3 1/ 3
1/ 6 1/ 6
1/ 1/