信息论信道容量概要

3.2 离散无记忆信道
3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的信道容量 3.2.3 离散信道容量的一般计算方法
3.2.1 信道容量的定义
单符号离散信道的数学模型
X
x1, x2,
x n
Y x1, x2, xm
X
p(yj/xi)
Y
信道转移概率矩阵：
p
相应的
p( xi
)

1 n
强对称信道与对称信道比较：
强对称 n=m 矩阵对称 P=Q 行之和，列之和均为1
对称 n与m未必相等 矩阵未必对称 P与Q未必相等
行之和为1
（3）准对称离散信道的信道容量
若信道矩阵的行是可排列的，但列不可排列，如果把列 分成若干个不相交的子集，且由n行和各子集的诸列构成 的各个子矩阵都是可排列的，则称相应的信道为准对称 信道。
3 1
3 2

3 3
(1) 若p(0) = 3/4, p(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；
(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
3.12 有一个二元对称信道，其信道矩阵为
0.98 0.02 0.02 0.98 ，设该信源以 1500 (二元符号/秒) 的速度传输输入符号。现有一消息序列共有 14000 个二元符号，并设 p(0)=p(1)=1/2， 问从信息传输的角度来考虑，10 秒钟内能否将这消息序列无失真地传递完？
矩阵中的每列都是集合Q = {q1, q2, ……,qm}中的诸元素的不同排列，称 矩阵的列是可排列的。
如果矩阵的行和列都是可排列的，称矩阵是可排列的。
如果一个信道矩阵具有可排列性，则它所表示的信道 称为
对称信道
练习：判断下列矩阵表示的信道是否是对
称信道
p1


1 3
1 6
1 3
1 6
相应的
p(xi )

1 n
（2）强对称信道的信道容量
X x1, x2,
x n
Y x1, x2 ,
xn
1 p

p
n 1

p
n 1
p n 1 1 p
...... p
n 1
......
...... ......
p n 1
p n p1 n 1
H (Y / X )
p(xi ) p( y j / xi ) log p( y j / xi )
i1 j1
n
m
p(xi )[ p( y j / xi ) log p( y j / xi )]
i 1
j 1
Hmi
C max[H (Y ) Hmi] log m Hmi p( xi )
p) log(1
p)

p
log
n
p] 1
[(1 p) log(1 p) p log p ] n 1
Hni
C max I ( X ;Y ) p( xi ) max[H (Y ) H (Y / X )] p( xi ) max[H (Y ) Hni] p( xi ) log n Hni

1 2
1 4
1 8
1 8


1 4
1 2
1 8
1 8

H (Y / X ) Hmi
C max[H (Y ) Hmi] p( xi )
可以证明达到信道容量的输入分布是等概率分布的。设准对称离散信道 矩阵可划分为r个互不相交的子集。Nk是第k个子矩阵中的行元素之和，Mk是第 k个子矩阵中列元素之和。经分析可计算出准对称离散信道容量为
1 p n X n
p：总体错误概率
nn
H (Y / X )
p(xi ) p( y j / xi ) log p( y j / xi )
ij
n
n
p(xi ) p( y j / xi ) log p( y j / xi )
i
j
n

i
p(xi )[(1
信道的分类
单符号 信道
多符号 信道
单符号信道：输入和输出端都只用一个随机变量表示。
多符号信道：输入和输出端用随机变量序列或随机矢量来表示。
信道的分类
单用户信 道
多用户信 道
单用户信道：只有一个输入和一个输出的信道 多用户信道：有多个输入和多个输出的信道
信道的分类
半离散信道
离散 信道
离散信道：输入和输出随机变量都取离散值的信道 连续信道：输入和输出随机变量都取连续值的信道 半离散信道：输入变量取离散值而输出变量取连续值，或反之


p
y1 x1
y1 x2
,p ,p
y2 x1
y2 x2
, ,
,p ,p
ym x1
ym x2





p
y1 xn
,
p
y2 xn
,
,
p
ym xn

信道容量
C max I ( X ;Y )
p( xi )
maxH (X ) H (X Y )
0
0
p y7 x3
0
0

p
y8 x3

一个输入对应多个输出
此时，H(X/Y)=0，H(Y/X) 0，
且 H(X) <H(Y)。 此时，C = max H(X) = log n
p(xi)
（3）具有归并性能的无噪有损信道
x1
y1
1
0
0
x2
1
0
0

0
1
0
x3
r
C log 2 n H ( p1, p2 , , pm ) Nk log 2 M k k 1
其中n是输入符号集的个数，( p1, p2 , , pm ) 为准对称离散信道矩阵中的行元素。
作业：3.7 3.12
3.7 设二元对称信道的传递矩阵为
2 1

yn
x1
y1
x2
y2
……
xn
yn
100......0
010......0
......

000......1
x1 x2
…… xn-1 xn
y1
000......01
y2
000......10
......

yn-1 010......00
yn
100......00
1 6
1 3
1
6

1 3


1 2
p2

1 3

1 6
1 3
1 6
1 2
1 6

1
2
1 3

p3

Baidu Nhomakorabea
1 3

1 3
1 3
1 6
1 6
1 3
1 6

1 6

0.7 0.2 0.1 p4 0.1 0.2 0.7
对称离散信道的信道容量
nm
p( xi )
maxH (Y ) H (Y X )
p( xi )
Ct

1 max
t p( xi )
I ( X ;Y )
单位：比特/秒
3.2.2 几种特殊离散信道的容量
1. 简单离散信道的信道容量 （1）一一对应的无噪无损信道
X
x1, x2,

x Y n
y1 ,
y2 ,

信道的分类
有干扰信 道
无干扰信 道
有干扰信道：存在干扰或噪声，或两者都有的信道。
无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的 信道。
信道的分类
有记忆信 道
无记忆信 道
有记忆信道：信道输出不仅与当前输入有关，还与过去输入和 过去输出有关的信道。
无记忆信道：信道输出仅与当前输入有关，而与过去输入无关 的信道。
y2
0
1
0

0
0
1
x4
多个输入变成一个输出
x5
y3 H(X/Y) ≠ 0，H(Y/X) = 0
C = max H(Y) = log m
p(xi)
2. 离散对称信道的信道容量
（1）离散对称信道的信道容量
矩阵中的每行都 是集合P = {p1, p2, ……, pn}中的诸元素的不同排列，称 矩阵的行是可排列的。
第3章 信道容量
3.1 信道模型与分类 3.2 离散无记忆信道 3.3 离散无记忆扩展信道 3.4 连续信道 3.5 信道编码定理
3.1 信道模型与分类 3.1.1 信道模型 3.1.2 信道的分类
3.1.1 信道模型
信道的数学模型：
{X P(Y/X) Y}
X
P(Y/X)
Y
3.1.2 信道的分类
X、Y一一对应
C＝maxI(X;Y)＝log n p(xi)
（2）具有扩展性能的无损有噪信道
x1
y1
x2
y4
y2
y5
y3
y6
x3
y7
y8


p
b1
0
a1
0
p y2 x1 0 0
p y3 x1 0 0
0
p y4 x2 0
0
p y5 x2 0
0
p y6 x2 0