信息论与编码(第三版) 第3章 信道与信道容量

PY|X：每列元素中 只有一为非0
可以反推出 PX|Y：每行元素中只 有一为1
0.4 0.6 0 0
PY | X
0
0 0.7 0.3
1 0
PX |Y
1 0
0 1
0 1
否则就是有损
1．无干扰离散信道
理想 信道
输入、输出符号之间是确定性关系或者 简单的统计依赖关系， 可以根据输入或者输出划分为互不相交 的集合
p(b1
|
ar
)
p(b2 | ar ) L
p(bs | ar ) r*s
阵或者信道
转移矩阵
p(bj|ai)通常称为 前向概率
p(aibj ) p(ai ) p(bj | ai ) 表示在输入为ai时，通过 信道后接收为bj的概率， 描述了信道噪声的特性。
p(aibj ) p(bj ) p(ai | bj )
实际通信系统中较少，在数据压缩系统 中，可以使用这类模型进行研究
分类
根据信道输入符号X与信道输出符号Y之 间的关系，可以分为下列几种
无噪无损
无噪有损
有噪无损
有噪有损是最一般（除了上述三种之外， 都是这类信道），后面讨论
（1）无噪无损信道
输入、输出集合符号数量相等 输入X与输出Y之间一一对应
H(Y|X)=H(X|Y)=0 I(X;Y)=H(X)=H(Y)
0.6lb0.6 0.3lb0.3 0.1lb0.11.296
比特/符号
C max H (Y ) H (Y | X )=0.073 p(ai )
比特/符号
显然, p(b1) 1/ s 1/ 3 ，所以，当信道只是输入对称时,
信道容量不能够简单认为是
结论：
C max H (Y ) H (Y | X ) log s H (Y | X ) p(ai )
物理信道的不同，信号传输过程中引入的噪声或者干扰类 型也不尽相同，所以统计特性的研究是通信理论的主要内 容之一
统计特性不是信息论的研究内容，一般认为已经知道信道 的传输特性，在此基础上研究信息传输问题
研 不研究信号在信道中的具体传输过程 究 方 假设信道的传输特性是已知的 法
根据不同的研究需要，将噪声或者干扰对信号传输的 影响映射为对应形式的统计特性
最佳 分布
信道输入等概率分布
p(ai ) 1/ r
1 0
PX |Y
1 0
0 1
0 1
为什 么？
2．对称离散信道的信道容量
有噪有损 信道的一种 特殊信道
定义3.2 如果信道转移概率矩阵中所有行矢量都是 第一行的某种置换，则称信道关于输入是对称的， 这种信道称为输入对称离散信道。
即每行矢量具有相同的元素，每种元素的数量相同
X p(x)
a1
p
a2 1 p
p(b1) 0.6 p 0.3(1 p) 0.3 0.3 p
p(b2 ) 0.3 p 0.6(1 p) 0.6 0.3 p
p(b3) 0.1p 0.1(1 p) 0.1
与p无关
P(bj)不可能等 概率分布
H (Y ) {p(b1)lbp(b1) p(b2)lbp(b2) p(b3)lbp(b3)} {(0.3 0.3p)lb(0.3 0.3p) (0.6 0.3p)lb(0.6 0.3p) 0.1lb0.1}
3.2单符号离散信道及其容量
单符号
3.2.1 数学模型
信道 单维信道
信道的输入符号之间、输出符
号之间都不存在关联性，即无
记忆的，信道的分析可以简化 为对单个符号的信道分析
如果信道的输入、输出随机变量都是
离散的，则该信道为单符号离散无 记忆信道。
p( y | x)
X
Y
信道
输入符号、输出符 号不存在关联性， 并不表示输出符号 与输入符号之间不
信道容量
C
max
p(ai )
I
(
X
;
Y
)
max
p(ai )
Hwenku.baidu.com
(Y
)
H
(
p1
,
p2 ,L
,
ps )
最佳分布
找到一种分布，使得信道输出的熵H(Y)最大
不一定能够找到一种输入分布使得Y为等概率分布
❖ 例3.1 信道的转移矩阵为
P
0.6 0.3
0.3 0.6
0.1 0.1
❖ 求该信道的容量C
❖ 解：设信道输入的概率空间为 ❖ 信道输出的概率分布为
信道分类
统 恒参信道 计 特 性 随参信道
用 户
单用户信道
量
多用户信道
信道的统计特性不随时间而变化。 如卫星信道一般视为恒参信道
信道的统计特性 随时间而变化
大多数的信道都是随参信道， 统计特性随着环境、温度、湿 度等参数而变化。如短波信道、 微波信道等。
也称两端信道，该信道只有一 个输入端和一个输出端，而且
❖ 信道就是信息传输的通道，是通信系统的重 要组成部分，是传输信息的载体，其主要任 务是传输或者存储信息。
❖ 通信的本质就是通过信道传输信息，实现不 同地点之间或者不同时间的信息交流。
❖ 信道是信息论的主要研究对象之一，其主要 研究内容是在理论上能够传输或者存储的最 大信息量，即信道容量。
3.1信道分类
X 0.4
Y
符号数量
0.6
0.7
输入向输出映射： 输出向输入映射：
一对多
一对一
0.3
每列一个非0
无 损
由输出X可以唯一确定信道输入X H(X|Y)=0
0.4 0.6 0 0
P(Y
|
X
)
0
0 0.7 0.3
容 C max{I (X ;Y )} max{H (X )} lbr
量
p(x)
p(x)
H(Y) 取得极值的条件为
dH (Y ) 0 dp
❖ 解上述方程，可以得到取得极值的条件为p=0.5， 即当信道输入为等概率分布时，取得最大值，所以
max{H (Y )} 1.369 比特/符号
s
H (Y | X ) H (Y | a1) p(bj | a1) log p(bj | a1) j 1
由最大熵定理可知
X1
Y
1
1
1
C=lb(r) 比特/符号 最佳分布：输入等概率分布
条件转移概率矩阵： 每行每列1个元素为1
（2）无噪有损信道
输出Y集合的符号数量小于输入X集合的
X1
Y
符号数量
1
1
输入向输出映射： 多对一
由于无损，条件转移概率 矩阵：每行有1个元素为1
1
1 0
H (Y | X ) 0
p(bj|ai):后向概率
表示当接收符号为bj时， 信道输入为ai的概率，所 以也称为后验概率
贝叶斯公式
p(ai
| bj)
p(aibj ) p(bj )
p(ai ) p(bj | ai )
r
p(ai ) p(bj | ai )
i1
后验概率都是十分 重要的，可以通过
p(b1 )
p(a1 )
j 1
H (Y | X ) H (Y | ai )
即条件熵H(Y|X)与信道输入符号的分布无关。
❖ 假设转移矩阵首行元素为(p1,p2,…pr)，则有
H (Y | ai ) H ( p1, p2 ,L , ps )
I ( X ;Y ) H (Y ) H (Y | X ) H (Y ) H ( p1, p2,L , ps )
容先p(量验x 就 概ai是 率) 在 分0 信 布道 ，前 从向 而 先r验p分(a布i )概 1率称为最
i 1
已知条件
前向概率p(y|x)
变化 极值
输入分布p(x) I(X;Y)最大值
使得I(X;Y)最大， 这种先验分布概 率称为最佳分布
几点结论： 1对于给定信道最佳分布总是存在的
如果信道输入满足最佳分布，信息 传输率最大，即达到信息容量C
信道的 信息传 输率R
R I(X;Y) H(X) H(X |Y)
含义：能够正确 传输的信息量
定义3.1 设某信道的平均互信息量为I(X;Y)，信道输入 符号的先验概率为p(x)，该信道的信道容量C定义为
C max{I (X ;Y )} ❖ 对于给定信道，前向
条件极 值问题
约束 条件
p(x)
先验概率分布
2信道输入的先验分布不是最佳分布，那么信息传输率不 能够达到信息容量
3信息量R必须小于信道容量C，否则传输过程中会造成信 息损失，出现错误；
如果R<C成立，可以通过信道编码方法保证 信息能够几乎无失真地传送到接收端
噪声问题
无 映射(输 噪 入到输出)
条件转移 矩阵
H(Y|X)=0
Y X n
一对一
X：信道输入 Y：信道输出 n：信道噪声
存在关联性
随机变量
随机变量
信道的特性可以使用条件转移概率进行描述 ;
p(y bj | x ai ) p(bj | ai )
矩阵形 式
p(b1 | a1)
P(Y
|
X
)
p(b1
|
a2
)
M
p(b2 | a1) L p(b2 | a2 ) L
M
p(bs | a1) p(bs | a2)
M
条件转移矩
j 1
j 1
p(bj | ai ) 非0即1，所以 H (Y | ai ) 0
r
H (Y | X ) p(ai )H (Y | ai ) 0 i 1
有损无损问题 属于信号检测或者估值方面问题
无 映射(输出 损 到输入)
与有噪无噪相对应
一对一
讨论输出与输 入之间问题
条件转移 矩阵
H(X|Y)=0
第3章 信道与信道容量
目录
3.1信道分类 3.2 单符号离散信道及其容量
➢ 3.2.1 数学模型 ➢ 3.2.2信道容量 ➢ 3.2.3 离散信道容量的迭代算法
3.3 离散序列信道及其容量 3.4 信源与信道的匹配 3.5 连续信道及其容量
➢ 3.5.1 连续单符号加性信道 ➢ 3.5.2 多维无记忆加性连续信道 ➢ 3.5.3 加性高斯白噪声波形信道
p(b2
)
M
PT Y|X
p(a2
)
M
p(bs
)
p(ar
)
前向概率和先验概 率计算出
单符号 离散信 道
3.2.2信道容量
平均每个符号传送的信息量 定义为信道的信息传输率R
信道输入平均信息量H(X)并不等 于信道输出端信息量H(Y)
由于信道中存在干 扰，输入符号经过 信道可能会出现错 误，信道输出端接 收的符号与输入符 号之间并不是一一 对应
半离散半 连续信道
波形信道
输入空间、输出空间一个为离散事件集合，而 另一个则为连续事件集合，即输入、输出随机 变量一个是离散的，另一个是连续的
也称为时间连续信道，信道输入、输 出都是时间的函数，而且随机变量的 取值都取自连续集合，且在时间上的 取值是连续的
噪声的统计特性
随机 差错 信道
突发 差错 信道
例如 0.9 0.1 P 0.1 0.9
P
0.6 0.3
0.3 0.6
0.1 0.1
第二行的元素与第一行的元素完全相同 所以该信道为输入对称的
输入行矢量元素相同
特 H (Y | a1) H (Y | a2) L H (Y | ar )
点
s
H (Y | ai ) p(bj | ai ) log p(bj | ai )
只能进行单方向的通信
也称多端信道，输入端或者 输出端至少有一端具有两个 或者两个以上用户，并且可
以实现双向通信
输入、输出的取值特性
离散信道
也称为数字信道，该类信道中输入空间、输出 空间均为离散事件集合，集合中事件数量是有 限的，或者有限可数的，随机变量取值都是离 散的
连续信道
也称为模拟信道，输入空间、输出空间均为连续事 件集合，集合中事件的数量是无限的、不可数的
P(Y | X ) 1 0 0 1
C max{I ( X ;Y )} max{H (Y )} lbs 比特/符号
p(x)
p(x)
0 1
最佳分布：输出为等概率分布
即改变输入X分布是的Y 为等概率分布
接收到符号Y后，并不能唯一确定信道输入X， 即不能够完全消除X的不确定性
（3）有噪无损信道
输出Y集合的符号数量小于输入X集合的
信道 特点
输入、输出信号之间不再具有明确的函数关系，而是具 有统计依赖关系
通过研究信道输入输出信号以及相互之间的依 赖关系来研究信道
信道是指信息传输的通道
实际通信系统中使用各种各样的 物理通道，
有线的各 种线路，
无线的电
各种存储媒质
波传输空 间
根据研究需要，可以选择通信系统中不同的信道输入 输出点，甚至可以将其中部分子系统进行简化处理。
每行元素中只有一为个 1，其余值都为0
讨论输入与 输出之间问 题
1 0
PY | X
1 0
0 1
0 1
有 映射 噪 条件转移
矩阵
一对多
至少一行有两个或者以 上非0元素
H(Y|X)！=0
H(Y|X)=0
为什么成立？
s
s
H (Y | ai ) p(bj | ai )I (bj | ai ) p(bj | ai ) log p(bj | ai )
信道中传输码元所遭受的噪 声是随机的、独立的，这种 噪声相互之间不关联，码元 错误不会成串出现
信道中噪声或者干扰对 传输码元的影响具有关 联性，相互之间不独立， 从而使得码元错误往往 成串出现，
最具有代 表性的是 高斯白噪 声信道
常有的如衰落信 道、码间干扰信道。
在实际中这种信 道经常出现，如移 动通信的信道、光 盘存储器等