第3章信道与信道容量

每个输出符号只与当前输入信号有转移概率关系，与
其他时刻的信号无关，即无记忆。需分析单个符号的
转移概率p(yj|xi).
5
3.1信道分类和表示参数
1）二进制对称信道（BSC） (输入输出符号数 均为2)
1-p 0
p
0 p
P
1 p
p
p 1 p
1
1
1-p
由于这种信道的输出比特仅与对应时刻的一个输入比特 有关，而与以前的输入无关，所以这种信道是无记忆的;
C max{ I ( X ;Y )}
p(x)
3.2离散单个符号信道及其容量
3.2.1无干扰离散信道的信道容量
X
Y
1
1
1 (a) 无噪无损信道
X
Y
1
1
1
1
1 (b) 无噪有损信道
X
Y
1
1
1
1
1 (c) 有噪无损信道
部分理想化的无干扰离散信道
•X、Y一一对应
•多个输入变成一个输出；•由于信道噪声，使一
噪声种类： 随机差错、突发差错
输入输出特点：离散、连续、半离散半连续、
波形信道
3
3.1信道分类和表示参数
信道参数
设信道
输入矢量为X ( X1, X 2, X i , ), X i a1, ,an 输出矢量为Y (Y1，,Y2, Yj , ), X j b1, ,bm
条件概率（通常叫做转移概率）p(Y/X )来描述信道输入输出信号 之间统计的依赖关系；
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩 阵的行是输入对称的；
如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩 阵的列是输出对称的；
如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。
6
3.1信道分类和表示参数
2)离散无记忆信道DMC (输入输出符号数大于2但有限)
转移矩阵 P [ p(bj | ai )] [ pi j ]
a1 a2
b1
p11 p12 p1m
b2
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
输入ai时各可能输出bj的概率和等于1，即
m
p(bj | ai ) 1,
j1
i 1,2, ,n
（矩阵各行的元素和为1） 7
3）离散输入、连续输出信道
• 设信道输入符号是有限、离散的,其输入
字符集
x x x X , ...
01
r 1
•信道输出 (s ) •即 Y ,
•称离散输入,连续输出信道. •又称半离散或半连续信道。
（4）波形信道
注：对于特定的信道，信道容量是个定值，但在传输信息
时信道能否提供最大传输能力，则取决于输入端的概率分
布。
12
1、信道的作用： 把携有信息的信号从它的输入端传递到输出端。
信道最重要特征参数是信息传递能力，即信道容量. 2、什么是信道容量？
互信息量I(X,Y)是输入符号X 概率分布的凸函数：
对于一个给定的信道，总是存在某种概率分布p(xi), 使得传输每个符号平均获得的信息量最大，即对于每 个固定的信道总是存在一个最大的信息传输速率，这 个最大信息传输速率定义为信道容量。
•C＝maxI(X;Y)＝log n •噪声熵H(Y|X)=0;疑义 个输入对应多个输出；
（输入符号为等概率 度H(X|Y)≠0;C＝
•疑义度H(X|Y)= 0;噪声
出现时）
maxI(X;Y)＝maxH(Y) 熵H(Y|X) ≠ 0; C＝
maxI(X;Y)＝maxH(X)
14
3.2离散单个符号信道及其容量
主要内容
信道分类与表示方法 信道容量的计算
1
第3章信道与信道容量
信道分类和表示参数 离散单个符号信道及其容量
2
3.1信道分类和表示参数
信道定义
– 传输信息的载体，其任务是以信号形式传输、 存储信息。
信道分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参
信道在单位时间内平均传输的信息量定 义为信息传输速率
Rt=I(X;Y)/t
比特/秒
10
信道容量
对于某特定信道，若转移概率 p(bj | ai )已经确定，则互信息就 是关于输入符号分布函数 p(ai ) 型凸函数 那么，可以找到某种概率分布p(ai),使得I(X;Y)最大：
C max I (X ;Y )
对称DMC（离散无记忆）信道定义
输入对称
如果转移概率矩阵P的每一行都是第一行的置换(包含 同样元素)，称该矩阵是输入对称
输出对称
如果转移概率矩阵P的每一列都是第一列的置换(包含 同样元素)，称该矩阵是输出对称
对称的DMC信道
如果输入、输出都对称
15
3.2离散单个符号信道及其容量
对称DMC信道例子
• 若输入是模拟波形，输出也是模拟波形则
该信道为波形信道.
• 选择何种模型取决于我们目的.
•从工程上讲,最常用的DMC信道或BSC信道.
•若分析性能的理论极限，多选用离散输入、连续输
出的信道模型。
信息传输率：信道中平均每个符号所能 传送的信息量。
R=I(X;Y)=H(X)－H(X/Y) 比特/符号
p(ai )
C被称为信道容量，表明信道的最大传输信息量；
I (x；y) log p(x / y) p( x)
11
Hale Waihona Puke Baidu
信道容量
C max I (X ;Y )
p(ai )
单位：比特/符号（bits/symbol或bits/channel use） 如果已知符号传送周期是T秒，也可以“秒”为单位来计算 信道容量，此时Ct C /T Bit/s、nat/s
16
3.2离散单个符号信道及其容量
• 输入对称
p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) p(ai ) p(bj / ai ) log p(bj / ai )
i
j
p(bj / ai ) log p(bj / ai ) H (Y / ai )
信道可分为：
4
3.1信道分类和表示参数
• 信道种类
1、无干扰（无噪声）信道
信道的输出信号Y与输入信号X之间有确定的关系。转移概率
1, p(Y X ) 0,
Y f (X ) Y f (X )
2、有干扰无记忆信道
信道的输出信号Y与输入信号X之间没有确定关系（有干扰），
但转移概率满足： p(Y | X ) p( y1 | x1) p( y2 | x2 ) p( yL | xL )