信道与信道容量

信道容量 C
t 为平均传送一个 符号所需的时间
信道所能传送的最大信息量，亦即最大的信息传输率
C = max I ( X ; Y ) bit / 符号
p(ai)
单位时间的信道容量 Ct
信道最大的信息传输速率
信道与信道容量
Βιβλιοθήκη Baidu
复习 平均互信息 I ( X ; Y ) 的凸状性质
BSC 输入概率空间 信道
信道矩阵
信道与信道容量
19
2.1 无干扰离散信道
信道输入
输出
无噪 ：1个输入只对应 1个输出，噪声熵 H(Y|X)=0 无损 ：1个输出只对应 1个输入，疑义度 H(X|Y)=0
1 ) X 、 Y 一一对应 ( n = m ) 无噪无损信道
信道与信道容量
无噪无损信道 H ( Y|X ) = H ( X|Y ) = 0
输出熵：
条件熵：
平均互信息量：
信道与信道容量
17
当 p 固定时，I(X,Y) 是 q 的 型上凸函数， 存在一个极大值
信道与信道容量
18
说明：
• 信道容量是信道本身的特性，与信源无关；
• 信道容量是信息传输率 R 的上限，定量描述 了信道信息的最大通过能力；
• 不是所有的信源传输符号时都可以达到这个 传输速率，使信道达到最大传输率的输入概率 分布称为最佳输入分布。
关系 : Y = f ( X )
转移概率:
信道与信道容量
6
(2) 有干扰无记忆信道 信道的输出信号 Y 与输入信号 X 之间没有确定
的关系。
转移概率满足:
信道无记忆 只需分析单个符号的转移概率 p (yj|xi)
– 二进制离散信道
– 离散无记忆信道
– 离散输入、连续输出信道
– 波形信道
信道与信道容量
21
3 ) 一个输入对应多个输出 ( n ＜ m )
噪声熵 H ( Y | X ) ≠ 0 损失熵 H ( X | Y ) = 0
I(X;Y)=H(X)<H(Y)
有噪无损信道
C = max I ( X ; Y ) = max H ( X ) = log n p ( ai )
信道与信道容量
22
2.2 对称 DMC 信道
信道与信道容量
信道容量
2
1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、
波形信道等
信道与信道容量
3
信道与信道容量
1.2 信道参数
信道输入矢量为 输出矢量为
10
一些DMC信道特例： 二进制离散信道 BSC
二元删除信道 BEC
Z型信道
信道与信道容量
离散输入、连续输出信道 加性高斯白噪声（AWGN）信道
信道与信道容量
波形信道 波形信道
多维连续信道
信道转移概率密度函数
信道转移概率密度函数 = 噪声概率密度函数pn(n)
信道与信道容量
13
(3) 有干扰有记忆信道 方法： （ 1 ）将记忆很强的 L 个符号当作矢量符号，矢量符 号间认为无记忆。 （ 2 ）转移概率 p ( Y | X ) 看成马尔可夫链的形式
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
信道与信道容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分 定义：传输信息的载体 任务：以信号方式传输信息、存储信息
主要研究 理论上能够传输的最大信息量
信道与信道容量
串联信道 在实际通信系统中，信号往往要通过几个环节
采用条件概率 p ( Y | X ) 来描述信道输入输出信号之 间统计的依赖关系。
信道与信道容量
• 信道种类 根据信道是否存在干扰以及有无记忆，将信道
分为 3 大类： (1) 无干扰（无噪声）信道 (2) 有干扰无记忆信道 (3) 有干扰有记忆信道
(1) 无干扰（无噪声）信道 信道的输出信号 Y 与输入信号 X 之间有确定的
输入对称 如果转移概率矩阵 P 的每一行都是第一行的置
换 ( 包含同样元素 ) ，称该矩阵是输入对称。
输出对称 如果转移概率矩阵 P 的每一列都是第一列的置
换 ( 包含同样元素 ) ，称该矩阵是输出对称。
对称信道 输入、输出都对称。
信道与信道容量
23
练习：判断下列矩阵表示的信道是否对称信道
信道与信道容量
信道与信道容量
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
各列之和 也等于 1
强对称信道的信道容量
信道与信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
7
二进制离散信道 信道转移概率 p (yj|xi) ：
传输发生错误的概率 无错误传输的概率
二进制对称信道（ BSC ） 信道与信道容量 8
离散无记忆信道 (DMC)
信道与信道容量
9
转移概率矩阵
转移概率矩阵的每一行元素之和为1 对任意 j ∈ {0, 1, …, m } ，由全概率公式有 :
信道与信道容量
24
输入对称
与信道输入符号概率分布无关
信道与信道容量
25
若信道输入符号等概率分布，则
信道输出也等概率分布 要使 H ( Y ) 最大，只有信道输出符号等概率分布，此 时输入符号也等概率分布。 ※ 对称 DMC 信道的容量
与对称信道矩阵中行矢量和输出符号集的个数 m 有关 信道与信道容量 26
例： 某对称离散信道的信道矩阵为 信道容量为:
p(ai)
2 ) 多个输入变成一个输出 ( n ＞ m )
0?
噪声熵 H ( Y | X ) = 0
0?
?
损失熵 H ( X | Y ) ≠ 0
0?
?
1?
I(X;Y)=H(Y)<H(X)
1 ??
无噪有损信道 C = max I ( X ; Y ) = max H ( Y ) = log m p (ai) 信道与信道容量
信道与信道容量
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量 复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符
号获得的关于 X 的信息量。
信道的信息传输率就是平均互信息
信道与信道容量
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量
Rt = R/t = I ( X ; Y )/t bit / s