信道与信道容量

4.2 多维无记忆加性连续信道
多维无记忆高斯加性信道可等价成 L 个独立的并联高
斯连续单符号加性信道
47
当且仅当输入随机矢量 X 中各分量统计独立，且是均值 为零、方差为 P l 的高斯变量时，才能达到此信道容量
噪声均值为零、方差相同
噪声均值为零、方差不同，输入总平均功率受限
48
4.3 限时限频限功率加性高斯白噪声信道
转移概率满足:
信道无记忆
只需分析单个符号的转移概率 p (yj|xi)
– 二进制离散信道
– 离散无记忆信道 – 离散输入、连续输出信道 – 波形信道
7
二进制离散信道
信道转移概率 p (yj|xi) ：
传输发生错误的概率 无错误传输的概率
二进制对称信道（ BSC ）
8
离散无记忆信道 (DMC)
9
转移概率矩阵
m = n ，信道矩阵为非奇异阵
3 离散序列信道及其容量
无记忆离散序列信道 信道转移概率
仅与当前输入有关
进一步信道是平稳的
40
扩展信道 如果对离散单符号信道进行 L 次扩展，就形成了 L 次离散无记忆序列信道 --- 离散无记忆 L 次扩展信道 例： BSC 的二次扩展信道
2次扩展信道的信道容量：
到的值是其信道容量的下限值。
50
香农公式的讨论
1 带宽一定时，信噪比与信道
容量成对数关系
2 当输入信号功率一定，增加带
宽，容量可以增加 即使带宽无限，信 道容量仍是有限
当 C∞=1bit / s ， PS/N0 =-1.6dB ，即当带宽不受限制时， 传送 1 比特信息，信噪比最低只需 -1.6dB ( 香农限 )
频带利用率：单位频带的信息传输速率
3 C t 一定时，带宽 W 增大，信噪比 SNR 可降低，
即两者是可以互换的。 信道容量可以通过系统带宽与信噪比的互换而保持不变
52
例：如果SNR=7，W=4000Hz，则可得 C=12×103 b/s；
但是，如果 NR=15,W=3000Hz，则可得同样 C 值。 信噪比和带宽的互换性在通信工程中有很大的用处。
若 p ＝ 0.1 ，则 C2 ＝ 2－0.938 ＝ 1.062 比特 / 序列 C1 = 0.531 bit/ 序列
独立并联信道 将 L 个相互独立的信道进行并联，每个 信道的输出 Yl 只与本信道的输入 Xl 有关
序列的转移概率：
独立并联信道的信道容量不大于各个信道的信
道容量之和。只有当输入符号相互独立时，且达到 各自最佳分布时，容量最大，为各自容量之和。
与信道输入符号概率分布无关
25
若信道输入符号等概率分布，则
信道输出也等概率分布 要使 H ( Y ) 最大，只有信道输出符号等概率分布，此
时输入符号也等概率分布。
※ 对称 DMC 信道的容量
与对称信道矩阵中行矢量和输出符号集的个数 m 有关
26
例： 某对称离散信道的信道矩阵为
信道容量为:
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
准对称信道的信道容量
1 由 I ( X;Y ) 表达式
求其极大值
2 公式法
32
例：
求信道容量
信道有两个输入符号，可设
信道有三个输出符号，
联合概率矩阵
对于准对称 DMC 信道，当输入符号分布为等概
率时，互信息达到最大值，即为信道容量。
公式法 将信道矩阵分成若干个互不相交的对称的子集
例：
2.4 一般 DMC 信道
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分
定义：传输信息的载体 任务：以信号方式传输信息、存储信息 主要研究 理论上能够传输的最大信息量 信道容量
信道的信息传输率就是平均互信息
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量 Rt = R/t = I ( X ; Y )/t bit / s
t 为平均传送一个
符号所需的时间
信道容量 C
信道所能传送的最大信息量，亦即最大的信息传输率 C = max I ( X ; Y ) bit / 符号 p(a )
i
信道矩阵 中行矢量
55
输入对称 如果转移概率矩阵 P 的每一行都是第一行的置 换 ( 包含同样元素 ) ，称该矩阵是输入对称。 输出对称 如果转移概率矩阵 P 的每一列都是第一列的置 换 ( 包含同样元素 ) ，称该矩阵是输出对称。 对称信道 输入、输出都对称。
23
练习：判断下列矩阵表示的信道是否对称信道
24
输入对称
串接的信道越多，其信道容量可能会越小，当串接 信道数无限大时，信道容量就有可能趋于零。
30
例： 设有两个离散 BSC 信道串接，
两个 BSC 信道的转移矩阵为 :
串联信道的转移矩阵为:
串联信道的信道容量
2.3 准对称 DMC 信道
转移概率矩阵 P 是输入对称而输出不对称，即 P 的每
一行都包含同样的元素而各列的元素可以不同。
例如，在宇宙飞船与地面的通信中，飞船上的发射功 率不可能做得很大，因此可用增大带宽的方法来换取
对信噪比要求的降低。相反，如果信道频带比较紧
张，如有线载波电话信道，这时主要考虑频带利用 率，可用提高信号功率来增加信噪比， 或采用多进制 的方法来换取较窄的频带。
53
小结
重点掌握
信道容量的概念 对称 DMC 信道容量的计算 准对称 DMC 信道容量的计算 限时限频限功率加性高斯白噪声信道容量的计算
无噪无损信道
H ( Y|X ) = H ( X|Y ) = 0
p(ai)
2 ) 多个输入变成一个输出 ( n ＞ m )
0? 0? ? 0? ? 1? 1? ?
噪声熵 H ( Y | X ) = 0 损失熵 H ( X | Y ) ≠ 0
I(X;Y)=H(Y)<H(X)
I ( X ; Y ) = max H ( Y ) = log m 无噪有损信道 C = max p(a )
i
单位时间的信道容量 Ct
信道最大的信息传输速率
复习 平均互信息 I ( X ; Y ) 的凸状性质
BSC 信道
输入概率空间
信道矩阵
输出熵：
条件熵：
平均互信息量：
17
当 p 固定时，I(X,Y)
是 q 的 型上凸函数，
存在一个极大值
18
说明： • 信道容量是信道本身的特性，与信源无关； • 信道容量是信息传输率 R 的上限，定量描述
i
21
3 ) 一个输入对应多个输出 ( n ＜ m )
噪声熵 H ( Y | X ) ≠ 0
损失熵 H ( X | Y ) = 0
I(X;Y)=H(X)<H(Y)
有噪无损信道
C = max I ( X ; Y ) = max H ( X ) = log n p(a )
i
22
2.2 对称 DMC 信道
44
4 连续信道及其容量 （加性噪声）
4.1 连续单符号加性信道
输入 x 与干扰 n 相互无关
限功率最大熵定理
只有 Y 为正态分布时，其熵最大
45
信道输入 X 是均值为零、方差为 S 的高斯分布随机 变 信噪比 SNR 量时，信息传输率达到最大值：
对于加性均值为零，平均功率为 σ2的非高斯噪声信道
一般离散信道的平均互信息 I ( X ; Y ) 达到极大值
的充分和必要条件是输入概率 { p ( a i )} 必须满足 :
I ( a i ; Y ) = C 对于所有满足 p ( a i ) > 0 条件的 i I ( a i ; Y ) ≤ C 对于所有满足 p ( a i ) = 0 条件的 i 当信道平均互信息 I ( X ; Y ) 达到信道容量时，输 入符号概率集 {p(ai)} 中每一个符号ai对输出端Y 提供 相同的互信息，只是概率为零的符号除外。
了信道信息的最大通过能力； • 不是所有的信源传输符号时都可以达到这个 传输速率，使信道达到最大传输率的输入概率 分布称为最佳输入分布。
19
2.1 无干扰离散信道
信道输入
输出
无噪 ：1个输入只对应 1个输出，噪声熵 H(Y|X)=0 无损 ：1个输出只对应 1个输入，疑义度 H(X|Y)=0 1 ) X 、 Y 一一对应 ( n = m ) 无噪无损信道
各列之和 也等于 1
强对称信道的信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
串联信道 在实际通信系统中，信号往往要通过几个环节 的传输或多步的处理，这些传输或处理都可看成是 信道，它们串接成一个串联信道。
信息不增原理 H (X)≥ I(X;Y) ≥ I(X;Z) ≥I(X ;W) … C (1,2)=max I(X ; Z)， C(1,2,3)=max I(X;W), …
= 噪声概率密度函数pn(n)
13
(3) 有干扰有记忆信道 方法： （ 1 ）将记忆很强的 L 个符号当作矢量符号，矢量 符 号间认为无记忆。
（ 2 ）转移概率 p ( Y | X ) 看成马尔可夫链的形式
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量
复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符 号获得的关于 X 的信息量。
转移概率矩阵的每一行元素之和为1 对任意 j ∈ {0, 1, …, m } ，由全概率公式 有:
10
一些DMC信道特例： 二进制离散信道 BSC 二元删除信道 BEC
Z型信道
离散输入、连续输出信道
加性高斯白噪声（AWGN）信道
波形信道
波形信道
多维连续信道
信道转移概率密度函数
信道转移概率密度函数
2
1.1
信道的分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错
输入输出信号特点：离散、连续、半离散半连续、
波形信道等
3
1.2
信道参数
信道输入矢量为
输出矢量为
采用条件概率 p ( Y | X ) 来描述信道输入输出信号 之 间统计的依赖关系。
• 信道种类 根据信道是否存在干扰以及有无记忆，将信道 分为 3 大类： (1) 无干扰（无噪声）信道 (2) 有干扰无记忆信道
(3) 有干扰有记忆信道
(1) 无干扰（无噪声）信道 信道的输出信号 Y 与输入信号 X 之间有确定的
关系 : Y = f ( X )
转移概率:
6
(2) 有干扰无记忆信道 信道的输出信号 Y 与输入信号 X 之间没有确定 的关系。
一般掌握
信道模型及其分类
了解
一般 DMC 信道、离散序列信道的容量
54
无噪无损信道 无噪有损信道 对称 DMC 信道 强对称信道
准对称 DMC 信道 限时限频限功率加 性高斯白噪声信道
C = max I ( X ; Y ) = log n p(a )
i
C = max I ( X ; Y ) = max H ( Y ) = log m p(a )
一般情况下，最佳分布不一定是唯一的，只须
满足上述结论，并使互信息最大即可。
37
信道容量计算：对所有可能的输入概率分布 P(ai)求 该信道平均互信息 I(X;Y)的极大值。 由于 I (X;Y) 是 P (ai)的∩型凸函数, 所以极大值一定 存在。 n 个变量满足概率存在条件：ΣP(ai) ＝1 。 计算：拉格朗日乘数法则计算该条件极值
波形信道的平均互信息：
限频 (W) 高斯白噪声过程可分解 L＝2WtB 维统计独立
的随机序列
多维无记忆高斯加性信道
信道容量：
单位时间的信道容量： 香农公式
W －带宽 N0/2 －功率谱密度 N0W －噪声功率
PS －信号功率
信噪功率比 SNR ＝ PS / N0W
注
香农公式是加性高斯白噪声波形信道的信道 容量，对于非高斯波形信道，由香农公式得