串联信道及其信道容量
合集下载
课件：第三章信道及其容量
第三章 信道及其容量
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
1
研究信道的目的是研究信道能传输的最大信息量， 即信道的最大传输能力。 1、如何描述在信道中传输的消息的信息量大小—— 平均互信息/信息传输率 2、信道的最大信息传输率是多少？——信道容量/ 传信能力
2
第三章 信道及其容量
3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理
效地折合成信道干扰，看成是由一个噪声源产生的，它将作用 于所传输的信号上。 a) 加性干扰：它是由外界原因产生的随机干扰，它与信道的
输入信号统计无关，因而信道的输出是输入和干扰的叠加。 【主要研究的干扰】 b) 乘性干扰：信道的输出信号可看成输入信号和某些随机参 量相乘的结果。
16
(6)根据信道有无记忆特性将信道分为： 无记忆信道 输出仅与当前输入有关，而与过去的输入和输 出无关。 有记忆信道 输出不仅与当前输入有关，而且与过去的输入 和输出有关。 本章的讨论基于无记忆、恒参、单用户离散信道，它是
|
x)
1 0
y f (x) y f (x)
其典型信道如下图所示：
22
(2)有干扰无记忆信道
该信道为实际常用信道，信道中存在干扰。 信道输入和输出符号之间不存在确定的对应关系，接收到Y后 不能完全消除对X的不确定性。信道输入和输出间的条件概率是一 般的概率分布。 信道任一时刻的输出符号只统计依赖于对应时刻的输入符号， 则这种信道称为无记忆信道，其条件概率满N 足
p(y | x) p(Y1, ,YN | X1, , XN )
条件概率p( y | x) 称为信道的传递概率或转移概率。 信道的数学模型可以用数学符号表示为：
(最新整理)信道容量的计算
(完整)信道容量的计算编辑整理：尊敬的读者朋友们：这里是精品文档编辑中心，本文档内容是由我和我的同事精心编辑整理后发布的，发布之前我们对文中内容进行仔细校对，但是难免会有疏漏的地方，但是任然希望（(完整)信道容量的计算）的内容能够给您的工作和学习带来便利。
同时也真诚的希望收到您的建议和反馈，这将是我们进步的源泉，前进的动力。
本文可编辑可修改，如果觉得对您有帮助请收藏以便随时查阅，最后祝您生活愉快业绩进步，以下为(完整)信道容量的计算的全部内容。
§4.2信道容量的计算这里,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。
前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。
而);(Y X I 是r 个变量)}(),(),({21r x p x p x p 的多元函数。
并且满足1)(1=∑=ri i x p 。
所以可用拉格朗日乘子法来计算这个条件极值。
引入一个函数：∑-=ii x p Y X I )();(λφ解方程组0)(])();([)(=∑∂-∂∂∂i ii i x p x p Y X I x p λφ1)(=∑iix p （4.2。
1）可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C .因为 )()(log)()();(11i i i i i ri sj i y p x y Q x y Q x p Y X I ∑∑===而)()()(1i i ri i i x y Q x p y p ∑==，所以e e y p y p i i i i i x y Q i x p i x p log log ))(ln ()(log )()()(==∂∂∂∂。
解（4.2。
1）式有0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q ii i ii r i s j i i i i sj i i (对r i ,,2,1 =都成立） 又因为)()()(1j k k rk k y p x y Q x p =∑=ri x y Q sj i j,,2,1,1)(1==∑=所以（4.2.1）式方程组可以转化为 ),,2,1(log )()(log)(1r i e y p x y Q x y Q j i j sj i j =+=∑=λ1)(1=∑=ri i x p假设使得平均互信息);(Y X I 达到极值的输入概率分布},,{21r p p p 这样有 e y p x y Q x y Q x p j i j i j ri sj i log )()(log)()(11+=∑∑==λ从而上式左边即为信道容量，得 e C log +=λ 现在令)()(log)();(1j i j sj i j i y p x y Q x y Q Y x I ∑==式中，);(Y x I i 是输出端接收到Y 后获得关于i x X =的信息量，即是信源符号i x X =对输出端Y 平均提供的互信息。
信道与信道容量2
信道无噪声
C
信道强噪声
• 当p =1/2,
C1H(1,1)0 22
p
20
信道容量
• 定理：
• 给定转移概率矩阵P后,平均互信息I (X;Y)是输 入信源的概率分布p(ai)的 型上凸函数。
• 定理：
• 平均互信息I (X;Y)是信道传递概率p(bj|ai)的 型凸函数。
• 信能道 够容 传量 输是 的完最全大描信I(述息X;信量Y)道。 特i 性j p的(a参i)p量(bj,是|ai信)lo道gp(pb(jb|ja)i)
34
由 I (X ;Y ) 0 解得 1/2
• 将信道矩阵P的列划分成若干个互不相交的子 集mk,由mk为列组成的矩阵[P]k是对称矩阵。
1 1 1 1 1 1 1 1
P131
3 1
6 1
6113
16
13
16
6 3 6 3 6 3 3 6
• 它们满足对称性,所以P1所对应的信道为准对称
信道。
30
准对称信道的信道容量
• 准对称信道
0.70.20.1 0.70.2 0.1 P 20.20.10.7 0.20.7 0.1
• 离散信道可分成： • 无干扰(无噪)信道
– 无嗓无损信道 – 有噪无损信道 – 无噪有损信道
• 有干扰无记忆信道 • 有干扰有记忆信道
10
无干扰离散信道
• 无噪无损信道 C m p ( a i)I ( X ; a Y ) x m H ( X a ) m xH ( Y a ) lx 2 o n • 有噪无损信道(一对多)
– 信道矩阵中各列之和也等于1
14
对称DMC信道
• 对称离散信道的平均互信息为
信道与信道容量
信道与信道容量
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
各列之和 也等于 1
强对称信道的信道容量
信道与信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
信道与信道容量
信道容量
2
1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、
波形信道等
信道与信道容量
3
信道与信道容量
ห้องสมุดไป่ตู้
1.2 信道参数
信道输入矢量为 输出矢量为
信道与信道容量
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量 复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符
号获得的关于 X 的信息量。
信道的信息传输率就是平均互信息
信道与信道容量
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量
Rt = R/t = I ( X ; Y )/t bit / s
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
信道与信道容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分 定义：传输信息的载体 任务：以信号方式传输信息、存储信息
强对称信道 (均匀信道) 输入符号和输出符号个数相同 ( 都等于 n ) ，且正确传 输概率为1-ε，错误概率ε被对称地均分给 n -1 个输出 符号，信道矩阵为
各列之和 也等于 1
强对称信道的信道容量
信道与信道容量
二进制对称信道（ BSC ） 二进制对称信道的信道容量
C=1-H(p)
信道与信道容量
信道容量
2
1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固定参数、时变参数
噪声种类： 随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、
波形信道等
信道与信道容量
3
信道与信道容量
ห้องสมุดไป่ตู้
1.2 信道参数
信道输入矢量为 输出矢量为
信道与信道容量
14
3.2 离散单个符号信道及其容量
信息传输率 R
信道中平均每个符号所能传送的信息量 复习 平均互信息 I (X ;Y) ：接收到 Y 后平均每个符
号获得的关于 X 的信息量。
信道的信息传输率就是平均互信息
信道与信道容量
15
信息传输速率 Rt
信道在单位时间内平均传输的信息量
Rt = R/t = I ( X ; Y )/t bit / s
信道与信道容量
1 信道的基本概念 2 离散单个符号信道及其容量 3 离散序列信道及其容量 4 连续信道及其容量
信道与信道容量
1
1 信道的基本概念
信道：信息传输的通道
广义：信源与信宿之间 狭义：中间远距离传输部分 定义：传输信息的载体 任务：以信号方式传输信息、存储信息
信息理论基础 第四章 信道及信道容量
N N i 1 i 1
则存在：I ( X ; Y ) I ( X i ; Yi )
i 1
N
由定理1和定理2
当信源和信道都是无记忆时有：
N
I ( X ; Y ) I ( X i ; Yi )
i 1
当每个序列中的分量Xi取值于同一信源符号集， 且具有同一种概率分布，则输出Y的分量Yi也取值同一 符号集，则各I(Xi；Yi)是相等的。即：
a1 0
1 p
p p
0 b1
X
a2 1
Y
1 p
1 b2
其中：p表示传输中发生错误的概率
0 0 1 p 1 p 1 p 1 p
P
二元对称信道(BSC)(二进制对称信道)
a1 0
p
1 p 1 q
0 b1
? b2
1 b3
2.传输概率
p( y | x) p(Y b j | X ai ) p(b j | ai )
p(y|x)——描述信道中干扰影响的大小
3.信道矩阵P
——完全反映信道的特性
p11 p12 p1s p21 p22 p2 s P pr1 pr 2 prs
2.按其输入/输出之间关系的记忆性划分
无记忆信道：在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
在任一时刻信道的输出不仅与当前输 有记忆信道： 入有关，而且还与以前时刻输入有关
3.按其输入/输出信号之间是否是确定关系来分
有噪信道： 存在噪声，不存在确定关系
——实用价 值大，研究的理想对象
如果有 p( yn j | xn i) p( ym j | xm i) ，则信道为平
则存在：I ( X ; Y ) I ( X i ; Yi )
i 1
N
由定理1和定理2
当信源和信道都是无记忆时有：
N
I ( X ; Y ) I ( X i ; Yi )
i 1
当每个序列中的分量Xi取值于同一信源符号集， 且具有同一种概率分布，则输出Y的分量Yi也取值同一 符号集，则各I(Xi；Yi)是相等的。即：
a1 0
1 p
p p
0 b1
X
a2 1
Y
1 p
1 b2
其中：p表示传输中发生错误的概率
0 0 1 p 1 p 1 p 1 p
P
二元对称信道(BSC)(二进制对称信道)
a1 0
p
1 p 1 q
0 b1
? b2
1 b3
2.传输概率
p( y | x) p(Y b j | X ai ) p(b j | ai )
p(y|x)——描述信道中干扰影响的大小
3.信道矩阵P
——完全反映信道的特性
p11 p12 p1s p21 p22 p2 s P pr1 pr 2 prs
2.按其输入/输出之间关系的记忆性划分
无记忆信道：在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
在任一时刻信道的输出不仅与当前输 有记忆信道： 入有关，而且还与以前时刻输入有关
3.按其输入/输出信号之间是否是确定关系来分
有噪信道： 存在噪声，不存在确定关系
——实用价 值大，研究的理想对象
如果有 p( yn j | xn i) p( ym j | xm i) ，则信道为平
第3章 信道与信道容量-2
• 定理：若信道的输入和输出分别是L长序列X
和Y,且信源是无记忆的,亦即
L
p(X ) p(Xl )
• 则存在
l 1
L
I (Χ ;Υ ) I (Xl ;Yl )
l 1
13
离散序列信道及容量
• 若信源与信道都是无记忆的
L
I (Χ ;Υ ) I (Xl ;Yl ) l 1
• L次扩展信道的信道容量
10
3.3 离散序列信道及容量
11
离散序列信道及容量
• 设信道的输入X=(X1, X2 … Xi,… ), Xi ∈{a1 … an}
输出Y= (Y1, Y2 … Yj,…), Yj ∈{b1 … bm}
p(Y|X)
X
Y
信道
• 对于无记忆离散序列信道,其信道转移概率为
L
p(Y | X ) p(Y1, YL | X1, X L ) p(Yl | Xl )
Y1
道的输入、输出都无关。 X 2
• 独立并联信道的信道容量
p(Y2|X2) 信道
Y2
…
C1,2, L max I ( X ;Y )
XL
L
C1 C2 CL Cl
l 1
p(YL|XL) 信道
YL
16
3.3 连续信道及其容量
17
连续信道及其容量
• 连续信道的容量不容易计算。 • 当信道为加性连续信道时,情况简单一些。 • 设信道的输入和输出信号是随机过程x(t) 和y(t)
0.7 0.1 0.2 0.7 0.2 0.1 P2 0.2 0.1 0.7 0.2 0.7 0.1
• 准对称信道容量 C log m H ( p1, p2 pm )
第三章 信道模型和信道容量
这是可知疑义度H(X/Y)=0，平均交互信息量达到最大值 I(X,Y)=H(X)，C=logr。从平均意义上讲，这种信道可以把信源 的信息全部传递道信宿。这种每列只有一个非0元素的信道也 是一种无噪声信道，称为无噪声信道。
确定信道
这类信道的转移概率等于1或者等于0， 每一列的元素可有一个或多个1，可知其 噪声熵H(Y/X)=0，此时的平均交互信息 量达到最大值。
离散信道
X
P(Y/X)
Y
离散信道分类： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道
离散信道三种表达方式
概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)}
j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1
(i=1,2,……r;
转移矩阵描述
信道组合
串联信道 并联信道
4.4 时间离散的无记忆连续 信道
可加噪声信道
P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
高斯噪声信道
I
(X
;Y
)
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
例已知一个二元信源连接一个二元信道， 如图给出。X={x1,x2}, [p(xi)]={1/2,1/2}
求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。
信道容量
C max R max I (X ;Y )bit / 符号
PX
PX
1
Ct
max PX
Rt
连续信道的信道容量公式
连续信道的信道容量公式
连续信道容量是指由若干连续频道组成的信道容量，其计算公式为：C=B log2 (1+SNR)，其中B为信号带宽，SNR即信噪比。
连续信道信号容量的估计与信号带宽、信噪比等参数密切相关。
在信道带宽固定的情况下，信号容量随信噪比的增大而增大。
即当信噪比增大时，信号容量也会相应增大。
因此，为了提高信号容量，在设计信号量化之前，应充分考虑信噪比，以最大限度提高信号容量。
由于连续信道容量紧密联系信号带宽与信噪比，为计算连续信道容量，应确定信号带宽及相应的信噪比。
以确定连续信道容量时，不同系统或应用场合，信号带宽及信噪比也不尽相同，选取参数则会有所差异。
考虑到防止信噪比损失过大的情况，在参与系统的比特率及频带带宽都有限的情况下，连续信道容量高信道容量可以通过改善信噪比来提升。
另外，改善系统的外部条件也会促进信号容量的增长，例如改善环境噪声及其他外部干扰因素。
如此可以使连续信道带宽进一步扩大，可产生更大的信号容量。
总之，带宽与信噪比是影响信号容量的两个重要因素，考虑到这两个参数，可以准确地估计连续信道容量。
改善信噪比及相应的外部条件是提高连续信道容量的主要手段，此外还要正确合理的选择信号带宽，以较大程度提升连续信道容量。
信息论基础及应用第3章 信道及其容量(2)_3.4~3.7
3.5.1 串联信道及其信道容量和数据处理定理
定理3.6 串联信道的平均互信息满足 I (Y ; Z ) I ( XY ; Z ) I ( X ;Z ) I ( XY ;Z )
仅当对任意x,y,z，满足 P(z | xy)=P(z | y) 时，一式等号成立； 满足 P(z | xy)=P(z | x)时，二式等号成立。
max
P(x)
I ( X;Y )
max
P(x)
i 1
I ( Xi;Yi )
i 1
max
P(x)
I ( X i;Yi )
N
Ci
i 1
式中，Ci
max
P( x)
I
(
X
i
;Yi
)
◆若信道为时不变的，则有：
Ci C,(i 1,2, , N)
此时，离散无记忆信道容量为
CN NC
*3.5 组合信道的信道容量
Y = Y2 β1 = 00 β 2 = 01 β 3 = 10 β 14 = 11
P(
4
1)
P(11
00)
P(1
0)P(1
0)
p2
p2 pp pp p2
◆二次扩展信道转移概率矩阵 ：
=
P
(
)
pp
p2
p2
pp
pp p2 p2 pp
p2
pp
pp
p
2
定理3.7 （数据处理定理） 若 X, Y, Z 构成一个马氏链，
I(X;Z) I(X;Y ) 则有: I ( X ; Z ) I (Y ; Z )
信道带宽与信道容量
C
B
log2
1
S N
bit / s
（2-6-2）
例2.2 设一幅图片约有个像素，每个像素以后2个以等概率出 现的亮电平。若要求用3分钟传输这张图片，并且信噪比等于 30dB，试求所需的信道带宽。
解：由于每个像素有12个等概率出现的亮度电平，所以每个 像素的信息量为 I p log 2 12 3.585 b
每幅图像的信息量为 If 2.5106 Ip 8.963106 b 信息传输速率，即信道容量为
C If t 8.963 10 6 (3 60) 4.98 10 4
信噪比为 S N 30 dB 1000 由于信道容量 C B log2(1 S N)
所以所需信道带宽为
B
C
4.98104 5 kHz
案例分析2
地震预警信息是由电脑自动发送，该预警信息可通过多种通 信手段进行传输发送，例如：网络微博发送，计算机、手机、 专用预警接收服务器、电视等实时同步发布，如图2.37所示。 由于地震预警系统传递信息时需要保证信息的可靠性，因此 可以通过多种通信手段保证信息的发布，所涉及到的信道方 式也可能有多种形式。
地震发生时，首先出现的是上下震动的P波，震动幅度较 小，要过大约10秒到1分钟时间，水平运动的S波才会到来， 造成严重破坏。地震预警就是利用地震发生后，P波与S波之 间的时间差。原理上，在距离震源50公里内的地区，会在地
案例分析2
地震前10秒收到预警信息；90-100公里内的地区，能提前 20多秒收到预警信息。根据数据准确估计震级、震中位置以 及快速估计地震对预警目标的影响等。例如：地震波从震中 传到北川县城大概需要25秒。如果您在发震5秒后感受到了地 震波，并花了15秒钟打电话告诉北川的朋友地震波即将来临， 那么您北川的朋友将会获得5秒的应急时间。
信息论与编码第三章
模
型
P<Y1=V1,Y2=V2…Yn=Vn/X=U1…X=Un>
n
Õ = p(YR = UR / X = uR )
决定DMC特点的条件概率P<yj/xi>可写成矩阵形 式
P = [ pij ]
3.2.1
转移概率矩阵
æ p( y0 / x0) p( y1 / x0)
数
ç
学 模
P
=
ç ç
p( y0 / x1)
数 即P<Y=0/X=1>=P<Y=1/X=0>=P
学
模 型
P<Y=1/X=1>=P<Y=0/X=0>=1-P
01
这种对称二进二出的
0 é P P ù 信道叫做二进制对称信
P=1
ê ëê
P
ú P ûú
道,简称BSC信道.
3.2.1
信道模型:
数 学 模
1-P
0
0
P
型
P
1
1
1-P
这种信道的输出符号仅与对应时刻输 入符号有关,与以前输入无关,故称此信道是 无记忆信道的.
3.1
信道分类：
信
道
1.有线信道和无线信道
分
类
有线信道：明线、对称电缆、同轴电
缆及
光缆等.
无线信道：地波传播、短波电离层反 射、
超短波或微波视距中继、
3.1
2．恒参信道和随参信道
信 道
恒参信道：信道的统计特性不随时间而变化.如明
分 线、对称电缆、同轴电缆、光缆、卫星中继信道
类
一般被视为恒参信道.
p0,Q - 1 ö ÷
第三章信道及信道容量PPT课件
第三章 信道及信道容量
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
第一节 信道分类及表示参数 第二节 单符号离散信道及其容量 第三节 离散序列信道及其容量 第四节 连续信道及其容量
05.12.2020
1
研究信道容量的意义?
信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y ); 在接收端获取的关于发送端信源X的信息量是：
I(X;Y)＝H(X)-H(X|Y) 即：信道中平均每个符号传送的信息量。对于信道,所关心的问 题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y) bit/符号
每个数字对应一种颜色（反之未必），数字已知，则颜色确 定，H(X|Y)=0。H(X,Y)=H(Y)=…..
6、2.21（3）信号放大问题。课上已经强调过，仍出错。
7、向孔祥品学习
05.12.2020
9
复习：第四节 连续信源的熵和互信息
一、单符号连续信源的熵 相对熵（差熵）
H c(X ) p X (x)lop X g (x)dx Hc(XY )p(xy)lopg(xy)dxdy Hc(Y/X )p(xy)lopg(y/x)dxdy
(2) 离散无记忆信道(DMC-Discrete Memoryless Channel)
仍是单符号离散信道，符号集中的符号数目大于2 。
05.12.2020
7
转移概率矩阵（传递阵矩）P :
P11 P12 P1m
P [
P ij
]
P21
P22
P2m
Pn1
Pn2
Pnm
m
m
转移概率矩 元阵 素中 之 1。 各 和 P(b 行 j等 |ai)的 于 Pij1
2 Pm2,通常m0,2 P,此时有：
H0C5.1(2X.202)0
信道及信道容量
P 1
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
信道1 p( j | k )
P2
信道2 P p( j | k )
若信道1和信道2级联，则要求信道1的输出集和信道2的输入集 相同。给定信道1和信道2的转移概率 p( j | k ) 和 p( j | k ) ， 则 级联信道的转移概率为 p ( j | k ) j p( j | k ) p( j | k j ) 这样就得到了一个新的离散信道，输入集为 X1 ，输出集为 Y2 ， 转移概率矩阵为 {P( j | k )}。
信息工程学院通信工程系
3.2 离散信道及数学模型
多符号离散信道数学模型 X=X1X2… Xk ….XN
P(Y|X)
Y=Y1Y2…Yk ….YN
{p(yj|xi)}
Xk取值: {x1, x2, …, xn}， 则X共有nN 种 i , i=1～nN Yk取值: {y1, y2, …, ym}， 则Y共有mN种 j , j=1～mN
在物理信道一定的情况下，总是希望传输的信息越 多越好。这不仅仅与物理信道本身特性有关，还与载荷
信息的信号形式和信源输出信号的统计特性有关。
本章讨论“什么条件下，通过信道的信息量最大”。
信息工程学院通信工程系
3.1 信道分类和描述
信道分类
1、根据信道两端输入和输出集合的个数，分为： 两端信道(单用户信道)--输入、输出均只有一个 多端信道(多用户信道)--输入、输出有多个 2、根据输入、输出随机变量的个数，分为： 单符号信道--输入、输出用随机变量表示 多符号信道--输入、输出用随机矢量表示 3、根据信道上有无噪声(干扰)，分为： 有噪(扰)信道 无噪(扰)信道
[ （1） 信道输入统计概率空间：X , p( X )] [ （2） 信道输出统计概率空间：Y , p (Y )] （3） 信道的统计特性，即信道转移概率矩阵：p( y | x)
5-1 连续信道的信道容量
连续信道的信道容量
一、信道容量的概念
信道容量：信道中信息能够无差错传输的最大平均
信息速率 说明：本节重点讨论高斯白噪声连续信道理论上的极 限传输速率
3
连续信道的信道容量
二、香农公式
对于带宽有限、平均功率有限的高斯白噪声连续信道，设信 道带宽为B (Hz)，信道输出信号功率为S (W)，输出加性高斯 噪声功率为N (W)，则可以证明该信道的信道容量为
增大到一定程度后，信道容量不再增加。S/n0一定时无限大带 宽对应的信道容量称为信道容量极限
5
连续信道的信道容量
② 带宽与信噪比的互换
C = B log 2 (1 +
S ) N
¾ 带宽和信噪比的互换能保持信道容量不变 ¾ 增加较小的带宽可以节省较多的功率 ¾ 通过增加信噪比来节省带宽往往付出较大代价
C = B log 2 (1 + S ) N (b/s)
令加性高斯噪声的单边功率谱密度为 n0 ，则
N = n0 B
C = B log 2 (1 +
S ) (b/s) n0 B
4
《通信原理》 国防科技大学电子科学与工程学院 马东堂 _______________________________________________________
6
《通信原理》 国防科技大学电子科学与工程学院 马东堂 _______________________________________________________
连续信道的信道容量
③ 能否通过将带宽增加到无穷大，信噪比减小到任意小完成
极限信道容量传输？
令信息传输速率R = C，比特平均能量为Eb，信道容量 极限可以表示为：
第三章信道及信道容量
2但为有限值,即
p11
P
p2
1
p12 p22
,
p1m
p2m
pn1
pn2
pn
m
②二进制对称信道（BSC）：输入和输出信号的符号数都 是2，即X∈A={0,1}和Y∈B={0，1}的对称信道。
1-p
0 p
0
1p p
p
P
p
1p
1
1
1-p
16
《信息论与编码》
3）有干扰有记忆信道：每个信道输出不但与当前输入信号 之间有转移概率关系，而且与其它时刻的输入输出信号也 有关。
27
《信息论与编码》
2）信道容量的定义 对于某特定信道，可找到某种信源的概率分布p(ai)，使
得 I（X；Y）达到最大。
C m ax { I(X ;Y )} (b it/符 号 ) p(x)
注：对于特定的信道，信道容量是个定值，但是在传输信 息时信道能否提供其最大传输能力，则取决于输入端的概 率分布。一般相应的输入概率分布称为最佳输入分布。
28
若平均传输一个符号需要t秒钟，则信道单位时间内 平均传输的最大信息量为：
C T1 tm p(axx ){I(X;Y)}(bit/秒 )
即信道传输速率。
信道容量C已与输入信源的概率分布无关，它只是 信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信 道能够传输的最大信息量。
这样，波形信道化为多维连续信道，信道转移概率密度 函数为
其中：
19
《信息论与编码》
如果多维连续信道的转移概率密度函数满足
这样的信道称为连续无记忆信道即在任一时刻输出变 量只与对应时刻的输入变量有关，与以前时刻的输入输出 都无关。
信道及信道容量
• 恒参信道的性质不随时间变化：线性时不变系统。实 际信道的特性不随时间变化或基本不变，或变化极慢 。
ei（t） h(t)
eo(t)=ei(t)*h(t)+n(t)
n(t)
11
Center for Wireless Communications (CWC), BUPT
恒参信道特性（续）
• h(t) <=> H(ω)=∣H(ω)∣ejΨ(ω) • 幅频特性：∣H(ω)∣≠k(常数)，产生幅频畸变； • 相频特性：Ψ(ω) ≠ωtd ，产生相位畸变； • 用群迟延频率特性：τ(ω)=dΨ(ω)/dω来描述相频特性。 • 理想信道： H(ω)=k，衰减ei(t)、有时延； • τ(ω)= td，无相频畸变。 • 工程设计时，应使∣H(ω)∣的畸变范围及τ(ω)的误差范
j
2
(e
j
2
j
e 2)
V0e
j
et0
j
2
2 c os (
2
)
V0f(t-t0)+V0f(t-t0- )
H ()
2V0
cos( 2
)
2V0
f
01
3
5
2
2
2
18
Center for Wireless Communications (CWC), BUPT
• 扩频技术：尤其对窄带干扰非常有用，在扩频通信基本原理中介绍 。
20
Center for Wireless Communications (CWC), BUPT
分集接收技术
• 分集技术根据获得独立路径信号的方法： (1) 时间分集： (2) 频率分集： (3) 空间分集： (4)时频分集
ei（t） h(t)
eo(t)=ei(t)*h(t)+n(t)
n(t)
11
Center for Wireless Communications (CWC), BUPT
恒参信道特性（续）
• h(t) <=> H(ω)=∣H(ω)∣ejΨ(ω) • 幅频特性：∣H(ω)∣≠k(常数)，产生幅频畸变； • 相频特性：Ψ(ω) ≠ωtd ，产生相位畸变； • 用群迟延频率特性：τ(ω)=dΨ(ω)/dω来描述相频特性。 • 理想信道： H(ω)=k，衰减ei(t)、有时延； • τ(ω)= td，无相频畸变。 • 工程设计时，应使∣H(ω)∣的畸变范围及τ(ω)的误差范
j
2
(e
j
2
j
e 2)
V0e
j
et0
j
2
2 c os (
2
)
V0f(t-t0)+V0f(t-t0- )
H ()
2V0
cos( 2
)
2V0
f
01
3
5
2
2
2
18
Center for Wireless Communications (CWC), BUPT
• 扩频技术：尤其对窄带干扰非常有用，在扩频通信基本原理中介绍 。
20
Center for Wireless Communications (CWC), BUPT
分集接收技术
• 分集技术根据获得独立路径信号的方法： (1) 时间分集： (2) 频率分集： (3) 空间分集： (4)时频分集
第3章 信道与信道容量
max p(x)
H C (Y )
1 log
2
2e
2
pn(n)＝N(0, 2) 连续单符号信道
噪声是均值为零、方差为 2的加性高斯噪声
34
3.4 连续信道及其容量
连续单符号加性信道
pY (y) ＝N(0,P)，pn(n)＝N(0, 2)，y=x+n，所以 pX (x)＝N(0, S)
3
3.1 信道分类和表示参数
二进制对称信道(BSC)
P
1 p
p
p 1 p
4
3.1 信道分类和表示参数
离散无记忆信道
a1 a2
b1
p11 p12 p1m
b2 b3
P
p21
p22
p2m
an
bm
pn1
pn2
pnm
5
3.1 信道分类和表示参数
离散输入、连续输出信道
pY ( y / ai )
31
3.3 离散序列信道及其容量
扩展信道
(1 p)2 p(1 p) p(1 p) p2
1
P
p(1 p(1
p) p)
(1 p)2 p2
p2 (1 p)2
p(1
p)
p(1 p)
p2 p(1 p) p(1 p) (1 p)2
C2 log2 4 H[(1 p)2 , p(1 p), p(1 p), p 2 ]
1 1 1 1
13
3 1
6 1
6 1
6 6 3 3
1 1 1
2 1
3 1
6 1
6 2 3
1 1 1
3 6 2
12
3.2 离散单个符号信道及其容量
第三章 信道和信道容量
求信息传输率R及信道容量。
第三章 信道和信道容量
四、一般离散信道的信道容量
对于非特殊性质的固定信道，根据定义，其信
道容量是对所有可能的输入概率分布P(X)求平
均互信息的极大值。由于I(X;Y)是P(X)的上凸函数，
其极大值一定存在。 注意：达到信道容量的最佳分布不一定是唯一的， 只要输入概率分布满足定理中的条件，并使I最大， 即成为信道的最佳输入分布。
通信系统一般模型：
信源 调制 信道 解调 信宿
广义信道
各种物理信道中存在的干扰限制了通信的距离与速 率，为反映信道干扰对传输性能的影响，可用刻划 各种干扰的模型来表示信道。
如：发送为xi（信道输入）， 接收为yj（信道输出），则信道特性为： Pji＝P（yj/xi），用（条件）转移概率描述
第三章 信道和信道容量
若平均传输一个符号需要t秒，则信道每秒钟平 均传输的信息量为：
Rt＝（1/t）I（X；Y） bit/秒 定义：最大的信息传输率为信道容量C，即： C＝max｛I（X；Y）｝ bit/符号
P(x)
第三章 信道和信道容量
达到信道容量时，相应的输入概率分布称为最佳 输入分布，若平均传输一个符号需要t秒，则：
Ct≈Ps/N0
第三章 信道和信道容量
结论：
当频带很宽时，或信噪比很低时，信道容 量等于信号功率与噪声功率密度比，此比
值是加性高斯噪声信道信息传输率的极限
值。在上述宽频带条件下，信号淹没在噪
声中仍可传送信息。
由香农公式得到的值是非高斯信道（实际 信道）的信道容量的下限值。
第三章 信道和信道容量
三、多维无记忆高斯加性连续信道
P(X)
结论：信道的转移矩阵中，每列有一个也仅有一个
2信道及其容量
信源
编码器
输 入 X
信道
输 出 Y
译码器
信宿
干扰源
输入输出关系：转移概率 p(y|x) 信道描述：1. 输入集合 2. 输出集合 3. 输入输出的转移概率分布 研究目标：从信道的输出了解信道的输入
7
• 按信道输入出符号分类 输入、输出空间＝状态集合＋时间集合
( X , Y取值集合) (T )
'
————疑义度熵速率 ————散布度熵速率
例：n＝1000码元/秒，P(0)=P(1)=1/2
0
X
15 / 16 1 / 16 1 / 32
0
Y
H ( X ) 1bit / 码元
1
31 / 32
1
H(X ) 和 R Y x ) y p ( ) 完成： p ( y 的转换 x
计算
H ( X ) p( xy) log p( x ) Y y X Y
1 p
p10 p01 p p00 p11 1 p
0
0
0
0
对称删除信道
e
1 1 1
e
1
p01 p10 0 pe 0 pe1
③ 、Z信道
0
0
p10 p
1 1
磁盘掉磁
2.3 互信息
定义：
log p(
1 xi
为疑义度（单个）
yj
)
不同于转移概率
p(
yj
注意：收到
y j 后，对 xi 的不确定程度
yi ) 1
xi
)
如果：无噪 p ( xi 有噪
p(
xi
yi
) 1
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
P( z x) P( y x) P( z xy)
Y
x X , y Y , z Z
则总信道的传递矩阵
P ( z x ) P ( y x ) P ( z xy ) rt rs st
若X，Y，Z满足马尔可夫链，得总信道的传递概率
电子信息工程学院
信息论
3.8串联信道及其信道容量
由信息不增原理
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ;W ) C (1,2) max I ( X ; Z ) C (1,2,3) max I ( X ;W )
X
可以看出,串接的信道越多,其信道容量可能会越 小,当串接信道数无限大时,信道容量可能会趋于0 信道1
对于串联信道，若其输入输出变量之间组成一个马尔可夫链 ，则存在下述定理。该定理对于串联的单符号离散信道或是输 入、输出都是随机序列的一般信道都成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.7 当且仅当
I ( XY ; Z ) I (Y ; Z ) P( Z / XY ) P( Z / Y )
时等式成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.8 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.8表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据 Y进行处理后，无论变量 Z是Y 的确定对应关系还是概率关系，决不会减少关于 X 的不确定 性。故定理3.8称为数据处理定理。
电子信息工程学院
信息论
3.8串联信道及其信道容量
证： 串联信道总的信道矩阵为
1 1 3 3 P( z | x) 0 1 2 1 1 0 2 3 0 1 3 1 2 0 3 0 1 1 1 3 3 1 3 0 2 2 3 1 3 1 2
电子信息工程学院
信息论
3.8串联信道及其信道容量
例：有二个信道的信道矩阵分别为
1 1 3 3 0 1 2 1 3 1 2
和
1 0 0
0 2 3 1 3
0 1 3 2 3
它们的串联信道如下图所示。 求证：
I ( X ; Z ) I ( X ;Y )
信息论
3.6串联信道及其信道容量
若信道II的传递概率使其输出只与输入Y有关，与前面的输 入X无关，即满足 P( z x ) P ( y x ) ( z y )
Y
称这两信道的输入和输出X，Y，Z序列构成马尔可夫链。
电子信息工程学院
信息论
3.8串联信道及其信道容量
这两个串联信道可以等价成一个总的离散信道，其输入 为X，输出为Z，此信道的转移概率为
电子信息工程学院
信息论
3.8串联信道及其信道容量
P( z x) P( y x) P( z y)
Y
x X , y Y , z Z
信道矩阵为
P ( z x ) P ( s st
串联信道的转移矩阵为:
求得:
I ( X ; Y ) 1 H ( p)
p 1 p P P 1 2 p 1 p
I ( X ; Z ) 1 H [2 p(1 p)]
在实际通信系统中,信号往往要通过几个环节的传输,或 多步的处理,这些传输或处理都可看成是信道,它们串接 成一个串联信道。
可见该串联信道满足 根据概率关系和上式得
P( y | x) P( z | x) ,(对所有x, y, z) P( x | z) P( x | y) ,(对所有x, y, z)
所以
I ( X ; Z ) I ( X ;Y )
电子信息工程学院
信息论
3.8串联信道及其信道容量
举例：设有两个离散二元对称信道，其组成的串联信道如 图所示，求该串联信道的信道容量。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个BSC信道的转移矩阵为:
p 1 p p (1 p) 2 p 2 1 p PP 1P 2 p 1 p p 1 p 2 p(1 p) 2 p(1 p) (1 p) 2 p 2
Y
信道2
Z
…
信道m
电子信息工程学院
Y
x X , y Y , z Z
则总信道的传递矩阵
P ( z x ) P ( y x ) P ( z xy ) rt rs st
若X，Y，Z满足马尔可夫链，得总信道的传递概率
电子信息工程学院
信息论
3.8串联信道及其信道容量
由信息不增原理
H ( X ) I ( X ; Y ) I ( X ; Z ) I ( X ;W ) C (1,2) max I ( X ; Z ) C (1,2,3) max I ( X ;W )
X
可以看出,串接的信道越多,其信道容量可能会越 小,当串接信道数无限大时,信道容量可能会趋于0 信道1
对于串联信道，若其输入输出变量之间组成一个马尔可夫链 ，则存在下述定理。该定理对于串联的单符号离散信道或是输 入、输出都是随机序列的一般信道都成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.7 当且仅当
I ( XY ; Z ) I (Y ; Z ) P( Z / XY ) P( Z / Y )
时等式成立。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个定理
定理3.8 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.8表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据 Y进行处理后，无论变量 Z是Y 的确定对应关系还是概率关系，决不会减少关于 X 的不确定 性。故定理3.8称为数据处理定理。
电子信息工程学院
信息论
3.8串联信道及其信道容量
证： 串联信道总的信道矩阵为
1 1 3 3 P( z | x) 0 1 2 1 1 0 2 3 0 1 3 1 2 0 3 0 1 1 1 3 3 1 3 0 2 2 3 1 3 1 2
电子信息工程学院
信息论
3.8串联信道及其信道容量
例：有二个信道的信道矩阵分别为
1 1 3 3 0 1 2 1 3 1 2
和
1 0 0
0 2 3 1 3
0 1 3 2 3
它们的串联信道如下图所示。 求证：
I ( X ; Z ) I ( X ;Y )
信息论
3.6串联信道及其信道容量
若信道II的传递概率使其输出只与输入Y有关，与前面的输 入X无关，即满足 P( z x ) P ( y x ) ( z y )
Y
称这两信道的输入和输出X，Y，Z序列构成马尔可夫链。
电子信息工程学院
信息论
3.8串联信道及其信道容量
这两个串联信道可以等价成一个总的离散信道，其输入 为X，输出为Z，此信道的转移概率为
电子信息工程学院
信息论
3.8串联信道及其信道容量
P( z x) P( y x) P( z y)
Y
x X , y Y , z Z
信道矩阵为
P ( z x ) P ( s st
串联信道的转移矩阵为:
求得:
I ( X ; Y ) 1 H ( p)
p 1 p P P 1 2 p 1 p
I ( X ; Z ) 1 H [2 p(1 p)]
在实际通信系统中,信号往往要通过几个环节的传输,或 多步的处理,这些传输或处理都可看成是信道,它们串接 成一个串联信道。
可见该串联信道满足 根据概率关系和上式得
P( y | x) P( z | x) ,(对所有x, y, z) P( x | z) P( x | y) ,(对所有x, y, z)
所以
I ( X ; Z ) I ( X ;Y )
电子信息工程学院
信息论
3.8串联信道及其信道容量
举例：设有两个离散二元对称信道，其组成的串联信道如 图所示，求该串联信道的信道容量。
电子信息工程学院
信息论
3.8串联信道及其信道容量
两个BSC信道的转移矩阵为:
p 1 p p (1 p) 2 p 2 1 p PP 1P 2 p 1 p p 1 p 2 p(1 p) 2 p(1 p) (1 p) 2 p 2
Y
信道2
Z
…
信道m
电子信息工程学院