第四章 信道及其容量
第四章 信道及其容量
信道及其容量研究内容：根据数学模型研究信道的传信能力； 信道容量的计算。
一、信道定义及其分类 1．信道定义狭义信道和广义信道 2．信道分类离散信道，数字信道；连续信道，模拟信道；输入输出为连续变量； 半连续信道；如输入离散输出连续信道； 有记忆信道； 无记忆信道； 两端信道（两用户）； 多端（多用户）信道； 恒参信道和随参信道； 对称信道和非对称信道。
二、离散无记忆信道及其容量 1．离散信道输入：X=｛0，1，…，K-1｝，概率分布：｛Q k ｝, 输入字母序列：12(,,,)N x xx x = ，n x X ∈，1n≤N≤输出：Y=｛0，1，…，J-1｝，输出字母序列：12(,,,)N y yy y = ，1n≤N≤，nyY∈转移概率：P(y/x)=P(y 1,y 2,…,y N / x 1,x 2,…,x N ) 2.离散无记忆信道DMC若离散信道对任意长为N 的输入和输出序列有：P(y/x)=1(/)Nnn n P yx =∏则称它为离散无记忆信道。
记为DMC ，｛X,P(y n /x n ),Y ｝。
特点：任何时刻信道输出只与该时刻信道输入有关，而与以前的输入无关。
3．平稳离散无记忆信道（恒参） 特点：P(y n =j/x n =k)=P(y m =j/x m =k) 4. DMC 容量信道容量定义：C={}max k Q I(X;Y),Q k 为最佳分布。
三、几个定理1．设Q N (x)时DMC 的N 长输入字母序列的联合分布，X N 和Y N 分别表示长为N 的输入和输出序列的集合，X n 和Y n 分别表示第n 个输入和输出字母的空间，则 I(X N ; Y N)≤1(;)Nn I Xn Yn =∑2. 输入概率矢量Q={Q 0,Q 1,…,Q K } 达到转移概率为{P(j/k)}的DMC 的容量C 的充要条件是I(x=k ；Y)=C 对所有k,其Q k >0 I(x=k ；Y) ≤C 对所有k,其Q k =0其中I(x=k ；Y)是信道输入x=k 时，关于信道输出一个字母的平均互信息，即 I(x=k ；Y)=(/)(/)log(/)i jip j k p j k Q p j i ∑∑四、几个定义1．若信道转移概率矩阵P 中所有行失都是第一行的一种置换就称信道关于输入为对称的。
信息理论基础 第四章 信道及信道容量
则存在：I ( X ; Y ) I ( X i ; Yi )
i 1
N
由定理1和定理2
当信源和信道都是无记忆时有：
N
I ( X ; Y ) I ( X i ; Yi )
i 1
当每个序列中的分量Xi取值于同一信源符号集， 且具有同一种概率分布，则输出Y的分量Yi也取值同一 符号集，则各I(Xi；Yi)是相等的。即：
a1 0
1 p
p p
0 b1
X
a2 1
Y
1 p
1 b2
其中：p表示传输中发生错误的概率
0 0 1 p 1 p 1 p 1 p
P
二元对称信道(BSC)(二进制对称信道)
a1 0
p
1 p 1 q
0 b1
? b2
1 b3
2.传输概率
p( y | x) p(Y b j | X ai ) p(b j | ai )
p(y|x)——描述信道中干扰影响的大小
3.信道矩阵P
——完全反映信道的特性
p11 p12 p1s p21 p22 p2 s P pr1 pr 2 prs
2.按其输入/输出之间关系的记忆性划分
无记忆信道：在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
在任一时刻信道的输出不仅与当前输 有记忆信道： 入有关，而且还与以前时刻输入有关
3.按其输入/输出信号之间是否是确定关系来分
有噪信道： 存在噪声，不存在确定关系
——实用价 值大，研究的理想对象
如果有 p( yn j | xn i) p( ym j | xm i) ，则信道为平
第4章_离散信道及其容量题与答案
4.1 设有一离散无记忆信源，其概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 它们通过一干扰信道，信道输出端的接收符号集为Y = { y1, y2 }，信道转移概率如题图4.1所示。
求：(1) 信源X 中事件x 1和事件x 2分别含有的自信息； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息。
解：信道转移矩阵为：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡414361651)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(2211=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 322.02.04/3log )()/(log);( 093.08.04/1log )()/(log );( 263.02.06/1log )()/(log );( 059.08.06/5log )()/(log );(2.0414.0616.0)/()()/()()(8.0434.0656.0)/()()/()()(2222212112212211111122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)bity p y p Y H bitx p x p X H jj j ii i 722.0)2.0log 2.08.0log 8.0()(log )()( 971.0)4.0log 4.06.0log 6.0()(log )()(=+-=-==+-=-=∑∑4)∑∑-=iji j i j i x y p x y p x p X Y H )/(log )/()()/(5/61/4 3/4 1/6 1x2x 2y1y 题图 4.1bitY H X Y H X H Y X H Y X H Y H X Y H X H bit964.0722.0715.0971.0 )()/()()/()/()()/()( 715.0 43log 434.041log 414.061log 616.065log 656.0 =-+=-+=∴+=+=⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=5)bit Y X H X H Y X I 0075.0964.0971.0)/()();(=-=-=4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D 四个字母。
信道及其容量
解：此时，X:{0,1} ; Y:{0,1} ; r=s=2，a1=b1=0；a2=b2=1。
传递概率:
a1=0
1－p
0=b1
P(b1 | a1) P(0| 0) 1 p p
p
P(b2 | a2) P(1| 1) 1 p p
P(b1 | a2) P(0| 1) p P(b2 | a1) P(1| 0) p
0
p
0
1－p
2 1－q
1
q
1
021
0 p 1 p 0 1 0 1q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示，即
b1
b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2)
（3）交互性（对称性） 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时(一一对应) I(X;Y) = I(Y;X)=H(X)=H(Y)
（4）凸状性
P (y|x)
P (y|x)
I(X ;Y)I(Y ;X ) P (xy)lo
P (x)P (y|x)lo g
• 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描 述。
• 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然，也可 用下图来描述：
a1
a2
X
.
.
ar
P(bj/ai)
b1 b2 .Y . bs
[例1] 二元对称信道，[BSC，Binary Symmetrical Channel]
4.信道及其容量
第4章 离散信道及其容量4.1节离散无记忆信道（DMC, Discrete Memoryless Channel ）什么是 “信道”？通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。
但什么是“信道”？Kelly 称信道是通信系统中“不愿或不能改变的部分”。
比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。
通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(·)信号进行通信，而是至少需要两个可供发射机进行选择。
一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。
从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。
如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。
输入序列X 1,X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。
数学上考虑的最简单的信道是离散无记忆信道。
离散无记忆信道由三部分组成：（1） 输入字符集A ={a 1, a 2, a 3,…}。
该字符集既可以是有限，也可以是可数无限。
其中每个符号a i 代表发射机使用信道时可选择的信号。
（2） 输出字符集B={b 1, b 2, b 3,…}。
该字符集既可以是有限，也可以是可数无限。
其中每个符号bi 代表接收机使用信道时可选择的信号。
（3） 条件概率分布P Y |X (·|X )，该条件分布定义在B 上，其中X ∈A 。
它描述了信道对输入信号的影响。
离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。
或者：1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3….Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。
中小学课件信道及其容量.ppt
1
K 1
p( j | i)
是第一
K i0
列置换 对每个 k相同
对每个
j相同
对称DMC容量计算
• K元对称信道 • 二元对称信道C=1-H(p) • 准对称信道
离散无记忆模K加性噪声信道
• Z=X=Y={0,1,…,K-1} • y=x+z mod K
H (Y | X ) Q(x) p( y | x) log p( y | x) x, y Q(x) p(z) log p(z) x,z H(Z)
C log K H (Z )
一般DMC的容量计算
• 信道转移矩阵时非奇异 方阵，假定所有Qk>0
K 1
j Qk p( j | k) j 0,1,...,K 1 k 0
J 1
J 1
p( j | k) log p( j | k) p( j | k) log j C k 0,1,...,K 1
n
y(t) ynn (t)
n
T
xn 0 x(t)n (t)dt
T
yn 0 y(t)n (t)dt
j
4.4 时间离散的无记 忆连续信道
可加噪声信道
• P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
• 高斯噪声信道
I
(X
;Y )
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
平均功率受限的可加噪声信道
对称DMC容量的计算
• 若信道转移概率矩阵所有行矢量都是 第一行的置换，称为关于输入对称。
通信课件信道及信道容量
• 信道的基本概念 • 信道数学模型：调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道：信号通道，必不可少 • 影响通信系统可靠性能的两个主要因素：噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号，衰落信号。从时域来看，多径时延扩散； 从频域来看，频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域：瑞利衰落（快衰落）
f0 频域：频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型：传输已调信号，关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的，故也称调制信道为连续信号，甚至称为信道 。 • 编码信道模型：输出输入都是数字信号→数字序列变 换，离散或数字信道。包含调制信道→依赖于调制信 道的性能，噪声的干扰体现在误码上，关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
《信道容量及其计算》课件
熵的定义
熵是衡量信息不确定度的物理量，也可以理解为信 息源的不确定程度。
信息量的定义
信息量是用来衡量某个事件的信息量大小，它与事 件发生的概率成反比。
熵与信息量的关系
熵与信息量成正比，即熵越大，则信息量越多。
信道容量的计算公式
1
离散无记忆信道
不同信源符号对应不同码字，使用香农公式进行计算。
2
连续无记忆信道
总结
1 信道容量的意义
信道容量是衡量信息传输 速率的重要指标，可以优 化传输效率和提高通信质 量。
2 信道容量的应用
信道容量应用广泛，包括 无线通信、光通信、数据 传输等领域。
3 未来的发展趋势
随着技术的发展，信道容 量会越来越高，将大幅提 高信息传输的效率和可靠 性。
信宿接收到的信号是连续的，用瑞利公式计算。
3
大信噪比近似
在大信噪比的情况下，信道容量计算公式可以近似为香农公式。
应用举例
无线通信系统中的信道容量
采用MIMO技术和Turbo编码，可以大幅度提高无线 传输的速率和可靠性。
光通信系统中的信道容量
采用波分复用技术和波分多路复用技术，可以大幅 度提高光纤的传输速率。
信道容量及其计算
本次课件将介绍信道容量的基本概念和计算公式，以及其在无线通信和光通 信等领域的应用举例。
什么是信道容量
信道的定义
信道是信息传输的媒介，以某种信号作为信息的表现形式，通过某种物质媒介进行传播。
信道容量的定义
信道容量是在满息量。
熵与信息量
离散信道及其容量
第四章离散信道及其容量首先让我们来介绍信道的定义：信道是信息传输的媒介或者通道，它有输入端与输出端，其中输入端输入信息，而输出端输出信息。
下面我们要根据信道传输的信息的特点与信道的输入端与输出端的特点来对信道进行分类：1：信息可分为离散与连续两种，根据信息的这一特点，可以把信道分为：)a离散信道：输入与输出的信息都是离散的信道。
)b连续信道：输入与输出的信息都是连续的信道。
)c半连续信道：输入端信息与输出端信息中有且仅有一端是连续信息的信道。
2：输入端与输出端均既可以只有一个接口，也可以有多个接口，根据信道的这一特点，我们可以把信道分为：)a多元接入信道：多个输入端的信息在一个输出端输出的信道（如卫星通信系统可以同时接收多个地面站的信息）。
)b广播信道：把一个输入端的信息在多个输出端输出的信道（如卫星可以同时把信息发送给多个地面站）。
一般我们把一个信源或者一个信宿称为一个用户，如果整个信道中有三个或三个以上的用户，我们称该信道为多端信道（多用户信道），这样多元接入信道与广播信道都称为多端信道。
而只有一个信源与信宿的信道称为两端信道（两用户信道）。
要注意的是即使信息在传输的过程中没有受到干扰，输出的信息也并不一定与输入的信息是完全一样的（从这个角度来讲，信道不仅具有传输信息的功能，还具有信息转换的功能，如正在研究能在大型会议上使用的中英文翻译器可看作这样的一个信道）。
现在我们具体来研究信道（我们在这里主要考虑的是只有一个输入端与一个输出端的离散信道，而且我们不考虑信息的转换功能）：首先我们要提出一个问题：我们应该从哪个角度来研究信道？我们不会从一个信道单位时间内传输多少个二元码（或别的码）这个角度来研究信道，因为这取决于信道的硬件。
那么我们应该从哪个角度来考虑信道呢？我们知道信息在信道中传输的时候是有可能发生传输错误的，而这会影响信息的传输速度。
举个例子说明：设信道传输的不同符号只有两个：0与1，信道在传输0与1的时候错误概率均为01.0，为了降低传输的错误概率到可以忽视不计，我们就需要在信道传输前在信息中加一些重复码，这样肯定会在降低错误概率的同时降低了传输的速度。
2012.信息论.第4章离散信道及其容量.习题
接收符号为Y={y1,y2}，信道转移矩阵为 5 6 1 4 1 6 3 4
习题4.1
求： (1) 信源X中事件x1和事件x2分别包含的自信息量； (2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。
1
（1）信源X中事件x1和事件x2分别包含的自信息量；
I ( x ) log p ( x ) log 0 . 6 0 . 737 bi t 1 2 1 2 I ( x ) log p ( x ) log 0 . 4 1 . 322 bi t 2 2 2 2
2
3 3 1 1 HX ( ) px ( )l o g px ( ) ( l o g l o g 0 .8 1 1b i t/s y m b o l i i 2 2 ) 4 4 4 4 i HY ( /X ) px ( i)p (y o gp (y j /x i)l j /x i)
(5) 接收到信息Y后获得的平均互信息量。
I ( X ; Y ) H ( X ) H ( X / Y ) 0 . 971 0 . 715 0 . 256 bit / sy
5
习题4.20 设二元对称信道的传递矩阵为
2 3 1 3
1 3 2 3
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
4-第四讲信道容量及其计算
不同排列组成，并且每一列也是同一元素
集的不同的排列组成。
1 1 1 1
,
1 1 1 1
6 6 3 3
1 1 1
2
3
6
P
1 6
1 2
1 3
1
1
1
3 6 2
1/3 1/3 1/6 1/6
1/6 1/6
1/3
1/3
行
列
1/2
1/3 1/6
1/6 1/2
1/3
1/3 1/6
1/2
行
列
C log 4 H (1 , 1 , 1 , 1) 2 (1 log 1 1 log 1 1 log 1 1 log 1)
3366
3 33 36 66 6
0,0817(bit / symbol)
（2）、准对称信道的容量
准对称信道：信道矩阵（列）的子阵是对称矩阵。
1 1 1 1
P
3
有时我们需要关心单位时间内（一般为秒为单位） 平均传输的信息量，若平均传输一个符号需要 t 秒，则 信道每秒平均传输的信息量为（速率）
Rt
1 I(X ;Y ) t
1H(X)1H(X
t
t
|Y)
(bit / sec)
I（X；Y）是输入随机变量的概率分布的上凸函数， 所以对于固定的信道，总存在一种信源分布，使传输 每个符号平均获得的信息量最大，也就是说，每一个 固定信道都有一个最大的信息传输率。
信道2 p(j’|k’)
Y1 {bj} Y2 {bj '}
定理：独立并行信道的容量为各分信道容量之和。
C C1 C2
和信道：随机选取信道1或信道2传送，（并信道）。
离散信道及其信道容量
离散信道及其信道容量
例3
1 1 1 2 2 P( Y / X) 1 1 2 1 2
离散信道及其信道容量
2、互信息量
定义
信宿消息yj的自信息量I(yj)减去信道关于发出消息 xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj 所含信源消息xi的互信息量，用I(xi; yj)表示。
离散信道及其信道容量
信道对于信息率的容纳并不是无限制 的，它不仅与物理信道本身的特性有关 ，还与信道输入信号的统计特性有关， 它有一个极限值，即信道容量，信道容 量是有关信道的一个很重要的物理量。
离散信道及其信道容量
一般信道的定义及模型
信道是传输信息的媒质或通道。
影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间 的依赖关系。 信道的一般数学模型：
P( y1 / x1 ) P( y 2 / x1 ) P( y / x ) P( y / x ) 1 2 2 2 P( Y / X) P( y1 / x n ) P( y 2 / 2 … xn
P(y1/x1) P(y2/x2) … P(ym/xn)
离散信道及其信道容量
信道容量：信息率能大到什么程度
(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最 大通过能力； (2)使得给定信道的达到最大值（即信道容量）的输入分布，称为 最佳输入（概率）分布 (3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信 道容量是信道的固有参数，只与信道转移概率有关。
X
P（Y/X） 一般信道的数学模型
Y
离散信道及其信道容量
第四章 信道及信道容量
1 8 P ( XY ) 0
1 8 1 4
0 2 4
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续17）
由联合概率分布和Y的概率分布可得后验概率为
p( xi | y j ) p( xi y j ) p( y j )
1 p X |Y (0 | 0) 1, p X |Y (0 | ?) , p X |Y (0 |1) 0 3 2 p X |Y (1| 0) 0, p X |Y (1| ?) , p X |Y (1|1) 1 3
0
p P p p p
p
p p
p
0
p(1 | 0) p p(1 |1) p
1
1
信道转移概率图
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续5）
例2：二元删除信道 输入符号集A={0,1}，符号输出集B={0,?,1}，r=2, s=3 信道矩阵为：
多用户信道：双向通信或三个或更多个用户之间相 互通信的情况 ，例如多元接 入信道、广播信道、网 络通信信道等。
第四章：信道及信道容量
一、信道分类
一. 信道分类（续5）
输入 X 信 道
P(Y|X)
输出 Y
干扰、噪声
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型
信源 信道 信宿
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续4）
例1：二元对称信道 （BSC：binary symmetric channel） 输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2． 传递概率：
信道及信道容量PPT课件
求： 1. 联合概率: p(xi yj)= p(xi)p(yj| xi)= p(yj)p(xi | yj) i=1,2,…,r；j=1,2,…,s
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续7）
r
r
2. 输出符号概率: p(yj) p(xiyj) p(xi)p(yj|xi)
一、信道分类
一. 信道分类（续2）
按输入/输出之间的记忆性来划分： ✓ 无记忆信道：信道在某时刻的输出只与信道该时刻 的输入有关而与信道其他时刻的输入、输出无关。 有记忆信道：信道在某时刻的输出与其他时刻的输 入、输出有关。
根据信道的输入/输出是否是确定关系可分为: ✓ 有噪声信道 无噪声信道
第四章：信道及信道容量
信道特性可以用转移概率矩阵来表示：
P=[p(yj|xi)]r×s
• 信道的数学模型为{X, P(Y|X),Y}
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续4）
例1：二元对称信道 （BSC：binary symmetric channel）
输入符号集A={0,1}, 输出符号集B={0,1}，r＝s＝2．
满足： （1）0≤ p(yj|xi) ≤ 1 (i=1,2,…,r；j=1,2,…,s)
s
（2） p( y j | xi ) 1 j 1
(i=1,2,…,r)
第四章：信道及信道容量
二、离散单符号信道及其信道容量
1.离散单符号信道的数学模型（续2）
信道传递概率可以用信道矩阵来表示：
x1 Px2
i1
i1
矩阵表示：
j=1,2,…,s
无线信道的信道容量
第四章 无线信道的信道容量
4.3频率选择性衰落信道的容量 4.3.1 时不变信道
对于时不变信道，一般可以假设H(f )对接收端和发送端都是已知的。首先假设
频率响应H（f）是分块衰落的，因此整个频带可以分割为带宽为B的许多子信道，Pj
是在功率限制 j Pj P 的约束下分配给该信道的功率。
信道容量是经过了最佳接收分配后，所有子信道的速率之和：
第四章 无线信道的信道容量
4.2.3 接收端已知CSI
2、带中断的容量
带中断容量定义为中断率下信道能传送的最大的恒定传输速率。 带中断容量允许在某个突发时段以一定的概率译错所传输的比特。发
送端确定一个最小接收信噪比 min ，再按这个信噪比确定一个速率
C B log2(1 min) ，然后在所有突发中以这个速率传输。如果接收的瞬时
C
m axPj: j Pj P
B
log2 (1
|
H j |2 Pj N0B
)
这里的容量及最佳功率分配和平衰落信道下的情形相似，只不过这里的功率和
速率分配时沿频域以确定的方式进行的，而在平衰落信道中功率和速率的分配是在
时域以概率的方式进行的，按如下的注水法功控分配：
Pj P
1
/
0
1/ j j 0 j
第四章 无线信道的信道容量
4.2.4 接收两端都已知CSI 发送机
信道
g[i]
n[i]
接收机
wˆ
译码器
w
功率 X[i]
编码器 控制
P[i]
y[i] 信道估计
香农容量
收发两端都已知CSI时的系统模型
允许瞬时的发送功率 P( )随
变化，并受限于平均功率
第四章 信道与信道容量
§4. 1 信道的数学描述与分类
义是当输出端确知所收到的信号Y以后，仍然不明晰输入端 X的情况，即存在有疑义。虽然这也是信道干扰所致，但是 由于是随X的出现而发生，因而称为损失熵。 从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是 互通的。 p( xy ) P( x y ) p( y )
1.P( y x) P( x y ) 1 P y x 1 2. P( y x) 1 but P ( x y ) 1 无干扰信道3.P( x y ) 1or 0 but P( yi1 yi 2 yin xi ) 1 P y x P( y x) P( y1 x1 ) P( y2 x2 ) P( yL xL ) 0 P y x 1 有记忆信道 无记忆信道 有干扰信道 P( y x) P( y1 x1 ) P( y2 x1 x2 ) P ( yL x1 x2 xL )
X
Y
y1 y2 y3 y4 y5
x1
合，即：
x2
…
xs
P( yi1 yi 2 yin xi ) 1
yr 1 yr
p(y/x)<1但 P(x/y)= 1 or 0 I(X;Y)=H(X)<H(Y)
C maxI ( X ; Y ) maxH ( X ) log r
p( x) p( x)
§4. 1 信道的数学描述与分类
就要与这三个数学特征发生关系。其次就得与信道的物理功能 特征发生关系。
I ( X ;Y ) F p( x), P( y x), A, B
上式表明：互信息与信道的输入、输出量有关。如果我们加 上一些数学限制条件，使它变成仅与 P( y x), A, B 有关时，它就 能变成适合于我们的物理量。下面就是这种数学处理：
第四章信道与信道容量
此时I(X,Y) ＝C
定理只给出了可使I(X,Y) ＝C的p(x)的充要条件 ，并无具 体分布及C的值，但可以帮助求解简单情况部分信道的C
第30页，此课件共68页哦
§4.3:离散无记忆信道及其信道容量-7
对称的离散无记忆信道信道容量
对称的离散无记忆信道
输出字母的集合可以划分为若干子集，对每个子集有 ：
????????????????????????????????????????????????????????????????????????????光缆波导混合介质光波卫星电离层对流层散射视距接力移动微波超短波短波中波长波空气介质中同轴长途小同轴长途对称平衡电缆市内电缆明线固体介质传输媒介类型142
q(b j
|
ak
) log
q(b j |ak ) p(bj )
是信源字母ak传送的平均互信息，C就是j这1 一信道的信道容量。
第29页，此课件共68页哦
§4.3:离散无记忆信道及其信道容量-6
离散无记忆信道的信道容量定理理解
在这种分布下，每个概率>0的字母提供的互信息＝C， 每个概率＝0的字母提供的互信息≤C
第四章信道与信道容量
第1页，此课件共68页哦
本章节达到的目的
了解信息论研究信道的目的、内容
了解信道的基本分类并掌握信道的基本描述方法
掌握信道容量/信道容量代价函数的概念，以及与互
信息、信道输入概率分布、信道转移函数的关系
能够计算简单信道的信道容量/信道容量代价函数（
对称离散信道、无记忆加性高斯噪声信道）
最常用的二进制单消息对称信道BSC：
输入
x{0,1}
0
1-Pe 1
Pe
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
N
I ( X ; Y ) NC
N N
可加噪声信道
p(y|x)=p(y-x)=p(z)
x z y=x+z
H c (Y | X ) (Y ) H c (Z )
信道容量为对于所有的输入分布求H(Y)的最大值
可加噪声信道
高斯噪声信道
2 x 2 z
i
Q p( j | i)
信道容量
定义4.2.3 离散无记忆信道的信道容量定义 为：
C max I ( X ; Y )
{Qk }
即C为改变输入分布时，使每个符号所能含有 的平均互信息量的最大值。相应的分布称为 最佳分布。
信道容量表示了信道传送信息的最大能力
定理4.2.1
I ( X ; Y ) I ( X n ; Yn )
和信道
单位时间内可随机选用信道1和信道2中的一个，选 用信道1的概率为p1，选用信道2的概率为p2， p1＋p2 ＝1 输入空间X=X1+X2， Y=Y1+Y2，
I ( X ; Y ) I ( X 1 ; Y1 ) p1 I ( X 2 ; Y2 ) p2 H ( P) C log2 [2C1 2C2 ] N Cn C log 2 n 1 pn 2 C C n
p( yn j | xn k ) p( ym j | xm k )
例：二元对称信道
p=0.1
0
p p 1 1-p 1 1-p 0
信道容量
K 1 J 1 k 0 j 0
I ( X ; Y ) Qk p( j | k ) log K 1
i 0
p( j | k )
E[ x 2 (t )dt] ST
0
T
波形信道
x1 y1=x1+z1 Z1（高斯随机变量） x (t )
波形信道
y(t)=x(t)+z(t)
x2
y2=x2+z2 z2 （高斯随机变量）
z(t)(白高斯过程)
……
可加波形信道
2S n 1 I ( X ; Y ) I ( X n ; Yn ) log(1 ) N0 n 1 n 1 2
该信道称为准对称信道
对称DMC容量的计算
定理4.2.3 实现准对称DMC信道容量的输入 分布为等概分布 J 1 p( j | k ) I ( x k ; Y ) p ( j | k ) log K 1 1 j 0 p( j | i) K i 0 YS：子 p ( j | k ) 阵中每 p ( j | k ) log K 1 1 s jYS 一列都 p( j | i) K i 0 是第一
Sn 1 1 B C log(1 2 ) log 2 2 n n n 1 2 n: n B 2
N
S
n 1
N
n
E, Sn B
2 n
注水定理的说明
积信道 当各分信道的干扰功率不等，需要对输入信号 总能量进行适当分配 比较门限B 迭代算法
4.5 波形信道
在给定输入分布下，若某个输入k与所有输出事件之 间的平均互信息量大于其它任何输入与所有输出之间 的平均互信息，则可以通过经常的采用该特定输入k 增大I(X ; Y)
对称DMC容量的计算
信道转移概率矩阵
p(1| 0) ... p( J 1| 0) p(0 | 0) p(0 |1) p (1|1) ... p ( J 1|1) P { p( j | k )} p(0 | K 1) p(1| K 1) ... p( J 1| K 1)
二元纯删除信道: C=1-q
离散无记忆模K加性噪声信道
Z=X=Y={0,1,…,K-1} y=x+z mod K
H (Y | X ) Q( x) p( y | x) log p( y | x)
x, y
Q( x) p( z ) log p( z )
x, z
H (Z ) C log K H ( Z )
0
T
x ( x1 , , x N ), y ( y1 , , y N )
可加波形信道
I T [ x(t ); y (t )] lim I ( x; y )
N
I ( x; y ) log
Q
p N ( y | x)
N
( x) p N ( y | x)dx
N N
I T [ X (t );Y (t )] lim I ( X ; Y )
2 1/ 2
(1
P
1/ 2 ) 2
一般DMC的容量计算
信道转移矩阵是非奇异方阵，假定所有Qk>0
K 1 k 0
j Qk p( j | k ) j 0,1,...,K 1
p( j | k ) log p( j | k ) p( j | k ) log
j 0 j 0 J 1 j 0 J 1 j 0 j
对称DMC容量的计算
若信道转移概率矩阵所有行矢量都是第一行 的置换，称为关于输入对称。
J 1 j 0
H (Y | X ) H (Y | x) p( j | k ) log p( j | k )
对称DMC容量的计算
P的所有列都是第一列的一种置换，关于 输出是对称的 当输入事件等概，Qk=1/K
C log 2
j
4.3 信道的组合
积信道
X1
信道1 P(j|k)
Y1
X2 信道2 P(j‘|k’)
Y2
C1＝maxI(X1;Y1) C2＝maxI(X2;Y2) 信道1和信道2同时传 递消息，输入集 X=X1×X2,输出集 Y=Y1×Y2,转移概率 p(jj’|kk’)=p(j|k)p(j’|k’) C=C1+C2
N N N N
N 2ST max I ( X ; Y ) log(1 ) 2 N0 N
N N
N 2ST CT log(1 ) 2T N0 N
Shannon公式
N=2WT
S C W log(1 ) N 0W C 1.44( S / N 0)
W趋于无穷大， 单位时间的信 道容量 Shannon极限 -1.59dB
J 1
J 1
j
C k 0,1,...,K 1 k 0,1,...,K 1
p( j | k )[C log ] p( j | k ) log p( j | k )
一般DMC的容量计算
j C log j j 2
j C
j
j
1
j
N N n 1
N
I ( X ; Y ) NC
N N
对于DMC，N长序列的信息传输问题可以归结 为单个符号的信息传输问题
定理4.2.2
Q={Q0,Q1,…,QK-1}达到信道容量的充要条件
I ( x k ; Y ) C Qk 0 I ( x k ; Y ) C Qk 0
输入信号平均功率不超过S的时间离散信 道容量定义为：
1 C sup I ( X N ;Y N ) N ,N ( S ) N
无记忆平稳条件下
C max I ( X ; Y )
(S )
平均功率受限的时间离散、恒参、 可加高斯噪声信道容量
1 S C log(1 2 ) 2
最佳输入分布是均值为0，方差为S的高斯 型分布
第四章 信道及其容量
信道及其容量
4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道
4.1信道分类
4.1信道分类
离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的，一个 是连续的 时间离散的连续信道：信道输入和输出是连续 的时间序列 波形信道：输入和输出都是时间的实函数x(t), y(t)
Shannon定理
信道带宽W，若信噪比SNR是P/s2,能传送 多少比特信息？ 可以利用Nyquist准则和信息论的基本知 识推导Shannon公式。
( p 2 )1/ 2 =接收幅度
2 1／2＝噪声幅度， 2＝噪声功率＝N0 W（N0噪声功率谱密度）
( p ) S 2 1/ 2 ( )
列置换
对每个 k相同
对每个 j相同
对称DMC容量计算
C log J p( j | k ) log p( j | k )
j 0 J 1
K元对称信道: C = logK - H(p) - plog(K-1) 二元对称信道: C = 1 - H(p) 准对称信道:C=(1-p-q)log(1-p-q)+plogp-(1-q)log((1-q)/2)
平均功率受限时间离散恒参可加 噪声信道容量
1 S 1 S log(1 2 ) C log[ 2 ] 2 2 2 2 2 2 2 x y x
2
给定信号功率，高斯信道是最差的信道，在 它的作用下信道容量最小
平行可加高斯噪声信道(注水定理)
x=(x1,…,xN), y=(y1,…,yN)
4.1 信道分类
两端信道 多端信道 恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道