第四章 信道及其容量
第四章 信道及其容量

信道及其容量研究内容:根据数学模型研究信道的传信能力; 信道容量的计算。
一、信道定义及其分类 1.信道定义狭义信道和广义信道 2.信道分类离散信道,数字信道;连续信道,模拟信道;输入输出为连续变量; 半连续信道;如输入离散输出连续信道; 有记忆信道; 无记忆信道; 两端信道(两用户); 多端(多用户)信道; 恒参信道和随参信道; 对称信道和非对称信道。
二、离散无记忆信道及其容量 1.离散信道输入:X={0,1,…,K-1},概率分布:{Q k }, 输入字母序列:12(,,,)N x xx x = ,n x X ∈,1n≤N≤输出:Y={0,1,…,J-1},输出字母序列:12(,,,)N y yy y = ,1n≤N≤,nyY∈转移概率:P(y/x)=P(y 1,y 2,…,y N / x 1,x 2,…,x N ) 2.离散无记忆信道DMC若离散信道对任意长为N 的输入和输出序列有:P(y/x)=1(/)Nnn n P yx =∏则称它为离散无记忆信道。
记为DMC ,{X,P(y n /x n ),Y }。
特点:任何时刻信道输出只与该时刻信道输入有关,而与以前的输入无关。
3.平稳离散无记忆信道(恒参) 特点:P(y n =j/x n =k)=P(y m =j/x m =k) 4. DMC 容量信道容量定义:C={}max k Q I(X;Y),Q k 为最佳分布。
三、几个定理1.设Q N (x)时DMC 的N 长输入字母序列的联合分布,X N 和Y N 分别表示长为N 的输入和输出序列的集合,X n 和Y n 分别表示第n 个输入和输出字母的空间,则 I(X N ; Y N)≤1(;)Nn I Xn Yn =∑2. 输入概率矢量Q={Q 0,Q 1,…,Q K } 达到转移概率为{P(j/k)}的DMC 的容量C 的充要条件是I(x=k ;Y)=C 对所有k,其Q k >0 I(x=k ;Y) ≤C 对所有k,其Q k =0其中I(x=k ;Y)是信道输入x=k 时,关于信道输出一个字母的平均互信息,即 I(x=k ;Y)=(/)(/)log(/)i jip j k p j k Q p j i ∑∑四、几个定义1.若信道转移概率矩阵P 中所有行失都是第一行的一种置换就称信道关于输入为对称的。
信息理论基础 第四章 信道及信道容量

则存在:I ( X ; Y ) I ( X i ; Yi )
i 1
N
由定理1和定理2
当信源和信道都是无记忆时有:
N
I ( X ; Y ) I ( X i ; Yi )
i 1
当每个序列中的分量Xi取值于同一信源符号集, 且具有同一种概率分布,则输出Y的分量Yi也取值同一 符号集,则各I(Xi;Yi)是相等的。即:
a1 0
1 p
p p
0 b1
X
a2 1
Y
1 p
1 b2
其中:p表示传输中发生错误的概率
0 0 1 p 1 p 1 p 1 p
P
二元对称信道(BSC)(二进制对称信道)
a1 0
p
1 p 1 q
0 b1
? b2
1 b3
2.传输概率
p( y | x) p(Y b j | X ai ) p(b j | ai )
p(y|x)——描述信道中干扰影响的大小
3.信道矩阵P
——完全反映信道的特性
p11 p12 p1s p21 p22 p2 s P pr1 pr 2 prs
2.按其输入/输出之间关系的记忆性划分
无记忆信道:在某一时刻信道的输出消息仅与当前
信道的输入消息有关,而与之前时刻 的信道输入无关
在任一时刻信道的输出不仅与当前输 有记忆信道: 入有关,而且还与以前时刻输入有关
3.按其输入/输出信号之间是否是确定关系来分
有噪信道: 存在噪声,不存在确定关系
——实用价 值大,研究的理想对象
如果有 p( yn j | xn i) p( ym j | xm i) ,则信道为平
第4章_离散信道及其容量题与答案

4.1 设有一离散无记忆信源,其概率空间为⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 它们通过一干扰信道,信道输出端的接收符号集为Y = { y1, y2 },信道转移概率如题图4.1所示。
求:(1) 信源X 中事件x 1和事件x 2分别含有的自信息; (2) 收到消息y j (j=1,2)后,获得的关于x i (i=1,2)的信息量; (3) 信源X 和信宿Y 的信息熵;(4) 信道疑义度H(X/Y)和噪声熵H(Y/X); (5) 接收到信息Y 后获得的平均互信息。
解:信道转移矩阵为:⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡414361651)bitx p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(2211=-=-==-=-=2)bity p x y p y x I bity p x y p y x I bity p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 322.02.04/3log )()/(log);( 093.08.04/1log )()/(log );( 263.02.06/1log )()/(log );( 059.08.06/5log )()/(log );(2.0414.0616.0)/()()/()()(8.0434.0656.0)/()()/()()(2222212112212211111122212122121111===-===-=======⨯+⨯=+==⨯+⨯=+=3)bity p y p Y H bitx p x p X H jj j ii i 722.0)2.0log 2.08.0log 8.0()(log )()( 971.0)4.0log 4.06.0log 6.0()(log )()(=+-=-==+-=-=∑∑4)∑∑-=iji j i j i x y p x y p x p X Y H )/(log )/()()/(5/61/4 3/4 1/6 1x2x 2y1y 题图 4.1bitY H X Y H X H Y X H Y X H Y H X Y H X H bit964.0722.0715.0971.0 )()/()()/()/()()/()( 715.0 43log 434.041log 414.061log 616.065log 656.0 =-+=-+=∴+=+=⎪⎭⎫ ⎝⎛⨯+⨯+⨯+⨯-=5)bit Y X H X H Y X I 0075.0964.0971.0)/()();(=-=-=4.2 设有扰离散信道的输入端是以等概率出现的A, B, C, D 四个字母。
信道及其容量

解:此时,X:{0,1} ; Y:{0,1} ; r=s=2,a1=b1=0;a2=b2=1。
传递概率:
a1=0
1-p
0=b1
P(b1 | a1) P(0| 0) 1 p p
p
P(b2 | a2) P(1| 1) 1 p p
P(b1 | a2) P(0| 1) p P(b2 | a1) P(1| 0) p
0
p
0
1-p
2 1-q
1
q
1
021
0 p 1 p 0 1 0 1q q
符号“2”表示接收到了“0”、“1”以外的特殊符 号
• 一般离散单符号信道的传递概率可用矩阵形式表示,即
b1
b2 … bs
a1 P(b1|a1) P(b2|a1) … P(bs|a1) a2 P(b1|a2) P(b2|a2) … P(bs|a2)
(3)交互性(对称性) 即 I(X;Y) = I(Y;X) 当 X、Y统计独立时 I(X;Y) = I(Y;X)=0 当信道无干扰时(一一对应) I(X;Y) = I(Y;X)=H(X)=H(Y)
(4)凸状性
P (y|x)
P (y|x)
I(X ;Y)I(Y ;X ) P (xy)lo
P (x)P (y|x)lo g
• 一般简单的单符号离散信道可以用[X, P(y/x) ,Y] 三者加以描 述。
• 其数学模型可以用概率空间[X, P(y/x) ,Y]描述。当然,也可 用下图来描述:
a1
a2
X
.
.
ar
P(bj/ai)
b1 b2 .Y . bs
[例1] 二元对称信道,[BSC,Binary Symmetrical Channel]
4.信道及其容量

第4章 离散信道及其容量4.1节离散无记忆信道(DMC, Discrete Memoryless Channel )什么是 “信道”?通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地,即信宿(sink )。
但什么是“信道”?Kelly 称信道是通信系统中“不愿或不能改变的部分”。
比如CDMA 通信中,设备商只能针对给定的频谱范围进行设备开发,而运营商可能出于成本的考虑,不愿意进行新的投资,仍旧采用老的设备。
通信是对随机信号的通信,因此信源必须具有可选的消息,因此不可能利用一个sin(·)信号进行通信,而是至少需要两个可供发射机进行选择。
一旦选择了信息传输所采用的信号,信道决定了从信源到信宿的过程中信号所受到的各种影响。
从数学上理解,信道指定了接收机接收到各种信号的条件概率(conditional probability),但输入信号的先念概念(prior probability )则由使用信道的接收机指定。
如果只考虑离散时间信道,则输入、输出均可用随机变量序列进行描述。
输入序列X 1,X 2,……是由发射机进行选择,信道则决定输出序列Y 1, Y 2,……的条件概率。
数学上考虑的最简单的信道是离散无记忆信道。
离散无记忆信道由三部分组成:(1) 输入字符集A ={a 1, a 2, a 3,…}。
该字符集既可以是有限,也可以是可数无限。
其中每个符号a i 代表发射机使用信道时可选择的信号。
(2) 输出字符集B={b 1, b 2, b 3,…}。
该字符集既可以是有限,也可以是可数无限。
其中每个符号bi 代表接收机使用信道时可选择的信号。
(3) 条件概率分布P Y |X (·|X ),该条件分布定义在B 上,其中X ∈A 。
它描述了信道对输入信号的影响。
离散无记忆的假设表明,信道在某一时刻的输出只与该时刻的输入有关,而与该时刻之前的输入无关。
或者:1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=,n =1,2,3….Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。
中小学课件信道及其容量.ppt

1
K 1
p( j | i)
是第一
K i0
列置换 对每个 k相同
对每个
j相同
对称DMC容量计算
• K元对称信道 • 二元对称信道C=1-H(p) • 准对称信道
离散无记忆模K加性噪声信道
• Z=X=Y={0,1,…,K-1} • y=x+z mod K
H (Y | X ) Q(x) p( y | x) log p( y | x) x, y Q(x) p(z) log p(z) x,z H(Z)
C log K H (Z )
一般DMC的容量计算
• 信道转移矩阵时非奇异 方阵,假定所有Qk>0
K 1
j Qk p( j | k) j 0,1,...,K 1 k 0
J 1
J 1
p( j | k) log p( j | k) p( j | k) log j C k 0,1,...,K 1
n
y(t) ynn (t)
n
T
xn 0 x(t)n (t)dt
T
yn 0 y(t)n (t)dt
j
4.4 时间离散的无记 忆连续信道
可加噪声信道
• P(y|x)=p(y-x)=p(z)
Hc (Y | X ) Hc (Z ) I (X ;Y ) Hc (Y ) Hc (Z )
可加噪声信道
• 高斯噪声信道
I
(X
;Y )
H
(Y
)
Hc
(X
)
1 2
log(1
2 x 2 z
)
平均功率受限的可加噪声信道
对称DMC容量的计算
• 若信道转移概率矩阵所有行矢量都是 第一行的置换,称为关于输入对称。
通信课件信道及信道容量

• 信道的基本概念 • 信道数学模型:调制、编码信道模型 • 恒参信道特性及其对信号传输的影响 • 随参信道特性及其对信号传输的影响 • 分集接收技术 • Shannon信道容量公式
1
信道的基本概念
• 信道:信号通道,必不可少 • 影响通信系统可靠性能的两个主要因素:噪声和信道传输特性的
不理想。
• 由于多径使得确定的载波信号Acosω0t变成了包络和相位都受 到调制的窄带信号,衰落信号。从时域来看,多径时延扩散; 从频域来看,频率展宽
15
随参信道对信号传输的影响(续2)
• 时变多径信道
R(t)
t 时域:瑞利衰落(快衰落)
f0 频域:频率弥散
16
随参信道对信号传输的影响例举
• 以两条路径且衰减恒定为例
3
信道数学模型
• 反映信道输出和输入之间的关系。 • 调制信道模型:传输已调信号,关心的是信号的失真
情况及噪声对信号的影响。已调信号的瞬时值是连续 变化的,故也称调制信道为连续信号,甚至称为信道 。 • 编码信道模型:输出输入都是数字信号→数字序列变 换,离散或数字信道。包含调制信道→依赖于调制信 道的性能,噪声的干扰体现在误码上,关心的是误码 率而不是信号失真情况→使用转移概率来描述。
ui (t)cos[0t i (t)] ui (t) cos i (t) cosot ui (t) sin i (t) sin ot
X c (t) cosot X s (t) cosot V (t) cos[ot (t)]
V(t) Xc2(t) Xs2(t)
(t) arctg(Xc (t) Xs (t))
2
N
(bit/s)
Shannon公式
《信道容量及其计算》课件

熵的定义
熵是衡量信息不确定度的物理量,也可以理解为信 息源的不确定程度。
信息量的定义
信息量是用来衡量某个事件的信息量大小,它与事 件发生的概率成反比。
熵与信息量的关系
熵与信息量成正比,即熵越大,则信息量越多。
信道容量的计算公式
1
离散无记忆信道
不同信源符号对应不同码字,使用香农公式进行计算。
2
连续无记忆信道
总结
1 信道容量的意义
信道容量是衡量信息传输 速率的重要指标,可以优 化传输效率和提高通信质 量。
2 信道容量的应用
信道容量应用广泛,包括 无线通信、光通信、数据 传输等领域。
3 未来的发展趋势
随着技术的发展,信道容 量会越来越高,将大幅提 高信息传输的效率和可靠 性。
信宿接收到的信号是连续的,用瑞利公式计算。
3
大信噪比近似
在大信噪比的情况下,信道容量计算公式可以近似为香农公式。
应用举例
无线通信系统中的信道容量
采用MIMO技术和Turbo编码,可以大幅度提高无线 传输的速率和可靠性。
光通信系统中的信道容量
采用波分复用技术和波分多路复用技术,可以大幅 度提高光纤的传输速率。
信道容量及其计算
本次课件将介绍信道容量的基本概念和计算公式,以及其在无线通信和光通 信等领域的应用举例。
什么是信道容量
信道的定义
信道是信息传输的媒介,以某种信号作为信息的表现形式,通过某种物质媒介进行传播。
信道容量的定义
信道容量是在满息量。
熵与信息量
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
N
I ( X ; Y ) NC
N N
可加噪声信道
p(y|x)=p(y-x)=p(z)
x z y=x+z
H c (Y | X ) (Y ) H c (Z )
信道容量为对于所有的输入分布求H(Y)的最大值
可加噪声信道
高斯噪声信道
2 x 2 z
i
Q p( j | i)
信道容量
定义4.2.3 离散无记忆信道的信道容量定义 为:
C max I ( X ; Y )
{Qk }
即C为改变输入分布时,使每个符号所能含有 的平均互信息量的最大值。相应的分布称为 最佳分布。
信道容量表示了信道传送信息的最大能力
定理4.2.1
I ( X ; Y ) I ( X n ; Yn )
和信道
单位时间内可随机选用信道1和信道2中的一个,选 用信道1的概率为p1,选用信道2的概率为p2, p1+p2 =1 输入空间X=X1+X2, Y=Y1+Y2,
I ( X ; Y ) I ( X 1 ; Y1 ) p1 I ( X 2 ; Y2 ) p2 H ( P) C log2 [2C1 2C2 ] N Cn C log 2 n 1 pn 2 C C n
p( yn j | xn k ) p( ym j | xm k )
例:二元对称信道
p=0.1
0
p p 1 1-p 1 1-p 0
信道容量
K 1 J 1 k 0 j 0
I ( X ; Y ) Qk p( j | k ) log K 1
i 0
p( j | k )
E[ x 2 (t )dt] ST
0
T
波形信道
x1 y1=x1+z1 Z1(高斯随机变量) x (t )
波形信道
y(t)=x(t)+z(t)
x2
y2=x2+z2 z2 (高斯随机变量)
z(t)(白高斯过程)
……
可加波形信道
2S n 1 I ( X ; Y ) I ( X n ; Yn ) log(1 ) N0 n 1 n 1 2
该信道称为准对称信道
对称DMC容量的计算
定理4.2.3 实现准对称DMC信道容量的输入 分布为等概分布 J 1 p( j | k ) I ( x k ; Y ) p ( j | k ) log K 1 1 j 0 p( j | i) K i 0 YS:子 p ( j | k ) 阵中每 p ( j | k ) log K 1 1 s jYS 一列都 p( j | i) K i 0 是第一
Sn 1 1 B C log(1 2 ) log 2 2 n n n 1 2 n: n B 2
N
S
n 1
N
n
E, Sn B
2 n
注水定理的说明
积信道 当各分信道的干扰功率不等,需要对输入信号 总能量进行适当分配 比较门限B 迭代算法
4.5 波形信道
在给定输入分布下,若某个输入k与所有输出事件之 间的平均互信息量大于其它任何输入与所有输出之间 的平均互信息,则可以通过经常的采用该特定输入k 增大I(X ; Y)
对称DMC容量的计算
信道转移概率矩阵
p(1| 0) ... p( J 1| 0) p(0 | 0) p(0 |1) p (1|1) ... p ( J 1|1) P { p( j | k )} p(0 | K 1) p(1| K 1) ... p( J 1| K 1)
二元纯删除信道: C=1-q
离散无记忆模K加性噪声信道
Z=X=Y={0,1,…,K-1} y=x+z mod K
H (Y | X ) Q( x) p( y | x) log p( y | x)
x, y
Q( x) p( z ) log p( z )
x, z
H (Z ) C log K H ( Z )
0
T
x ( x1 , , x N ), y ( y1 , , y N )
可加波形信道
I T [ x(t ); y (t )] lim I ( x; y )
N
I ( x; y ) log
Q
p N ( y | x)
N
( x) p N ( y | x)dx
N N
I T [ X (t );Y (t )] lim I ( X ; Y )
2 1/ 2
(1
P
1/ 2 ) 2
一般DMC的容量计算
信道转移矩阵是非奇异方阵,假定所有Qk>0
K 1 k 0
j Qk p( j | k ) j 0,1,...,K 1
p( j | k ) log p( j | k ) p( j | k ) log
j 0 j 0 J 1 j 0 J 1 j 0 j
对称DMC容量的计算
若信道转移概率矩阵所有行矢量都是第一行 的置换,称为关于输入对称。
J 1 j 0
H (Y | X ) H (Y | x) p( j | k ) log p( j | k )
对称DMC容量的计算
P的所有列都是第一列的一种置换,关于 输出是对称的 当输入事件等概,Qk=1/K
C log 2
j
4.3 信道的组合
积信道
X1
信道1 P(j|k)
Y1
X2 信道2 P(j‘|k’)
Y2
C1=maxI(X1;Y1) C2=maxI(X2;Y2) 信道1和信道2同时传 递消息,输入集 X=X1×X2,输出集 Y=Y1×Y2,转移概率 p(jj’|kk’)=p(j|k)p(j’|k’) C=C1+C2
N N N N
N 2ST max I ( X ; Y ) log(1 ) 2 N0 N
N N
N 2ST CT log(1 ) 2T N0 N
Shannon公式
N=2WT
S C W log(1 ) N 0W C 1.44( S / N 0)
W趋于无穷大, 单位时间的信 道容量 Shannon极限 -1.59dB
J 1
J 1
j
C k 0,1,...,K 1 k 0,1,...,K 1
p( j | k )[C log ] p( j | k ) log p( j | k )
一般DMC的容量计算
j C log j j 2
j C
j
j
1
j
N N n 1
N
I ( X ; Y ) NC
N N
对于DMC,N长序列的信息传输问题可以归结 为单个符号的信息传输问题
定理4.2.2
Q={Q0,Q1,…,QK-1}达到信道容量的充要条件
I ( x k ; Y ) C Qk 0 I ( x k ; Y ) C Qk 0
输入信号平均功率不超过S的时间离散信 道容量定义为:
1 C sup I ( X N ;Y N ) N ,N ( S ) N
无记忆平稳条件下
C max I ( X ; Y )
(S )
平均功率受限的时间离散、恒参、 可加高斯噪声信道容量
1 S C log(1 2 ) 2
最佳输入分布是均值为0,方差为S的高斯 型分布
第四章 信道及其容量
信道及其容量
4.1信道分类 4.2离散无记忆信道 4.3信道的组合 4.4时间离散的无记忆信道 4.5波形信道
4.1信道分类
4.1信道分类
离散信道:输入输出均为离散事件集 连续信道:输入输出空间均为连续事件集 半连续信道:输入和输出一个是离散的,一个 是连续的 时间离散的连续信道:信道输入和输出是连续 的时间序列 波形信道:输入和输出都是时间的实函数x(t), y(t)
Shannon定理
信道带宽W,若信噪比SNR是P/s2,能传送 多少比特信息? 可以利用Nyquist准则和信息论的基本知 识推导Shannon公式。
( p 2 )1/ 2 =接收幅度
2 1/2=噪声幅度, 2=噪声功率=N0 W(N0噪声功率谱密度)
( p ) S 2 1/ 2 ( )
列置换
对每个 k相同
对每个 j相同
对称DMC容量计算
C log J p( j | k ) log p( j | k )
j 0 J 1
K元对称信道: C = logK - H(p) - plog(K-1) 二元对称信道: C = 1 - H(p) 准对称信道:C=(1-p-q)log(1-p-q)+plogp-(1-q)log((1-q)/2)
平均功率受限时间离散恒参可加 噪声信道容量
1 S 1 S log(1 2 ) C log[ 2 ] 2 2 2 2 2 2 2 x y x
2
给定信号功率,高斯信道是最差的信道,在 它的作用下信道容量最小
平行可加高斯噪声信道(注水定理)
x=(x1,…,xN), y=(y1,…,yN)
4.1 信道分类
两端信道 多端信道 恒参信道:参数不随时间变化 随参信道:参数随时间变化 无记忆信道和有记忆信道 对称信道和非对称信道