北工大信息论第四章 信道及信道容量
合集下载
信道容量
信道容量研究通信的科研人员总是逃不过信道容量的计算。
而且会经常使用到C=B\mathrm{Log(1+SNR)}这个公式。
所以这个信道容量到底是什么意思呢，到底是怎么来的？所以信道容量的定义是什么，怎么推导、计算，实际意义又是什么？信道容量有两种:香农容量(遍历容量)和中断容量。
香农容量信道容量是在不考虑编解码延时和复杂度的情况下，误码率趋近于零的最高传输速率。
通道容量是一个上限。
如果要以高于这个的速率传输，就要付出误码率的代价。
香农是这样描述信道容量的:存在一个输入分布，可以最大化传输信息时的互信息。
这个最大互信息就是信道容量。
至于香农为什么可以这样定义，已经严格证明了，这是信息论的内容，后面再说。
互信息那么什么是互信息(这里默认理解为信息熵)？首先互信息是描述一个信息传递过程的一个量，用来刻画这个传输过程传输了多少有价值的信息。
比如说，你暗恋一个姑娘，你想去告白但是你很忐忑，成功了就很棒，失败了可能连朋友都做不成，所以H(X)就表示这种不确定性。
有一天你终于鼓起勇气给他发告白了，正常情况下对方会回复你，可能是“你是个好人”或者“那我们明天一起去看电影吧”或者给你一个尼克杨表情包，所以互信息就是用来刻画这条携带了多少信息量。
显然“好人”和“电影”这两个信息终究是给了你一个答案，解除了你心中的不确定性，携带的信息量就是你心中本来的不确定性。
但是如果他把你当备胎，回复你一个表情包，当然表情包也是可以看出来一点点她对你的态度，所以你心中的不确定性可能减小了一点，你能感受到对方的态度是有机会的还是没有机会的，所以这个表情包的携带的信息量可能就很小，因为虽然知道了一点对方的态度，但是你还是搞不清楚对方怎么想的。
X,Y分别表示两个随机变量，因为信源发送什么信息是一个随机事件，信息熵H(X)量化了信源的平均不确定性，而接收的信息经过信道的污染，也是随机的，所以H(Y)也量化了接收信息的平均不确定性。
虽然X,Y是两个变量，但是接收到的Y 肯定和X有点关系，并不是完全独立的，那么我们就可以根据Y猜X，能缩小一些X范围，能减小一些不确定性（互信息），这个互信息用I(X,Y)表示。
信息理论与编码第4章分析
信道的输入序列为 X=(X1 , X2 , … , XN )，其取值为 x = ( x1 , x2 , … , xN ) ，其中 xi A ；
相应的输出序列为 Y=(Y1 , Y2 , … , YN )，其取值为 y = ( y1 , y2 , … , yN ) ，其中 yi B 。
信道的特性可用转移概率
p( y|x )＝ p( Y= bj |X = ai )＝ p( bj | ai ) i = 1,2 , … , r， j = 1,2 , … , s
且满足
p( bj | ai ) 0
s
p(bj | ai ) 1
j 1
2.转移概率矩阵.
信道的输入-输出特性用r×s个条件概率p(bj | ai)来描 述。用r×s个条件概率p(bj |ai)组成的矩阵称为信道的转移 概率矩阵P ，也称为信道矩阵P。
p(b1 | a1 )
P
p(b1 | a2
)
p(b2 | a1 ) p(b2 | a2 )
p(bs | a1 ) p(bs | a2 )
其中
s
p(bj | ai ) 1
p(b1
|
ar
)
p(b2 | ar )
p(bs | ar )
j 1
p11 p12 p1s
令 p(bj |ai)＝ pij ，则
P
p21
p22
p2
s
pr1
pr 2
prs
如果信道的转移概率矩阵每一行只有一个“1” , 其余 元素为“0” , 则该信道无扰离散信道。
反之 , 转移概率矩阵一行中有一个以上的元素不为 “0” , 则该信道有扰离散信道。
3.离散信道中的概率关系
相应的输出序列为 Y=(Y1 , Y2 , … , YN )，其取值为 y = ( y1 , y2 , … , yN ) ，其中 yi B 。
信道的特性可用转移概率
p( y|x )＝ p( Y= bj |X = ai )＝ p( bj | ai ) i = 1,2 , … , r， j = 1,2 , … , s
且满足
p( bj | ai ) 0
s
p(bj | ai ) 1
j 1
2.转移概率矩阵.
信道的输入-输出特性用r×s个条件概率p(bj | ai)来描 述。用r×s个条件概率p(bj |ai)组成的矩阵称为信道的转移 概率矩阵P ，也称为信道矩阵P。
p(b1 | a1 )
P
p(b1 | a2
)
p(b2 | a1 ) p(b2 | a2 )
p(bs | a1 ) p(bs | a2 )
其中
s
p(bj | ai ) 1
p(b1
|
ar
)
p(b2 | ar )
p(bs | ar )
j 1
p11 p12 p1s
令 p(bj |ai)＝ pij ，则
P
p21
p22
p2
s
pr1
pr 2
prs
如果信道的转移概率矩阵每一行只有一个“1” , 其余 元素为“0” , 则该信道无扰离散信道。
反之 , 转移概率矩阵一行中有一个以上的元素不为 “0” , 则该信道有扰离散信道。
3.离散信道中的概率关系
2012.信息论.第4章离散信道及其容量
传递概率为
N N
1 b1b1 ...b1 2 b1b1 ...b2 ... h bh bh ...bh 1 2 N ... b b ...b s s s sN
N
p( y | x ) p( h | k ) p(bh1 bh2 ...bhN | ak1 ak2 ...ak N ) p(bhi | aki )
X 1 X 2 X N
并联信道
Y1Y2 YN
28
2、级联信道：两个或两个以上信道串联传送信息 X Y Z 信道1 信道2
级联信道是最常见的信道组合形式
29
二、级联信道：信道Ⅰ，信道Ⅱ满足:
4、平均互信息量
定义：原始信源熵与信道疑义度之差
I ( X ;Y ) H ( X ) H ( X Y ) ① H(X)是先验的不确定性；
② H(X | Y)是尚存在的不确定性； ③ I(X ; Y)是消除的不确定性； ④ I(X ; Y)是信源分布p(x)和信道传递概率p(y|x)的函数
p( y | x ) I ( X ;Y ) p( y | x ) p( x ) log XY p( y | x ) p( x )
I[p(y|x)]≤αI[p1(y|x)]+ (1-α)I[p2(y|x)] 意义：对于给定的信源，存在一个信道，当这个信源 通过时，获得最小的平均互信息。
22
I(X;Y) H(w) 当p=1/2时,I(X;Y)=0, 信道输出端获得的信 息量最小。
0
0.5
1.0
23
p
§4.3、离散无记忆扩展信道 1、离散N次无记忆扩展信道定义： 假设离散信道为［X, p(y|x), Y］, 输入符号集合：A={a1,a2,……,ar} Ｘ 输出符号集合：B={b1,b2, ……,bs} X取值集合为Ａ，Ｙ取值集合为Ｂ。 将输入，输出Ｎ次扩展得
北工大信息论第四章 信道及信道容量
数学模型：{X , p( yn | xn ),Y}
如果有 p(yn j | xn i) p(ym j | xm i) ，则信道为平稳
的离散无记忆信道DMC。
二.单符号离散无记忆信道
1.定义:
输入符号X，x取值于A {a1, a2 ,, ar } 输出符号Y，y取值于B {b1, b2 ,, bs} {X , p(bj | ai ),Y}
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4: 求二元无记忆对称信道的二次扩展信
道。
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
当ω=1/2 时，I (X ห้องสมุดไป่ตู้Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定, 即 ω是一个常数时,可 得到I(X;Y)是信道传递概率p的下凸 函数。
当p=0.5时, I(X;Y)=0, 在接收端未 获得信息量。
信息论第4章离散信道及其容量
①
有线信道
② 无线信道
6、根据信道是否有噪声进行划分：
① 无噪信道 ① 无损信道
② 有噪信道 ② 有损信道
7、根据信道发送信息是否有丢失进行划分：
无噪信道既是无损信道又是确定信道。也就是说
当一个信道既满足无损信道的条件，又满足确定信道
的条件时，它才是无噪信道。
无用信道：从输入不能得到有关输出的任何信息
信道特性可用如下转移概率来描述
py | x p y1 y2 y N | x1 x2 x N
信道的数学模型可表示为
(4.1)
X, py | x, Y
6
定义 4.2.1 序列有
若离散信道对任意 N 长的输入、输出
py | x p y n | xn
n 1
信道传递概率实际上是一个传递概率矩阵，称为信道矩 阵 P。
P pb j | ai ,
或
i 1,2,, r; j 1,2,, s
p12 p 22 p1s p2s p rs
12
p11 p P 21 p r1
pr 2
其中，p 表示单个符号无错误传输的概率，而 p 表示单 个符号传输中发生错误的概率。 二元对称信道简记为BSC。BSC的信道矩阵为
p P p
p p
13
2、二元删除信道
对于二元删除信道， r 2, s 3 。输入集 X 取值 于 A 0, 1 ，输出集取值于 B 0, 2, 1 。 信道矩阵为
j
5
信道输入序列为 其取值为 其中 相应的输出序列为 其取值为 其中
X X 1 , X 2 ,, X N x x1 , x2 ,, x N xn A, 1 n N
现代数字通信-第4章-信道容量与信道编码
n
2009-09-24
k =1
8
离散无记忆信道
离散输入、连续输出信道
X = x0 , x1 ,… , xq −1 , Y = { −∞ , ∞}
{
}
条件概率密度： p ( y X = xk ) , k = 0,1,… , q − 1 例AWGN信道： Y = X + G
where X = xk , , k = 0,1,… , q − 1
可能的输出序列总数： 2nH (Y ) 最高信息传输速率：
2009-09-24
2 ( ) R = log 2 nH ( ε ) n 2 b = H (Y ) − H b ( ε )
nH Y
13
噪声信道编码定理
二进制对称信道的信道容量
C = H (Y ) − H b ( ε )
P ( X = 1) = P ( X = 0 ) = 1 2
编码器输出
调 制 器
发 转 换 器
媒 质
调制信道
编码信道
收 转 换 器
解 调 器
解调器输出
2009-09-24
4
波形信道
传输已调信号，关心的是信号的失真情况及噪声对信 号的影响。已调信号的瞬时值是连续变化的，故也称 为连续信道，甚至称为信道 具有一对(或多对)输入和输出端 绝大多数信道是线性的 有时延、损耗 输入信号为0时，信道输出端仍有一定功率输出
■
⎧ 2exp ⎡ − k 2 ( Eb N 0 − 2 ln 2 ) ⎤ , 0 ≤ ln M ≤ E s 4 N 0 ⎣ ⎦ ⎪ PM < ⎨ ⎡ ⎤ ⎪ 2exp ⎣ − k Eb N 0 − 2 ln 2 ⎦ , E s 4 N 0 ≤ ln M ≤ E s N 0 ⎩
2009-09-24
k =1
8
离散无记忆信道
离散输入、连续输出信道
X = x0 , x1 ,… , xq −1 , Y = { −∞ , ∞}
{
}
条件概率密度： p ( y X = xk ) , k = 0,1,… , q − 1 例AWGN信道： Y = X + G
where X = xk , , k = 0,1,… , q − 1
可能的输出序列总数： 2nH (Y ) 最高信息传输速率：
2009-09-24
2 ( ) R = log 2 nH ( ε ) n 2 b = H (Y ) − H b ( ε )
nH Y
13
噪声信道编码定理
二进制对称信道的信道容量
C = H (Y ) − H b ( ε )
P ( X = 1) = P ( X = 0 ) = 1 2
编码器输出
调 制 器
发 转 换 器
媒 质
调制信道
编码信道
收 转 换 器
解 调 器
解调器输出
2009-09-24
4
波形信道
传输已调信号，关心的是信号的失真情况及噪声对信 号的影响。已调信号的瞬时值是连续变化的，故也称 为连续信道，甚至称为信道 具有一对(或多对)输入和输出端 绝大多数信道是线性的 有时延、损耗 输入信号为0时，信道输出端仍有一定功率输出
■
⎧ 2exp ⎡ − k 2 ( Eb N 0 − 2 ln 2 ) ⎤ , 0 ≤ ln M ≤ E s 4 N 0 ⎣ ⎦ ⎪ PM < ⎨ ⎡ ⎤ ⎪ 2exp ⎣ − k Eb N 0 − 2 ln 2 ⎦ , E s 4 N 0 ≤ ln M ≤ E s N 0 ⎩
信息论讲义-第四章(10讲)
信息理论基础第10讲北京航空航天大学201教研室陈杰2006-11-274.3离散无记忆扩展信道一、无记忆Ｎ次扩展信道定义：假设离散信道［X, p (y|x ), Y ］,输入符号集合:A ={a 1,a 2,……,a r }输出符号集合:B ={b 1,b 2, ……,b s } X 取值于Ａ，Ｙ取值于Ｂ．将输入，输出Ｎ次扩展得其中,Ｘi 取值于Ａ，Ｙi 取值于Ｂ，i =1,2,……Ｎ12()N X X X =X "12()N YY Y =Y "信道ＸＹp (y|x )2006-11-274.３离散无记忆扩展信道二、无记忆Ｎ次扩展信道其数学模型如下：若则称为Ｎ次无记忆扩展信道。
信道NX X X ……21NY Y Y ……211212(|)N N p y y y x x x ……12121(|)(|)(|)NN N i i i p p y y y x x x p y x ===∏y x ""[,(|),]N N N N X p y x Y2006-11-27三、离散无记忆信道数学模型信道输入序列取值信道输出序列取值信道转移概率信道X YNX X X X (21)Y Y Y Y ……=2112,N x x x x =……A x i ∈12,N y y y y =……B y i ∈1(|)(|)Ni i i p y x p y x ==∏{,(|),}i ip y x X Y 离散无记忆信道2006-11-27离散信道的数学模型可表示为定义若离散信道对任意N 长的输入、输出序列有称为离散无记忆信道，简记为DMC 。
数学模型为{,(|),}p y x X Y 1(|)(|)Ni i i p y x p y x ==∏{,(|),}i i p y x X Y2006-11-27(1) 对于DMC 信道，每个输出符号仅与当时的输入符号有关，与前后输入符号无关。
(2) 对任意n 和m ，，，若离散无记忆信道还满足则称此信道为平稳信道的或恒参信道。
第4章：连续信号与连续信道容量
(b / s)
式中 S － 信号平均功率 （W）；
N － 噪声功率（W）；
B － 带宽（Hz）。
设噪声单边功率谱密度为n0，则N = n0B；
故上式可以改写成：
Ct
B log 2 1
S n0 B
(b / s)
由上式可见，连续信道的容量Ct和信道带宽B、信号功 率S及噪声功率谱密度n0三个因素有关。
2 2 )dx
p( x)(log2
e)
( xm)2 2 2
dx
因为： p( x)dx 1, ( x m)2 p( x)dx 2
所以：Hc ( X ) 2
log 2
e
1 2
log 2
2e
2
说明
高斯连续信源的熵与数学期望 m 无关，只与方差σ2 有
N
dx1
(bi ai )
dxN
N
log2 (bi i 1
ai )
i 1
i 1
N
log2 (bi ai ) Hc ( X1 ) Hc ( X 2 ) Hc ( X N ) i 1
(2) 高斯分布的连续信源的熵
一维随机变量 X 的取值范围是整个实数轴 R，概率密
高斯加性信道 非高斯加性信道
加性信道 [X,p] 入
x∈R1
x
加加加加
N
p( y / x) p(n)
出
[Y,q]
y∈R1
Y
y=x+n(迭加性）
Y=x+n
加性信道的重要性质：信道的传递概率密度函数就等于噪声的概率密度函数
信道及信道容量
信道是信号传输的通道，对通信系统性能有重要影响。信道容量是衡量信道传输信息能力的重要指标，可通过Shannon信道容量公式进行计算。该公式考虑了信道中的噪声和信号传输特性，为信道设计和优化提供了理论依据。在了解信道容量计算方法前，需先掌握信道的基本概念，包括狭义信道和广义信道，及调制信道和编码信道的区别。此外，还需熟悉信道数学模型，包括调制信道模型和编码信道模型，这些模型反映了信道输出和输入之间的关系，是计算信道容量的基础。具体计算时，需根据信道类型和特性选择合适的模型，并结合实际情况进行参数设置和调整。通过科学合理地计算信道容量，可有效评估信道性能，指导通信系统的设计和改进，提高信息传输的效率和可靠性。
第四章：信道与信道容量PPT课件
信道的作用
在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
-
12
§5.1:概述－4
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量
可靠性：通过信道编码降低误码率
在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即 极限传输能力，并分析其特性。
•香农第一定理的物理意义
-
23
§4.3:离散无记忆信道及其信道容量-1
离散消息序列信道
一般无记忆 无记忆信道
平稳无记忆 离散消息序列信道
有记忆信道 : 平稳，有限状态 有记忆信道
-
24
§4.3:离散无记忆信道及其信道容量-2
离散无记忆信道及其信道容量
P(
y
x
K
)无 记 忆
k1
P( yk
xk )
通信技术研究－－信号在信道中传输的过 程所遵循的物理规律，即传输特性
信息论研究－－信息的传输问题（假定传
输特性已知）
-
13
§4.2:信道的分类与描述
信道分类 信道描述
-
14
§4.2:信道分类与描述－1
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
-
30
§4.3:离散无记忆信道及其信道容量-8
对称信道
1
1
31
6
3
1 16 6
1 6
1 3
1 3
1 1 1 1
P1
3 1
6
3 1
6
在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。
-
12
§5.1:概述－4
研究信道的目的
实现信息传输的有效性和可靠性
有效性：充分利用信道容量
可靠性：通过信道编码降低误码率
在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即 极限传输能力，并分析其特性。
•香农第一定理的物理意义
-
23
§4.3:离散无记忆信道及其信道容量-1
离散消息序列信道
一般无记忆 无记忆信道
平稳无记忆 离散消息序列信道
有记忆信道 : 平稳，有限状态 有记忆信道
-
24
§4.3:离散无记忆信道及其信道容量-2
离散无记忆信道及其信道容量
P(
y
x
K
)无 记 忆
k1
P( yk
xk )
通信技术研究－－信号在信道中传输的过 程所遵循的物理规律，即传输特性
信息论研究－－信息的传输问题（假定传
输特性已知）
-
13
§4.2:信道的分类与描述
信道分类 信道描述
-
14
§4.2:信道分类与描述－1
信道分类
从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；
-
30
§4.3:离散无记忆信道及其信道容量-8
对称信道
1
1
31
6
3
1 16 6
1 6
1 3
1 3
1 1 1 1
P1
3 1
6
3 1
6
第4章 离散信道的平均互信息与信道容量
②非负性
I ( X; Y ) 0
H(Y / X) H(Y)
I ( X; Y ) H ( Y ) H ( Y / X ) 0
③极值性
I ( X; Y ) H ( X )
H(X / Y) 0 I ( X; Y ) H ( X ) H ( X / Y ) H ( X )
i 1 j1 i 1 j1 N M N M
N
M
第4章 离散信道的平均互信息与信道容量
P( x i ) log P( x i ) P( x i )P( y j / x i ) log P( x i / y j )
i 1 i 1 j1
N
N
M
H(X) H(X / Y)
H(Y/X)
H(X)
I(X;Y)
H(X/Y)
H(Y)
以信宿的熵为基础，通过扣除信道的噪声熵来 度量信道每传输一条消息所含的平均信息 以信源的熵为基础，通过扣除信道的损失熵来 度量信道每传输一条消息所含的平均信息
第4章 离散信道的平均互信息与信道容量
I(X; Y) P( x i y j ) log
I(X; Y ) H (Y ) H (Y / X ) 0.505(bit )
第4章 离散信道的平均互信息与信道容量
4、平均互信息的意义 信宿每收到一条消息所含信源一条消息的平均信息
I ( X; Y ) H ( Y ) H ( Y / X )
条件熵H(Y/X)——信道所含平均信息——噪声熵
p 1时，I(X; Y ) H (q ) H (q ) 0
I(X;Y)
1-H(q)
0
0.5
1 p
第4章 离散信道的平均互信息与信道容量
信息论第四章_2
1 p1 p ( x1 ) + p2 p ( x2 ) + + pn −1 p ( xn −1 ) + pn p ( xn ) = m 1 p2 p ( x1 ) + p3 p ( x2 ) + + pn p ( xn ) + p1 p ( xn ) = m 如n > m，则p1 = q1 , p2 = q2 , , pm = qm ,
β 2 == β m − H mi = 解出β1 == ∑ q j log 2 q j
j =1
m
University of Electronic Science and Technology of China
Page 15
(2)求出C = log 2 (∑ 2 )
βj
j =1
− H mi 2 ) log 2 (m2 ) log 2 m − H mi C log 2 (∑ = = = m
University of Electronic Science and Technology of China
Page 4
p p 记 −= H ni p log 2 p + (n − 1) = i 1, 2, , n log 2 n −1 n −1
p p p β1 + β2 + + βn = − H n1 n −1 n −1 p p −H n2 β1 + pβ 2 + + βn = n −1 n −1 p 解出β1 ==== β 2 β n − H ni = p log 2 p + p log 2
= p( x ) p( y / x ) j ∑
i =1 i j i
信息论第4章 离散信道及其容量
4.3.2定理
4.4 信道的组合
级连信道（串联信道）的模型
定理4.4.1
定理4.4.2
例4.4.1
例4.4.2
4.5 信道容量
4.5.1 信道容量的定义
几点说明：：
率。 一般 仍称Ct为信道容量，增加一个下标以示区别
4.5.2离散无噪信道
无损信道
确定信道
无损确定信道
4.5.3 离散对称信道
均匀信道/强对称信道
4.5.4 一般离散信道
4.5.5离散无记忆信道的N次扩 展
4.5.6独立并联信道
4.5.7信源与信道匹配
离散无记忆信道
离散无记忆平稳信道
无噪信道
有扰信道
离散无记忆信道（DMC）的输入和输出 都是取值于离散集合的随机变量序列， 并且信道当前的输出只与信道当前的输 入有关。对于DMC，由于各个时刻的传 送之间统计独立，只要把一对相应时刻 的输入和输出统计关系描述清楚就可以 了，因此可以采用简单的单符号离散信 道数学模型。
第4章 离散信道及其容量
4.1信道的数学模型及其分类
分类1
时间离散、幅值离散信道
简称离散信道或数字信道 时间离散信道
时间离散、幅值连续信道
信道
简称连续信道
时间连续、幅值离散信道
时间连续信道 时间连续、幅值连续信道
简称波形信道或模拟信道
分类2
分类3
分类4
分类5
特殊信道
4.2离散无记忆信道
4.2.2单符号离散信道
4.2.3 信道疑义度
4.2.4平均互信息
4.2.5 各种熵,信道疑义度及平均互 信息量的关系
例4.2.5
(参见课本P70)
p.p
ch4信道信道容量及信道编码定理
❖ 定理：达到准对称DMC信道容量的输入概率 分布为等概分布。
❖ 例：K元对称信道
1 p p p
K 1
K 1
p P K 1
1 p
p K 1
p K 1
p K 1
1 p
❖ 例：除删信道
X 1 pq
Y
Hale Waihona Puke 0q0p
E
pq
1
1 p q
2
❖ 模K加性噪声信道
X
+
Z
mod K Y
s0 s1 s2 sK 1
I (X
k;Y )
J 1
p(
j
|
k) log
p(
K 1
j
|
k)
j0
Qi p( j | i)
i0
转移概率矩阵可逆的信道容量
K 1
j Qk p( j | k) k 0
j 0,1,, K 1
K 1
K 1
p( j | k)(C log j ) p( j | k) log p( j | k)
sK
1
s0
s1
sK
2
sK2
sK 1
s0
sK 3
s1 s2 s3 s0
一般离散无记忆信道信道容量
❖ 定理：输入概率矢量 (Q0 , Q1,,QK1) 达到转移 概率为 {p( j | k)} 的离散无记忆信道（DMC）容 量C的充要条件为
❖ 其中
I (X k;Y ) C k,Qk 0 I (X k;Y ) C k,Qk 0
y1
y2
x1 p( y1 x1) p( y2 x1)
PKJ x2 p( y1 x2 ) p( y2 x2 )
❖ 例：K元对称信道
1 p p p
K 1
K 1
p P K 1
1 p
p K 1
p K 1
p K 1
1 p
❖ 例：除删信道
X 1 pq
Y
Hale Waihona Puke 0q0p
E
pq
1
1 p q
2
❖ 模K加性噪声信道
X
+
Z
mod K Y
s0 s1 s2 sK 1
I (X
k;Y )
J 1
p(
j
|
k) log
p(
K 1
j
|
k)
j0
Qi p( j | i)
i0
转移概率矩阵可逆的信道容量
K 1
j Qk p( j | k) k 0
j 0,1,, K 1
K 1
K 1
p( j | k)(C log j ) p( j | k) log p( j | k)
sK
1
s0
s1
sK
2
sK2
sK 1
s0
sK 3
s1 s2 s3 s0
一般离散无记忆信道信道容量
❖ 定理：输入概率矢量 (Q0 , Q1,,QK1) 达到转移 概率为 {p( j | k)} 的离散无记忆信道（DMC）容 量C的充要条件为
❖ 其中
I (X k;Y ) C k,Qk 0 I (X k;Y ) C k,Qk 0
y1
y2
x1 p( y1 x1) p( y2 x1)
PKJ x2 p( y1 x2 ) p( y2 x2 )
4-第四讲信道容量及其计算
I (X ;Y )
X ,Y
p(k h )log
p(h |k ) p(h )
E[log
p(h |k )] p(h )
因为信道是无记忆的：
I ( X ;Y ) E[log p(bh1 | ak1 ) p(bh2 | ak21 ) p(bhN | akN )]
p(h )
另一方面
1
1
3 6 2
1/3 1/3 1/6 1/6
1/6 1/6
1/3
1/3
行
列
1/2
1/3 1/6
1/6 1/2
1/3
1/3 1/6
1/2
行
列
而以下两个矩阵不是对称的，而是准对称的。
（行对称而不是列对称）
1/3
1/3
1 1 1 1
P
3
3
6
6
,
1 1 1 1
6 3 6 3
Y1 {bj} Y2 {bj '}
定理：独立并行信道的容量为各分信道容量之和。
C C1 C2
和信道：随机选取信道1或信道2传送，（并信道）。
P(channel 1) P(channel 2) 1
定理：和信道的容量满足下式
2C 2C1 2C2
级联信道：信道1的输出作为信道2的输入。
I ( X ;Y ) px (0)I (x 0; y) p1(1)I (x 1; y)
1 2
P(y
y
|
x
0) log
P(y | x P( y)
0)
1 2
y
第四章-信道(2-1)quan
(1 ) 2 2 2 (1 )
2 (1 ) (1 ) 2 2
串联信道的等效信道仍为对称信道，但交叉传输概率变成了2ε(1-ε)，等效信 道的信道容量为
C H (Y ) max H (Y | x i ) log L
P
j1
L
1/ 6 1/ 6
0.7 0.1 0.2 P2 0.2 0.1 0.7
可以分解成
0.7 0.2 0.1 0.2 0.7, 0.1
当输入等概率时达到信道容量 C=logn－H(p1,p2,…,ps)－ ∑NrlogMr
r=1 S
其中n为输入符号集个数；
pY(y)=N(0,P) pn(n)=N(0, σ2) y=x+n 所以：pX(x)= N(0,S) 即当信道输入是均值为0，方差为S的高斯分布随
机变量时，信息传输速率达到最大值。
（一）连续单消息信道及其容量 （续）
2> 一般迭加性干扰信道 雷电、工业干扰、其它脉冲干扰属迭加性干扰，它们是非高斯型 分布。有以下定理： 定理：对迭加性连续信道，受到平均功率（方差）为σ 2的非高斯 干扰影响时，当信道输出平均功率P一定时，信道容量上下界为：
第四章 信道(2)
3、 准对称DMC信道
若P(yj/xi)不满足对称条件，但是P 可以分解为s个子 阵， P (P1 Pr Ps ) 其中r=1,2„„s。 且所有子阵Pr满足对称性条件，则称P为准对称信道。 例：
1 1 2 2 1 1 1 2 2 1 P P1 P2 1 - 1 2 1 2 1 - 1 2 1 2
X x1 x2 xM
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
源所提供的信息。如果一旦丢失信息，以后系统不管如何处 理，如果不涉及到该信道过程的输入端，都不能恢复已丢失
的信息——信息不增性原理。
当信道不断级联时，信道的最终传输信息量趋于0
串联信道的总信道矩阵
N
P
P1P2
PN
i1
Pi
例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信
道矩阵。
X
a1
1/2
p(aibj ) log p(ai | bj )
表示：由于信道的干扰，导致信道输出端收到Y
后，对输入X仍然存在的平均不确定度。
也可表示：由于信道干扰导致信息量的损失。
2.平均互信息 I(X;Y)=H(X)-H(X|Y)
X H(X)
Y
信道
I(X;Y)
H(X|Y)
表示：接收端收到Y后获得的关于X的信息量(即
p(y|x) 信道
干扰
输出信号y
Y (Y1Y2 YN ) 其取值y ( y1 y2 yN ) yi B (b1, b2 , , bs )
p( y | x) p( y1y2 yN | x1x2 xN )
p(y|x)：
反映信道的统计特性，即输入输出的依赖关系，又称信 道的传递概率、转移概率或传输概率。
时，可得到I(X;Y)是信源输出分 布ω的上凸函数。
当ω=1/2 时，I (X ;Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定，即 ω是一个常数时, 可得到I(X;Y)是信道传递概率p的下 凸函数。
当p=0.5时，I(X;Y)=0，在接收端 未获得信息量。
例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如
二元对称信道(BSC)(二进制对称信道)
a1 0
X
a2 1
p 1 p 1 q
q
0 b1
Y ? b2
1 b3
其中：p、q表示正确传输的概率
0 ? 1
P
0 1
p
1 p
0
0 1 q q
二元删除信道 (二进制删除信道)
三.信道疑义度和平均互信息
1.信道疑义度(损失熵) X 信道 Y
H(X | Y)
a1 0
X
1 p p
p
0 b1
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
i1 j1
I ( X ;Y ) H (Y ) H (Y | X ) 0.159
四.离散无记忆信道的N次扩展信道
X
X取值为xi
xi A (a1, a2, , ar )
Y
信道
p(bj | ai )
Y取值为yi
yi B (b1, b2 , , bs )
XN
X N (1,2, ,rN ) k ak1ak2 akN , k 1,2, , r N
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( y | x) p( yi | xi ) 或 p(h | k ) p(bhi | aki )
i1
i1
N
则存在I ( X ;Y ) I ( X i ;Yi )
i 1
定理2：若信道的输入、输出分别为N长序列X和Y，且信源
C {c1,c2, ,cl}
A {a1, a2 , , ar } B {b1,b2 , ,bs }
级联信道的平均互信息存在两个定理:
定理1:级联信道中的平均互信息满足以下关系
I (XY; Z ) I (Y; Z ) I(XY; Z) I (X ; Z)
Y确定后,Z不再与X有关,只取决于信道2的转移概率矩阵,
1/ 2 1/ 2 0 P 1/ 4 1/ 2 1/ 4
输出符号的概率空间为
Y P
5
0 /12
1 1/ 2
2 1/12
则有：
3
H (Y ) p( y j ) log p( y j ) 1.325
j 1
23
H (Y | X )
p(xi ) p( y j | xi ) log p( y j | xi ) 1.166
且 pij 1 j 1
4.信道输出与输入之间的关系
p(b1)
p(a1)
p(b2 )
PT
p(a2
)
p(bs )
p(ar
)
PT 为P的转置矩阵
例4-1：
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
其中：p表示传输中发生错误的概率
0 1
P
0 1
1
p
p
p 1 p
N次扩展信道
p(h |k )
YN
Y N (1, 2, , sN ) h bh1bh2 bhN , h 1,2, , s N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4：求二元无记忆对称信道的二次扩展信道。
则I(X;Z|Y)=0,这意味着X,Y,Z构成一个一阶马尔可夫链.
定理2:若随机变量X,Y,Z构成一个马尔可夫链,则有
I(X;Z) I(X;Y) I(X ; Z) I(Y; Z)
定理2表明：通过串联信道的传输只会丢失信息，至多
保持原来的信息量。
可得：在任何信息传输系统中，最后获得的信息至多是信
i i
p(xi )[
j j
p( y j | xi ) log
1 ]
p( y j | xi )
H (Y )
i
p(xi )(
p log
1 p
p log
1) p
H (Y ) H ( p)
应用全概率公式
p(Y 0) p(ai ) p(0 | ai ) p (1 ) p
i
p(Y 1) p(ai ) p(1 | ai ) p (1 ) p
C max I (X ;Y )bit / signal
2.信道) H (X ) H (X | Y )bit / signal
3.信道的信息传输速率：信道在单位时间内平均传输信息量
接收到的信息量)
•定理1：
对于固定信道，I(X;Y)是信源概率分布p(x) 的上凸函数。
定理2:
对于固定的信源分布，I(X;Y)是信道传递概率 P(y|x)的下凸函数。
例4-2：
X
信道 Y
（0，1）
（0，1）
考虑二元对称信道，其信源概率空间为
X
P
0
1
1
信道矩阵P
p
p
p 1 p表示信道错误传递概率
23 00
2/3 1/ 3
1/
3
2 / 3
1/ 1/
3 2
1/ 3 1/ 6
1/ 3 1/ 3
二.并联信道
——多个信道联合起来使用
X1 1 Y1
X X 2 2 Y2 Y
X N N YN
并用信道
当待发送的消息比较多时， 可用多个信道并行传送，香
农称之为平行信道
有各自的输入和输出，最 后总和。
模拟信道(analog channel)，也称波形信道 (waveform channel) 理论、实用价值很小
2.按其输入/输出之间关系的记忆性划分：
无记忆信道： 在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
有记忆信道： 在任一时刻信道的输出不仅与当前输
入有关，而且还与以前时刻输入有关
N
I ( X i ;Yi ) N I ( X i ;Yi )
i 1
则：I (X ;Y ) N I (X i ;Yi )
对于N次扩展，则有 I (X N ;Y N ) N I (X ;Y )
第三节 信道组合
一.级联信道（串联信道）
消息依次通过几个信道串行传输：
X
Y
信道1
Z
信道2
p(y|x)
p(z|xy)
是无记忆的，即： N
N
p(x) p(xi ) 或 p(k ) p(ki )
i1
N
i1
则存在：I (X ;Y ) I (X i ;Yi )
i 1
由定理1和定理2 当信源和信道都是无记忆时有：
N
I ( X ;Y ) I ( X i;Yi ) i 1
当每个序列中的分量Xi取值于同一信源符号集，且具 有同一种概率分布，则输出Y的分量Yi也取值同一符号集， 则各I（Xi；Yi）是相等的。即：
两个以上的信号.
多元接入信道
广播信道
5.按信道的统计特性分：
•恒参信道 •变参信道
第二节 离散无记忆信道 一.定义 DMC
1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的
输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。
2.数学模型：
离散信道对任意N长的输入、输出序列有
果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到 多少掷色子的信息量。
解：设掷色子结果是1，2，3，4为事件X=0，结果是5、6为
的信息——信息不增性原理。
当信道不断级联时，信道的最终传输信息量趋于0
串联信道的总信道矩阵
N
P
P1P2
PN
i1
Pi
例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信
道矩阵。
X
a1
1/2
p(aibj ) log p(ai | bj )
表示：由于信道的干扰，导致信道输出端收到Y
后，对输入X仍然存在的平均不确定度。
也可表示：由于信道干扰导致信息量的损失。
2.平均互信息 I(X;Y)=H(X)-H(X|Y)
X H(X)
Y
信道
I(X;Y)
H(X|Y)
表示：接收端收到Y后获得的关于X的信息量(即
p(y|x) 信道
干扰
输出信号y
Y (Y1Y2 YN ) 其取值y ( y1 y2 yN ) yi B (b1, b2 , , bs )
p( y | x) p( y1y2 yN | x1x2 xN )
p(y|x)：
反映信道的统计特性，即输入输出的依赖关系，又称信 道的传递概率、转移概率或传输概率。
时，可得到I(X;Y)是信源输出分 布ω的上凸函数。
当ω=1/2 时，I (X ;Y ) 1 H ( p)
1
即取极大值.
H ()
0 0.5 1
当信源固定，即 ω是一个常数时, 可得到I(X;Y)是信道传递概率p的下 凸函数。
当p=0.5时，I(X;Y)=0，在接收端 未获得信息量。
例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如
二元对称信道(BSC)(二进制对称信道)
a1 0
X
a2 1
p 1 p 1 q
q
0 b1
Y ? b2
1 b3
其中：p、q表示正确传输的概率
0 ? 1
P
0 1
p
1 p
0
0 1 q q
二元删除信道 (二进制删除信道)
三.信道疑义度和平均互信息
1.信道疑义度(损失熵) X 信道 Y
H(X | Y)
a1 0
X
1 p p
p
0 b1
Y
a2 1
1 p
1 b2
解：
输入扩展为：00，01，10，11
输出扩展为：00，01，10，11
传递矩阵扩展为： p2 pp pp p2
P2
pp
p2
p2
pp
pp p2 p2 pp
p
2
pp
pp
p
2
请问： I (X N ;Y N ) 与I（X；Y）之间 的关系？
i1 j1
I ( X ;Y ) H (Y ) H (Y | X ) 0.159
四.离散无记忆信道的N次扩展信道
X
X取值为xi
xi A (a1, a2, , ar )
Y
信道
p(bj | ai )
Y取值为yi
yi B (b1, b2 , , bs )
XN
X N (1,2, ,rN ) k ak1ak2 akN , k 1,2, , r N
用两个定理回答这个问题
定理1:若信道的输入、输出分别为N长序列X和Y，且信
道是无记忆的，即： N
N
p( y | x) p( yi | xi ) 或 p(h | k ) p(bhi | aki )
i1
i1
N
则存在I ( X ;Y ) I ( X i ;Yi )
i 1
定理2：若信道的输入、输出分别为N长序列X和Y，且信源
C {c1,c2, ,cl}
A {a1, a2 , , ar } B {b1,b2 , ,bs }
级联信道的平均互信息存在两个定理:
定理1:级联信道中的平均互信息满足以下关系
I (XY; Z ) I (Y; Z ) I(XY; Z) I (X ; Z)
Y确定后,Z不再与X有关,只取决于信道2的转移概率矩阵,
1/ 2 1/ 2 0 P 1/ 4 1/ 2 1/ 4
输出符号的概率空间为
Y P
5
0 /12
1 1/ 2
2 1/12
则有：
3
H (Y ) p( y j ) log p( y j ) 1.325
j 1
23
H (Y | X )
p(xi ) p( y j | xi ) log p( y j | xi ) 1.166
且 pij 1 j 1
4.信道输出与输入之间的关系
p(b1)
p(a1)
p(b2 )
PT
p(a2
)
p(bs )
p(ar
)
PT 为P的转置矩阵
例4-1：
a1 0
1 p p
0 b1
X
p
Y
a2 1
1 p
1 b2
其中：p表示传输中发生错误的概率
0 1
P
0 1
1
p
p
p 1 p
N次扩展信道
p(h |k )
YN
Y N (1, 2, , sN ) h bh1bh2 bhN , h 1,2, , s N
N
p( h | k ) p(bhi | aki ) i 1
I(X N ;Y N )
XN
YN
p(k h ) log
p(hk ) p(h ) p(k )
例4-4：求二元无记忆对称信道的二次扩展信道。
则I(X;Z|Y)=0,这意味着X,Y,Z构成一个一阶马尔可夫链.
定理2:若随机变量X,Y,Z构成一个马尔可夫链,则有
I(X;Z) I(X;Y) I(X ; Z) I(Y; Z)
定理2表明：通过串联信道的传输只会丢失信息，至多
保持原来的信息量。
可得：在任何信息传输系统中，最后获得的信息至多是信
i i
p(xi )[
j j
p( y j | xi ) log
1 ]
p( y j | xi )
H (Y )
i
p(xi )(
p log
1 p
p log
1) p
H (Y ) H ( p)
应用全概率公式
p(Y 0) p(ai ) p(0 | ai ) p (1 ) p
i
p(Y 1) p(ai ) p(1 | ai ) p (1 ) p
C max I (X ;Y )bit / signal
2.信道) H (X ) H (X | Y )bit / signal
3.信道的信息传输速率：信道在单位时间内平均传输信息量
接收到的信息量)
•定理1：
对于固定信道，I(X;Y)是信源概率分布p(x) 的上凸函数。
定理2:
对于固定的信源分布，I(X;Y)是信道传递概率 P(y|x)的下凸函数。
例4-2：
X
信道 Y
（0，1）
（0，1）
考虑二元对称信道，其信源概率空间为
X
P
0
1
1
信道矩阵P
p
p
p 1 p表示信道错误传递概率
23 00
2/3 1/ 3
1/
3
2 / 3
1/ 1/
3 2
1/ 3 1/ 6
1/ 3 1/ 3
二.并联信道
——多个信道联合起来使用
X1 1 Y1
X X 2 2 Y2 Y
X N N YN
并用信道
当待发送的消息比较多时， 可用多个信道并行传送，香
农称之为平行信道
有各自的输入和输出，最 后总和。
模拟信道(analog channel)，也称波形信道 (waveform channel) 理论、实用价值很小
2.按其输入/输出之间关系的记忆性划分：
无记忆信道： 在某一时刻信道的输出消息仅与当前
信道的输入消息有关，而与之前时刻 的信道输入无关
有记忆信道： 在任一时刻信道的输出不仅与当前输
入有关，而且还与以前时刻输入有关
N
I ( X i ;Yi ) N I ( X i ;Yi )
i 1
则：I (X ;Y ) N I (X i ;Yi )
对于N次扩展，则有 I (X N ;Y N ) N I (X ;Y )
第三节 信道组合
一.级联信道（串联信道）
消息依次通过几个信道串行传输：
X
Y
信道1
Z
信道2
p(y|x)
p(z|xy)
是无记忆的，即： N
N
p(x) p(xi ) 或 p(k ) p(ki )
i1
N
i1
则存在：I (X ;Y ) I (X i ;Yi )
i 1
由定理1和定理2 当信源和信道都是无记忆时有：
N
I ( X ;Y ) I ( X i;Yi ) i 1
当每个序列中的分量Xi取值于同一信源符号集，且具 有同一种概率分布，则输出Y的分量Yi也取值同一符号集， 则各I（Xi；Yi）是相等的。即：
两个以上的信号.
多元接入信道
广播信道
5.按信道的统计特性分：
•恒参信道 •变参信道
第二节 离散无记忆信道 一.定义 DMC
1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的
输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。
2.数学模型：
离散信道对任意N长的输入、输出序列有
果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到 多少掷色子的信息量。
解：设掷色子结果是1，2，3，4为事件X=0，结果是5、6为