第3章 信道与信道容量
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
的转移矩阵如下， 的转移矩阵如下，求信道容量
ε P1 = P2 = 1 − ε 1− ε ε
ε 1 − ε ε P = P1P2 = 1 − ε 1 − ε ε 1− ε ε (1 − ε ) 2 + ε 2 2ε (1 − ε ) = 2 2 (1 − ε ) + ε 2ε (1 − ε )
21
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
二进制对称信道容量 C＝1－H（ε）
1
1-p
0.8 0.6 0.4 0.2 0 0 0.2 0.4 0.6 0.8 1
0 p p
0
1 1-p
1
22
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
串联信道
信道 1 信道 2 … 信道 m
7
例：某个信道的信源符号出现的概率为 P(X)=(1/3,1/3,1/3), 其信道矩阵为: 其信道矩阵为:
1 / 2 1 / 4 1 / 4 [P(Y | X )] = 1 / 4 1 / 2 1 / 4 1 / 4 1 / 4 1 / 2
[ 则：P( X , Y )] = [ P( X )]1 × [P(Y | X )] = 0 1 / 2 1 / 4 1 / 4 1 / 6 1 / 12 1 / 12 1 / 3 0 0 1 / 3 0 1 / 4 1 / 2 1 / 4 = 1 / 12 1 / 6 1 / 12 0 0 1 / 3 1 / 4 1 / 4 1 / 2 1 / 12 1 / 12 1 / 6
j i j
•输出对称 若pi=1/n
1 p(b j ) = ∑ p(ai ) p(b j / ai ) = ∑ p(b j / ai ) n i i
18
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
对称信道容量
C＝max I ( X ; Y ) = max[ H ( X ) − H ( X | Y )] = max[ H (Y ) − H (Y | X )] = max H (Y ) − H (Y / X )
1 / 2 1 / 4 1 / 4 [ P (Y )] = [1 / 3 1 / 3 1 / 3]1 / 4 1 / 2 1 / 4 = [1 / 3 1 / 3 1 / 3] 1 / 4 1 / 4 1 / 2
8
3.1信道分类和表示参数 3.1信道分类和表示参数
离散输入、连续输出信道
10
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
信息传输率 信道在单位时间内平均传输的信息量定义为信 息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 R=I )=H 比特/ Rt=I(X;Y)/t 比特/ 比特/秒 信道容量 比特/符号（bits/symbol或 比特/符号（bits/symbol或 bits/channel use） use）
2
3.1信道分类和表示参数 3.1信道分类和表示参数
信道参数
设信道 输入矢量为 X = ( X 1 , X 2 , L X i , L ), X i ∈ {a1 , L , a n } 输出矢量为 Y = (Y1， Y2 , L Y j , L ), X j ∈ {b1 , L , bm } , 统计的依赖关系 条件概率 p ( Y/X ) 来描述信道输入输出信 号之间 (Y/X
• 信道种类
1无干扰信道 2 有干扰无记忆信道 3 有干扰有记忆信道
3
离散无干扰信道
这种信道的输入和输出是一一对应的，即: 这种信道的输入和输出是一一对应的，即:
1 i = j p( y j | x i ) = 0 i ≠ j
1 0 [P (Y | X ) ] = .. 0 0 .. 0 1 .. 0 .. .. .. 0 .. 1
X Y
+
G
pY ( y / ai ) =
1 2πσ
e
− ( y − ai ) 2 / 2σ 2
9
3.1信道分类和表示参数 3.1信道分类和表示参数
波形信道
x(t) y(t)
+
n(t)
pY ( y / x) = pY ( y1 , y 2 , L y L / x1 , x2 , L x L ) pY ( y / x) = p x , y ( x, y ) p x ( x) = p x , y ( x, n ) p x ( x) = p n ( n)
15
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
对称DMC信道定义 对称DMC信道定义 ♦ 输入对称 如果转移概率矩阵P 如果转移概率矩阵P的每一行都是第一行的置 换(包含同样元素)，称该矩阵是输入对称 包含同样元素) ♦ 输出对称 如果转移概率矩阵P 如果转移概率矩阵P的每一列都是第一列的置 换(包含同样元素)，称该矩阵是输出对称 包含同样元素) ♦ 对称的DMC信道 对称的DMC信 如果输入、输出都对称
第3章信道与信道容量
信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量
1
3.1信道分类和表示参数 3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道
C = log n − H (1 − ε ,
ε
n −1
,L ,
ε
n −1
)
信道输入符号和输出符号的个数相同，都为n 信道输入符号和输出符号的个数相同，都为n，且正确的传 输概率为1 ，错误概率ε被对称地均分给n 输概率为1－ε，错误概率ε被对称地均分给n-1个输出符号， 此信道称为强对称信道或均匀信道，是对称离散信道的一 个特例
16
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
对称DMC信道例子 对称DMC信道例子
1 3 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2
p ( ai ) p ( ai ) p ( ai ) p ( ai )
C = log m − H (Y | ai ) = log m + ∑ pij log pij
j =1
m
19
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 求信道容量
1 3 P= 1 6 1 3 1 6 1 6 1 3 1 6 1 3
串联信道
C(1,2)=maxI C(1,2)=maxI(X;Z)， C(1,2,3)=maxI C(1,2,3)=maxI(X;W)…
23
来自百度文库.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 设有两个离散 BSC信道串接 ， 两个 BSC信道 Eg. 设有两个离散BSC 信道串接， 两个BSC 信道
准对称DMC信道 准对称DMC信道
如果转移概率矩阵P 如果转移概率矩阵P是输入对称而输出不对称，即转移 概率矩阵P 概率矩阵P的每一行都包含同样的元素而各列的元素可 以不同，则称该信道是准对称 以不同，则称该信道是准对称DMC信道 准对称DMC信道
离散无记忆信道
x1 x2 xn
p(y1|x1)
y1 y2 ym
X=(x1,x2,....,xn),输入符号集 Y=(y1,y2,....,yn),输出符号集
p(ym|xn)
p11 p P = 21 M pn1
p12 L p22 M pn 2
p1m L p2 m M M L pnm
13
二进对称信道BSC(Binary 二进对称信道BSC(Binary Symmetric Channel)的信道容量 Channel)的信道容量 p
0 1 X 1-p 1-p p 0 1 Y
设输入符号的概率分布为p(0)=a, p(1)=1设输入符号的概率分布为p(0)=a, p(1)=1-a, 条件概率p(0|0)=p(1|1)=p, p(1|0)=p(0|1)=1条件概率p(0|0)=p(1|1)=p, p(1|0)=p(0|1)=1-p, 则有
1 1 1 1 C = log 2 4 − H ( , , , ) = 0.082bit / 符号 3 3 6 6
20
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 求信道容量
ε ε 1 − ε n − 1 L n − 1 ε ε P = n − 1 1 − ε L n − 1 M M M M ε ε L 1− ε n −1 n −1
因此有: 因此有: H(X,Y)=H(X)=H(Y), H(X|Y)=H(Y|X)=0 在这种无干扰信道中，对应于输入符号有唯 一的接收符号，接收端的平均不确定程度和 发送端的平均不确定程度相同。在这种信道 中，信息被无损地传输，故又称为“无损信 道”。
4
3.1信道分类和表示参数 3.1信道分类和表示参数
不对称的例子
17
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
• 输入对称 ∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
二进制对称信道（BSC） 二进制对称信道（BSC）
1-p 0 p p 0
p 1 − p P= p 1 − p
1
1 1-p
5
3.1信道分类和表示参数 3.1信道分类和表示参数
二进制删除信道（BEC） 二进制删除信道（BEC）
p 0 1-p ？ 1-q 1 q 1 0
6
3.1信道分类和表示参数 3.1信道分类和表示参数
p 1 − p [P( X )] = [a 1 − a] [P(Y | X )] = 1− p p (1 − p )a pa [P( X , Y )] = (1 − p )(1 − a ) p (1 − a )
14
从而可以计算出： H(Y|X)=H(Y|X)=-( p*logp + (1-p) * log(1-p) ) (1log(1max I(X;Y) = max(H(Y) – H(Y|X) ) = max(H(Y)) – H(Y|X) 但是 max(H(Y)) = 1, 它发生在p(1)=p(0)=1/2 它发生在p(1)=p(0)=1/2 下，故BSC的信道容量为： 下，故BSC的信道容量为： C = max I(X;Y)=1+ p*logp + (1-p) * log(1-p) (1log(1-
X、Y一一对应C＝maxI(X;Y)＝log n 一一对应C maxI 多个输入变成一个输出C maxI 多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y) maxH 一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X) maxI maxH
12
H(X|Y) H(X) I(X;Y) H(Y|X) H(Y)
24
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
信道容量 I(X;Y)=1-H(ε)，I(X;Z)=1-H[2ε (1-ε)] )=1)=1- [2ε (11 0.8 0.6 0.4 0.2 0 0 0.5 1 m=1 m=2 m=3
25
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
C = max I ( X ; Y )
p ( ai )
11
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
无干扰离散信道的信道容量
X 1 1 1 (a) 无噪无损信道 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 Y X 1 Y X 1 1 1 Y
ε P1 = P2 = 1 − ε 1− ε ε
ε 1 − ε ε P = P1P2 = 1 − ε 1 − ε ε 1− ε ε (1 − ε ) 2 + ε 2 2ε (1 − ε ) = 2 2 (1 − ε ) + ε 2ε (1 − ε )
21
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
二进制对称信道容量 C＝1－H（ε）
1
1-p
0.8 0.6 0.4 0.2 0 0 0.2 0.4 0.6 0.8 1
0 p p
0
1 1-p
1
22
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
串联信道
信道 1 信道 2 … 信道 m
7
例：某个信道的信源符号出现的概率为 P(X)=(1/3,1/3,1/3), 其信道矩阵为: 其信道矩阵为:
1 / 2 1 / 4 1 / 4 [P(Y | X )] = 1 / 4 1 / 2 1 / 4 1 / 4 1 / 4 1 / 2
[ 则：P( X , Y )] = [ P( X )]1 × [P(Y | X )] = 0 1 / 2 1 / 4 1 / 4 1 / 6 1 / 12 1 / 12 1 / 3 0 0 1 / 3 0 1 / 4 1 / 2 1 / 4 = 1 / 12 1 / 6 1 / 12 0 0 1 / 3 1 / 4 1 / 4 1 / 2 1 / 12 1 / 12 1 / 6
j i j
•输出对称 若pi=1/n
1 p(b j ) = ∑ p(ai ) p(b j / ai ) = ∑ p(b j / ai ) n i i
18
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
对称信道容量
C＝max I ( X ; Y ) = max[ H ( X ) − H ( X | Y )] = max[ H (Y ) − H (Y | X )] = max H (Y ) − H (Y / X )
1 / 2 1 / 4 1 / 4 [ P (Y )] = [1 / 3 1 / 3 1 / 3]1 / 4 1 / 2 1 / 4 = [1 / 3 1 / 3 1 / 3] 1 / 4 1 / 4 1 / 2
8
3.1信道分类和表示参数 3.1信道分类和表示参数
离散输入、连续输出信道
10
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
信息传输率 信道在单位时间内平均传输的信息量定义为信 息传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 R=I )=H 比特/ Rt=I(X;Y)/t 比特/ 比特/秒 信道容量 比特/符号（bits/symbol或 比特/符号（bits/symbol或 bits/channel use） use）
2
3.1信道分类和表示参数 3.1信道分类和表示参数
信道参数
设信道 输入矢量为 X = ( X 1 , X 2 , L X i , L ), X i ∈ {a1 , L , a n } 输出矢量为 Y = (Y1， Y2 , L Y j , L ), X j ∈ {b1 , L , bm } , 统计的依赖关系 条件概率 p ( Y/X ) 来描述信道输入输出信 号之间 (Y/X
• 信道种类
1无干扰信道 2 有干扰无记忆信道 3 有干扰有记忆信道
3
离散无干扰信道
这种信道的输入和输出是一一对应的，即: 这种信道的输入和输出是一一对应的，即:
1 i = j p( y j | x i ) = 0 i ≠ j
1 0 [P (Y | X ) ] = .. 0 0 .. 0 1 .. 0 .. .. .. 0 .. 1
X Y
+
G
pY ( y / ai ) =
1 2πσ
e
− ( y − ai ) 2 / 2σ 2
9
3.1信道分类和表示参数 3.1信道分类和表示参数
波形信道
x(t) y(t)
+
n(t)
pY ( y / x) = pY ( y1 , y 2 , L y L / x1 , x2 , L x L ) pY ( y / x) = p x , y ( x, y ) p x ( x) = p x , y ( x, n ) p x ( x) = p n ( n)
15
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
对称DMC信道定义 对称DMC信道定义 ♦ 输入对称 如果转移概率矩阵P 如果转移概率矩阵P的每一行都是第一行的置 换(包含同样元素)，称该矩阵是输入对称 包含同样元素) ♦ 输出对称 如果转移概率矩阵P 如果转移概率矩阵P的每一列都是第一列的置 换(包含同样元素)，称该矩阵是输出对称 包含同样元素) ♦ 对称的DMC信道 对称的DMC信 如果输入、输出都对称
第3章信道与信道容量
信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量
1
3.1信道分类和表示参数 3.1信道分类和表示参数
信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道
C = log n − H (1 − ε ,
ε
n −1
,L ,
ε
n −1
)
信道输入符号和输出符号的个数相同，都为n 信道输入符号和输出符号的个数相同，都为n，且正确的传 输概率为1 ，错误概率ε被对称地均分给n 输概率为1－ε，错误概率ε被对称地均分给n-1个输出符号， 此信道称为强对称信道或均匀信道，是对称离散信道的一 个特例
16
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
对称DMC信道例子 对称DMC信道例子
1 3 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2
p ( ai ) p ( ai ) p ( ai ) p ( ai )
C = log m − H (Y | ai ) = log m + ∑ pij log pij
j =1
m
19
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 求信道容量
1 3 P= 1 6 1 3 1 6 1 6 1 3 1 6 1 3
串联信道
C(1,2)=maxI C(1,2)=maxI(X;Z)， C(1,2,3)=maxI C(1,2,3)=maxI(X;W)…
23
来自百度文库.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 设有两个离散 BSC信道串接 ， 两个 BSC信道 Eg. 设有两个离散BSC 信道串接， 两个BSC 信道
准对称DMC信道 准对称DMC信道
如果转移概率矩阵P 如果转移概率矩阵P是输入对称而输出不对称，即转移 概率矩阵P 概率矩阵P的每一行都包含同样的元素而各列的元素可 以不同，则称该信道是准对称 以不同，则称该信道是准对称DMC信道 准对称DMC信道
离散无记忆信道
x1 x2 xn
p(y1|x1)
y1 y2 ym
X=(x1,x2,....,xn),输入符号集 Y=(y1,y2,....,yn),输出符号集
p(ym|xn)
p11 p P = 21 M pn1
p12 L p22 M pn 2
p1m L p2 m M M L pnm
13
二进对称信道BSC(Binary 二进对称信道BSC(Binary Symmetric Channel)的信道容量 Channel)的信道容量 p
0 1 X 1-p 1-p p 0 1 Y
设输入符号的概率分布为p(0)=a, p(1)=1设输入符号的概率分布为p(0)=a, p(1)=1-a, 条件概率p(0|0)=p(1|1)=p, p(1|0)=p(0|1)=1条件概率p(0|0)=p(1|1)=p, p(1|0)=p(0|1)=1-p, 则有
1 1 1 1 C = log 2 4 − H ( , , , ) = 0.082bit / 符号 3 3 6 6
20
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
Eg. 求信道容量
ε ε 1 − ε n − 1 L n − 1 ε ε P = n − 1 1 − ε L n − 1 M M M M ε ε L 1− ε n −1 n −1
因此有: 因此有: H(X,Y)=H(X)=H(Y), H(X|Y)=H(Y|X)=0 在这种无干扰信道中，对应于输入符号有唯 一的接收符号，接收端的平均不确定程度和 发送端的平均不确定程度相同。在这种信道 中，信息被无损地传输，故又称为“无损信 道”。
4
3.1信道分类和表示参数 3.1信道分类和表示参数
不对称的例子
17
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
• 输入对称 ∑ p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) = −∑ p(ai )∑ p(b j / ai ) log p(b j / ai ) = −∑ p(b j / ai ) log p (b j / ai ) = H (Y / xi )
二进制对称信道（BSC） 二进制对称信道（BSC）
1-p 0 p p 0
p 1 − p P= p 1 − p
1
1 1-p
5
3.1信道分类和表示参数 3.1信道分类和表示参数
二进制删除信道（BEC） 二进制删除信道（BEC）
p 0 1-p ？ 1-q 1 q 1 0
6
3.1信道分类和表示参数 3.1信道分类和表示参数
p 1 − p [P( X )] = [a 1 − a] [P(Y | X )] = 1− p p (1 − p )a pa [P( X , Y )] = (1 − p )(1 − a ) p (1 − a )
14
从而可以计算出： H(Y|X)=H(Y|X)=-( p*logp + (1-p) * log(1-p) ) (1log(1max I(X;Y) = max(H(Y) – H(Y|X) ) = max(H(Y)) – H(Y|X) 但是 max(H(Y)) = 1, 它发生在p(1)=p(0)=1/2 它发生在p(1)=p(0)=1/2 下，故BSC的信道容量为： 下，故BSC的信道容量为： C = max I(X;Y)=1+ p*logp + (1-p) * log(1-p) (1log(1-
X、Y一一对应C＝maxI(X;Y)＝log n 一一对应C maxI 多个输入变成一个输出C maxI 多个输入变成一个输出C＝maxI(X;Y)＝maxH(Y) maxH 一个输入对应多个输出 C＝maxI(X;Y)＝maxH(X) maxI maxH
12
H(X|Y) H(X) I(X;Y) H(Y|X) H(Y)
24
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
信道容量 I(X;Y)=1-H(ε)，I(X;Z)=1-H[2ε (1-ε)] )=1)=1- [2ε (11 0.8 0.6 0.4 0.2 0 0 0.5 1 m=1 m=2 m=3
25
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
C = max I ( X ; Y )
p ( ai )
11
3.2离散单个符号信道及其容量 3.2离散单个符号信道及其容量
无干扰离散信道的信道容量
X 1 1 1 (a) 无噪无损信道 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 Y X 1 Y X 1 1 1 Y