第4章 信道与信道容量 (1)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
L
3.3离散序列信道及其容量
• 离散无记忆序列信道
如果信道无记忆 如果输入矢量X中的各个 分量相互独立
I ( X; Y) I ( X l ; Yl )
l 1
L
I ( X; Y) I ( X l ; Yl )
l 1
L
C L max I ( X; Y) max
PX PX L L
• 无干扰离散信道的信道容量
X 1 1 1 (a) 无噪无损信道 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 Y X 1 Y X 1 1 1 Y
3.2离散单个符号信道及其容量
X、Y一一对应
C＝maxI(X;Y)＝log n
多个输入变成一个输出
移矩阵如下，求信道容量
P1 P2 1 1
1 1 P P1P2 1 1 (1 ) 2 2 2 (1 ) 2 2 (1 ) 2 (1 )
pY ( y / x) pY ( y1 , y 2 , y L / x1 , x2 , x L ) pY ( y / x) p x , y ( x, y ) p x ( x) p x , y ( x, n ) p x ( x) p n ( n)
3.2离散单个符号信道及其容量
• 信道参数
3.1信道分类和表示参数
输入矢量为X ( X 1 , X 2 , X i ,), X i a1 ,, an 输出矢量为Y (Y1， , Y2 ,Y j ,), X j b1 ,, bm 条件概率p(Y/X)来描述信道输入输出信 号之间 统计的依赖关系
i
I ( X ;Y ) 来自百度文库
C max I ( X ;Y ) 0.036bit / 符号
3.2离散单个符号信道及其容量
• 方法二
当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号
方法三
将转移概率矩阵划分成若干个互不相交的对称的子集
C＝maxI(X;Y)＝maxH(Y)
一个输入对应多个输出
C＝maxI(X;Y)＝maxH(X)
3.2离散单个符号信道及其容量
• 对称DMC信道定义
输入对称
如果转移概率矩阵P的每一行都是第一行的置换(包含同样元 素)，称该矩阵是输入对称
输出对称
如果转移概率矩阵P的每一列都是第一列的置换(包含 同样元素)，称该矩阵是输出对称
3.2离散单个符号信道及其容量
• 信道容量 I(X;Y)=1-H()，I(X;Z)=1-H[2 (1-)]
1
0.8
0.6
m=1 m=2
0.4
m=3
0.2
0 0 0.5 1
3.2离散单个符号信道及其容量
• 准对称DMC信道
如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵 P的每一行都包含同样的元素而各列的元素可以不同，则称该信 道是准对称DMC信道
I ( X ;Y )
l l l 1
L
max I ( X ; Y ) C (l )
l 1 PX l l l 1
3.3离散序列信道及其容量
• 扩展信道
如果对离散单符号信道进行L次扩展，就形 成了L次离散无记忆序列信道
BSC的二次扩展信道 BSC的二次扩展信道
X{00,01,10,11}， Y{00,01,10,11}，二次扩展无记忆
• 信道种类
1 无干扰信道 2有干扰无记忆信道 3有干扰有记忆信道
3.1信道分类和表示参数
• 二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
3.1信道分类和表示参数
• 离散无记忆信道
a1 a2
b1 b2
an
bm
p11 p 21 P pn1
3.2离散单个符号信道及其容量
• 一般DMC信道
1972年由R.Blahut和A.Arimoto分别独立提出的一种算法， 现在称为Blahut-Arimoto算法 • I(ai;Y) = C 对于所有满足p(ai ) > 0条件的I • I(ai;Y) C 对于所有满足p(ai ) = 0条件的I 当 信道平均互信息达到信道容量时，输入符号概率集 {p(ai)}中每一个符号ai对输出端Y提供相同的互信 息，只是概率为零的符号除外
输入对称
i
p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) p (ai ) p (b j / ai ) log p (b j / ai ) p (b j / ai ) log p (b j / ai ) H (Y / xi )
对称的DMC信道
如果输入、输出都对称
3.2离散单个符号信道及其容量
• 对称DMC信道例子
1 3 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 2 1 6 1 3
1 3 1 2 1 6
1 6 1 3 1 2
3.2离散单个符号信道及其容量
1 1 1 1 C log2 4 H ( , , , ) 0.082bit / 符号 3 3 6 6
3.2离散单个符号信道及其容量
• Eg. 求信道容量
1 n 1 n 1 1 P n 1 n 1 1 n 1 n 1
3.3离散序列信道及其容量
• 离散序列信道
p(Y/X)
X
X=(X1X2…XL) Xl{a1,a2,…,an}
信道
Y
Y=(Y1Y2…YL) Yl {b1,b2,…,bm}
3.3离散序列信道及其容量
• 离散无记忆序列信道
p(Y / X) p(Y1 YL / X 1 X L ) p(Yl / X l )
3.2离散单个符号信道及其容量
• Eg. 求信道容量
P1 1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 3 1/ 6 1/ 3
C log2 2 H (1 / 3,1 / 3,1 / 6,1 / 6) (1 / 3 1 / 6) log2 (1 / 3 1 / 6) 1 / 3 log2 (1 / 3 1 / 3) 1 / 6 log2 (1 / 6 1 / 6) 0.041bit / 符号
方法一：
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输 出符号有三个，用b1、b2、b3表示 p(b j ) p(ai b j )
p(b1 ) 0.5 0.3(1 ) 0.3 0.2 p(b2 ) 0.3 0.5(1 ) 0.5 0.2 p(b3 ) 0.2 0.2(1 ) 0.2
• 信息传输率 信道在单位时间内平均传输的信息量定义为信息 传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒 • 信道容量 比特/符号（bits/symbol或 bits/channel use）
C max I ( X ; Y )
p ( ai )
3.2离散单个符号信道及其容量
00 01
00 01
10 11
10
11
信道的序列转移概率 p(00/00)=p(0/0)p(0/0)=(1-p)2， p(01/00)=p(0/0)p(1/0)=p(1-p)， p(10/00)=p(1/0)p(0/0)=p(1-p)， p(11/00)=p(1/0)p(1/0)=p2
p ( ai ) p ( ai ) p ( ai ) p ( ai )
C log m H (Y | ai ) log m pij log pij
j 1
m
3.2离散单个符号信道及其容量
• Eg. 求信道容量
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
C＝max I ( X ; Y ) max [ H ( X ) H ( X | Y )] max H (Y ) H (Y / X )
p ( ai ) p ( ai ) p ( ai )
3.2离散单个符号信道及其容量
• Eg. 求信道容量 P 0.5 0.3 0.2 0.3 0.5 0.2
3.2离散单个符号信道及其容量
• 方法三
P 0.5 0.3 0.2 0.3 0.5 0.2
0.5 0.3, 0.2 0.3 0.5 0.2
C log2 2 H (0.5,0.3,0.2) 0.8 log2 0.8 0.2 log2 0.4 0.036bit / 符号
C log n H ( p1 ' , p2 ' , ps ' ) N k log M k
k 1 r
n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素， 即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是 第k个子矩阵中列元素之和，r是互不相交的子集个数
l 1 L
进一步信道是平稳的
p(Y / X) p L ( y / x)
L L
p( X / Y) I ( X; Y) H ( X ) H ( X / Y ) p( XY ) log p ( X) p ( Y / X) L L L H (Y ) H (Y / X ) p( XY ) log p (Y)
C logn H (1 ,
n 1
,,
) n 1
信道输入符号和输出符号的个数相同，都为n，且正确的传输概 率为1－，错误概率被对称地均分给n-1个输出符号，此信道称 为强对称信道或均匀信道，是对称离散信道的一个特例
3.2离散单个符号信道及其容量
• 二进制对称信道容量 C＝1－H（）
P1 1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 3 1/ 6 1/ 3
P2 0.7 0.1 0.2 0.2 0.1 0.7
3.2离散单个符号信道及其容量
• 准对称DMC信道容量
对于准对称DMC信道，当输入分布为等概分布时，互信息达到 最大值，即为信道容量
p12 p1m p22 p2m pn 2 pnm
3.1信道分类和表示参数
• 离散输入、连续输出信道
1 2
X
Y
+
G
pY ( y / ai )
e
( y ai ) 2 / 2 2
3.1信道分类和表示参数
• 波形信道
x(t) y(t)
+
n(t)
1 0.8 0.6 0.4 0.2 0 0 0.2 0.4 0.6 0.8 1
3.2离散单个符号信道及其容量
• 串联信道
信道 1
信道 2 … 信道 m 串联信道
C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…
3.2离散单个符号信道及其容量
• Eg.设有两个离散BSC信道串接，两个BSC信道的转
j j
•输出对称
1 p (b j ) p (ai ) p (b j / ai ) p (b j / ai ) n i i
3.2离散单个符号信道及其容量
• 对称信道容量
C＝max I ( X ; Y ) max [ H ( X ) H ( X | Y )] max [ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
第3章信道与信道容量
信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量
3.1信道分类和表示参数
• 信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道
3.3离散序列信道及其容量
• 离散无记忆序列信道
如果信道无记忆 如果输入矢量X中的各个 分量相互独立
I ( X; Y) I ( X l ; Yl )
l 1
L
I ( X; Y) I ( X l ; Yl )
l 1
L
C L max I ( X; Y) max
PX PX L L
• 无干扰离散信道的信道容量
X 1 1 1 (a) 无噪无损信道 1 1 1 1 (b) 无噪有损信道 部分理想化的无干扰离散信道 1 1 (c) 有噪无损信道 Y X 1 Y X 1 1 1 Y
3.2离散单个符号信道及其容量
X、Y一一对应
C＝maxI(X;Y)＝log n
多个输入变成一个输出
移矩阵如下，求信道容量
P1 P2 1 1
1 1 P P1P2 1 1 (1 ) 2 2 2 (1 ) 2 2 (1 ) 2 (1 )
pY ( y / x) pY ( y1 , y 2 , y L / x1 , x2 , x L ) pY ( y / x) p x , y ( x, y ) p x ( x) p x , y ( x, n ) p x ( x) p n ( n)
3.2离散单个符号信道及其容量
• 信道参数
3.1信道分类和表示参数
输入矢量为X ( X 1 , X 2 , X i ,), X i a1 ,, an 输出矢量为Y (Y1， , Y2 ,Y j ,), X j b1 ,, bm 条件概率p(Y/X)来描述信道输入输出信 号之间 统计的依赖关系
i
I ( X ;Y ) 来自百度文库
C max I ( X ;Y ) 0.036bit / 符号
3.2离散单个符号信道及其容量
• 方法二
当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036bit/符号
方法三
将转移概率矩阵划分成若干个互不相交的对称的子集
C＝maxI(X;Y)＝maxH(Y)
一个输入对应多个输出
C＝maxI(X;Y)＝maxH(X)
3.2离散单个符号信道及其容量
• 对称DMC信道定义
输入对称
如果转移概率矩阵P的每一行都是第一行的置换(包含同样元 素)，称该矩阵是输入对称
输出对称
如果转移概率矩阵P的每一列都是第一列的置换(包含 同样元素)，称该矩阵是输出对称
3.2离散单个符号信道及其容量
• 信道容量 I(X;Y)=1-H()，I(X;Z)=1-H[2 (1-)]
1
0.8
0.6
m=1 m=2
0.4
m=3
0.2
0 0 0.5 1
3.2离散单个符号信道及其容量
• 准对称DMC信道
如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵 P的每一行都包含同样的元素而各列的元素可以不同，则称该信 道是准对称DMC信道
I ( X ;Y )
l l l 1
L
max I ( X ; Y ) C (l )
l 1 PX l l l 1
3.3离散序列信道及其容量
• 扩展信道
如果对离散单符号信道进行L次扩展，就形 成了L次离散无记忆序列信道
BSC的二次扩展信道 BSC的二次扩展信道
X{00,01,10,11}， Y{00,01,10,11}，二次扩展无记忆
• 信道种类
1 无干扰信道 2有干扰无记忆信道 3有干扰有记忆信道
3.1信道分类和表示参数
• 二进制对称信道（BSC）
1-p 0 p p 0
p 1 p P p 1 p
1
1 1-p
3.1信道分类和表示参数
• 离散无记忆信道
a1 a2
b1 b2
an
bm
p11 p 21 P pn1
3.2离散单个符号信道及其容量
• 一般DMC信道
1972年由R.Blahut和A.Arimoto分别独立提出的一种算法， 现在称为Blahut-Arimoto算法 • I(ai;Y) = C 对于所有满足p(ai ) > 0条件的I • I(ai;Y) C 对于所有满足p(ai ) = 0条件的I 当 信道平均互信息达到信道容量时，输入符号概率集 {p(ai)}中每一个符号ai对输出端Y提供相同的互信 息，只是概率为零的符号除外
输入对称
i
p(b j / ai ) log p(b j / ai )与i无关
j
H (Y / X ) p (ai ) p (b j / ai ) log p (b j / ai ) p (b j / ai ) log p (b j / ai ) H (Y / xi )
对称的DMC信道
如果输入、输出都对称
3.2离散单个符号信道及其容量
• 对称DMC信道例子
1 3 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 2 1 6 1 3
1 3 1 2 1 6
1 6 1 3 1 2
3.2离散单个符号信道及其容量
1 1 1 1 C log2 4 H ( , , , ) 0.082bit / 符号 3 3 6 6
3.2离散单个符号信道及其容量
• Eg. 求信道容量
1 n 1 n 1 1 P n 1 n 1 1 n 1 n 1
3.3离散序列信道及其容量
• 离散序列信道
p(Y/X)
X
X=(X1X2…XL) Xl{a1,a2,…,an}
信道
Y
Y=(Y1Y2…YL) Yl {b1,b2,…,bm}
3.3离散序列信道及其容量
• 离散无记忆序列信道
p(Y / X) p(Y1 YL / X 1 X L ) p(Yl / X l )
3.2离散单个符号信道及其容量
• Eg. 求信道容量
P1 1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 3 1/ 6 1/ 3
C log2 2 H (1 / 3,1 / 3,1 / 6,1 / 6) (1 / 3 1 / 6) log2 (1 / 3 1 / 6) 1 / 3 log2 (1 / 3 1 / 3) 1 / 6 log2 (1 / 6 1 / 6) 0.041bit / 符号
方法一：
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输 出符号有三个，用b1、b2、b3表示 p(b j ) p(ai b j )
p(b1 ) 0.5 0.3(1 ) 0.3 0.2 p(b2 ) 0.3 0.5(1 ) 0.5 0.2 p(b3 ) 0.2 0.2(1 ) 0.2
• 信息传输率 信道在单位时间内平均传输的信息量定义为信息 传输速率 R=I(X;Y)=H(X)－H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒 • 信道容量 比特/符号（bits/symbol或 bits/channel use）
C max I ( X ; Y )
p ( ai )
3.2离散单个符号信道及其容量
00 01
00 01
10 11
10
11
信道的序列转移概率 p(00/00)=p(0/0)p(0/0)=(1-p)2， p(01/00)=p(0/0)p(1/0)=p(1-p)， p(10/00)=p(1/0)p(0/0)=p(1-p)， p(11/00)=p(1/0)p(1/0)=p2
p ( ai ) p ( ai ) p ( ai ) p ( ai )
C log m H (Y | ai ) log m pij log pij
j 1
m
3.2离散单个符号信道及其容量
• Eg. 求信道容量
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
C＝max I ( X ; Y ) max [ H ( X ) H ( X | Y )] max H (Y ) H (Y / X )
p ( ai ) p ( ai ) p ( ai )
3.2离散单个符号信道及其容量
• Eg. 求信道容量 P 0.5 0.3 0.2 0.3 0.5 0.2
3.2离散单个符号信道及其容量
• 方法三
P 0.5 0.3 0.2 0.3 0.5 0.2
0.5 0.3, 0.2 0.3 0.5 0.2
C log2 2 H (0.5,0.3,0.2) 0.8 log2 0.8 0.2 log2 0.4 0.036bit / 符号
C log n H ( p1 ' , p2 ' , ps ' ) N k log M k
k 1 r
n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素， 即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是 第k个子矩阵中列元素之和，r是互不相交的子集个数
l 1 L
进一步信道是平稳的
p(Y / X) p L ( y / x)
L L
p( X / Y) I ( X; Y) H ( X ) H ( X / Y ) p( XY ) log p ( X) p ( Y / X) L L L H (Y ) H (Y / X ) p( XY ) log p (Y)
C logn H (1 ,
n 1
,,
) n 1
信道输入符号和输出符号的个数相同，都为n，且正确的传输概 率为1－，错误概率被对称地均分给n-1个输出符号，此信道称 为强对称信道或均匀信道，是对称离散信道的一个特例
3.2离散单个符号信道及其容量
• 二进制对称信道容量 C＝1－H（）
P1 1/ 3 1/ 3 1/ 6 1/ 6 1/ 6 1/ 3 1/ 6 1/ 3
P2 0.7 0.1 0.2 0.2 0.1 0.7
3.2离散单个符号信道及其容量
• 准对称DMC信道容量
对于准对称DMC信道，当输入分布为等概分布时，互信息达到 最大值，即为信道容量
p12 p1m p22 p2m pn 2 pnm
3.1信道分类和表示参数
• 离散输入、连续输出信道
1 2
X
Y
+
G
pY ( y / ai )
e
( y ai ) 2 / 2 2
3.1信道分类和表示参数
• 波形信道
x(t) y(t)
+
n(t)
1 0.8 0.6 0.4 0.2 0 0 0.2 0.4 0.6 0.8 1
3.2离散单个符号信道及其容量
• 串联信道
信道 1
信道 2 … 信道 m 串联信道
C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…
3.2离散单个符号信道及其容量
• Eg.设有两个离散BSC信道串接，两个BSC信道的转
j j
•输出对称
1 p (b j ) p (ai ) p (b j / ai ) p (b j / ai ) n i i
3.2离散单个符号信道及其容量
• 对称信道容量
C＝max I ( X ; Y ) max [ H ( X ) H ( X | Y )] max [ H (Y ) H (Y | X )] max H (Y ) H (Y / X )
第3章信道与信道容量
信道分类和表示参数 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量
3.1信道分类和表示参数
• 信道分类
用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道