信道编码与香农第二定理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n重复码的码长为原来的n倍——编码效率为1/n
需要找的“好码” 足够小的平均译码错误概率Pe 较高的编码效率
2、香农第二定理
离散信道的信道容量为C，对n次扩展信源进行信道编码，对 任意给定的ε>0，只要码率R<C，当n足够大，平均译码错误概 率Pe<ε
反之，如果码率R>C，无论n多大，平均译码错误概率Pe>ε
)[ P(xi1 xi2
xin
/
Pe y j1 y j2
y jn
)(2nR
1)
1]
M j1 1
M
j2 1
M
P(xi1 xi2
jn 1
x
* in
,y j1 y j2
y jn
)[ P(xi1 xi2
Pe
x
* in
/y
j1
y
j2
y jn
)
1]
xi1xi2 xin xi1xi2 x*in
M j1 1
M
M
P(xi1 xi2
j2 1 jn 1
xin
,
y yj1 j2
y jn
)
log
Pe 2nR 1
MM
M
P(x
i1
x
i2
x* in
,
ywk.baidu.com
j1
y
j2
y
jn
)
log
Pe
j1 1 j2 1 jn 1
i2
ci1ci2
cin
,
y
j1
y
j2
y
jn
A
n
(
X
,
Y
)
2nR
2 2 n[H(X)] n[H(Y)]
i2
ci1ci2
cin
,
y
j1
y
j2
y
jn
A
n
(
X
,
Y
)
2nR
2 2 2 n[H(X,Y)] n[H(X)] n[H(Y)]
x i1 x i2
x in
x i1 x i2
x
* in
j1 1 j2 1 jn 1
MM
M
P(xi1 xi2
x
* in
, y j1 y j2
y jn
) log
P(xi1 xi2
x
* in
/
y yj1 j2
y jn
)
j1 1 j2 1 jn 1
P(Y / X) 0.2 0.8
求信源等概率时三重复码的平均译码错误概率Pe 三重复码——消息重复三次——x1=0→c1=000， x2=1→c2=111——三次扩展信源的子信源，三次扩展信宿 y1=000，y2=001，…，y8=111
三次扩展信道的子信道
P1
(Y3
/
X3
)
0.729 0.008
1、信道编码
(1)平均译码错误概率
①最小错误概率准则下的平均译码错误概率
最小错误概率准则
信宿收到yj按最大后验概率判断信源发送xi中的x*——译码
如果P(x
*
/
y
j
)
max i
P(xi
/
y
j
)
则f (y j) x * j 1,2,, M
i 1,2,, N
平均译码错误概率
信宿收到yj的译码错误概率
max{0.009,0.128}
0.128
f (y6 101) x* x2 111
收到y7=110时
P(y7
110/
x*)
max i
P(
y7
110/
xi)
max{0.009,0.128}
0.128
f (y7 110) x* x2 111
i 1,2 i 1,2
i 1,2
f (y1 000) x* x1 000
收到y2=001时
P(y2
001/
x*)
max i
P(y
2
001/
xi)
max{0.081,0.032}
0.081
f (y2 001) x* x1 000
收到y3=010时
P(y3
010 /
x*)
max i
n次扩展信道的子信道传输n次扩展信源的编码为n次扩展信宿 的典型序列
yjl yj2 yjn An (Y)
发生译码错误的两类情况
c cil i2 ci*n , yjl yj2 yjn An (X, Y)
cil ci2 cin , yjl yj2 yjn An (X, Y),cil ci2 ci*n cil ci2 cin
H(Xn / Yn ) H(Pe ) Pe log(2nR 1)
H(Xn / Yn ) Pe log Pe Pe log Pe Pe log(2nR 1)
H(Xn
/
Yn
)
Pe
log
Pe 2nR 1
Pe
log
Pe
MM
M
P(xi1 xi2 xin , y j1 y j2 y jn ) log P(xi1 xi2 xin / y yj1 j2 y jn )
xi1xi2 xin xi1xi2 x*in
M M M [ P(y j1 y j2 y jn
j1 1 j2 1 jn 1
2nR 1
)Pe
P(xi1 xi2
xin , y j1 y j2
y jn
)]
MM
M
[P(y j1
y j2
y jn
)Pe
P(xi1 xi2
收到y8=111时
P(y8
111/
x*)
max i
P(
y8
111/
xi)
max{0.001,0.512}
0.512
i 1,2
f (y8 111) x* x2 111
三重复码——纠错——通过在发送端增加冗余使消息出现一位 传输错误时由接收端进行纠正
f (000) 000 f (001) 000 f (010) 000 f (100) 000
x
* in
,
y
j1
y j2
y
jn
)]
j1 1 j2 1 jn 1
xi1xi2 xin xi1xi2 x*in
Pe 2nR 1
Pe
Pe
Pe
Pe Pe Pe Pe
例1：二进制信道Y / X ~ P(Y / X) 0.9 0.1
P(Y / X) 0.2 0.8
求信源等概率时的平均译码错误概率Pe 最大似然准则译码
收到y1=0时
P(y1
0
/
x*)
max i
P(y1
0
/
xi
)
max{0.9,0.2}
0.9
f (y1 0) x* x1 0
P(c2 )P(y5 / c2 ) P(c1)P(y6 / c1) P(c1)P(y7 / c1) P(c1)P(y8 / c1)
1 (0.008 3 0.032 3 0.009 0.001) 0.066 2
重复n次——n重复码
n 5，Pe 103 n 7，Pe 104 n 9，Pe 105 n 11，Pe 106
i 1,2
收到y2=1时
P(y2
1/
x*)
max i
P(
y2
1/
xi
)
max{0.1,0.8}
0.8
f (y2 1) x* x2 1
i 1,2
平均译码错误概率
2
Pe
P(xi , yj) P(x2, y1) P(x1, y2 ) P(x2 )P(y1 / x2 ) P(x1)P(y2 / x1)
正定理的证明
当n足够大，n次扩展信源产生接近等概率的典型序列，其数量 不超过2n[H(X)+ε]，选取其中2nR个作为许用码，其余为禁用码
{cil ci2 cin il , i2 ,, in N} {xil xi2 xin xil xi2 xin An (X)
il ,i2 ,,in N}
不失一般性，记E1*表示第一种情况，Ei 表示第二种情况 i=2,3,…,2nR
平均译码错误概率
2nR
Pe P(E1 E2 E2nR ) P(E1) P(Ei ) i2
2nR
P(ci1ci2 cin )P(y j1 y j2 y jn )
P(y3
010 /
xi
)
max{0.081,0.032}
0.081
f (y3 010) x* x1 000
i 1,2 i 1,2
收到y4=011时
P(y4
011/
x*)
max i
P(y
4
011/
xi)
max{0.009,0.128}
0.128
f (y4 011) x* x2 111
Pej 1 P(x */ yj)
平均译码错误概率
M
M
M
Pe P(yj)[1 P(x * / yj)] P(yj) P(yj)P(x * / yj)
j1
j1
j1
NM
M
M
P(xi, yj) P(x*, yj) P(xi, yj)
i1 j1
xi1xi2 xin xi1xi2 x*in
M j1 1
M
M
P(xi1 xi2
j2 1 jn 1
xin
, y j1 y j2
y jn
) log
P(xi1 xi2
xin
/
Pe y j1 y j2
y jn
)(2nR
1)
M j1 1
M
M
P(xi1 xi2
j2 1 jn 1
0.081 0.032
0.081 0.032
0.009 0.128
0.081 0.032
0.009 0.128
0.009 0.128
0.001 0.512
最大似然准则译码
收到y1=000时
P(y1
000
/
x*)
max i
P(y1
000
/
xi
)
max{0.729,0.008}
0.729
x
* in
,y j1 y j2
y jn
) log
P(xi1 xi2
Pe
x
* in
/y
j1
y
j2
y jn
)
x i1 x i2
x in
x i1 x i2
x
* in
MM
M
P(xi1 xi2
j1 1 j2 1 jn 1
xin , y j1 y j2
y jn
i2
(2nR 1)2n[C3]
2nR 2n[C3]
2n[RC3]
只要R<C-3ε，当n足够大
Pe
逆定理的证明
费诺不等式——n次扩展信道的损失熵H(Xn/Yn)与平均译码错 误概率Pe之间满足
H(Xn / Yn ) H(Pe ) Pe log(2nR 1)
xi
)
②最大似然准则下的平均译码错误概率
最大似然准则
信宿收到yj按最大转移概率判断信源发送xi中的x*——译码
如果P(y
j
/
x*)
max i
P(y
j
/
xi
)
则f (y j) x * j 1,2,, M
i 1,2,, N
平均译码错误概率
M
Pe
P(xi, yj)
xi x* j1
xi x* j1
1 (0.2 0.1) 0.15 2
通信系统中一般要求平均译码错误概率的数量级10-6 -10-9
(2) 信道编码
信道编码——纠错——通过在发送端增加冗余使消息出 现传输错误时由接收端进行纠正
2、n重复码
例2：二进制信道Y / X ~ P(Y / X) 0.9 0.1
MM
M
Pe
P(xi1 xi2 xin , y j1 y j2 y jn )
xi1xi2 xin xi1xi2 x*in
j1 1 j2 1 jn 1
MM
M
Pe
P(x
i1
xi2
x* in
,
y
j1
y
j2
y
jn
)
j1 1 j2 1 jn 1
收到y5=100时
P(y5
100/
x*)
max i
P(
y5
100/
xi)
max{0.081,0.032}
0.081
f (y5 100) x* x1 000
i 1,2 i 1,2
收到y6=101时
P(y6
101/
x*)
max i
P(y
6
101/
xi)
f (011) 111 f (101) 111 f (110) 111 f (111) 111
平均译码错误概率
8
Pe
P(ci )P(yj / ci )
ci c* j1
P(c2 )P(y1 / c2 ) P(c2 )P(y2 / c2 ) P(c2 )P(y3 / c2 ) P(c1)P(y4 / c1)
j1
xi x* j1
P(x
*
/
yj)
P(y
j
/ x*)P(x*) P( y j )
max i
P(xi
/
y
j
)
max i
P(y
j / xi )P(xi P( y j )
)
P(y
j
/
x*)P(x*)
max i
P(y
j
/
x
i
)P(x
i
)
信源等概率条件下
P(y
j
/
x*)
max i
P(y
j
/
需要找的“好码” 足够小的平均译码错误概率Pe 较高的编码效率
2、香农第二定理
离散信道的信道容量为C，对n次扩展信源进行信道编码，对 任意给定的ε>0，只要码率R<C，当n足够大，平均译码错误概 率Pe<ε
反之，如果码率R>C，无论n多大，平均译码错误概率Pe>ε
)[ P(xi1 xi2
xin
/
Pe y j1 y j2
y jn
)(2nR
1)
1]
M j1 1
M
j2 1
M
P(xi1 xi2
jn 1
x
* in
,y j1 y j2
y jn
)[ P(xi1 xi2
Pe
x
* in
/y
j1
y
j2
y jn
)
1]
xi1xi2 xin xi1xi2 x*in
M j1 1
M
M
P(xi1 xi2
j2 1 jn 1
xin
,
y yj1 j2
y jn
)
log
Pe 2nR 1
MM
M
P(x
i1
x
i2
x* in
,
ywk.baidu.com
j1
y
j2
y
jn
)
log
Pe
j1 1 j2 1 jn 1
i2
ci1ci2
cin
,
y
j1
y
j2
y
jn
A
n
(
X
,
Y
)
2nR
2 2 n[H(X)] n[H(Y)]
i2
ci1ci2
cin
,
y
j1
y
j2
y
jn
A
n
(
X
,
Y
)
2nR
2 2 2 n[H(X,Y)] n[H(X)] n[H(Y)]
x i1 x i2
x in
x i1 x i2
x
* in
j1 1 j2 1 jn 1
MM
M
P(xi1 xi2
x
* in
, y j1 y j2
y jn
) log
P(xi1 xi2
x
* in
/
y yj1 j2
y jn
)
j1 1 j2 1 jn 1
P(Y / X) 0.2 0.8
求信源等概率时三重复码的平均译码错误概率Pe 三重复码——消息重复三次——x1=0→c1=000， x2=1→c2=111——三次扩展信源的子信源，三次扩展信宿 y1=000，y2=001，…，y8=111
三次扩展信道的子信道
P1
(Y3
/
X3
)
0.729 0.008
1、信道编码
(1)平均译码错误概率
①最小错误概率准则下的平均译码错误概率
最小错误概率准则
信宿收到yj按最大后验概率判断信源发送xi中的x*——译码
如果P(x
*
/
y
j
)
max i
P(xi
/
y
j
)
则f (y j) x * j 1,2,, M
i 1,2,, N
平均译码错误概率
信宿收到yj的译码错误概率
max{0.009,0.128}
0.128
f (y6 101) x* x2 111
收到y7=110时
P(y7
110/
x*)
max i
P(
y7
110/
xi)
max{0.009,0.128}
0.128
f (y7 110) x* x2 111
i 1,2 i 1,2
i 1,2
f (y1 000) x* x1 000
收到y2=001时
P(y2
001/
x*)
max i
P(y
2
001/
xi)
max{0.081,0.032}
0.081
f (y2 001) x* x1 000
收到y3=010时
P(y3
010 /
x*)
max i
n次扩展信道的子信道传输n次扩展信源的编码为n次扩展信宿 的典型序列
yjl yj2 yjn An (Y)
发生译码错误的两类情况
c cil i2 ci*n , yjl yj2 yjn An (X, Y)
cil ci2 cin , yjl yj2 yjn An (X, Y),cil ci2 ci*n cil ci2 cin
H(Xn / Yn ) H(Pe ) Pe log(2nR 1)
H(Xn / Yn ) Pe log Pe Pe log Pe Pe log(2nR 1)
H(Xn
/
Yn
)
Pe
log
Pe 2nR 1
Pe
log
Pe
MM
M
P(xi1 xi2 xin , y j1 y j2 y jn ) log P(xi1 xi2 xin / y yj1 j2 y jn )
xi1xi2 xin xi1xi2 x*in
M M M [ P(y j1 y j2 y jn
j1 1 j2 1 jn 1
2nR 1
)Pe
P(xi1 xi2
xin , y j1 y j2
y jn
)]
MM
M
[P(y j1
y j2
y jn
)Pe
P(xi1 xi2
收到y8=111时
P(y8
111/
x*)
max i
P(
y8
111/
xi)
max{0.001,0.512}
0.512
i 1,2
f (y8 111) x* x2 111
三重复码——纠错——通过在发送端增加冗余使消息出现一位 传输错误时由接收端进行纠正
f (000) 000 f (001) 000 f (010) 000 f (100) 000
x
* in
,
y
j1
y j2
y
jn
)]
j1 1 j2 1 jn 1
xi1xi2 xin xi1xi2 x*in
Pe 2nR 1
Pe
Pe
Pe
Pe Pe Pe Pe
例1：二进制信道Y / X ~ P(Y / X) 0.9 0.1
P(Y / X) 0.2 0.8
求信源等概率时的平均译码错误概率Pe 最大似然准则译码
收到y1=0时
P(y1
0
/
x*)
max i
P(y1
0
/
xi
)
max{0.9,0.2}
0.9
f (y1 0) x* x1 0
P(c2 )P(y5 / c2 ) P(c1)P(y6 / c1) P(c1)P(y7 / c1) P(c1)P(y8 / c1)
1 (0.008 3 0.032 3 0.009 0.001) 0.066 2
重复n次——n重复码
n 5，Pe 103 n 7，Pe 104 n 9，Pe 105 n 11，Pe 106
i 1,2
收到y2=1时
P(y2
1/
x*)
max i
P(
y2
1/
xi
)
max{0.1,0.8}
0.8
f (y2 1) x* x2 1
i 1,2
平均译码错误概率
2
Pe
P(xi , yj) P(x2, y1) P(x1, y2 ) P(x2 )P(y1 / x2 ) P(x1)P(y2 / x1)
正定理的证明
当n足够大，n次扩展信源产生接近等概率的典型序列，其数量 不超过2n[H(X)+ε]，选取其中2nR个作为许用码，其余为禁用码
{cil ci2 cin il , i2 ,, in N} {xil xi2 xin xil xi2 xin An (X)
il ,i2 ,,in N}
不失一般性，记E1*表示第一种情况，Ei 表示第二种情况 i=2,3,…,2nR
平均译码错误概率
2nR
Pe P(E1 E2 E2nR ) P(E1) P(Ei ) i2
2nR
P(ci1ci2 cin )P(y j1 y j2 y jn )
P(y3
010 /
xi
)
max{0.081,0.032}
0.081
f (y3 010) x* x1 000
i 1,2 i 1,2
收到y4=011时
P(y4
011/
x*)
max i
P(y
4
011/
xi)
max{0.009,0.128}
0.128
f (y4 011) x* x2 111
Pej 1 P(x */ yj)
平均译码错误概率
M
M
M
Pe P(yj)[1 P(x * / yj)] P(yj) P(yj)P(x * / yj)
j1
j1
j1
NM
M
M
P(xi, yj) P(x*, yj) P(xi, yj)
i1 j1
xi1xi2 xin xi1xi2 x*in
M j1 1
M
M
P(xi1 xi2
j2 1 jn 1
xin
, y j1 y j2
y jn
) log
P(xi1 xi2
xin
/
Pe y j1 y j2
y jn
)(2nR
1)
M j1 1
M
M
P(xi1 xi2
j2 1 jn 1
0.081 0.032
0.081 0.032
0.009 0.128
0.081 0.032
0.009 0.128
0.009 0.128
0.001 0.512
最大似然准则译码
收到y1=000时
P(y1
000
/
x*)
max i
P(y1
000
/
xi
)
max{0.729,0.008}
0.729
x
* in
,y j1 y j2
y jn
) log
P(xi1 xi2
Pe
x
* in
/y
j1
y
j2
y jn
)
x i1 x i2
x in
x i1 x i2
x
* in
MM
M
P(xi1 xi2
j1 1 j2 1 jn 1
xin , y j1 y j2
y jn
i2
(2nR 1)2n[C3]
2nR 2n[C3]
2n[RC3]
只要R<C-3ε，当n足够大
Pe
逆定理的证明
费诺不等式——n次扩展信道的损失熵H(Xn/Yn)与平均译码错 误概率Pe之间满足
H(Xn / Yn ) H(Pe ) Pe log(2nR 1)
xi
)
②最大似然准则下的平均译码错误概率
最大似然准则
信宿收到yj按最大转移概率判断信源发送xi中的x*——译码
如果P(y
j
/
x*)
max i
P(y
j
/
xi
)
则f (y j) x * j 1,2,, M
i 1,2,, N
平均译码错误概率
M
Pe
P(xi, yj)
xi x* j1
xi x* j1
1 (0.2 0.1) 0.15 2
通信系统中一般要求平均译码错误概率的数量级10-6 -10-9
(2) 信道编码
信道编码——纠错——通过在发送端增加冗余使消息出 现传输错误时由接收端进行纠正
2、n重复码
例2：二进制信道Y / X ~ P(Y / X) 0.9 0.1
MM
M
Pe
P(xi1 xi2 xin , y j1 y j2 y jn )
xi1xi2 xin xi1xi2 x*in
j1 1 j2 1 jn 1
MM
M
Pe
P(x
i1
xi2
x* in
,
y
j1
y
j2
y
jn
)
j1 1 j2 1 jn 1
收到y5=100时
P(y5
100/
x*)
max i
P(
y5
100/
xi)
max{0.081,0.032}
0.081
f (y5 100) x* x1 000
i 1,2 i 1,2
收到y6=101时
P(y6
101/
x*)
max i
P(y
6
101/
xi)
f (011) 111 f (101) 111 f (110) 111 f (111) 111
平均译码错误概率
8
Pe
P(ci )P(yj / ci )
ci c* j1
P(c2 )P(y1 / c2 ) P(c2 )P(y2 / c2 ) P(c2 )P(y3 / c2 ) P(c1)P(y4 / c1)
j1
xi x* j1
P(x
*
/
yj)
P(y
j
/ x*)P(x*) P( y j )
max i
P(xi
/
y
j
)
max i
P(y
j / xi )P(xi P( y j )
)
P(y
j
/
x*)P(x*)
max i
P(y
j
/
x
i
)P(x
i
)
信源等概率条件下
P(y
j
/
x*)
max i
P(y
j
/