第五章信道编码定理
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖ 可达：对给定离散无记忆信道和任意e>0,若 有一种编码速率为R的码，在N足够大时，能 思使路Pe：<e编，码就规称则R是采可用达随的机。编码；译码规则 是联合典型序列译码
错误概率上限
❖ 并集限
U Pem Pr (y YmC | xm ) Pr (y
Ymm ' | xm )
m ',m 'm
M
pe Q(m) pem m1
高斯信道
N
max p( y | xm )
n1
1
2
exp{
(
yn
xmn
2 2
)
2
}
N
N
N
max ln( y | xm ) min ( yn xmn )2 min xm2n 2 xmn yn
n1
n1
n1
若发送信号能量相等,最大相关译码
Fano不等式和信道编码 逆定理
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
最小汉明距离译码
❖ 汉明距离 d(x, y), x, y中分量不同的数目 ❖ 码字先验等概 ❖ K元对称信道
p(i | i) 1 p
p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1 p
间的关系
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)
H ( pb )
1 L
H (U
L
|V
L)
1 [H (U L ) I (U L;V L )] L
H
L
(U
)
1 L
I
(
X
N
;Y
N
)
H
L
(U
)
N L
C
HUV
logM Log(M-1)
Fano不等式
联合典型序列及信道编码定理
联合典型序列
❖ x是e典型序列 | 1 log p(x) H (X ) | e
N
❖ y 是e典型序列 | 1 log p(y) H (Y ) | e
N
❖ xy是e典型序列 | 1 log p(xy) H (XY ) | e
N
❖ 则序列对x和y是联合e典型序列
❖ 有限状态开关网络：
信息数字：k0位，每位持续时间，ts=1/Rs 码字输出序列：n0位，每位持续时间，tc
n0tc=k0ts
纠错编码器
❖ 送给纠错编码器的消息是经过最佳信源编码后，信息速 率为比特/秒的离散二元或q元数字序列。
❖ 分组码 每K个信息数字为一组，计算出N个编码数字，称这些数 字为一个码字。通常N为整数。
Pb
❖ 做了一次译码判决后所保留的关于信源的不确定性可分为2个部 分：第一，判决的结果是对的还是错的，其不确定性：H(Pb)； 第二，若判决是错的，为确定到底是其余M -1种可能事件中哪 一个，所需信息量不超过log(M -1)
信道编码逆定理
❖ 离散平稳源有M个字母，熵为HL(U)(limL->∞)， 信道容量为C,当HL(U)>(N/L)C时,误码率为非 零值。
m ',m 'm
Pr
(ln
P(y | xm') P(y | xm )
0
|
xm )
m ',m 'm
Pe (m
m ')
❖ 巴塔恰亚限
Pe (m m') P(y | xm')P(y | xm)
m',m'm
y
Hale Waihona Puke Baidu
❖ Gallager限
Pem P(y | xm )1/(1){
[P(y | xm' )]1/(1)} , 0
联合典型序列
| TX|Y (N,e ) | 2N[H (X|Y )2e ]
(1 e )2N[I(X ;Y)3e]
p(x) p(y) 2N[I(X ;Y )3e ]
x
y
(x,y)TXY (N ,e )
Pr[TXY (N,e )] 1e
信道编码定理
❖ Shannon信道编码定理：给定容量为C的离散 无记忆信道{X,P(x|y),Y},若编码速率R<C,则R 是可达的
Fano不等式和编码逆定理
❖ 信源序列：u=(u1,u2,…,uL) ∈UL ❖ 码序列（信道输入）：x=(x1,x2,…,xN) ❖ 接收序列（信道输出）： y=(y1,y2,…,yN) ❖ 译码器输出：v=(v1,v2,…,vL) ❖ Fano不等式主要说明Pb, HL(U), 和I(UL;VL)之
❖ 卷积码 输出的n0长码段不仅依赖于当前的k0位信息数字，还依 赖于前m个信息段的信息数字，即总共与（m＋1）k0个 信息数字有关。
❖ 码率
几个概念
R＝K/N
❖ 误组率 ❖ 误比特率
p(xm' xm )
1 L
pb L l1 pel
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)
d ( y, xm ) ln K 1 (N d ( y, xm ))ln(1 p) N ln(1 p) d ( y, xm ) ln[(1 p)(K 1) / p]
判决区域
❖ Ym: lnp(y|xm) > lnp(y|xm’) ❖ 给定m,错误概率
pem p( y | xm ) yYmC
y
m',m'm
信道编码定理
❖ 1.离散信道编码问题 ❖ 2.信道译码 ❖ 3.Fano不等式和信道编码逆定理 ❖ 4.联合典型序列及信道编码定理
1.离散信道编码问题
纠错编码器
❖ 将输入的信息数字序列变成另外一个数字序 列，人为地按照一定的规律增加多余度，以 便纠正传输过程中出现的错误，以尽可能小 的错误概率恢复原来的信源数字序列
－误组率
译码准则
❖ 最小错误概率译码：使pe(y)最小 ❖ 最大后验概率译码：
选m，使得pr(m|y)最大
pr (m'| y) pr (m | y)
最大似然译码
译码原则：
p(m | y) Q(m) p(y | m) (y)
M
(y) Q(m) p(y | xm ) m1
p(y | m ') p(y | m)
错误概率上限
❖ 并集限
U Pem Pr (y YmC | xm ) Pr (y
Ymm ' | xm )
m ',m 'm
M
pe Q(m) pem m1
高斯信道
N
max p( y | xm )
n1
1
2
exp{
(
yn
xmn
2 2
)
2
}
N
N
N
max ln( y | xm ) min ( yn xmn )2 min xm2n 2 xmn yn
n1
n1
n1
若发送信号能量相等,最大相关译码
Fano不等式和信道编码 逆定理
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
最小汉明距离译码
❖ 汉明距离 d(x, y), x, y中分量不同的数目 ❖ 码字先验等概 ❖ K元对称信道
p(i | i) 1 p
p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1 p
间的关系
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)
H ( pb )
1 L
H (U
L
|V
L)
1 [H (U L ) I (U L;V L )] L
H
L
(U
)
1 L
I
(
X
N
;Y
N
)
H
L
(U
)
N L
C
HUV
logM Log(M-1)
Fano不等式
联合典型序列及信道编码定理
联合典型序列
❖ x是e典型序列 | 1 log p(x) H (X ) | e
N
❖ y 是e典型序列 | 1 log p(y) H (Y ) | e
N
❖ xy是e典型序列 | 1 log p(xy) H (XY ) | e
N
❖ 则序列对x和y是联合e典型序列
❖ 有限状态开关网络：
信息数字：k0位，每位持续时间，ts=1/Rs 码字输出序列：n0位，每位持续时间，tc
n0tc=k0ts
纠错编码器
❖ 送给纠错编码器的消息是经过最佳信源编码后，信息速 率为比特/秒的离散二元或q元数字序列。
❖ 分组码 每K个信息数字为一组，计算出N个编码数字，称这些数 字为一个码字。通常N为整数。
Pb
❖ 做了一次译码判决后所保留的关于信源的不确定性可分为2个部 分：第一，判决的结果是对的还是错的，其不确定性：H(Pb)； 第二，若判决是错的，为确定到底是其余M -1种可能事件中哪 一个，所需信息量不超过log(M -1)
信道编码逆定理
❖ 离散平稳源有M个字母，熵为HL(U)(limL->∞)， 信道容量为C,当HL(U)>(N/L)C时,误码率为非 零值。
m ',m 'm
Pr
(ln
P(y | xm') P(y | xm )
0
|
xm )
m ',m 'm
Pe (m
m ')
❖ 巴塔恰亚限
Pe (m m') P(y | xm')P(y | xm)
m',m'm
y
Hale Waihona Puke Baidu
❖ Gallager限
Pem P(y | xm )1/(1){
[P(y | xm' )]1/(1)} , 0
联合典型序列
| TX|Y (N,e ) | 2N[H (X|Y )2e ]
(1 e )2N[I(X ;Y)3e]
p(x) p(y) 2N[I(X ;Y )3e ]
x
y
(x,y)TXY (N ,e )
Pr[TXY (N,e )] 1e
信道编码定理
❖ Shannon信道编码定理：给定容量为C的离散 无记忆信道{X,P(x|y),Y},若编码速率R<C,则R 是可达的
Fano不等式和编码逆定理
❖ 信源序列：u=(u1,u2,…,uL) ∈UL ❖ 码序列（信道输入）：x=(x1,x2,…,xN) ❖ 接收序列（信道输出）： y=(y1,y2,…,yN) ❖ 译码器输出：v=(v1,v2,…,vL) ❖ Fano不等式主要说明Pb, HL(U), 和I(UL;VL)之
❖ 卷积码 输出的n0长码段不仅依赖于当前的k0位信息数字，还依 赖于前m个信息段的信息数字，即总共与（m＋1）k0个 信息数字有关。
❖ 码率
几个概念
R＝K/N
❖ 误组率 ❖ 误比特率
p(xm' xm )
1 L
pb L l1 pel
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)
d ( y, xm ) ln K 1 (N d ( y, xm ))ln(1 p) N ln(1 p) d ( y, xm ) ln[(1 p)(K 1) / p]
判决区域
❖ Ym: lnp(y|xm) > lnp(y|xm’) ❖ 给定m,错误概率
pem p( y | xm ) yYmC
y
m',m'm
信道编码定理
❖ 1.离散信道编码问题 ❖ 2.信道译码 ❖ 3.Fano不等式和信道编码逆定理 ❖ 4.联合典型序列及信道编码定理
1.离散信道编码问题
纠错编码器
❖ 将输入的信息数字序列变成另外一个数字序 列，人为地按照一定的规律增加多余度，以 便纠正传输过程中出现的错误，以尽可能小 的错误概率恢复原来的信源数字序列
－误组率
译码准则
❖ 最小错误概率译码：使pe(y)最小 ❖ 最大后验概率译码：
选m，使得pr(m|y)最大
pr (m'| y) pr (m | y)
最大似然译码
译码原则：
p(m | y) Q(m) p(y | m) (y)
M
(y) Q(m) p(y | xm ) m1
p(y | m ') p(y | m)