信道编码定理
合集下载
10信道编码简介
第二章 信道编码简介2、1信道编码简介一、信道编码理论1948年，信息论的创始人Shannon 从理论上证明了信道编码定理又称为Shannon 第二定理。
它指出每个信道都有一定的信道容量C ，对于任意传输速率R 小于信道容量C ，存在有码率为R 、码长为n 的分组码和),,(00m k n 卷积码，若用最大似然译码，则随码长的增加其译码错误概率e p 可以任意小]1[。
)(R E n b e b e A p -≤ （2.1）)()()1(0R E n c R E n m c e c c c e A e A p -+-=≤ （2.2）式中，b A 和c A 为大于0的系数，)(R E b 和)(R E c 为正实函数，称为误差指数，它与R 、C 的关系]2[如图2.1所示。
由图可以看出：)(R E 随信道容量C 的增大而增加，随码率R 的增加而减小。
这个存在性定理告诉我们可以实现以接近信道容量的传输速率进行通信，但并没有给出逼近信道容量的码的具体编译码方法。
Shannon 在信道编码定理的证明中引用了三个基本条件：1、采用随机编译码方式；2、编译码的码长n 趋于无穷大；3、译码采用最佳的最大后验译码。
在高斯白噪声信道时，信道容量：)/](1[log 02s bit WN P W C S += （2.3）上式为著名的Shannon 公式，式中W 是信道所能提供的带宽，T E P S S /=是信号概率，S E 是信号能量，T 是分组码信号的持续时间即信号宽度，W P S /是单位频带的信号功率，0N 是单位频带的噪声功率，)/(0WN P S 是信噪比。
图2.1 )(R E 与R 的关系由上面几个公式及图2.1可知，为了满足一定误码率的要求，可用以下两类方法实现。
一是增加信道容量C ，从而使)(R E 增加，由式(1.3)可知，增加C 的方法可以采用诸如加大系统带宽或增加信噪比的方法达到。
当噪声功率0N 趋于0时，信道容量趋于无穷，即无干扰信道容量为无穷大；增加信道带宽W 并不能无限制的使信道容量增加。
信道编码定理
7
信道编码和译码
译码是由YN到UL的映射，将YN划分为M个不相交的
子集
Y1
Y2
x2
x1
YN
Y
C m
是Ym的补集
xM
Pem P( y | xm ) yYmC
YM
最大后验概率译码
所有消息等概
q元对称信道
最大似然译码
最小汉明
距离译码
8
信道编码和译码
例5.1.1 两个消息等概，x1=0000，x2=1111，通 过二元对称信道，转移概率p
22
联合典型序列和信道编码定理
23
联合典型序列和信道编码定理
定义5.3.1 x和y是联合典型序列
x ( x 1 ,x 2 , ,x N ) X N ,y ( y 1 ,y 2 , ,y N ) Y N (1) x是典型序列，即对任意小的正数e，存在N使
|1lopg(x)H(X)|e
N
误比特率 Bit error rate
Pb
1 K
K
Pek
k 1
第k位出错的概率
5
信道编码和译码
最小错误概率准则
使 P e ( y ) P r { m ' m |y } 1 P r { m ' m |y } 最小
最大后验概率准则
P r{m '|y}m m axP r{m |y}
计算后验概率是困难的，针对具体信道（转移概率已知），采 用最大似然准则
从XN中独立随机地选择2NR个序列作为码字，每个码字出
现的概率为
Y 3 { 1 1 0 0 ,1 0 0 1 ,1 0 1 0 ,0 0 1 1 ,0 1 0 1 ,0 1 1 0 }
9
信道编码和译码
译码是由YN到UL的映射，将YN划分为M个不相交的
子集
Y1
Y2
x2
x1
YN
Y
C m
是Ym的补集
xM
Pem P( y | xm ) yYmC
YM
最大后验概率译码
所有消息等概
q元对称信道
最大似然译码
最小汉明
距离译码
8
信道编码和译码
例5.1.1 两个消息等概，x1=0000，x2=1111，通 过二元对称信道，转移概率p
22
联合典型序列和信道编码定理
23
联合典型序列和信道编码定理
定义5.3.1 x和y是联合典型序列
x ( x 1 ,x 2 , ,x N ) X N ,y ( y 1 ,y 2 , ,y N ) Y N (1) x是典型序列，即对任意小的正数e，存在N使
|1lopg(x)H(X)|e
N
误比特率 Bit error rate
Pb
1 K
K
Pek
k 1
第k位出错的概率
5
信道编码和译码
最小错误概率准则
使 P e ( y ) P r { m ' m |y } 1 P r { m ' m |y } 最小
最大后验概率准则
P r{m '|y}m m axP r{m |y}
计算后验概率是困难的，针对具体信道（转移概率已知），采 用最大似然准则
从XN中独立随机地选择2NR个序列作为码字，每个码字出
现的概率为
Y 3 { 1 1 0 0 ,1 0 0 1 ,1 0 1 0 ,0 0 1 1 ,0 1 0 1 ,0 1 1 0 }
9
信道编码定理ppt课件
p
(
y
)
2
(
1
)
2
N
[(
H
Y
)
]
|
G
(
Y
)
|
2
N
[(
H
Y
)
]
§6.3:信道编码定理的证明及其物理意义
N
• 结合AEP定理：
p(x,y) p(xn, yn)
n1
• 设随机序列对 ( X , Y ) 的
，那么对恣意小的
数δ >0，我们总能找到足够大的N使全体序列对的集合能
•
•
•
•
•
•
•
•
•
•
•
§6.2:信道编码的作用及本质
匹配信道特性： －信道编码的本质
抗白噪声：
优秀的调制、信道编码方案，
扩频方式等。
抗衰落和多径干扰：
功控抗慢衰落，
空间分集抗平滑瑞利〔空间选择〕衰落，
Rake接纳机及自顺应平衡抗频率选择性，
交错编码抗时间选择性衰落等。
抗多址干扰与远近效应：
正交码型设计，
• 资源指的提供信息传输所付出的代价
• 包括频率、时间、空间、功率等等。但不包括
实现复杂度
• 一个好的编码就是要充分利用资源，传送尽能
够多的信息
§6.2:信道编码的作用及本质
－信道编码的三种情
形
– 给定资源和可靠性要求，经过信道编码尽量提
高传输速率〔例：多电平编码〕
– 给定对信息传输的速率和可靠性要求，经过信
信道编码定理
错误概率与译码准那么、编码方法－1
(
y
)
2
(
1
)
2
N
[(
H
Y
)
]
|
G
(
Y
)
|
2
N
[(
H
Y
)
]
§6.3:信道编码定理的证明及其物理意义
N
• 结合AEP定理：
p(x,y) p(xn, yn)
n1
• 设随机序列对 ( X , Y ) 的
，那么对恣意小的
数δ >0，我们总能找到足够大的N使全体序列对的集合能
•
•
•
•
•
•
•
•
•
•
•
§6.2:信道编码的作用及本质
匹配信道特性： －信道编码的本质
抗白噪声：
优秀的调制、信道编码方案，
扩频方式等。
抗衰落和多径干扰：
功控抗慢衰落，
空间分集抗平滑瑞利〔空间选择〕衰落，
Rake接纳机及自顺应平衡抗频率选择性，
交错编码抗时间选择性衰落等。
抗多址干扰与远近效应：
正交码型设计，
• 资源指的提供信息传输所付出的代价
• 包括频率、时间、空间、功率等等。但不包括
实现复杂度
• 一个好的编码就是要充分利用资源，传送尽能
够多的信息
§6.2:信道编码的作用及本质
－信道编码的三种情
形
– 给定资源和可靠性要求，经过信道编码尽量提
高传输速率〔例：多电平编码〕
– 给定对信息传输的速率和可靠性要求，经过信
信道编码定理
错误概率与译码准那么、编码方法－1
信道编码的基本概念和定理
j 1, 2,..., N
译码规则对译码性能的影响
示例 设发送码字集 C : 0,1, p c1 p c2 0.5 接收码字集 R : 0,1
两不同的二元对称信道分别为
(1)
p
rj / ci
0.8 0.2
0.2 0.8
(2)
p
rj / ci
2
0.2 0.8
0.8 0.2
分析在两种信道下不同译码规则对译码性能的影响。
RS
有信息论的基本知识，有
I X;Y H X log M
定义归一化信道容量为
CN
max R p xi ,i1,2,...,M I RS log M
max
p xi ,i1,2,...,M
I X;Y log M
1
若记发送序列为 接收序列为
对于离散无记忆信道：
xr x1, x2,..., xN yr y1, y2,..., yN
率矩阵
p c1 / r1 p c1 / r2 ... p c1 / rN
P
C
/
R
p
c2 /
...
r1
p c2 / r2
...
p
c2
/
rN
...
...
...
p
cM
/
r1
p cM / r2
...
p cM / rN
及 R 的分布特性
p rj
Mp
i1
ci
p rj / ci
rj / ck
在先验等概的条件下，最大后验概率译码规则可变为
cˆ D rj c arg max p rj / c1 , p rj / c2 ,..., p rj / cM
信道编码原理
的
某一种符号。
p(b1
a) 1
p(0 0)
1
p
p
【例5－1】 二元对称信道简记为
BSC(BinarySpy(mb2mae2t)ricCph(1a1n)nel1)， 其p 输p入/输出符号均取
值于{0，1}，若r=sp=(2b1，a且2 )a1=pb(10=10)，ap2=b2=1，有转移概率
p(b2
（4）选择合适的译码规则可降低平均错误译码的概率 。
5.2.3 费诺不等式
描述了平均错误译码概率Pe与信道疑义度H(X|Y) 的内在联系，即
H(X︱Y) ≤ H(Pe)十Pe1oga(r-1)
注：
（1）不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。
（2）费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性H(X|Y)由两部分 组成：第一部分是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性 H(Pe)；第二部分是当平均错误译码概率为Pe时，到底 是哪一个信源符号被错误译码的最大平均不确定性 Pe1oga(r-1)。
prj p X F(bj ) ai Y bj
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
（1）从整个传递作用的效果来看，信道的输入是 X=X1X2…XN，输出是Y=Y1Y2…YN。 （2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
N次扩展信道的传递矩阵
某一种符号。
p(b1
a) 1
p(0 0)
1
p
p
【例5－1】 二元对称信道简记为
BSC(BinarySpy(mb2mae2t)ricCph(1a1n)nel1)， 其p 输p入/输出符号均取
值于{0，1}，若r=sp=(2b1，a且2 )a1=pb(10=10)，ap2=b2=1，有转移概率
p(b2
（4）选择合适的译码规则可降低平均错误译码的概率 。
5.2.3 费诺不等式
描述了平均错误译码概率Pe与信道疑义度H(X|Y) 的内在联系，即
H(X︱Y) ≤ H(Pe)十Pe1oga(r-1)
注：
（1）不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。
（2）费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性H(X|Y)由两部分 组成：第一部分是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性 H(Pe)；第二部分是当平均错误译码概率为Pe时，到底 是哪一个信源符号被错误译码的最大平均不确定性 Pe1oga(r-1)。
prj p X F(bj ) ai Y bj
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
（1）从整个传递作用的效果来看，信道的输入是 X=X1X2…XN，输出是Y=Y1Y2…YN。 （2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
N次扩展信道的传递矩阵
信息论基础——联合信源—信道编码定理
定义 非空元素集合F，若在F中定义了加 和乘两种运算， 且满足下述公理：
32
第四章 信道编码定理
(1)F关于加法构成阿贝尔群，其加法单位元 记为 0； (2)F中非零元素全体对乘法构成阿贝尔群. 其乘法单位元记为1； (3) 满足分配律： a(b+c)=ab+ac (b+c)a=ba+ca 则称F是一个域.
10
第四章 信道编码定理
联合信源—信道编码定理
证明：
a
由于信源是无记忆的，它满足渐进等分性，
弱典型序列 的性质
n H U n n 存在典型序列集 W n 使 W 2 ，并且 Pr U n W 1
n H U 仅对属于 W n 的信源序列编码，码字集为 1, 2,, 2 ，
第四章 信道编码定理
例G1：整数全体，按通常加法构成群，这是一个无限群.
例G2：二元集{0,1}，对其上定义的模2加法,构成一个群.
0 0 1 1 0mod 2, 0 1 1 0 1mod 2
31
第四章 信道编码定理
二、 域 域在编码理论中起着关键作用； 域是定义了两种代数运算的系统.
4
第四章 信道编码定理
定理的提出
香农第一定理：要进行无失真数据压缩，必 须 R′>H；
5
第四章 信道编码定理
定理的提出
香农第二定理：要在信道中可靠地传输数 据，必须 C>R；
6
第四章 信道编码定理
定理的提出
香农第一定理：要进行无失真数据压缩，必 须 R′>H； 香农第二定理：要在信道中可靠地传输数 据，必须 C>R； 问题：若信源通过信道传输，要做到有效且 可靠地传输，是否必须有C>H ?
信道编码定理-2011
y
PE 1 PE p ( x * y )
y
有 噪 信 道 编 码 定 理
举例
a1 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4
b1 b2 b3
b1
b2
b3
F (b1 ) a1 F (b2 ) a2
F (b3 ) a2
15
a1 1/6 1/10 1/15 [ P (ai b j )] a2 1/15 1/10 1/6 a3 1/10 1/10 2/15
25
a a*
p( y | x a ) / 3
1/ 2
pE ( B)
a a*
p( y | x a ) / 3
[(1/ 6 1/ 3) (1/ 3 1/ 2) (1/ 6 1/ 2)]/ 3
2/3
有 噪 信 道 编 码 定 理
§ 3 费诺(Fano)不等式
33
其中， 为模二加运算。例如，码字 x [1101110 ] 和 码字 y [1010001] 的汉明距离为6。
一个码字集合中任意两码的汉明距离最小值，称为码
的最小距离，用dmin 来表示。
有 噪 信 道 编 码 定 理
最小汉明距离准则
接收序列 j
D0 j
0
D01
最近码字
1. 汉明距离 2. 序列最大似然译码
32
有 噪 信 道 编 码 定 理
4. 1 汉明距离
设两码字为 x [ x1 ,..., xn ], y [ y1 ,..., y n ]，定义它们的
汉明距离为
n d ( x , y ) xn y k k 1
08信道编码的概念
p(xr | ys )
s
s
PE min p( y j )[1 p(x* | y j )] p( y j ) p(xi | y j )
j 1
j 1
i*
s
s
p(xi y j ) p(xi ) p( y j | xi )
j 1i *
j 1i *
码序列中的信息序列码元与多余码元之间是相关的； 信道译码器利用这种预知的 编码规则译码。检验接收到
的数字序列 R 是否符合既定的 规则，从而发现 R 中是否 有错，或者纠正其中的差错；
2019/5/20
8/45
几个名词
信息码元：数字序列 M 总是以 k 个码元为一组传 输，称这k 个码元为信息码元。
有一个确定的函数 F( y j )，使其对应于唯一的一个输
入符号 xi，则称这样的一个函数为译码规则，记为
F( y j ) xi
（i 1,2, , r j 1,2, , s）
x1 x2 X
p(yj|xi)
y1 Y y2
xr
ys
2019/5/20
15/45
X x1, x2, , xr
2/45
信道编码的目标：提高通信的可靠性。
信道编码，就是按照一定的规则给信源编码后的码符 号序列增加一些冗余信息，使其变成具有一定数学规 律的码符号序列。
信道译码，就是按与信道编码器相同的数学规律去 掉接收到的码符号序列中的冗余符号。
通常来说，增加的冗余符号越多，检错和纠错能力 就越强。但是，增加的冗余符号越多，传输效率就 越低。
s
平均正确译码概率：PE p( y j ) p[F( y j ) | y j ]
s
s
PE min p( y j )[1 p(x* | y j )] p( y j ) p(xi | y j )
j 1
j 1
i*
s
s
p(xi y j ) p(xi ) p( y j | xi )
j 1i *
j 1i *
码序列中的信息序列码元与多余码元之间是相关的； 信道译码器利用这种预知的 编码规则译码。检验接收到
的数字序列 R 是否符合既定的 规则，从而发现 R 中是否 有错，或者纠正其中的差错；
2019/5/20
8/45
几个名词
信息码元：数字序列 M 总是以 k 个码元为一组传 输，称这k 个码元为信息码元。
有一个确定的函数 F( y j )，使其对应于唯一的一个输
入符号 xi，则称这样的一个函数为译码规则，记为
F( y j ) xi
（i 1,2, , r j 1,2, , s）
x1 x2 X
p(yj|xi)
y1 Y y2
xr
ys
2019/5/20
15/45
X x1, x2, , xr
2/45
信道编码的目标：提高通信的可靠性。
信道编码，就是按照一定的规则给信源编码后的码符 号序列增加一些冗余信息，使其变成具有一定数学规 律的码符号序列。
信道译码，就是按与信道编码器相同的数学规律去 掉接收到的码符号序列中的冗余符号。
通常来说，增加的冗余符号越多，检错和纠错能力 就越强。但是，增加的冗余符号越多，传输效率就 越低。
s
平均正确译码概率：PE p( y j ) p[F( y j ) | y j ]
信道编码定理
且p( x n )在 n 上取均匀分布。
第二节 信道编码问题 （2） ( f , g ), 在n 时，st
n n
n ( f n , g n )的误差
e( f n , g n ) n 0成立。
编码问题一就是求信道序列 C 的最大可达速率R1。 编码问题二 对给定 C 寻找一组 专线：
0
1
2
1
1
第三节 离散无记忆信道 例：对于二元对称信道
0 1-p p p 1-p 0
1
1
如果信源分布X={ ,1- }，则 I ( X ; Y ) H (Y ) H (Y / X )
H (Y ) P( x) P( y / x) log 1 P( y / x) X Y 1 1 H (Y ) P( x)[ p log p log ] p p X
那么，在什么样的信源输出情况下，信道输出能等概分 布呢？可以证明，输入等概分布时，输出也等概分布。
第三节 离散无记忆信道
例：
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 1 1 1 1 1 1 1 C log 4 H ( , , , ) 2 [ log 3 log 3 log 6 log 6] 0.817 3 3 6 6 3 3 6 6
1 2 1 P 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 和第三节 离散无记忆信道
如果离散信道的转移矩阵如下
p p P r 1 ... p r 1 p r 1 p p r 1 ... p r 1 ... p r 1 p r 1 p
是可通过的：若
第二节 信道编码问题 （2） ( f , g ), 在n 时，st
n n
n ( f n , g n )的误差
e( f n , g n ) n 0成立。
编码问题一就是求信道序列 C 的最大可达速率R1。 编码问题二 对给定 C 寻找一组 专线：
0
1
2
1
1
第三节 离散无记忆信道 例：对于二元对称信道
0 1-p p p 1-p 0
1
1
如果信源分布X={ ,1- }，则 I ( X ; Y ) H (Y ) H (Y / X )
H (Y ) P( x) P( y / x) log 1 P( y / x) X Y 1 1 H (Y ) P( x)[ p log p log ] p p X
那么，在什么样的信源输出情况下，信道输出能等概分 布呢？可以证明，输入等概分布时，输出也等概分布。
第三节 离散无记忆信道
例：
1 3 P 1 6 1 3 1 6 1 6 1 3 1 6 1 3
1 1 1 1 1 1 1 1 C log 4 H ( , , , ) 2 [ log 3 log 3 log 6 log 6] 0.817 3 3 6 6 3 3 6 6
1 2 1 P 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 和第三节 离散无记忆信道
如果离散信道的转移矩阵如下
p p P r 1 ... p r 1 p r 1 p p r 1 ... p r 1 ... p r 1 p r 1 p
是可通过的：若
第5章_信源—信道编码定理
这种编码方法，可以看成是一种特殊的试验信道
1 P (v j / ui ) 0
d (C )
v j C , v j f (ui ) v j f (ui )
1 N
P (U ) d [ u , f ( u )]
U
1 1 1 [0 1 1 1 0 1 1 1] 3 8 4
要使信源在此二元信道中传输，必须对X进行二元编码：
x1 C1 C2 000 0000
x2 001 0001
x3 010 0010
H (X ) 3
H (X ) 4
x4 011 0011
x5 100 0100
x6 101 0101
对于码 对于码
C1
R1
0 .6 4 6
(比特／信道符号) (比特／信道符号)
第5章
信道—信源编码定理
通用通信系统
其中：编码器包括信源编码和信道编码两个部分； 译码器包括信道译码和信源译码两个部分； 信道为有噪信道。
•信道编码 •给定信道输入符号集AX； •给定信道输出符号集AY； •对每个输入符号x，存在一个非负实数b(x)，为传输x的 代价。 定义n阶容量—代价函数：
信息率为1/3，而平均失真为1/4，根据香农第三定理， 若允许失真D=1/4时，总可以找到一种编码，使信息输出 率达到极限R(1/4)
1 1 R ( ) 1 H ( ) 0 .1 8 9 4 4
信源—信道匹配
• 当信源与信道相连接时，其信息传输率并未 达到最大. • 希望能使信息传输率越大越好，能达到或尽 可能接近于信道容量, 信息传输率接近于信道 容量只有在信源取最佳分布时才能实现。 • 由此可见，当信道确定后，信道的信息传输 率与信源分布是密切相关的。当达到信道容 量时，我们称信源与信道达到匹配，否则认 为信道有剩余。
第六章：信道编码定理
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－6
• 译码准则二：最大似然译码准则 译码准则二：
p( y | g( y)) = m p( y | xm) ax
m
• 最大后验概率译码准则 最大似然译码准则 最大后验概率译码准则&最大似然译码准则
– 输入等概时－－二者是一致的 输入等概时－－二者是一致的 －－
传输信息量大－－传输要有效 传输信息量大－－传输要有效 －－ 传输信息无差错－－传输要可靠 传输信息无差错－－传输要可靠 －－ 可靠性？ 可靠性？
§6.1:问题引出与定理描述
• 提出的与信道传输可靠性有关的问题： 提出的与信道传输可靠性有关的问题： 可靠性有关的问题
– 如何能使信息传输后发生的错误最少？ 如何能使信息传输后发生的错误最少？ • 错误概率与那些因素有关？ 错误概率与那些因素有关？ • 有无办法控制？ 有无办法控制？ 具体信道编码技术 • 能控制到什么程度？ 能控制到什么程度？ – 无误传输可达的最大信息率是多少？ 无误传输可达的最大信息率是多少？
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－8
• 选择好的译码规则可以降低错误概率 • FANO不等式说明 无论什么译码规则 对减少误码 不等式说明,无论什么译码规则 不等式说明 无论什么译码规则,对减少误码 率的作用有限,误码率受信道特性的影响严重。 误码率受信道特性的影响严重 率的作用有限 误码率受信道特性的影响严重。 • 增加码空间 ，并选择适当的编码方法,可以既使 增加码空间M，并选择适当的编码方法 可以既使 错误概率降低,又使码率保持较大 又使码率保持较大。 错误概率降低 又使码率保持较大。 • 适当的编码方法就是适应信道特性的方法即 信道 适当的编码方法就是适应信道特性的方法即:信道 编码
信道编码概念小结
生成元 g (1) =11 01 11 中每一段对应位构成的子向量 g (1,1) =101, g (1,2) =111 称为该码的子生 成元。 33、Viterbi 译码方法的思想 维特比算法的中心思想： 将求解格图上整条路经的似然度转化为利用分支似然度逐步求 解路径似然度。大大简化了译码的复杂性。 思路：在格图上，逐节拍(逐分支)、逐状态比较候选序列的似然度，在每个节拍上发现 和排除不可能路径，从而将候选路径保持在与状态数相同的数量上。 34、Viterbi 译码的步骤 1、构造格图 2、取一个接收分组，计算到达当前状态的所有分支度量，累加前一状态保留的路径度量得 到到达当前状态的所有路径度量。 3、对每一个状态比较到达该状态的所有路径度量，选择一条最小距离路径作为该状态的保 留路径，称为幸存路径。 （加、比、选） 4、推后一个节拍，重复 2、3 直到输入完整个接收序列，即可得到一条最大似然路径，该路 经所对应的信息序列即为译码输出。
进而求得第 j+1 次迭代结果
( x)
31、修正项的取法： ①、从第 j 次迭代回退，找出第 i 次迭代结果 ②、第 j 次迭代的修正项为：
(i )
( x) ，要求 i<j, di≠0 且 i-D(i)最大。
d j di1x( j i ) (i ) ( x)
即：
( j 1) ( x) ( j ) ( x) d j di1x( j i ) (i ) ( x)
g1
g2 „...
gr-1
s0
s1 s0
sn-k-1 ... sn-k-1
伴随式修正 R 1~n n 级移位寄存器
典型错样检测 C
扩域 GF(2m)：设 p(x)为 GF(2)上的 m 次既约多项式，模 p(x)的所有 2m 个余式在模 p(x)加法和 乘法下构成 2m 元域，称为 GF(2)的扩域(也称为模 p(x)的剩余类域)，记为 GF(2m)。 构造扩域 GF(2m)的步骤： ① 找一个 GF(2)上的 m 次本原多项式 p(x) ② 令α 为 P(x)在 GF(2m)上的根 ③ 取α 的各次幂α 0,α 1,α 2,„, 构成 GF(2m)的全部非零元素 m ④ 加上零元素 0 即构成扩域 GF(2 ) 25、BCH 码的定义 对于二元域 GF(2)及其扩域 GF( 2 )，设β = i (i=1,2,…,2m-2)为 GF( 2 )上的非零元素，如果
第五章信道编码定理一
一些。发送哪个码字的条件下，最可能收到y，就认为发送 的是哪个码字。 最大似然概率准则（最小距离准则）的实现比最大后验概率 准则的实现更简单：前者只需要看哪个码字与y的Hamming 距离最小；后者需要知道各码字的概率分布，然后用贝叶 斯公式计算并比较后验概率。 两种准则都可以用在没有编码（直接发送）情况下的纠错译 码。
0→0000， 1→1111。
5/3/2024
14
§5.1 离散信道编码问题
译码规则如下： 当(Y1Y2Y3Y4)中1的个数为3或4时，(Y1Y2Y3Y4)→(1111)→1； 当(Y1Y2Y3Y4)中1的个数为0或1时，(Y1Y2Y3Y4)→(0000)→0； 当(Y1Y2Y3Y4)中1的个数为2时， (0011)、(1100)、(1001)→(0000)→ 0， (0101)、(1010)、(0110)→(1111)→ 1。 译码规则显然是最小距离准则。
后验概率的计算：记 q(u)=P((U1U2…UN)=u)，称q(u)为先验概率； pN(y|u)=P( (Y1Y2…YN)=y|(U1U2…UN)=u)，我们知道p(y|u)是信
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
5/3/2024
15
§5.1 离散信道编码问题
何时检测到信道传输错误？当(Y1Y2Y3Y4)不是一个码字时，检 测到信道传输错误。
换句话说，(Y1Y2Y3Y4)与原发码字(U1U2U3U4) 的Hamming距离 ≥1且≤3时，检测到信道传输错误。
因此，信道传输有错误但能检测出错误的概率为
0→0000， 1→1111。
5/3/2024
14
§5.1 离散信道编码问题
译码规则如下： 当(Y1Y2Y3Y4)中1的个数为3或4时，(Y1Y2Y3Y4)→(1111)→1； 当(Y1Y2Y3Y4)中1的个数为0或1时，(Y1Y2Y3Y4)→(0000)→0； 当(Y1Y2Y3Y4)中1的个数为2时， (0011)、(1100)、(1001)→(0000)→ 0， (0101)、(1010)、(0110)→(1111)→ 1。 译码规则显然是最小距离准则。
后验概率的计算：记 q(u)=P((U1U2…UN)=u)，称q(u)为先验概率； pN(y|u)=P( (Y1Y2…YN)=y|(U1U2…UN)=u)，我们知道p(y|u)是信
道响应特性，而且 pN(y|u)=P(Y1=y1|U1=u1)P(Y2=y2|U2=u2)…P(YN=yN|UN=uN) =(p/(D-1))d(1-p)N-d， 其中d是(y1y2…yN)与(u1u2…uN)对应位置值不相同的位数；
5/3/2024
15
§5.1 离散信道编码问题
何时检测到信道传输错误？当(Y1Y2Y3Y4)不是一个码字时，检 测到信道传输错误。
换句话说，(Y1Y2Y3Y4)与原发码字(U1U2U3U4) 的Hamming距离 ≥1且≤3时，检测到信道传输错误。
因此，信道传输有错误但能检测出错误的概率为
第6章 信道编码定理
无线通信中的如发射机、天线、自由空间、接收机等全体； 有线通信中的如调制解调器、电缆等全体； 互联网的多个路由器、节点、电缆、低层协议等全体； 计算机的存储器如磁盘等的全体； …… 。
6
HUST -- Information and Coding Theory
错误概率和译码规则
4
HUST -- Information and Coding Theory
通信的可靠性问题
通信的可靠性问题，即消息通过信道传输时 如何选择编码方案以减少差错。
首先，通信的可靠性显然与信道的统计特性有 关，因为杂噪干扰是造成错误的主要因素。 其次，编码方法和译码方法也将影响信息传输 的可靠性。
17
HUST -- Information and Coding Theory
最大后验概率准则-例题
P( x1 ) 1 / 3 0.5 0.4 0.1 设信道矩阵 ，输入符号概率为： P( x ) 2 / 3 0.2 0.4 0.4 2 试按照最大后验概率准则确定最佳译码规则。 1 2 1 6 15 30 解：由 P( xi y j ) P( xi ) P( y j / xi ) 得联合概率矩阵 2 4 4 15 15 15
15
HUST -- Information and Coding Theory
2、译码规则
选择译码规则总的原则应是使译码平均错误概率pE 最小。 由于译码平均错误概率 m pE E[ p(e | y j )] p( y j ) p(e | y j )
j 1
为非负项之和，欲使译码平均错误概率最小，那么 应使每一项 p( y j ) p(e | y j ) 为最小。 由于 p(yj) 与译码规则无关，故欲使译码平均错误 概率最小，即为使 p(e | y j )最小，或者使 p( xi y j ) 为最大，于是引出最大后验概率准则。
6
HUST -- Information and Coding Theory
错误概率和译码规则
4
HUST -- Information and Coding Theory
通信的可靠性问题
通信的可靠性问题，即消息通过信道传输时 如何选择编码方案以减少差错。
首先，通信的可靠性显然与信道的统计特性有 关，因为杂噪干扰是造成错误的主要因素。 其次，编码方法和译码方法也将影响信息传输 的可靠性。
17
HUST -- Information and Coding Theory
最大后验概率准则-例题
P( x1 ) 1 / 3 0.5 0.4 0.1 设信道矩阵 ，输入符号概率为： P( x ) 2 / 3 0.2 0.4 0.4 2 试按照最大后验概率准则确定最佳译码规则。 1 2 1 6 15 30 解：由 P( xi y j ) P( xi ) P( y j / xi ) 得联合概率矩阵 2 4 4 15 15 15
15
HUST -- Information and Coding Theory
2、译码规则
选择译码规则总的原则应是使译码平均错误概率pE 最小。 由于译码平均错误概率 m pE E[ p(e | y j )] p( y j ) p(e | y j )
j 1
为非负项之和，欲使译码平均错误概率最小，那么 应使每一项 p( y j ) p(e | y j ) 为最小。 由于 p(yj) 与译码规则无关，故欲使译码平均错误 概率最小，即为使 p(e | y j )最小，或者使 p( xi y j ) 为最大，于是引出最大后验概率准则。
08信道编码的概念-精品文档
j
x1
y1
x2 X
xr
p(yj|xi)
Y y 2
ys
15
X xx ,2 , ,x 1 r
信道
Y y ,y , ,y 1 2 s
y2 (x p (x x 1| y 1) 1| y 2) 1 p p p (x x 2| y 1) 2| y 2) 2 (x Q (x p (x x r|y 1) r|y 2) r p
12
译码
译码最重要的是尽量正确地恢复原始信息，但译码本 身是一种信息处理，肯定会引入一定的信息损失，会 产生一定的误码(错误概率)，因此译码必须遵循一定 的规则。 不同的译码规则，对错误概率会产生不同的影响。 译码的重点就是寻找好的译码规则，使译码的错误概 率尽量的小。
13
译码规则对错误概率的影响
110 100
111
101
010
000
011 t= 1 t= 2 t= 3
001
纠 1位 差 错 的 3重 复 码
11
几类常用信道编码
分组码 将一个有限k维输入矢量映射到一个n维矢 量的编码，记为(n, k)分组码 卷积码 输入为一个长序列，每个分组有k个符号送 入编码器，同时有n个符号输出，但每分组 的输出不仅与本分组的输入有关，还与之前 L-1个分组的输入有关，记为(n, k, L)卷积码 级联码 两个以上的编码器按一定方式组合而成的编 码器
9
编码与构造编码
编码：针对当前要传的消息，根据映射规则，确定当 前要发哪一个波形（矢量码字） 构造编码：寻找并建立映射规则 编码设计准则——最佳译码时的差错概率（最佳译码 有可能做不到） 自由距最大化准则——一种最常用的编码构造准则
x1
y1
x2 X
xr
p(yj|xi)
Y y 2
ys
15
X xx ,2 , ,x 1 r
信道
Y y ,y , ,y 1 2 s
y2 (x p (x x 1| y 1) 1| y 2) 1 p p p (x x 2| y 1) 2| y 2) 2 (x Q (x p (x x r|y 1) r|y 2) r p
12
译码
译码最重要的是尽量正确地恢复原始信息，但译码本 身是一种信息处理，肯定会引入一定的信息损失，会 产生一定的误码(错误概率)，因此译码必须遵循一定 的规则。 不同的译码规则，对错误概率会产生不同的影响。 译码的重点就是寻找好的译码规则，使译码的错误概 率尽量的小。
13
译码规则对错误概率的影响
110 100
111
101
010
000
011 t= 1 t= 2 t= 3
001
纠 1位 差 错 的 3重 复 码
11
几类常用信道编码
分组码 将一个有限k维输入矢量映射到一个n维矢 量的编码，记为(n, k)分组码 卷积码 输入为一个长序列，每个分组有k个符号送 入编码器，同时有n个符号输出，但每分组 的输出不仅与本分组的输入有关，还与之前 L-1个分组的输入有关，记为(n, k, L)卷积码 级联码 两个以上的编码器按一定方式组合而成的编 码器
9
编码与构造编码
编码：针对当前要传的消息，根据映射规则，确定当 前要发哪一个波形（矢量码字） 构造编码：寻找并建立映射规则 编码设计准则——最佳译码时的差错概率（最佳译码 有可能做不到） 自由距最大化准则——一种最常用的编码构造准则
第15讲——信道编码定理2014
n
本节小结
（本节内容见课本146-153页）
Fano不等式
pb log(M 1) H ( pb ) H (U V )
信道编码定理 Shannon第二编码定理 对于给定的 R C ，通过增加N就能使 pb 为任意小； 反之，若 R C ，就会趋于1。
第四章习题
当 ( c / s ) H (U )
L H (U ) C 时，p 为非零值。 b N
若信息传输速率 L H (U ) 大于信道容量 C , 则不管采 何种编码和译码方法都不能使平均错误概率为0。 上述定理可推广到一般离散有记忆信道。
N
联合ε典型序列
令X、Y是两个概率空间，
将上述三个不等式相应项相乘，并用I(X；Y)=H(XY)–H(X)–H(Y) 就可得到引理3不等式。
联合典型编码与译码
在编码时，从XN中独立随机的选择M个典型序列作为码字， 在接收端YN中，对接收序列y寻找与它构成联合典型序列 的那个码字。若只对应唯一一个码字，则判定该码字为所 发送的码字。因为发送的码字与接收序列y构成联合典型 序列的概率很高，它们之间是高概率密切相关的。 总之，若令x,y分别表示信道的输入和输出，则联合典 型序列(x,y)表示那些信道的输入和输出之间密切关联、 经常出现的序列对。
信源-信道编码定理：
若 S =（s1 ,s2 , ,sn ) 是有限符号集上的随机序列并 满足AEP，又信源S的极限熵 H C ，则存在信源和信 道编码，其 p e 0 反之，对于任意平稳随机序列，若极限熵 H C ，则 错误概率远离0，即不可能在信道中以任意小的错误概率 传输随机序列。 信源通过信源编码后再信道编码两步证明。 信源编码和信道编码可独立进行，大大简化了 通信系统的设计。
本节小结
（本节内容见课本146-153页）
Fano不等式
pb log(M 1) H ( pb ) H (U V )
信道编码定理 Shannon第二编码定理 对于给定的 R C ，通过增加N就能使 pb 为任意小； 反之，若 R C ，就会趋于1。
第四章习题
当 ( c / s ) H (U )
L H (U ) C 时，p 为非零值。 b N
若信息传输速率 L H (U ) 大于信道容量 C , 则不管采 何种编码和译码方法都不能使平均错误概率为0。 上述定理可推广到一般离散有记忆信道。
N
联合ε典型序列
令X、Y是两个概率空间，
将上述三个不等式相应项相乘，并用I(X；Y)=H(XY)–H(X)–H(Y) 就可得到引理3不等式。
联合典型编码与译码
在编码时，从XN中独立随机的选择M个典型序列作为码字， 在接收端YN中，对接收序列y寻找与它构成联合典型序列 的那个码字。若只对应唯一一个码字，则判定该码字为所 发送的码字。因为发送的码字与接收序列y构成联合典型 序列的概率很高，它们之间是高概率密切相关的。 总之，若令x,y分别表示信道的输入和输出，则联合典 型序列(x,y)表示那些信道的输入和输出之间密切关联、 经常出现的序列对。
信源-信道编码定理：
若 S =（s1 ,s2 , ,sn ) 是有限符号集上的随机序列并 满足AEP，又信源S的极限熵 H C ，则存在信源和信 道编码，其 p e 0 反之，对于任意平稳随机序列，若极限熵 H C ，则 错误概率远离0，即不可能在信道中以任意小的错误概率 传输随机序列。 信源通过信源编码后再信道编码两步证明。 信源编码和信道编码可独立进行，大大简化了 通信系统的设计。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
pe Q(m) pem m1
高斯信道
N
max p( y | xm )
n1
1
2
exp{
(
yn
xmn
2 2
)2
}
N
N
N
max ln( y | xm ) min ( yn xmn )2 min xm2n 2 xmn yn
n1
n1
n1
Fano不等式和信道编码逆定理
p K 1
(N
d ( y,
xm ))ln(1
p)
N ln(1 p) d ( y, xm ) ln[(1 p)(K 1) / p]
判决区域
Y m : l n p ( y | x m ) > l n p ( y | x m ’ ) 给定m,错误概率
pem p( y | xm ) yYmC M
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)
H ( pb )
1 L
Байду номын сангаас
H (U
L
|V
L)
1 [H (U L ) I (U L;V L )] L
H
L
(U
)
1 L
I
(
X
N
;Y
N
)
HL
(U
)
N L
C
信道编码逆定理
• 离散平稳源有M个字母熵为HL(U),信道容量为C,当HL(U)>(N/L)C时,误码率为非零值
信道编码定理
• R<C时，R是可达的，即对信息速率R,任意给定的e>0，存在编译码方法，当N足够大，p<e
最小汉明距离译码
汉明距离 d(x,y), x,y中 分量不同的数目
码字先验等概 K元对称信道
p(i | i) 1 p p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1
d ( y,
xm ) ln
第五章 信道编码定理
• 1.离散信道编码问题 • 2.信道译码 • 3.Fano不等式和信道编码逆定理
1.离散信道编码问题
k0 K
纠错编码器
• 送给纠错编码器的消息是经过最佳信源编码后，信 息速率为比特/秒的离散二元或q元数字序列。
• 分组码 每K个信息数字为一组，计算出N个编码数字，称 这些数字为一个码字。通常N为整数。
译码准则
最小错误概率译码：是 pe(y)最小
最大后验概率译码：选 最大
pr (m'| y) pr (m | y)
最大似然译码
p(m | y) Q(m) p( y | m) p( y)
p( y | m') p( y | m)
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
• 卷积码 • 输出的n0长码段不仅依赖于当前的k0位信息数字，
还依赖于前m个信息段的信息数字，即总共与（m ＋1）k0个信息数字有关。
纠错编码器
R＝K/N，码率 误组率 误比特率
p(xm' xm )
1 L
pb L l1 pel
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)
高斯信道
N
max p( y | xm )
n1
1
2
exp{
(
yn
xmn
2 2
)2
}
N
N
N
max ln( y | xm ) min ( yn xmn )2 min xm2n 2 xmn yn
n1
n1
n1
Fano不等式和信道编码逆定理
p K 1
(N
d ( y,
xm ))ln(1
p)
N ln(1 p) d ( y, xm ) ln[(1 p)(K 1) / p]
判决区域
Y m : l n p ( y | x m ) > l n p ( y | x m ’ ) 给定m,错误概率
pem p( y | xm ) yYmC M
Fano不等式
pb log(M 1) H ( pb ) H (U |V )
pb
log(M
1)
H ( pb )
1 L
Байду номын сангаас
H (U
L
|V
L)
1 [H (U L ) I (U L;V L )] L
H
L
(U
)
1 L
I
(
X
N
;Y
N
)
HL
(U
)
N L
C
信道编码逆定理
• 离散平稳源有M个字母熵为HL(U),信道容量为C,当HL(U)>(N/L)C时,误码率为非零值
信道编码定理
• R<C时，R是可达的，即对信息速率R,任意给定的e>0，存在编译码方法，当N足够大，p<e
最小汉明距离译码
汉明距离 d(x,y), x,y中 分量不同的数目
码字先验等概 K元对称信道
p(i | i) 1 p p( j | i) p /(K 1)
最小汉明距离译码
N
ln p( y | xm ) ln p( yi | xmi ) n1
d ( y,
xm ) ln
第五章 信道编码定理
• 1.离散信道编码问题 • 2.信道译码 • 3.Fano不等式和信道编码逆定理
1.离散信道编码问题
k0 K
纠错编码器
• 送给纠错编码器的消息是经过最佳信源编码后，信 息速率为比特/秒的离散二元或q元数字序列。
• 分组码 每K个信息数字为一组，计算出N个编码数字，称 这些数字为一个码字。通常N为整数。
译码准则
最小错误概率译码：是 pe(y)最小
最大后验概率译码：选 最大
pr (m'| y) pr (m | y)
最大似然译码
p(m | y) Q(m) p( y | m) p( y)
p( y | m') p( y | m)
所有Q(m)相同
最大对数似然译码
ln p( y | m') ln p( y | m)
• 卷积码 • 输出的n0长码段不仅依赖于当前的k0位信息数字，
还依赖于前m个信息段的信息数字，即总共与（m ＋1）k0个信息数字有关。
纠错编码器
R＝K/N，码率 误组率 误比特率
p(xm' xm )
1 L
pb L l1 pel
2.信道译码问题
译码错误概率
pe ( y) PN (m' m | y) 1 pN (m' m | y)