第16讲——信道编码基础

作 业
5.1 设有一DMC，其转移概率矩阵如下。若Q(x1)＝l/2， Q(x2)＝Q(x3)＝1/4，试求 （1）最佳译码判决时的译码规则以及误码率。 （2）最大似然译码判决时的译码规则以及误码率。
1/ 2 1/ 6 1/ 3 1/ 3 1/ 2 1/ 6 1/ 6 1/ 3 1/ 2
令Ymc表示 Ym 的补集，当发送消息为m，而接收y落入 Ymc
中就会产生译码错误。因此，给定m时的译码错误概率为
pem
c yYm
p
M
ቤተ መጻሕፍቲ ባይዱ
N
(y x m )
若消息m的先验概率为Q(m)，则平均译码错误概率为
pe Q(m) pem
m 1
例 题
设M=2且两个消息等概，令 x1 (0000)， x2 (1111) 。 通过转移概率为p<1/2的BSC信道传送。 (1)若采用完备译码，试根据最大后验概率准则划分 译码区间并给出相应的译码错误概率。 (2)若可以划分三个区间，试确定译码规则并给出译 码错误概率和有错不能判决的概率？
u跑遍所有码字
max
p N (u | y )
若有一个以上的m，使 pN (m' y) 取同样的最大值时， 我们可从其中任选一个，而不会影响平均错误概率
分组码的译码准则
最大似然译码准则
pN ( y | m' )
u跑遍所有码字
max
pN ( y | u )
最大后验概率
p N (m y ) Q(m) pN (y x m ) w(y )
00 10101 信道编码（纠错编码）的任务是将输入的信息数字序列 01 10010 变换成另一个数字序列送入有扰离散信道。人为的按一 10 01110 定规则增加多余度，以便纠正传送过程中可能出现的错 11 11111 误，以尽可能小的错误概率恢复原来的信源序列。
r = 10110 10010
信道编码器模型
本节小结
（本节内容见课本139-146页） 信道编码基本概念 – 编码约束长度、信息段与码段、编码速率 – 分组码、卷积码 信道编码（分组码）编译码 – 分组码编码 – 分组码译码 最小错误概率译码准则 最大后验概率译码准则 最大似然译码准则
实 例
分组码(5,2) 00 01 10 11 11 01
10101 10010 01110 11111 1101
mj
m j 1
11111 10010
编码
卷积码(2,1,3)
mj
m j 1
m j 2

X j1

X j2
11 01 01 00
信道编码分类
信息率（编码速率）
R
k0 L R 或 N n0
设译码器在收到y后将它译为 x m ' 。若 m m'，就出现 了错误。这种事件出现的概率是误组率 pe 。 一个码字发生错误意味着N长二元数字序列中至少有一 位错，误比特率是译码后码字中发生错误的比特数与总 比特数之比 1 N pb pel L l 1
其中 pel是第l位出现错误的概率
例 题
设有一个离散信道，其转移概率矩阵为
0.5 0.3 0.2 P 0 . 2 0 . 3 0 . 5 0.3 0.3 0.4 1 1 1 p ( x ) p ( x ) 1 并设 ， 2 4 ，p ( x3 ) ，试分别按最小错 4 2
误概率准则与最大似然译码准则确定译码规则，并计 算相应的译码错误概率？
它表征了纠错所付出的代价。显然，若给定L或k0， 要求纠错能力愈强，所需的多余度愈大，编码速率R 也就愈低，即所付出的代价愈大。 区别：信源编码的编码速率 R
N log D L
信源编码后平均描述每个信源符号的信息量。若给定 L，编码速率R愈低，即所需编码长度N愈小，相应的 系统有效性愈高。
分组码的编码
分组码的译码准则
译码准则就是猜测规则，即当信道的输出值为y时， 将其译为哪个码字m最合理？ 对特定接收序列y， 译码时要求 pe ( y )最小 最小错误概率译码准则
pe ( y) pN (m' m y) 1 pN (m' m y)
最大后验概率准则
p N ( m' | y )
输入 输出
um U L
L 级 移 存 器 纠 错 编 码 器
xm X N
ym Y N
纠 错 译 码 器 L 级 移 存 器
ˆ m U L u

离散信道 干扰

每个信息数字持续时间为 s 秒 按一定运算规则计算出编码数字，持续时间为 c 秒 c s
信道编码基本参数
编码约束长度 称L为信息数字的编码约束长度，它是纠错码的一个重 要参数。 信息段与码段 编码器通常对数字进行分段，例如分成长为k0的段，称 作信息段。在 k0s时间段内，编码器计算出n0个编码数字 送给信道，称作码段。n0，k0都是编码的重要参数。
实 例
分组码(5,2) 00 01 10 11 11 01
10101 10010 01110 11111 1101
mj
m j 1
11111 10010
编码
卷积码(2,1,3)
mj
m j 1
m j 2

X j1

X j2
11 01 01 00
信道编码分类
k0 L，即每时间段编码器接收L个信息数字，并计算 出 N n0个编码数字（称作一个码字），通常
分组码的译码
分组码编码：消息空间UL到输出空间YN的一种映射 译码规则可以看成是YN到UL的一种映射，即将空间YN 按译码准则划分成不相交的判决空间Y1, , YM 。 最大后验概率译码
Ym' Y : ln Q(m' ) ln pN ( y xm' ) ln Q(m) ln pN ( y xm ) m m'
长为L的二元信息序列的总数 M 2 L个，而长为 N的二元数字序列为 2 N个。分组编码就是从个长 为N的数字序列选出M个，用来代表M个不同的 信息序列。任何一种指定方案就给定一种编码方 法（编码规则）。
分组码的性能指标
令y ( y1 , y2 , , yN )是 xm ( x1 , x2 , , xN ) 信道输入相应的信道 输出。纠错译码器的作用就是根据接收到的y和编码规则， 对发送的是M个可能序列中的哪一个做出判决。
选N Ls / c 为整数。这种码称为分组编码。
k0 L ，一般选 L (m 1)k0，其中，m是正整数。在m 0
时，每 k0s秒输出n0长的码段中各数字的取值 不仅与当前输入的k0位信息数字有关，而且与 在此之前的m个信息段上的信息数字有关，即 总共与 L (m 1)k0 个信息数字有关。这样输出 的各码段之间不再彼此独立。这种依赖关系要 一直递推下去，称这样的编码法为卷积编码。
若所有可能消息序列的先验概率相等，则最大后验概率准则 可进一步简化为 pN ( y | m' ) max pN ( y | u)
u跑遍所有码字
译码准则的对数形式
后验概率
p N (m y ) Q(m) pN (y x m ) w(y )
最大后验概率译码
ln Q(m' ) ln pN (y xm' ) ln Q(m) ln pN (y xm ) m m'
最大似然译码（当消息先验概率相等时）
ln pN ( y xm' ) ln pN ( y xm )
m m'
最大似然译码准则
【注1】它并不要求消息的先验概率。 【注2】在消息先验等概条件下，它等价于最大后验概率 译码，因而也是最佳的。但若消息先验概率不确 知时，采用最大似然译码就不一定保证译码错误 概率最小。 【注3】实际系统中，信源发出的序列传送到信道之前都 已进行信源编码，经过有效的信源编码，输出码 元的概率分布会均匀化，所以信道的输入近似为 等概，因此在工程应用中采用最大似然译码尽管 不会使错误概率达到最小，但也接近最小。
最大似然译码
Ym' Y : ln pN (y xm' ) ln pN (y xm )
M 1 i 1 N Y Y i
m m'
其中 Yi Yk k i
若接收矢量 y Ym，就将y判为消息m。 若 y YM 1，就将y作为删除或检错处理。
分组码的译码
第十六讲 信道编码基础
数字通信系统模型
信 源 信 宿
信源编码 加密 加密 密钥 信 道 解密 密钥
信源译码 解密
信道编码
信道译码
干 扰 源
信道编码
单个的字无法检错：扪→？ 词汇能够检错：我扪的→我扪的 词汇能够纠错：我扪的→我们的，我等的，我辈的， 我班的，… 结论：加入冗余后，根据词汇的概率分布稀疏性可以 用来检错和纠错。