信息论与编码理论基础(第五章)

规则
2012-5-10 4
一般来说，引入监督码元越多，码的检错、纠 错能力越强，但信道的传输效率下降也越多。 人们研究的目标是寻找一种编码方法使所加的 监督码元最少，而检错、纠错能力又高且又便 于实现。
信息码元k 监督码元r 纠正发 现
规则
2012-5-10 5
通信过程
{Xm} 信源 信道编码 器 纠错编码器 调制器 {Um} 信道 {Ym} 信道译码 器 纠错译码器 解调器 {Xm‘} 信宿
2012-5-10 7
k0长信息段 信息段 纠错编码器
n0长码段
• (n0, k0)卷积码 (Convolutional codes)：各分组 卷积码 ： 相关，约束长度L为 相关，约束长度 为(m+1) k0
….
n0长码段
(N, L)分组码 (Block codes)：分组之间独立， 分组码 ：分组之间独立， 约束长度L为 约束长度 为k0
计算后验概率是困难的，针对具体信道（ 计算后验概率是困难的，针对具体信道（转移概率 已知），采用最大似然准则 已知），采用最大似然准则 ），采用 m取遍所有可能 取遍所有可能 Q ( m ) P ( y | xm ) 离散序列 取值， 取值，固定接收 P (m | y ) = Ω( y ) 序列y， 序列 ， Ω(y)相 相 M
2012-5-10 13
两种典型的译码规则
最佳译码规则－ 最佳译码规则－使Pe(y)达到最小 达到最小
min{Pe ( y) = P(m' ≠ m | y) = 1 − P(m' = m | y)}
= 1 − max{ P ( m ' = m | y )}
最佳译码规则的确来自百度文库： 最佳译码规则的确定：
2012-5-10 9
译码规则对错误概率的影响
接下来来分析这个错误概率与哪些因素有关。
在第四章里，我们已经知道错误概率 信道统 错误概率与信道统 错误概率 计特性有关。但通信过程一般并不是在信道输 计特性 出端就结束了，还要经过译码过程（或判决过 程）才到达消息的终端（收信者）。因此译码 译码 过程和译码规则对系统的错误概率影响很大。 过程和译码规则
2012-5-10
3
11
译码规则
例：有一个离散信道，其转移概率矩阵P为
根据该转移概率矩阵可以设计一个译码规则A如 上; 也可以设计一个译码规则B如下：
2012-5-10
12
译码规则
制定译码规则就是设计一个函数它对于每一个输出符 号确定一个唯一的输入符号与其对应。 号确定一个唯一的输入符号与其对应。 若信道有r个输入符号，s个输出符号，则共有多少种 若信道有 个输入符号， 个输出符号 个输入符号 个输出符号， 译码规则？ 译码规则？ 由于s个输出符号中的每一个都可以翻译成 个输入符 由于 个输出符号中的每一个都可以翻译成r个输入符 个输出符号中的每一个都可以翻译成 号中的任何一个，所以共有r 种译码规则可供选择。 号中的任何一个，所以共有 s种译码规则可供选择。 译码规则的选择应该根据什么准则？ 译码规则的选择应该根据什么准则？ 一个很自然的准则当然就是要使错误概率为最小。 一个很自然的准则当然就是要使错误概率为最小。
对特定的接收序列y， 对特定的接收序列 ， 等 Ω( y ) = Q (m ) P ( y | 选择 使得 转移成 xm ) 使得m’转移成 选择m‘使得 m =1 y的概率不小于其它任 的概率不小于其它任 Q (m ') P ( y | xm ' ) ≥ Q (m ) P ( y | xm ) ∀m '的概率 意消息转移为y的概率 意消息转移为 ≠ m
2012-5-10 14
两种典型的译码规则
例： （5.1） 设有一 ） 设有一DMC，其转移概率矩阵如下。 ，其转移概率矩阵如下。 若Q(x1)＝l/2，Q(x2)＝Q(x3)＝1/4，试求最佳译码 ＝ ， ＝ ＝ ， 判决。 判决。
x 1 1 / 2 x 2 1 / 6 x 3 1 / 3 y1 1/3 1/2 1/6 y2 1 / 6 1 / 3 1 / 2 y3
干 扰
信源消息序列经过信源编码后变成了信息随 机变量序列{Xm} ；其中每个随机变量Xm的事 件全体都是D元字母表中的元素。
k0长信息段 信息段 纠错编码器
n0长码段
将信息随机变量序列{X 分成长度为 的段（ 分成长度为k 将信息随机变量序列 m}分成长度为 0的段（每段 称为一个信息段） 称为一个信息段）; 然后依次输入到有L位移位寄存器的编码器中 位移位寄存器的编码器中， 然后依次输入到有 位移位寄存器的编码器中， 编码器根据当前的输入 编码器的状态计算出 当前的输入和 计算出n 编码器根据当前的输入和编码器的状态计算出 0个 编码数字（称为码段）送入信道，其中L称为 称为编码 编码数字（称为码段）送入信道，其中 称为编码 约束长度。 约束长度 编码速率：信息段与码段段长之比。 编码速率 纠错编码： 信息段空间到n 纠错编码： k0长信息段空间到 0长二元码段空间 的映射。 的映射。 映射的任何一种指定方案就是一种编码方案。 映射的任何一种指定方案就是一种编码方案。
∑
若所有可能消息序列的 P( y | xm' ) ≥ P( y | xm ) ∀m ' ≠ m 先验概率相等 最大似然准则 ln P( y | xm' ) ≥ ln P( y | xm ) ∀m ' ≠ m
2012-5-10
19
例 已知信道转移矩阵如下，试确定译码规则。
0.5 [P | X ] = 0.2 Y 0.3 0.3 0.3 0.3 0.2 0.5 0.4
两种典型的译码规则
P((X, Y)=(x1, y1))=1/4 P((X, Y)=(x2, y1))=1/24 P((X, Y)=(x3, y1))=1/12 P((X, Y)=(x1, y2))=1/6 P((X, Y)=(x2, y2))=1/8 P((X, Y)=(x3, y2))=1/24 P((X, Y)=(x1, y3))=1/12 P((X, Y)=(x2, y3))=1/12 P((X, Y)=(x3, y3))=1/8 2012-5-10 P((X=x1|Y=y1)=P((X, Y)=(x1, y1))/W(y1)=2/3 P((X=x2|Y=y1)=P((X, Y)=(x2, y1))/W(y1)=1/9 P((X=x3|Y=y1)=P((X, Y)=(x3, y1))/W(y1)=2/9 P((X=x1|Y=y2)=P((X, Y)=(x1, y2))/W(y2)=1/2 P((X=x2|Y=y2)=P((X, Y)=(x2, y2))/W(y2)=3/8 P((X=x3|Y=y2)=P((X, Y)=(x3, y2))/W(y2)=1/8 P((X=x1|Y=y3)=P((X, Y)=(x1, y3))/W(y3)=2/7 P((X=x2|Y=y3)=P((X, Y)=(x2, y3))/W(y3)=2/7 P((X=x3|Y=y3)=P((X, Y)=(x3, y3))/W(y3)=3/7
17
两种典型的译码规则
收到“Y=y1”时，译作 “X=x1”， 误码率（译码错误的概率）为 1/3； 收到“Y=y2”时，译作 “X=x1”，误码率（译码错误的概率）为 1/2； 收到“Y=y3”时，译作 “X=x3”，误码率（译码错误的概率）为 4/7。
2012-5-10 18
两种典型的译码规则
2012-5-10
20
两种典型的译码规则
L=k0长信息段 N=n0长码段
2012-5-10
8
(N, L)分组码的纠错译码 分组码的纠错译码 分组码的
译码器根据收到的N 长码段y=(Y1Y2…YN)和编码规则，对发送 的M=2L个可能的信息段｛xm=(X1X2…XL)｝中的哪一个作出判 纠错译码。 决，这样的一个通信过程y→xm’=(X1’X2’…XL’)称为纠错译码 纠错译码 译码是编码的反变换，也是一种映射，若与码段y=(Y1Y2…YN) 对应的信息段是xm，经过通信过程判为xm’，则： 若xm’=xm，则正确译码; 若xm’≠xm，发生译码错误。 译码错误概率（误组率）： 译码错误概率（误组率）： Pe = Pr {m ' ≠ m} 接收y的译码错误概率： 接收 的译码错误概率： Pe ( y ) = Pr {m ' ≠ m | y} 的译码错误概率
解 只知转移概率，无法找出最佳译码规则， 只能采用最大似然准则 最大似然准则。 最大似然准则 将转移概率矩阵各列最大的值标出，重写 转移矩阵如下：
b1 b2 b3 0.5 0.3 0.2 a1 [P |X ] = 0.2 0.3 0.5 a2 Y 0.3 0.3 0.4 a3
2012-5-10
10
译码规则对错误概率的影响
2 译码规则1： PE = Pe (0) = Pe (1) = 译码规则 3
译码规则2： PE = Pe (0) = Pe (1) = 1 译码规则 因此译码规则 译码规则对系统的错误 译码规则 概率影响很大。 现在我们来定义译码规则 译码规则，制定译码规则就是设计一 译码规则 个函数它对于每一个输出符号确定一个唯一的输入符 号与其对应。
信道编码的基本思路是根据一定的规律在待 信道编码的基本思路是根据一定的规律在待 发送的信息码中加入一些多余的码元，以保证受 发送的信息码中加入一些多余的码元，以保证受 损或出错的信息仍能在接收端恢复 。信道编码的 任务就是构造出以最小冗余度代价换取最大抗干 扰性能的“好码” 扰性能的“好码”。
信息码元k 监督码元r 纠正发 现
2012-5-10
15
两种典型的译码规则
[解答 最佳译码判决指的是最大后验概率译码。记(Q(x1), Q(x2), 解答] 最佳译码判决指的是最大后验概率译码。 解答 Q(x3))信道的输入随机变量 的概率向量，又称为先验概率向 信道的输入随机变量X的概率向量 信道的输入随机变量 的概率向量， 为信道的输出随机变量Y的分布概率 量， (W(y1), W(y2), W(y3))为信道的输出随机变量 的分布概率 为信道的输出随机变量 向量。则 向量。 (Q(x1), Q(x2), Q(x3))=(1/2,1/4, 1/4)， ，
1 / 2 (W ( y 1 ), W ( y 2 ), W ( y 3 )) = ( Q ( x 1 ), Q ( x 2 ), Q ( x 3 )) 1 / 6 1 / 3 1/3 1/2 1/6 1 / 6 1 / 3 1 / 2
1 / 2 1 / 3 1 / 6 = (1 / 2, 1 / 4, 1 / 4)1 / 6 1 / 2 1 / 3 = ( 3 / 8, 1 / 3, 7 / 24) 1 / 3 1 / 6 1 / 2 2012-5-10 16
对接收矢量y和所有可能的发送消息 ，计算P(m|y)； 对接收矢量 和所有可能的发送消息m，计算 和所有可能的发送消息 ； 若对所有的m， 判为m’。 若对所有的 ，有Pr {m ' | y} = max Pr {m | y} ，将y判为 。 判为
m
P(m|y)被称为后验概率，这种译码准则被称为最大后 被称为后验概率 这种译码准则被称为最大后 验概率准则。 验概率准则。
噪声/干扰
信道编码器
传输信道
信道解码器
≈
无噪声传输信道
2012-5-10 3
实际信道由于信道噪声的干扰， 实际信道由于信道噪声的干扰，传输错误不 可避免。为了降低平均差错率，可先对消息进行 可避免。为了降低平均差错率， 信道编码， 编码——信道编码，再送入信道传送。 编码 信道编码 再送入信道传送。
2012-5-10
1
2012-5-10
2
信道编码
在传输过程中噪声和干扰在所难免，为了降低差错率， 在传输过程中噪声和干扰在所难免，为了降低差错率， 降低差错率 提高传送的可靠性，在信道编码器中可以引入冗余度， 提高传送的可靠性，在信道编码器中可以引入冗余度， 在信道解码端就可以利用此冗余度来尽可能地重建输 入序列。 入序列。 可靠性： 可靠性：增加冗余