章_有噪信道编码定理共37页文档
合集下载
ch6-有噪信道编码编码
……
译码规则总数：rs r-信道输入的符号序列总数，即码字总数, s-信道输出的符号序列总数，即接收矢量个数.
平均错误 概率最小！
28
10
6.1.2 译码规则
假设译码规则为：F ( y j )=xi，则
• 译码的条件正确概率： p( F ( y j ) | y j ) = p( xi | y j )
H ( E | Y ) ≤ H ( E ) = H ( pE ),
∴H (EX | Y ) ≤ H ( pE ) + pE log(r −1),
(*)
2. H (EX | Y ) = H (E | Y ) + H ( X | EY ),
H ( X | EY ) = p(E = 0)H ( X | Y , E = 0) + p(E = 1)H ( X | Y , E = 1)
Y Y
定义61.2 选择译码函数 F ( y j ) = x*，使之满足条件 . p( x* | y j ) ≥ p( xi | y j ) （xi ≠ x* , 对∀i） 则称为最大后验概率译码规则。
理想译码器
定义61.3 选择译码函数 F ( y j ) = x*，使之满足条件 . p( y j | x* ) ≥ p( y j | xi ) （xi ≠ x* , 对∀i） 则称为极大似然译码规则。
p(E = 0)H( X | Y, E = 0) = (1− pE ) ×0 = 0 p(E = 1)H ( X | Y , E = 1) ≤ pE log(r −1) ∴H ( X | EY ) ≤ pE log(r −1),
∵ E是XY的函数, ∴ H ( E | XY ) = 0,
∴ H ( EX | Y ) = H ( X | Y ),
有噪信道编码定理
而编码定理要证明的就是：只要信道速率小于信道容量，总存在一种
编码使误码率任意小。
对理想无噪信道，编码定理需要证明 R = LH (U ) < log D 时，误码任
意小；（平均码长与输入熵的关系）
N
对有噪信道情况，编码定理需要证明 R = LH (U ) < C 时，误码任意
小。（信道速率与信道容量的关系）
z 二元编码误差；
z 多元编码误差，信道编码定理。
¾ 基本要求
z 理解信道编码的目的；理解信道速率的概念；
z 理解最小误差和最大似然两个解码准则，会根据最大似然解码准则 划分输出子集；
z 了解二元编码的误码率上界，会计算 gn ( s) ；
z 了解多元编码的误码率上界，理解编码指数的含义及使用方法，掌 握编码指数的曲线变化，掌握有噪信道编码定理。
121316161213131612yx??????????ppx123111244xxxx????????????????pdiagx12121316141611214161213124181121413161211212418xyyx??????????????????????????????pp1diagyxyxy????ppp2012424信息论与编码有噪信道编码定理14xianjiaotonguniversity52解码准则所以
2012-4-24
《信息论与编码》－－有噪信道编码定理
7
《信息论与编码》--有噪信道编码定理
5.1 信道速率
定义：信道每用一次所需要传递的信息量。
XI’AN JIAOTONG UNIVERSITY
设信道编码器的输入是长为 L 的 K 进制序列，输出是N 位长 D进制序 列。可能的输入有 M = K L 种，输出有 T = DN 种，M < T。
信息论基础课件第6章有噪信道编码
0
0
p p
1 p
p 0.01
1
p p 1
01
0p p
[P]
1
p
p
F (0) 0 F (1) 1
PE
PE m in
1 r
s j 1
i*
p(b j
/
ai
)
1 2
(
p
p) 102
➢ 重复发送可以使PE减小 但是：信息传输率降低
传输消息:
重复码
0, 0 00
1 1 11
校验元
若传000, 收到误传为100,010,001中的任一 种, 则认为是传的000，实现了纠错。
6.1 信道编码的概念
第5章结论：在无噪无损信道上，只要对信源 的输出进行恰当的编码，总能以信道容量C 无差错地传输信息。
实际信道都有噪声干扰，本章研究香农第二 定理，即通信的可靠性问题。包括：
1.怎么使有噪信道中消息传输错误达到最少? 2.在有噪信道中无错误传输的可达的最大信息
传输率是什么?
信道编码概述
0.57
2 编码方法
• 上一节结论： 消息通过有噪信道传输时会发生错误 错误概率与译码规则有关
• 噪声干扰：破坏了信号的内部结构－－产生畸变 而造成信息的损失。
• 提高信号抗噪声干扰能力：改造信号使其内部结 构具有更强的规律性或相关性，当信号的部分结 构被破坏时，仍能根据信号原有的内在规律和相 关性来发现甚至纠正错误，恢复原来的信息。
• 通信系统模型
消息集中 一个元素
信道波形 空间中的
一个点
失真后 的波形
恢复的 消息
信源 编码
信道 编码
信道
信道 译码
8-第八讲 有噪声信道编码定理
8－3 联合典型序列 －
定义： 长的序列对 长的序列对（ ， ）满足： 定义：n长的序列对（x，y）满足： 典型序列， （1）x是ε典型序列，即对于任意小的正数 ，存在 使 ） 是 典型序列 即对于任意小的正数ε 存在n使
1 | − log P(x) − H( X ) |< ε n
Y , X −a*
∑P(a b )
i j
求和号中的X－ 表示对符号集中除 以外的所有元素求和。 表示对符号集中除a*以外的所有元素求和 求和号中的 －a*表示对符号集中除 以外的所有元素求和。
P = E
而平均正确率为
Y , X −a*
∑P(b
j
| ai ) p(ai )
以 a 为条件 转移概率
PE =1− P = ∑P[F(bj )bj ] = ∑P(a*bj ) E
第八讲 有噪声信道编码定理
8－1 － 8 －2 8 －3 8 －4 错误概率与译码准则 Fano不等式 Fano不等式 联合典型序列 无失真信道编码定理
8 －1
错误概率与译码准则
1、离散信道编码的概念 、
信 源
信 源 编 码
信 道 编 码
信 道
信 源 译 码
信 源 译 码
信 宿
x∈ X
um ∈U
例：已知信道矩阵 已知信道矩阵
0.5 0.3 0.2 P = 0.2 0.3 0.5 0.3 0.3 0.4
F(bj ) = a1 B : F(bj ) = a3 F(bj ) = a2
根据最大似然译码准则，可选择译码函数为 根据最大似然译码准则，可选择译码函数为B
x1 = (x11, x12,⋯x1n ), x2 = (x21, x22,⋯x2n ),⋯ xm = (xm1, xm2 ,⋯xmn ),⋯xM = (xM1, xM 2 ,⋯xMn ),
信息论基础第6章有噪信道编码定理[103页]
![信息论基础第6章有噪信道编码定理[103页]](https://img.taocdn.com/s3/m/29f089d31ed9ad51f11df279.png)
6.5.2 线性分组码的译码
在二元域中，少 1 个方程导致 2 个解，少 2 个方程导致 22 个解，
以此类推，少 k 个方程导致 2k 个解，即每个伴随式对应的错误图样
有 2k 个解。究竟取哪一个作为错误图样的解呢？根据最小汉明距离
译码规则，应该取重量最小者作为 E 的估值。但是如果每接收一个码 字就要解一次线性方程，太麻烦。当 n-k 不大时，通常预先把不同 S 下的方程组解出来，把各种情况下的最小汉明距离译码输出列成一个 码表，称为标准阵列译码表。在实时译码时就不必解方程组，而只要 查标准阵列译码表就可以了。
《信息论基础》
第6章 有噪信道编码
本章内容
6.1 错误概率
6.7 卷积码
6.2 有噪信道编码定理
6.8 交织码
6.3 联合信源信道编码定理 6.9 级联码
6.4 信道编码的基本概念
6.10 Turbo码
6.5 线性分组码
6.11 LDPC码
6.6 循环码
《信息论基础》
6.1 错误概率
6.1.1 错误概率和译码规则
信道编码的实质就是通过牺牲有效性来换取可靠性的提高。在信
息码元中加入监督码元的多少，可以通过冗余度 来衡量。例如，每
3 个信息码元中加入 1 个监督码元，这时冗余度 1/ 4 。信道编码的
任务就.4.1 信道编码的分类
①
按照信道特性和设计的码字类型进行划分，信道编码可
标准阵列译码表为一个 2nk 行 2k 列的码表，用来存放接收码字
R rn1,rn2 ,,r1,r0 可能的 2n 种组合。
构造标准阵列译码表，一般可以采用以下几个步骤： ① 根据最小汉明距离译码规则，确定各伴随式对应的差错图样。
有噪信道编码
第7章有噪信道编码本章主要内容：√1.概述√2.最佳判决与译码准则3.信道编码与最佳译码√4.费诺（Fano）不等式√5.有噪信道编码定理6.纠错编码技术简介7.信道编码性能界限§7.1 概述信道编码：就是按一定的规则给信源输出序列增加某些冗余符号，使其变成满足一定数学规律的码序列（或码字），再经信道进行传输。
（提高传输的可靠性）信道译码：就是按与编码器同样的数学规律去掉接收序列中的冗余符号, 恢复信源消息序列。
一般地，所加的冗余符号越多，纠错能力就越强，但传输效率降低。
因此在信道编码中明显体现了传输有效性与可靠性的矛盾。
本节主要内容：1. 信道编码的基本概念2. 判决与译码规则3. 译码错误概率7.1.1 信道编码的基本概念简化的通信系统模型如图7.1.1所示。
图7.1.1 简化通信系统模型图信道译码信道编码信道码字（码长为n)等概消息{1,2,……，M}接收序列恢复的消息U Vn Y n X 设信源输出或信道编码器的输入消息集合为U，信道编码器采用分组编码，输出码字为的一个子集，其中每个码符号取自符号集；码字通过离散无记忆信道传输；信道输出或译码器的输入为，其中每个符号取自符号集；译码器输出是被恢复的消息，其集合用V表示。
n X i x X ∈12{,,,}r A a a a = n Y y Y ∈12{,,,}s B b b b =（1）消息产生：由信源发出M 个等概率消息：U ={1，2，…，M}；（2）信道编码：编码器将消息映射成码字，编码函数f ：{1，2，…，M}→C= ，其为码长为n 的码字，码符号集A 的大小为r ；（3）信道传输：为n 维矢量，取自码字集C ，作为n 次扩展信道的输入，，是n 维矢量，为信道输出，；（4）信道译码：译码器根据接收的完成译码功能，译码函数。
12{,,,}M c c c x n C A ∈y n Y ∈y y :{1,2,,}n g Y V M →=⋅⋅⋅信息传送过程衡量信道编码有效性的重要指标就是信息传输速率（也称码率）。
通信原理第十章-有噪信道编码定理
译码准则应为最大后验概率准则。根据（10-12） ，为设计最大后验译码函数，需要先计算联 合概率矩阵。根据（ 10-4 ）中的信道矩阵和输入信号的先验概率，可得联合概率矩阵
P ai b j 为
0.125 0.075 0.05 P ai b j 0.05 0.075 0.125 0.2 0.15 0.15
F b1 0 a1 0
则当信道输入等概分布时，平均错误概率为
F b2 0 a2 0
PE 0.01
对于一般数据传输系统来说 （如数字通信， 数据传输， 等等） ， 这个错误概率相当大了。 一般要求系统的错误概率在 10-6 ~ 10-9 的范围内，有的甚至要求更低的错误概率。 那么， 在上述统计特性的二元信道中， 能否有办法使错误概率降低呢？实际经验告诉我 们：只要在发送端把消息重复发几遍，也就是增加消息的传输时间，就可使接收端接收消息 时错误减少，从而提高了通信的可靠性。 如在上述 p=0.01 的二元对称信道中，当发送消息（符号）0 时，不是只发一个 0 而是 连续发三个 0；同样发送消息（符号）1 时也连续发送三个 1。这是一种最简单的重复编码， 它将长度 n 1 的两个二元序列变成长度 n 3 的二元序列，我们称这两个长度为 3 的二元 序列为码字，于是信道输入端有两个码字 000 和 111。但在输出端，由于信道干扰的作用， 码字中各个码元（二元符号）都可能发生错误，因此，信道的输出序列有 8 种可能 （000,001,010,011,100， 101,110,111） 。 显然， 这样一种信道可以看成是三次无记忆扩展信道。 其输入序列集合中包括 2 个长度为 3 的码字， 输出序列集合中包括 8 个长度为 3 的符号序列。 这时信道矩阵为
P ai b j 为
0.125 0.075 0.05 P ai b j 0.05 0.075 0.125 0.2 0.15 0.15
F b1 0 a1 0
则当信道输入等概分布时，平均错误概率为
F b2 0 a2 0
PE 0.01
对于一般数据传输系统来说 （如数字通信， 数据传输， 等等） ， 这个错误概率相当大了。 一般要求系统的错误概率在 10-6 ~ 10-9 的范围内，有的甚至要求更低的错误概率。 那么， 在上述统计特性的二元信道中， 能否有办法使错误概率降低呢？实际经验告诉我 们：只要在发送端把消息重复发几遍，也就是增加消息的传输时间，就可使接收端接收消息 时错误减少，从而提高了通信的可靠性。 如在上述 p=0.01 的二元对称信道中，当发送消息（符号）0 时，不是只发一个 0 而是 连续发三个 0；同样发送消息（符号）1 时也连续发送三个 1。这是一种最简单的重复编码， 它将长度 n 1 的两个二元序列变成长度 n 3 的二元序列，我们称这两个长度为 3 的二元 序列为码字，于是信道输入端有两个码字 000 和 111。但在输出端，由于信道干扰的作用， 码字中各个码元（二元符号）都可能发生错误，因此，信道的输出序列有 8 种可能 （000,001,010,011,100， 101,110,111） 。 显然， 这样一种信道可以看成是三次无记忆扩展信道。 其输入序列集合中包括 2 个长度为 3 的码字， 输出序列集合中包括 8 个长度为 3 的符号序列。 这时信道矩阵为
第六章有噪信道编码
p( x i / y j ) = p( x i ) p( y j / x i ) p( y j ) p( x * ) p( y j / x )
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
p( 样，当信道输入符号集X的先验概率为等概时，根 这样，当信道输入符号集X的先验概率为等概时， 据最大后验概率译码准则， 据最大后验概率译码准则， p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n) 最大后验概率可以用最大信道转移概率来取代。 最大后验概率可以用最大信道转移概率来取代。
使用最大后验概率译码准则必须已知后验概率，一般 使用最大后验概率译码准则必须已知后验概率， 说来，后验概率很难确定， 说来，后验概率很难确定，但信道的统计特性描述总 是给出信道转移概率， 是给出信道转移概率，因此利用信道转移概率的译码 准则。 准则。 由概率中的贝叶斯定理可有： 由概率中的贝叶斯定理可有：
6.1.2译码准则 6.1.2译码准则
定义6.1.1 定义6.1.1 设信道 输入符号集X={x ,i=1,2,…,r}, 输入符号集X={xi,i=1,2, ,r}, 输符号集为Y={y ,j=1,2,…,s}, 输符号集为Y={yj,j=1,2, ,s}, 若对每一个输出符号y 若对每一个输出符号yj都有一个确定的函数 对应于惟一的一个输入符号x F(yj)，使yj对应于惟一的一个输入符号xi，则 这样的函数为译码规则。 这样的函数为译码规则。 F(yj)=xi (i=1,2,…r; j=1,2,…s) 对于有r个输入， 个输出的信道来说， 对于有r个输入，s个输出的信道来说，可以 rs个不同的译码准则 个不同的译码准则。 有rs个不同的译码准则。
消息集中 一个元素
信道波形 空间中的 一个点
失真后 的波形
恢复的 消息
信信 编编
有噪信道编码定理
错误译码的概率为：P(e | bj ) 1 P(ai | bj ) 1 PF (bj ) | bj
平均错误译码概率为：
PE EP(e | bj ) P(bj ) P(e | bj )
j 1 s
它表示经过译码后平均接收到一个符号所产生 的错误大小，也称平均错误概率。 只要设计译码规则 F (bj ) ai ，使条件错误译码概率
根据最大似然译码准则可选择码函数为 B F (b1) a1 第一列中 P(b1 | a1) 0.5 B : F (b 2) a 3 第二列中 P(b2 | ai ) 0.3(i 1,2,3) F (b3) a 2 第三列中 P(b3 | a 2) 0.5
PE 1 1 (0.2 0.3) (0.3 0.3) (0.2 0.4) 0.567 P ( b | a ) 3 Y , X a 3 1 1 (i ) (0.3 0.2) (0.2 0.3) (0.3 0.4) 0.567 P e 3 X 3
F(yj)=xi (i=1,2,…r; j=1,2,…s)
对于有r个输入，s个输出的信道来说，可以有rs个 不同的译码准则。
【例6.1】有一离散单符号信道，信道矩阵为
0 . 5 0. 3 0. 2 P 0 . 2 0 . 3 0 . 2 0 . 3 0. 3 0. 4
6.1
错误概率和译码规则
我们已经知道错误概率与信道统计特性有关 。信道的统计特性可由信道的传递矩阵来描述 。当确定了输入和输出对应关系后，也就确定 了信道矩阵中哪些是正确传递概率，哪些是错 误传递概率。例如在二元对称信道中，单个符 号的错误传递概率是p，正确传递的概率是 p 1 p
信息论 - 第5章
模二和运算的例子
00 0 11 2 2 0
1 0 1
11111 5 2 3 2 1
例
若二元对称信道输入码字长度 n 5 ，选取消息数 M 4 则信息传输率为
log 4 R 0 .4 5
编码方法为： 输入序列
比特/码符号
i ( i i i i i )
与一致监督矩 s0
被称为伴随式
实际上，一致监督矩阵就是r 位校验码的非全零矢量按列 排列而成。
汉明码的信息传输率
对于 码长 n ，信息元 k 4 的汉明码 ( n, k ) ，共有
2 k 个码字
错误译码概率
PE 1 p 5 p p 2 p p 2 7.8 104
在 n3
5
4
3
M 2 的情况下
PE 3 104
log 2 1 R 3 3
有噪信道编码定理（香农第二定理）
设离散无记忆信道[X,P(y|x),Y], P(y|x) 为信道传递概 率，其信道容量为C。当信息传输率R<C时，只要码长n足够 长，总可以在输入Xn符号集中找到M(=2nR)个码字组成的一 组码(2nR,n) 和相应的译码规则，使译码的错误概率任意 小 (PE 0)。
F (b2 ) a 3 F (b ) a 3 3
平均错误概率
PE
Y , X a*
P(b
j
| ai )P(ai ) (0.125 0.05) (0.075 0.075) (0.05 0.125)] 0.5
错误概率与编码方法
0
p 0.99
p 0.01
0.01
1
00 0 11 2 2 0
1 0 1
11111 5 2 3 2 1
例
若二元对称信道输入码字长度 n 5 ，选取消息数 M 4 则信息传输率为
log 4 R 0 .4 5
编码方法为： 输入序列
比特/码符号
i ( i i i i i )
与一致监督矩 s0
被称为伴随式
实际上，一致监督矩阵就是r 位校验码的非全零矢量按列 排列而成。
汉明码的信息传输率
对于 码长 n ，信息元 k 4 的汉明码 ( n, k ) ，共有
2 k 个码字
错误译码概率
PE 1 p 5 p p 2 p p 2 7.8 104
在 n3
5
4
3
M 2 的情况下
PE 3 104
log 2 1 R 3 3
有噪信道编码定理（香农第二定理）
设离散无记忆信道[X,P(y|x),Y], P(y|x) 为信道传递概 率，其信道容量为C。当信息传输率R<C时，只要码长n足够 长，总可以在输入Xn符号集中找到M(=2nR)个码字组成的一 组码(2nR,n) 和相应的译码规则，使译码的错误概率任意 小 (PE 0)。
F (b2 ) a 3 F (b ) a 3 3
平均错误概率
PE
Y , X a*
P(b
j
| ai )P(ai ) (0.125 0.05) (0.075 0.075) (0.05 0.125)] 0.5
错误概率与编码方法
0
p 0.99
p 0.01
0.01
1
第信道编码定理PPT课件
收到1时译成1，那么译码错误
1
1 - pb
1
概率为0.9。
• 反之，如果规定在接收到符号0 时译成1；接收到1时译成0，则 译码错误概率为0.1。
二元对称信道
• 可见，错误概率既与信道统计特
5
第5页/共53页
无记忆二进制对称信道（BSC）
消息
码字 c
m 信源编码 ci{0,1}
二进制信道 p(r/c)
定义6.1.2 选择译码函数F( y j ) x*,使之满足条件
p x * y j p xi y j 对i
则称为最大后验概率译码准则. 最大后验概率译码准则是选择这样一种译码函数, 对于每一个输出符号y j , j 1, 2,..., m,均译成具有最大
后验概率p xi y j 的那个输入符号x *.则信道译码
的，因此要讨论选择译码规则的准则，这些准则总的
原则是使译码平均错误概率最小。
10
第10页/共53页
1、译码平均错误概率
•
若 则
译 信
码 道
规则为 输出端
接F收(y到j ) 符x号i ,i
1, 2, yj时，
, n; j 1, 2, 一定译成
x
,m i。
，
• 如果发送端发的就是xi，这就是正确译码，因此条
• 有线通信中的如调制解调器、电缆等全体；
4
• 互联网的多个路由器、第节4页点/共、53电页缆、低层协议等全体；
错误概率和译码规则
• 考虑一个二元对称信道，单符号
错误传递概率是pb=0.9，其输入 符号为等概率分布。
0
1 - pb
0
pb
• 如果规定在信道输出端接收到符
第6章 有噪信道编码定理12
幻灯片1第6章有噪信道编码定理幻灯片2●在无噪无损信道上，只要对信源的输出进行适当的编码，总能以最大信息传输率C（信道容量）无差错地传输信息。
但一般信道中总存在噪声或干扰，信息传输会造成损失，那么在有噪信道中怎么能使消息通过传输后发生的错误最少？在有噪信道中无错误传输的可达的最大信息传输率是什么？●这就是本章所要研究的内容，即研究通信的可靠性问题。
这时香农在1948年的文章中提出并证明了的信道编码定理，也称香农第二定理。
幻灯片36.1 错误概率和译码规则●在有噪信道中传输消息时会发生错误的。
为了减少错误，提高可靠性，首先就要分析错误概率与哪些因素有关，有没有办法加以控制，能控制到什么程度等问题。
●错误概率与信道统计特性有关。
信道的统计特性可由信道的传递矩阵来描述。
当确定了输入和输出对应关系后，也就确定了信道矩阵中哪些是正确传递概率，哪些是错误传递概率。
●但通信过程一般并不是在信道输出端就结束了，还要经过译码过程（或判决过程）才到达消息的终端（收信者）。
因此译码过程和译码规则对系统的错误概率影响很大。
幻灯片4●错误概率既与信道的统计特性有关，也与译码的规则有关。
●定义译码规则：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B= {bj}，j=1,2,…,s。
制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj 确定一个唯一的输入符号ai 与其对应（单值函数）。
即● F(bj)= ai （ i=1,2,…,r ） （ j=1,2,…,s ）幻灯片5● 译码规则的选择应该根据什么准则？一个很自然的准则当然就是要使平均错误概率为最小。
● 为了选择译码规则，首先必须计算平均错误概率。
●平均错误概率PE 表示经过译码后平均接收到一个符号所产生的错误大小。
应是条件错误概率P(e | bj)对Y 空间取平均值，e 表示除了F(bj)= ai 以外的所有输入符号的集合。
● PE =E[p(e| bj)]=● 收到符号bj 条件下译码的正确概率为● P[F(bj) | bj)]= P(ai | bj)● P(e | bj) =1- P(ai | bj) =1- P[F(bj) | bj)]()()∑=s1j jjb e p b p幻灯片6如何设计译码规则F(bj)= ai ，使PE 最小()()∑=s1j jjb e p b p● PE =E[p(e| bj)]=●由于上式PE 的表达式中右边是非负项之和，可以选择译码规则使每一项为最小，即得PE 最小。
第六章有噪信道编码定理
A的PE=0.600
Hale Waihona Puke >在输入不是等概率分布时,根据最大似然译码规则,仍 其 PE = 0 .50 可采用译码函数为B,计算其平均错误概率P’’E=0.6. 但采用最小错误概率译码准则, 它不是最小的. 比如 输入不是等概率分布时最大似然译码准则的平均 错误概率不是最小.
C : F (b2 ) ==0.567 B的PE a 3 F (b ) = a 3 3
例6.2(续6.1)
根据最大似然译码规则可选择译码函数为B. 因为在矩阵的第1列中P(b1|a1)=0.5最大;第3列中 P(b3|a2)=0.5最大;而在第2列中P(b2|ai)=0.3,所以 F(b2)任选a1,a2,a3都行. 在输入等概率分布时采用译码函数B可使信道平均错 译码函数为: 误概率最小. F (b ) = a
我们也可以在矩阵 P(ai )P(bj | ai )]中先对i求和，除去译码规则中 [ F(bj ) = ai*所对应的P(aibj )( j =1,..., r); 然后再对各行求和。
因 式 此 (6.12)也 以 可 写成 P =∑ E
X Y −a*对 的 j 应 b
∑
P(ai )P(bj | ai )
在此译码规则下，平均错误概率 PE=P(0)Pe(0)+P(1)Pe(1)=2/3 反之，若译码器根据这个特殊信道定出另一种译码规则，将 输出端接收符号“0”译成“1”，接收符号“1”译成“0”， 则译错的可能性就减少了，为1/3。而译对的可能性就增大了， 为2/3。
码的规则有关。
译码规则：
设离散单符号信道的输入符号集为A = {ai }, i = 1,2,..., r; 输出符号集为B = {b j }, j = 1,2,..., s。制定译码规则就是 设计一个函数F (b j )，，它对于每一个输出符号b j 确定 一个惟一的输入符号ai与其对应（单值函数），即 (i = 1,2,..., r ) F (b j ) = ai ( j = 1,2,..., s) (6.1)
有噪信道编码
∑
∑[
]
三． 随机编码错误概率上界 Gallager限仅给出发送码矢xk时的错误概率上界，还要对全 部码矢求平均，下面对上述的随机编码集合求平均。 对于随机编码，各码字等概且独立，有，
q(x 1 , ,x m , ,x M ) =
∏ q(x
m =1
M
m
)
对式(6-8)求统计平均值，得平均错误概率上界
(1)根据p (xy) = p (yx) q(x) 算出全概率，用矩阵表示 (1)
0.25 0.15 0.10 [ p(xy)] = 0.01 0.07 0.02 0.12 0.12 0.16
p ( xi y j ) ，算出 [ω（y）] = [0.38 (2)根据 ω ( y j ) = (2) i 0.34 0.28] p( xy) (3)再由 φ ( x y = 算出后验概率，用矩阵表示 (3) ω ( y)
原序列 110 001 111 发送 接收 1 1 0 0 1 0
101 1 0
p
p
判决输出111 000 000 000
计算差错概率pe ： 分二步进行： （1）先设p = 0，计算这种编码方法带来的 固 有 错 误 p1 信 道 输 入 符 号 集 X = {000,001,010,011,100,101,110,111} 判决输出符号集Y = {000,111} F (000， 001， 010， 100) = 000 译码规则 F (011， 101， 110， 111) = 111 1 φ（x y ) =φ (000 000) = 4 因为后验概率 φ（x y ) =φ (111111) = 1 4 则出错概率
第5章 章 有噪信道编码
第5章 有噪信道编码 章
6第六章 有噪信道编码
F ( y j ) xi
X x1 , x2 , , xr
F ( y1 ) x1 / x2 / / xr
F ( y2 ) x1 / x2 / / xr
（i 1, 2, , r j 1, 2, , s）
Y y1 , y2 , , y s
信道
F ( ys ) x1 / x2 / / xr
H(X |Y )
X ,Y
1 p xy log p x | y 1 1 p xy log p xy log p x | y Y ,X* p x | y
X X * ,Y
H ( X | Y ) [ H ( PE ) PE log( r 1)]
设译码规则为
当输入符号是xi时，译码正确 当输入符号为除xi以 译码错误 外的(r-1)种符号时，
F ( y j ) xi
正确译码的概率：(条件正确概率）
p F ( y j ) | y j p ( xi | y j )
错误译码的概率：(条件错误概率）
p(e | y j ) 1 p(xi | y j ) 1 p[F( y j ) | y j ]
F ( y2 ) x2 F ( y3 ) x3 F ( y1 ) x1 F ( y2 ) x3 F ( y 3 ) x2
译码规则A
译码规则B
对于有r个输入符号，s个输出符号的信道，总共可以设计出 s 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译 码规则？
r
11
6.2.3 错误概率
Y ,X* Y ,X*
1 p ( yj | xi ) p ( xi )
X x1 , x2 , , xr
F ( y1 ) x1 / x2 / / xr
F ( y2 ) x1 / x2 / / xr
（i 1, 2, , r j 1, 2, , s）
Y y1 , y2 , , y s
信道
F ( ys ) x1 / x2 / / xr
H(X |Y )
X ,Y
1 p xy log p x | y 1 1 p xy log p xy log p x | y Y ,X* p x | y
X X * ,Y
H ( X | Y ) [ H ( PE ) PE log( r 1)]
设译码规则为
当输入符号是xi时，译码正确 当输入符号为除xi以 译码错误 外的(r-1)种符号时，
F ( y j ) xi
正确译码的概率：(条件正确概率）
p F ( y j ) | y j p ( xi | y j )
错误译码的概率：(条件错误概率）
p(e | y j ) 1 p(xi | y j ) 1 p[F( y j ) | y j ]
F ( y2 ) x2 F ( y3 ) x3 F ( y1 ) x1 F ( y2 ) x3 F ( y 3 ) x2
译码规则A
译码规则B
对于有r个输入符号，s个输出符号的信道，总共可以设计出 s 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译 码规则？
r
11
6.2.3 错误概率
Y ,X* Y ,X*
1 p ( yj | xi ) p ( xi )
第6章_有噪信道编码定理-2005-9
3
则与M=8比较，错误率降低了，而信息率也降低了。
进一步观察M=4时，有70种选取方法，而选取方法不同， 错误率也不同。我们比较下面两种选取方法： 第一种： 000 第二种： 000 011 001 101 010 110 100
可以计算得第一种方法的错误率为 2*102
2 2.28*10 第二种方法的错误率为
掌握
汉明编码
取M＝4，n＝5，这4个码字按如下规则选取：R 设输入序列为:
ai (ai1 ai 2
ai 3 ai1 ai 2 ai 4 ai1 a a a i1 i2 i5
2 5
ai 3 ai 4
ai 5 )
满足方程：
若译码采取最大似然准则：
掌握
00000 00001 00010 00100 00000 01000 10000 10001 00011
掌握
② 译码规则的数目
0.5 0.3 0.2 例： P 0.2 0.3 0.5 0.3 0.3 0.4
可以设计译码准则A：F (b1 ) a1
F (b2 ) a2 F (b3 ) a3
和B： F (b1 ) a1 F (b2 ) a3 F (b3 ) a2
掌握
（4）最小错误概率准则
为使 P(e / b j ) 最小，就应选择 P(F (bj ) / bj ) 为最大，即选 * F ( b ) a 择译码函数 并使之满足条件： j
P(a* / bj ) P(ai / bj )
ai a*
收到一个符号以后译成具有最大 后验概率的那个输入符号。 这种译码准则称为“最大后验概率准则”或“最小错误 概率准则”。
则与M=8比较，错误率降低了，而信息率也降低了。
进一步观察M=4时，有70种选取方法，而选取方法不同， 错误率也不同。我们比较下面两种选取方法： 第一种： 000 第二种： 000 011 001 101 010 110 100
可以计算得第一种方法的错误率为 2*102
2 2.28*10 第二种方法的错误率为
掌握
汉明编码
取M＝4，n＝5，这4个码字按如下规则选取：R 设输入序列为:
ai (ai1 ai 2
ai 3 ai1 ai 2 ai 4 ai1 a a a i1 i2 i5
2 5
ai 3 ai 4
ai 5 )
满足方程：
若译码采取最大似然准则：
掌握
00000 00001 00010 00100 00000 01000 10000 10001 00011
掌握
② 译码规则的数目
0.5 0.3 0.2 例： P 0.2 0.3 0.5 0.3 0.3 0.4
可以设计译码准则A：F (b1 ) a1
F (b2 ) a2 F (b3 ) a3
和B： F (b1 ) a1 F (b2 ) a3 F (b3 ) a2
掌握
（4）最小错误概率准则
为使 P(e / b j ) 最小，就应选择 P(F (bj ) / bj ) 为最大，即选 * F ( b ) a 择译码函数 并使之满足条件： j
P(a* / bj ) P(ai / bj )
ai a*
收到一个符号以后译成具有最大 后验概率的那个输入符号。 这种译码准则称为“最大后验概率准则”或“最小错误 概率准则”。
5有噪信道编码及其定理
5.1 错误概率和译码规则
通常信道的传递概率P(bj|ai)与输入符号的先验概 率P(ai) 已知，根据贝叶斯定律，有：
P(a
bj )
P(ai
bj )
P(bj
/ a*)P(a*) P(bj )
P(bj / ai )P(ai ) P(bj )
即 P(bj / a*)P(a*) P(bj / ai )P(ai ) 当信源等概分布时，可选择译码函数
X ,Y
Y
Y ,X a
平均正确概率为
s
PE 1 PE P F(bj )bj P(abj )
Y
j 1
5.1 错误概率和译码规则
也可写成： PE P(bj ai )P(ai ) Y ,X a
其中求和符号 Xa表 示对输入符号集A中除 F(b以j ) 外a
的所有元素求和。
上式的平均错误概率是在联合概率矩阵P(ai )P(bj ai )
5.1 错误概率和译码规则
错误：译码输出≠信源输出
产生原因：噪声干扰
研究目的：减少错误，提高可靠性
研究途径：信道的传递矩阵→信道统计特性→错 误概率
为了减少错误，提高通信的可靠性，就必须分析 错误概率与哪些因素有关，有没有办法控制，能 控制到什么程度。
5.1 错误概率和译码规则
我们知道错误概率与信道的统计特性有关， 信道的统计特性由信道的传递矩阵来描述。
第五章 有噪信道编码
我们要尽可能的提高信息传输率，并控制传输误 差。信源编码以提高传输效率作为主要考虑因素， 信道编码以提高传输可靠性作为主要考虑因素。 这一章讨论信道编码的一些基本概念及信道编码 定理
本章介绍了信道编码和译码的基本概念，介绍了 两种常用的译码准则：最大后验概率译码准则和 最大似然译码准则,还介绍了在这两种译码准则 下错误概率的计算方法。还介绍了信道编码定理 及信道编码逆定理，以及信息论中的一个重要不 等式Fnao不等式。