第5章-有噪信道编码

000 111 111
p
p2
p3
001 001 000
原原原原原 1
0
0
0
信源输出序列为：
u {1, 0, 1, 1}
信道输入序列为： x {111, 000, 111, 111}
原原原原 1
0
1
1
原 原 原 111 原 原 原 111
000 111 111
p
p2
p3
001 001 000
0 p
编码规则：为提高可靠性，每个信道符号重复三次发送。 1
p 1-p
1
译码规则：择多译码，即信宿方收到的三个符号中有两个或三个为1，就将此 次接收符号判决为1；若三个符号中有两个或三个为0，就将此次 接收符号判决为0。
下面为重复编码传输示意图，计算错误概率pe。
原原原原 1
0
1
1
原 原 原 111 原 原 原 111
（2）再设p≠0，计算由于信道噪声引起的错误概率p2因
为每个序列有三位二进制数字，但只发送一位，这一位的
出错概率为p，故序列差错概率为p，误比特率 （3）总差错概率（误比特率）：
p2
1 p 3
。
11 pe p1 p2 4 3 p
【例5.4】 奇偶校验码 在信息序列后面加上一位校验位， 使之模2和等于1，这样的编码称为奇校验码；若使模2和等 于0，这样的编码就称为偶校验码，即每个码矢中1的个数 固定为奇数或偶数。
重复编码的结果使错误概率下降。
书上例题5.2
【例5.3】 逆重复码 离散无记忆二进制对称信道，固有 误码率为p (p<0.5)，信源输出序列为三位二进制数字。
编码规则：为提高传输效率，仅向信道发送一位，预先将信 源输出序列进行择多编码:
信源输出的三位符号中有两位或3位是1，信源序列编码为1， 若三位符号中有两位或3位是0，就将此信源序列编码为0。
y) y)

p(e 000) p(e111)
1 1

1
4 1

3
4 3

44
假设8组输入序列是等概发送的，由于信道的对称性，两
个估值序列也是等概分布的，则每个序列的平均错误概率
为 0.5 p(e 000) 0.5 p(e111) 3
，
误比特率
p1

1 3

3 4

1 4
4 。
第5章
有噪信道编码
前一章已经从理论上讨论了在无噪 无损信道上，只要对信源进行适当 的编码, 总能以最大信息传输率C （信道容量）无差错的传输信息。 但是一般信道总存在噪声或干扰, 信息传输会造成损失，那么在有噪 信道中怎么能使消息通过传输后发 生的错误最少？在有噪信道中无错 误传输的可达的最大信息传输率是 多少？这就是本章所要研究的问题， 即研究通信的可靠性问题。
原原原原原 1
0
0
0
由于p的存在，使得传输出错，故信道输出为：y {111, 001, 001, 000}
根据译码规则，信道估值输出：yˆ {1, 0, 0, 0}
3
信道错误概率：假设信道离散无记忆，即 p( y / x) p( yi / xi ) i 1
错误概率为： pe C32 p2 (1 p) C33 p3 3p2 2 p3 p 书5-1式有问题
偶校验：确保整个被传输的数据中“1”的个数是偶数个， 即载荷数据中“1”的个数是奇数个时校验位填“1”，否则 填“0”。
使用奇偶校验码校验的特点：
奇偶校验能够检测出信息传输过程中的部分误码（1位误码能检出，2位 及2位以上误码不能检出），同时，它不能纠错。在发现错误后，只能 要求重发。但由于其实现简单，仍得到了广泛使用。
译码规则：将接收的
一位符号重复三次译出， 即若接收到1就译码为 111，即若接收到0就译 码为000。
原序列 110 001 111 101 发送 1 0 1 1
p p
接收 1 0 0 0
0
1-p
0
p
p
1
1-p
1
判决输出 111 000 000 000
图5-3 逆重复编码传输示意图
计算差错概率pe ： 分二步进行： （1）先设p = 0，计算这种编码方法带来的 固 有 错 误 p1 信 道 输 入 符 号 集 X = {000,001,010,011,100,101,110,111}
关于奇偶校验
奇偶校验原理：通过计算数据中“1”的个数是奇数还是偶 数来判断数据的正确性。在被校验的数据后加一位校验位 或校验字符用作校验码实现校验。
校验位的生成方法
奇校验：确保整个被传输的数据中“1”的个数是奇数个， 即载荷数据中“1”的个数是奇数个时校验位填“0”，否则 填“1”；
第5章 有噪信道编码
内容提要 本章介绍了信道编码和译码的基 本概念，介绍了两种常用的译码 准则：最大后验概率译码准则和 极大似然译码准则,还介绍了在这 两种译码准则下错误概率的计算 方法。 本章还介绍了信道编码定理以及 信息论中的一个重要不等式Fano 不等式。
5．1 信道编码的基本概念
信源编码以提高传输效率作为主要考虑因素， 信道编码以提高传输可靠性作为主要考虑因素。 这一章讨论信道编码的一些基本概念及信道编码定 理。
校验处理过程简单，但如果数据中发生多位数据错误就可能检测不出 来，更检测不到错误发生在哪一位；主要应用于低速数字通信系统中， 一般异步传输模式选用偶校验，同步传输模式选用奇校验。
信道编码的目的：提高传输可靠性。
有噪信道编码定理，即香农第二定理， 是信道编码的理论基础。
本章重点介绍通过信道编码通信系统 所能达到的极限性能，不涉及编码技 术的具体实现，以及两种常用的译码 准则。
将信道用图5-1所示的模型表示。

u
x
y
X
信道编码器
பைடு நூலகம்
信道
信道译码器
图5-1 信道模型
信源输出序列u，经信道编码器编成码字x = f (u) 并输入信道，由 于干扰，信道输出y，信道译码器对y估值得 X = F (y) 。
书上例题5.1
1-p
【例】给定二元对称信道，信道固有错误概率为p（p < 0.5） 0
判决输出符号集Y = {000,111}
译码规则
F (000， 001， 010， 100) 000

F (011，
101，
110，
111)

111
因为后验概率
（x y ) (000 000)
1 4

（x
y
)

(111111)

1
则出错概率
4

p(e p(e