ch6-有噪信道编码编码

……
译码规则总数：rs r-信道输入的符号序列总数，即码字总数, s-信道输出的符号序列总数，即接收矢量个数.
平均错误 概率最小！
28
10
6.1.2 译码规则
假设译码规则为：F ( y j )=xi，则
• 译码的条件正确概率： p( F ( y j ) | y j ) = p( xi | y j )
H ( E | Y ) ≤ H ( E ) = H ( pE ),
∴H (EX | Y ) ≤ H ( pE ) + pE log(r −1),
(*)
2. H (EX | Y ) = H (E | Y ) + H ( X | EY ),
H ( X | EY ) = p(E = 0)H ( X | Y , E = 0) + p(E = 1)H ( X | Y , E = 1)
Y Y
定义61.2 选择译码函数 F ( y j ) = x*，使之满足条件 . p( x* | y j ) ≥ p( xi | y j ) （xi ≠ x* , 对∀i） 则称为最大后验概率译码规则。
理想译码器
定义61.3 选择译码函数 F ( y j ) = x*，使之满足条件 . p( y j | x* ) ≥ p( y j | xi ) （xi ≠ x* , 对∀i） 则称为极大似然译码规则。
p(E = 0)H( X | Y, E = 0) = (1− pE ) ×0 = 0 p(E = 1)H ( X | Y , E = 1) ≤ pE log(r −1) ∴H ( X | EY ) ≤ pE log(r −1),
∵ E是XY的函数, ∴ H ( E | XY ) = 0,
∴ H ( EX | Y ) = H ( X | Y ),
9
6.1.2 译码规则
译码规则 1： F (y1)=F(y2)=F(y3)=F (y4)=x1, F (y5)=F(y6)=F(y7)=F (y8)= x2. 译码规则 2： F (y1)=F (y2)=F (y3)=F (y4)= F (y5)=F (y6)= F(y7)=x1, F(y8)= x2. 哪一个 最好？
对于译码规则A， 1 1 1 1 1 1 1 1 1 pE ( A) = ∑ p( y j | xi ) = × + + + + + = r Y , X −x* 3 6 3 3 6 6 3 2
17
6.1.2 译码规则——例6.1.3 译码规则
1 / 6 1 / 2 1 / 3， 1 / 6 1 / 2 F ( y1 ) = x1 F ( y1 ) = x1 有 两 种 译 码 规 则 ： A : F ( y 2 ) = x 2 , B : F ( y 2 ) = x3 , F ( y ) = x F ( y ) = x 3 3 3 2 1/3 假设输入等概率分布，分别求平均译码错误概率。 1 / 2 例 6. 1 .3 已 知 信 道 矩 阵 P = 1 / 6 1 / 3
信道 输出 0 0 1 1
信道 输入 0 1 0 1
译码 结果 1 1 0 0
正确 概率 2/3 2/3
错误 概率 1/3
1/3
平均错误概率（设输入等概率分布）：
(0) (1) pE = p(Y = 0) pE + p(Y = 1) pE = 1/ 3
译码函数2优于译码函数1!
13
6.1.2 译码规则
ffffff?????????????择极大似然译码规则??3241126310??2ejiyxx?pbpyxpppr????????当输入等概分布时译码结果和平均错误概率与择多译码规则一致npe2?rbit符号rtbits13562错误概率与编码方法重复编码enp?如果增加重复次数可继续减小4510310?10????112210510??logbithsmnrl???编码后的信息传输率符号logbittthsmrntl??如果传输每个码符号平均需要秒则编码后每秒传输的信息量
6
6.1噪声信道的编码问题 噪声信道的编码问题——概述 噪声信道的编码问题
按照适用的差错类型： 按照适用的差错类型：
纠随机差错码：设计的目标是纠随机差错。 纠随机差错码 纠突发差错码：设计的目标是纠突发错误。 纠突发差错码
其他分类： 其他分类：
二进制码、多进制码、循环码、非循环码...
7
6.1噪声信道的编码问题 噪声信道的编码问题——概述 噪声信道的编码问题
8
6.1.2 译码规则
干扰源
源字
信道 编码器 码字
信道
接收矢量
信道 译码器 译码结果
mi
m1 = 0 m2 = 1
xi
x1 = 0 0 0 x2 = 111
yi
y1 = 0 0 0 y2 = 001 ⋮ y8 = 1 1 1
xi '
x1 = 0 00 x 2 = 11 1
定 义 6. 1 .1 设 信 道 输 入 符 号 集 为 X = { x i， i = 1, ⋯ , r }, 输 出 符 号 集 为 Y = { y j， j = 1, ⋯ , s}, 如 果 对 已 每 一 个 符 号 y j , 都 有 一 个 确 定 的 函 数 F ( y j ), 使 y j 对 应 于 唯 一 的 一 个 输 入 符 号 x i， 称 这 样 的 函 数 为 译 码 规 则 ， 记 为 F ( y j ) = xi （ i = 1, ⋯ , r， j = 1, ⋯ , s） .
Y
11
6.1.2 译码规则
译码函数1：F(0)=0,F(1)=1
y1 0 y
2
1
信道 输出 0 0 1 1
信道 输入 0 1 0 1
译码 结果 0 0 1 1
正确 概率 1/3
错误 概率 2/3 2/3
3 P = 2 x2 = 1 3
x1 = 0 1
2 3 1 3
• 选择极大似然译码规则：F ( y1 ) = x1
• 当输入等概分布时， 1 1 p（B） ∑ p( y j | xi ) = × ( 0.01+0.01) = 10-2 = E r Y , X − x* 2
20
6.2 错误概率与编码方法——重复编码 错误概率与编码方法
• 对其进行三次重复编码，信道矩阵
000 001 010
2
011
2 2
100
2
101
110 111
p3 000 P= 111 p 3
p p p p pp pp
信息对抗技术研究所
第6章 有噪信道编码 6
教师：李琼
ቤተ መጻሕፍቲ ባይዱ
哈尔滨工业大学
计算机科学与技术学院
主要内容
6.1 噪声信道的编码问题 6.2 错误概率与编码方法 6.3 有噪信道编码定理 6.4 错误概率的上界
2
信
源
信 源 编 码 器
⊕
保 密 编 码 器
信 道 编 码 器
调 制 器
信道
解 调 器
信 道 译 码 器
5
6.1噪声信道的编码问题 噪声信道的编码问题——概述 噪声信道的编码问题
信道编码概述
按照功能： 按照功能： 检错码（ 检错码（Error Checking Code) 纠错码（ 纠错码（Error Correcting Code) 按照对信息序列处理的方法： 按照对信息序列处理的方法： 分组码（Block Code)：将信道编码器的源符号序列与码符号序列都分 分组码（ Code)： 成组，映射在分组的基础上独立进行的。 非分组码（NonCode):编码器的输出不仅与当前输入的源符号有 非分组码（Non-block Code): 关，还可能与与以前 以前的源符号或码符号有关，又称为树码,卷积码。 树码, 以前 树码 卷积码。 按照校验位与信息位关系： 按照校验位与信息位关系： 线性码（Linear Code):若编码规则可以用线性方程组表示。 线性码（ Code): 非线性码（ Code):不满足上述关系的码。 非线性码（Nonlinear Code):
结论： 结论：平均错误概率不仅不信道的统计特性有关， 还与译码规则有关。
注：对于同一有噪声信道，可以制定不同的译码函数
目标：在rs个译码规则中找到最理想的一个。 目标： 准则： 准则：使平均错误概率最小的
14
6.1.2 译码规则 译码规则——最大后验概率、极大似然译码规则 最大后验概率、
平均错误概率：pE = ∑ p( y j ) p(e | y j ) = ∑ p( y j ) 1− p( xi | y j )
=
∑
Y , X − x*
p( y j | xi ) p( xi )
1 如果输入等概分布，pE = ∑ p( y j | xi ) r Y , X −x*
16
6.1.2 译码规则——例6.1.3 译码规则
1 / 6 1 / 2 1 / 3， 1 / 6 1 / 2 F ( y1 ) = x1 F ( y1 ) = x1 有 两 种 译 码 规 则 ： A : F ( y 2 ) = x 2 , B : F ( y 2 ) = x3 , F ( y ) = x F ( y ) = x 3 3 3 2 1/3 假设输入等概率分布，分别求平均译码错误概率。 1 / 2 例 6. 1 .3 已 知 信 道 矩 阵 P = 1 / 6 1 / 3
⊕
解 密 译 码 器
信 源 译 码 器
信
宿
噪 声 源
细化的通信系统模型
3
干扰源
源字
信道 编码器 码字
信道
接收矢量
信道 译码器 译码结果
4
6.1噪声信道的编码问题 噪声信道的编码问题——概述 噪声信道的编码问题
信源编码的作用： 有效性。 信源编码的作用：提高信息传输的有效性 有效性 信道编码的作用： 信道编码的作用：提高信息传输时的抗干扰能 力，以增加信息传输的可靠性 可靠性。 可靠性 信道码又称为差错控制码、纠错码。 差错控制码、纠错码。 差错控制码 信道编码一般方法： 信道编码一般方法：在信息序列上附加上一些 监督码元（校验位） 监督码元（校验位）, 发现和纠正错误。
฀
฀ ฀ ฀
检错和纠错能力举例：A、B两个符号
0、1——没有检错和纠错能力 00、11——检出1位错码的能力(检错码) 000、111——检出2位错、纠1位错(纠错码)
一般来说，引入监督码元越多，码的检错、纠错 能力越强，但信道的信息传输率下降也越多。 信道编码的目标：监督码元最少，而检错、纠错 能力高、且便于实现。
对于译码规则B， 1 1 1 1 1 1 1 1 2 = p（B） ∑ p( y j | xi ) = × + + + + + = E r Y , X −x* 3 6 3 3 2 6 2 3
pE ( A) < pE (B)
18
6.1.2 译码规则——Fano不等式 译码规则 不等式
两个译码规则何时等价？
15
极大似然 译码器
6.1.2 译码规则 译码规则——平均错误概率
平均错误概率：
pE = ∑ p( y j ) p(e | y j )
= ∑ p( yj ) 1− p(x* | yj )
= 1 − ∑ p( x* y j )
Y
Y
Y
=
∑
Y , X − x*
p( xi y j )
• 译码的条件错误概率： p(e | y j ) = 1 − p( xi | y j )
• 平均错误概率： p E = ∑ p ( y j ) p (e | y j )
Y
Y=0
Y=1
3 X=0 4 P= X=1 1 4
1 4 3 4
= ∑ p( y j ) 1 − p( xi | y j )
又∵ （*）式， 可得 H( X | Y) ≤ H( pE ) + pE log(r −1).
当信源、信道给定，信道疑 义度H ( X | Y )给定了译码错 误概率的下限。
19
6.2 错误概率与编码方法
即使选择最佳译码规则也只能有限地减小平均错误概率pE 信道编码方法可以进一步减小pE，甚至是任意小，如重复 编码 0.99 0.01 • 设二元对称信道的信道矩阵 P = ， 0.01 0.99
引 理 6.1.1 错 误 概 率 p E 与 信 道 疑 义 度 H ( X | Y ) 满 足 以 下 关 系 ：
证明：
H ( X | Y ) ≤ H ( p E ) + p E log ( r − 1)
1, if 译 码 错 误 设E = 0, if 译 码 正 确
将 H ( EX | Y ) 以两种方式展开： 1. H ( EX | Y ) = H ( X | Y ) + H ( E | XY ),
1/3
平均错误概率（设输入等概率分布）：
(0) (1) pE = p (Y = 0) pE + p(Y = 1) pE = 2 / 3
12
6.1.2 译码规则
译码函数2：F(0)=1,F(1)=0
y1 0 y
2
1
3 P = 2 x2 = 1 3
x1 = 0 1
2 3 1 3