信息理论与编码_ 有噪信道编码_

a2 a2
F3
:
F3 F3
(b1 ) (b2 )
a1 a2
F4
:
F4
F4
(b1 ) (b2 )
a2 a1
b1 b2
b1
b2
[PX ] 0.4 0.6
0.8 [PY|X ] 0.1
0.2 a1 0.9 a2
0.32 [PXY ] 0.06
0.08 a1 0.54 a2
s
Pe (F1) 1 P F1(bj ), bj 1 P(a1, b1) P(a1, b2 ) 1 (0.32 0.08) 0.6 j 1
P 信道编码 X3
f
{1,2,,8}
Y3
信道译码
Y3|X3
{1, 2 ,, 8}
F
Xˆ 3 {u1,u2}
u1 0 f 1 000 2 001 3 010 4 011 5 100 6 101 7 110
u2 1 f 8 111
1 000
2 3
001 010
5 100
4 011
3
5.1 译码规则与错误概率
U
信道 编码器
X 信道 Y
信道 译码器 Uˆ
fቤተ መጻሕፍቲ ባይዱ
F
N
编码信道
信道编码是一个一一对应的变换或函数，称为编码 函数f ；
信道译码也是一个函数，称为译码函数F。
由于编码f （U X）是一一对应变换，其反变换 f-1 唯一确定。因此，讨论译码函数F时，只考虑从Y中 还原出X就可以了，无需还原出U。
4
1、译码规则
X
DMC
Y
A {a1,a2,,ar}
B {b1,b2,,bs}
信道 译码F
Xˆ A {a1,a2,,ar}
N
信道译码函数F，又称译码规则，是从信道输出符 号集合B到信道输入符号集合A的映射：
F:B A F (bj ) a*j A, j 1, 2, ..., s
译码规则是由人为制订的；
6 7
101 110
8 111
F1 000 F8 111
1 2 3 4 5 6 7 8
1 r Y ,X a*
P(bj
| ai )
7
例：译码规则与平均差错率
0.8
a1
b1
(1)找出所有可能的译码规则；
P(a1) 0.4
0.2 0.1
a2
(2)求出各个译码规则对应的平均差错率。
0.9
b2
4种译码规则：
F1
:
F1 F1
(b1 ) (b2 )
a1 a1
F2
:
F2 F2
(b1 ) (b2 )
要进一步降低Pe，必须在传送之前进行信道编码。
例：
DMS
U {u1 , u2}
X {a1, a2}
DMC
Y {b1 , b2 }
U
PU
u1 0
0.5
u1 1
0.5
a1 0
p 0.99
p 0.01 p 0.01
a2 1 p 0.99
b1 0 b2 1
二元信源的消息个数：M=2 熵：H(U)=logM=1 bit/符号
对于同一个信道可制订出多种译码规则；
“好”的译码规则：平均差错率小。
5
2、错误概率
X
A {a1, a2,, ar}
DMC
N
Y B {b1,b2,,bs}
信道译码 F
Xˆ A {a1,a2,, ar}
译码规则：F (bj ) a*j A , j 1, 2,..., s
bj的译码正确概率是后验概率：P(X a*j |Y bj ) P F(bj )| bj
j1
j1
s
s
换一种表达式：Pe 1 P F (bj ), bj 1 P F (bj ) P bj | F (bj )
j1
j1
或者 Pe
P(ai , bj )
P(ai )P(bj | ai )
Y , X a*
Y ,X a*
当输入等概时：Pe
1
1 r
s j 1
P
bj
| F (bj )
bj的译码错误概率： P(e | bj ) PX F(bj )|Y bj 1 PF(bj )| bj
s
s
平均差错率Pe : Pe P(bj )P(e | bj ) P(bj ) 1 PF(bj )| bj
j1
j1
平均差错率Pe与译码规则F有关。 6
平均差错率Pe的计算公式
X
F4最差
j 1
s
Pe (F4 ) 1 P F4 (bj ), bj 1 P(a2, b1) P(a1,b2 ) 1 (0.08 0.06) 0.86
8
j 1
5.3 平均差错率与信道编码
Pe与译码规则有关，即使选择最佳译码规则，也只能使Pe有 限地减小，难以满足信息传递系统的高可靠性要求。
由于信道输入等概，这时极 大似然译码规则是最佳的。
无信道编码时：
b1 0.99 [PXY ] 0.01
b2 0.01 a1 0.99 a2
F
:
F
F
(b1 (b2
) )
a1 a2
Pe
1
1 r
s j1
P
bj
|
F (bj )
1
1 (0.99 2
0.99)
102
15
U {u1,u2}
1、“简单重复”编码
第5章 有噪信道编码
——差错控制编码
1
问题的提出
每一个通信系统都会有两方面技术要求：有效性和可靠性 （1）有效性：信息率，信息速率，含量效率 （2）可靠性：差错率Pe 。Pe与信道的统计特性有关。
降低Pe的方法：先对消息进行编码再送入信道传送，这种为降 低平均差错率而进行的编码称为信道编码；在信道输出端加 信道译码器进行信息还原。
香农第二编码定理告诉我们：只要信道编码和译码的方法得 当，就可使平均差错率趋于零。
U
信道 编码器 X 信道 Y
信道 译码器 Uˆ
f
F
N 编码信道
2
各节内容
5.1 译码规则与错误概率 5.2 两种典型的译码规则 5.3 平均差错率与信道编码 5.4 汉明距离 5.5 有噪信道编码定理与逆定理 5.6 线性分组码
DMC
Y
信道译码 Xˆ
F
A{a1,a2,,ar}
B {b1,b2,,bs}
A {a1, a2 ,, ar }
N
译码规则： F (bj ) a*j A , j 1, 2, ..., s
s
s
平均差错率Pe : Pe P(bj )P(e | bj ) P(bj ) 1 P F (bj ) | bj
s
Pe (F2 ) 1 P F2 (bj ),bj 1 P(a2 ,b1) P(a2, b2 ) 1 (0.06 0.54) 0.4 j 1
F3最好
s
Pe (F3) 1 P F3(bj ),bj 1 P(a1,b1) P(a2 ,b2 ) 1 (0.32 0.54) 0.14