北工大信息论第六章 有噪信道编码14

0.8 0.2 [PY|X ] 0.1 0.9
转移矩阵各行元素乘以对应的输入概率，得联合概率矩阵
0.32 0.08 [PXY ] 0.06 0.54
译码规则F1对应的平均差错率为
s
Pe (F1) 1 P[F1(bj ), bj ] j 1 1 [P(a1b1) P(a1b2 )] 1 (0.32 0.08) 0.6
j 1
s
s
1 P(bj F (bj )) 1 P(bja*j )
j 1
j 1
Pe
P（aibj )
P（ai )P(bj | ai )
Y X a*
Y X a*
当输入等概:
上式可化为：
P[F(bj )] P a*j 1/ r
Pe
1 r
Y
P(bj | ai )
X a*
例6-1： 参见下图，假设P(a1)=0.4,分别求出4种译码规 则所对应的平均差错率。
最大后验概率条件可等价为最大联合概率条件,为什么呢?
P(a*j | bj ) P(ai | bj ) P(bj )P(a*j | bj ) P(bj )P(ai | bj ) P(a*jbj ) P(aibj )
则最佳译码规则又可表示为：
F：FP((ba*jjb)
j)
a*j A，bj P(aibj )
F1：FF（ （ 11 bb12
) )
a1 a1
F3：FF（ （ 33 bb21
) )
a1 a2
F2：FF（ （ 22 bb12
) )
a2 a2
F4：FF（ （ 44 bb12))
a2 a1
二.错误译码概率 “好”的译码规则的标准是：错误译码概率小
译码正确---如果接收到bj，按 F(bj ) a译j*成Aaj* ，
0.5 0.3 0.2
PY|X 0.2 0.3 0.5
0.3 0.3 0.4
解：按转移概率最大原则确定极大似然译码规则如下：
F (b1) a1
F
:
F
(b2
)
a1 , (a2 ,
a3 )
F (b3 ) a2
当信道输入等概率时，极大似然译码规则是最佳的。 提问:为什么?
原因是：极大似然译码规则是按最大转移概率条件确定
p3
2
pp
pp2
F(2） 1 F(6） 5
7 8
pp2
p3
2
pp
pp 2 ，p 1 p
2
pp
p
p
2
3
p
p 2 p
F(3） 3 F(4） 3 F(7） 7 F(8） 7
则平均差错率为：Pe
1 1 M
8 i1
P[i
|
F
(i
)]
1
1 4
(4
3
p
4
2
p
p)
1.99
102
结论：增加消息个数M与重复编码相比，在提高信息率的同
j 1
j 1
可以看出：要减小Pe ，必须减小各个接收符号的译码
错误概率 P(e | bj ) ，或者增大各个接收符号的译码正确概 率 P[F (bj ) | bj ] 。
确定最佳译码规则的方法：
F：FP((ba
j)
* j
|
a*j A，bj bj ) P(ai | bj )
B
,
ai
A
该最佳译码规则称为最大后验概率译码规则
D(ci , c j ), ci c j , ci , c j C
码C的最小码间距离定义为
dmin min[ D(ci , c j )], ci c j , ci , c j C
二元对称信道，可以根据汉明距离来决定译码规则
假如有一个信源有M个消息
{s1, s2 ,..., sM }
二元对称信道的输入符号集和输出符号集分别为A={0， 1}和B={0，1}。其N次扩展信道的输入符号集和输出符 号集分别为：
3
2
pp
pp2
4
pp2
2
pp
5
2
pp
pp2
6
pp2
2
pp
7
pp2
2
pp
8
p3 ，p 1 p p3
按极大似然译码规则得译码函数
F(1） 1 F( 4） 8
F( 2） 1 F( 6） 8
F( 3） 1 F( 7） 8
F( 5） 1 F(8） 8
即： 1 000
2 3
001 010
F 1
000
5 100
PY|X
a1 a2
b1 0.99 0.01
b2 0.01 0.99
确定极大似然译码规则为：F
:
F (b1 F (b2
) )
a1 a2
平均差错率为： 1 s
1
Pe
1 r
j 1
P[b j
|
F (bj
)]
r
P(b j
Y , X a*
|
ai )
(0.01 0.01) / 2 0.01
提问：传输系统的Pe要求控制在10-6以下，而利用译 码规则的Pe太高，如何降低平均差错率呢？
其它译码规则对应的平均差错率分别为
Pe(F2)=0.4 Pe(F3)=0.14 Pe(F4)=0.86
四种规则相比，F3最好，F4最差
第二节 两种典型的译码规则
一.最佳译码规则
平均差错率Pe与译码规则有关，使Pe达到最小 的译码规则——最佳译码规则。
s
s
Pe P(bj )P(e | bj ) P(bj ){1 P[F(bj ) | bj ]}
第六章 有噪信道编码
需要掌握的内容：
•译码规则与错误概率的关系 •平均差错率与信道编码的关系 •汉明距离 •有噪信道编码定理 •线性分组码
第一节 译码规则与错误译码概率
一.译码规则
信源 （信源编码，信道编码）
信道
译码 （信源译码，信道译码）
信宿
p 1/ 4
0
0
p 3/4
p 3/4
p 1/ 4
4 011
6 7
101 110
F
8
111
8 111
译码差错率为：
Pe
1
1 r
8 i 1
P[i
|
F(i )]
1
1 2
3
(2 p
6
2
p
p)
310 4
结论：信道编码降低平均错误率
提问：信道编码对信息传输速率有什么影响呢？
信道编码之后的信息率或信道待传的信息率为
R H (U ) / N 1/ 3比特 / 码元
而输入的刚好是aj*
bj的译码正确概率为：P(X a*j | Y bj ) P[F(bj ) | bj ]
bj的译码错误概率为：P(e | bj) P[X F(bj ) | Y bj ] 1 P[F(b j ) | bj ]
译码错误概率的统计平均称为平均译码错误概率或平
均差错率，记为Pe
X和Y是二元序列，记为
X x1x2 ...xN , xk {0,1} Y y1 y2 ...yN , yk {0,1} 则X与Y之间的汉明距离可表示为：
N
D( X ,Y ) xk yk k 1
式中 表示为“模2和”运算符。
C {c1, c2 ,..., cq }是等长码，则C中任意两个不同码 字之间的汉明距离或码间距离为
B
,
ai
A
最佳译码规则又称为最大联合概率译码规则
例6-2 参见下图，假设P(a1)=0.4，求最佳译码规则。
0.8
a1
b1
0.2
0.1
a2
b2
0.9
解：例6-1已经求出联合概率矩阵，重写为
[ PXY
]
a1 a2
b1 0.32 0.06
b2 0.08 0.54
则最大联合概率译码规则为：
F
:
FF((bb21
1
1
定义
信道译码函数F是从输出符号集合B到输入符号集
合A的映射
F(bj ) a j * A, j 1,2,..., s
译码函数又称译码规则
注意:
译码规则是人为定的,对于同一个信道可有多个不 同的译码规则
例如：对于二元信道就可制定若干不同译码规则，如
图所示。
0.8
a1
b1
0.2
0.1
a2
b2
0.9
f1
:
01 10
3 5
010 100
根据信道转移矩阵 11 7 110
PY 3|X 3
1 3
1
3
p
2
pp
5 7
2
pp pp2
2
2
pp
pp2
pp2
p3
3
2
pp
3
p
pp2
2
pp
4
pp2
2
pp
p3
pp2
确定极大似然译码规则为F(1） 1
F(5） 5
5
2
pp
pp2
3
p
2
pp
6
pp2
010 011 100
3 4 5
F 18
000 111
6 101 7 110
101
6
110 7
u2 1 f 8 111 111 8
“重复2次”编码规则为
f：01
000 111
求出3次扩展信道的转移矩阵
PY3|X 3
1 8
1
3
p
p3
2
2
pp
pp2
时会使平均差错率增大。
第四节 汉明距离
一.定义
两个等长符号序列x和y之间的汉明距离，记为
D(x,y)，是x与y之间对应位置上不同符号的个数。
例6-5：
x=100111,y=111000,z=111111,比较z与x和y 的相似程度。
解：
求汉明距离： D(x,z)=2;D(y,z)=3
因此，z与x的相似程度高于与y的相似程度
) )
a1 a2
对应的平均差错概率：
s
Pe 1 P[F(bj )bj 1 (0.32 0.54) 0.14 j 1
二、极大似然译码规则
——按最大转移概率条件确定的译码规则
F：PF((bbjj
) |
a*j
a*j A，bj ) P(bj | ai
)
B
,
ai
A
例6-3：已知信道转移矩阵，试确定译码规则。
码元错误概率为p，正确概率为 p 1 p
的，即
P(b j
|
a
* j
)
P(b j
|
ai )
如果输入等概，则
P(a
* j
)
P(ai
)
所以
P(a
* j
)
P(b
j
|
a
* j
)
P(ai )P(b j
|
ai )
P(a
* j
b
j
)
P(ai b j
)
第三节 信道编码的编码原则
二元信源和二元对称信道的模型如下图所示
DMS U {u1,u2}
U PU
0.8
a1
b1
0.2
0.1
a2
b2
0.9
F1：FF（ （11 bb12
) )
a1 a1
F3：FF（ （ 33 bb21
) )
a1 a2
F2：FF（ （ 22 bb12
) )
a2 a2
F4：FF（ （44 bb12
) )
a2 a1
解：信道输入概率矩阵和转移矩阵分别为：
[PX ] [0.4 0.6]
－－－信道编码
一.简单重复编码
对信源符号进行“重复2次”编码:
U 信道编码f
X3
PY 3| X 3
Y3 信道译码F
{u1 , u2 }
{1, 2 ,...,8}
{1, 2 ,..., 8}
X3
{1 , 8}
u1
0 f 1 2 001
000
000 1
001
2
Hale Waihona Puke 3 010 4 011 5 100
无信道编码的信息率或信道待传的信息率为
R H (U ) / N 1比特 / 码元
结论：信道编码降低了信道的信息传输率
信道编码，或称为纠错编码，就是靠增加“冗余” 码元来克服或减轻噪声影响的。
二.对符号串编码(矢量编码）
例6-4：
二元信源U，若取二元符号串“00，01，10，11”作为消
息，则消息个数增加为M=4。
AN {1, 2 ,..., 2N } B N {1, 2 ,..., 2N }
{s1, s2 ,..., sM } f {c1, c2 ,..., cM } N次扩展信道 {1, 2 ,..., 2N } F {c1, c2 ,..., cM }
用N长二进制码字传送M个消息
经N次扩展信道传送之后，按极大似然译码规则进行译码
8213???y813??x信道编码ff信道译码ff33xyp????????????????????????????????????????????????????????????????????????1110001111101011000110100010001111110101100011010001000081876543218276543211??????????????????fffuu重复22次编码规则为?????11110000
F：PF((
j j
) |
c*j C， j c*j ) P( j | ci )
BN
, ci
C
AN
记N长二元符号串为 ci ai1ai2 ...aiN
j bj1 bj2 ...bjN
由信道无记忆可知转移概率为
p( j | ci ) p(bj1bj2 ...bjN | ai1ai2 ...aiN ) p(bj1 | ai1 ) p(bj2 | ai2 )... p(bjN | aiN )
u1
0.5
0
u2 1
0.5
X {a1,a2}
DMC Y {b1,b2}
a1=0
1-p
p=0.01
b1=0
a2=1
p=0.01
1-p
b2=1
由图可知：
信源的熵为：H（U）=logM=1比特/符号 信道容量为：C=log2-H(0.99,0.01)=0.92比特/符号
信源与信道之间不加信道编码，则由于信道输入等概分布，则 极大似然译码规则就是最佳译码规则，根据信道转移矩阵
取码长N=3，则编码后的信息率为 R=(log4)/3=2/3 比特/码元
结论：增加信源消息个数，可提高信道的信息传输率
提问：此时平均差错率又发生怎样的变化呢？
码长N=3，可供选择的码字为1 000,2 001,3 010,4 011
5 100,6 101,7 110,8 111
选择以下编码函数：00 1 000
s
s
Pe P(bj )P(e | bj ) P(bj ){1 P[F(bj ) | bj ]
j 1
j 1