错误概率和译码规则

电子信息工程学院
信息论
1 错误概率与译码规则
若采用前边讲到的译码函数A，则平均错误率为：
PE' 1 1 P(b / a) [(0.3 0.2) (0.3 0.3) (0.2 0.5)] 0.6 3 Y , X a* 3
若输入不等概分布，其概率分布为：
1 1 1 P(a1 ) , P(a2 ) , P(a3 ) 4 4 2
E i j i X Y
F (b j ) a
P(ai )Pe(i )
X
如果先验概率相等，则：
PE
1 Pe(i ) r X
电子信息工程学院
信息论
1 错误概率与译码规则
例：
0.5 0.3 0.2 P 0.2 0.3 0.5 0.3 0.3 0.4
信息论
1 错误概率与译码规则
前面已经从理论上讨论了，对于无噪无损信道只要 对信源进行适当的编码，总能以信道容量无差错的传递 信息。但是一般信道总会存在噪声和干扰，那么在有噪 信道中进行无错传输可以达到的最大信息传输率是多少 呢？这就是本章所要讨论的问题。本章的核心是香农第 二定理。
电子信息工程学院
信息论
0 1
2/3 2/3
1/3
0 1
1/3
若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率 2 为： (0) (1) P P (0) P P (1) P
E e e
3
反之，若收到“0”译作“1”，收到“1”译作“0”，则平 均错误概率为1/3，可见错误概率与译码准则有关。 电子信息工程学院
* * j i j i
* j
P(b j / a* ) P(a* ) P(b j )

P(b j / ai ) P(ai ) P(b j )
电子信息工程学院
信息论
1 错误概率与译码规则
即： 当信源等概分布时，上式为：
P(bj / a* ) P(a* ) P(bj / ai ) P(ai ) P(bj / a* ) P(bj / ai )
信息论
1 错误概率与译码规则
我们来定义译码准则：输入符号集： A {ai }
输出符号集： 译码规则：
F (bj ) ai
例：
0.5 0.3 0.2 P 0.2 0.3 0.5 0.3 0.3 0.4
设计译码准则：A：
和B：
F (b1 ) a1
F (b1 ) a1
F (b2 ) a2 F (b3 ) a3
F (b2 ) a3 F (b3 ) a2
电子信息工程学院
信息论
1 错误概率与译码规则
译码规则的选择应该有一个依据，一个自然的依据就 是使平均错误概率最小。 有了译码规则以后，收到 bj 的情况下，译码的条件正 确概率为： P(F (bj ) / bj ) P(ai / bj )
Y
Y
Y
X ,Y
YHale Waihona Puke Baidu
p(aib j ) P[a*b j ]
X ,Y Y

Y , X a

P(ai b j )
*
电子信息工程学院
信息论
1 错误概率与译码规则
或者写成：
PE
Y , X a

P(b j / ai ) P(ai )
*
上式也可写成对行求和： P P(a )P(b / a )
PE''
1 1 1 1 P(b / a) (0.3 0.2) (0.3 0.3) (0.2 0.5) 0.6 3 Y , X a* 4 4 2
电子信息工程学院
信息论
1 错误概率与译码规则
若采用最小错误概率译码准则，则联合概率矩阵为：
0.125 0.075 0.05 P(ai b j ) 0.05 0.075 0.125 0.2 0.15 0.15
电子信息工程学院
信息论
1 错误概率与译码规则
而错误译码的概率为收到 bj 后，推测发出除了 ai 之 外其它符号的概率： P(e / bj ) 1 P(ai / bj )
可以得到平均错误译码概率为： m s P e p (b j ) P(e / b j ) p (b j )(1 P( ai / b j )) j 1 j 1 它表示经过译码后平均收到一个符号所产生错误的大小， 也称平均错误概率。
*
电子信息工程学院
1 错误概率与译码规则
为了减少错误，提高通信的可靠性，就必须分析错误 概率与哪些因素有关，有没有办法控制，能控制到什么程 度。 前边已经讨论过，错误概率与信道的统计特性有关， 但并不是唯一相关的因素，译码方法的选择也会影响错误 率。
电子信息工程学院
信息论
1 错误概率与译码规则
例：有一个BSC信 道，如图所示
这称为最大似然译码准则，方法是收到一个 bj 后， 在信道矩阵的第j列，选择最大的值所对应的输入符号作 为译码输出。 可进一步写出平均错误概率：
P 1 P[ F (b j ) / b j ]}P(b j ) E P(b j ) P(e / b j ) {
1 P[ F (b j )b j ] p(aibj ) P[ F (bj )bj ]
根据最大似然准则可选择译码函数为B：
F (b1 ) a1 F (b2 ) a3 F (b ) a 3 2
PE 1 1 P(b / a) [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 0.567 3 Y , X a* 3
所得译码函数为C： 平均错误概率为：
PE'''
F (b1 ) a3 F (b2 ) a3 F (b ) a 3 3
Y , X a

P(aibj ) (0.125 0.05) (0.075 0.075) (0.05 0.125) 0.5
电子信息工程学院
信息论
1 错误概率与译码规则
下面的问题就是如何选择 P(ai / bj ) ，经过前边的讨论可 以看出，为使 P(e / bj ) 最小，就应选择 P(F (bj ) / bj ) 为最大，即选择译码函数 P(a / b ) P(a / b ) a a 并使之满 足条件：F (b ) a 也就是说，收到一个符号以后译成具有最大后验概率 的那个输入符号。这种译码准则称为“最大后验概率准 则”或“最小错误概率准则”。 根据贝叶斯定律，上式也可以写成