错误概率、译码规则和有噪信道编码定理

通信过程的可靠性可以用传输的错误概率来衡量。

错误概率（误码率）：接收端收到错误码字的概率。

常用平均译码错误概率表示。

∑=j j j e y e p y p P )
|()(译码规则： 设计一个函数F(y j )，该函数对于每一个输出符号y j 确定一个唯一的输入符号x j *与其对应，即：
}
,,,{;,,2,1,)(21r j j j x x x x s j x y F ∈==**
∑∑*-==j j j j j j j e y x p y p y e p y p P )]
|(1)[()|()(平均错误概率为：最大后验概率译码准则（最佳译码准则）：
把每个输出符号译成具有最大后验概率的那个输入符号，使得信道的平均错误概率最小。

即选择译码函数,
)(*=j j x y F **≠≥j
i j i j j x x y x p y x p ),|()|(使得
最大似然译码准则：已知信道的前向传递概率的情况下，把每个输出符号译成具有最大前向传递概率的那个输入符号。

即选择译码函数,
)(*=j j x y F **≠≥j i i j j j x x x y p x y p ),|()|(使得
∑∑∑∑∑--*==
-==Y x X i j i Y x X j
i Y
j
Y X j i Y
j j e x y p x p y x p y x p y x p y e p y p P *,*,,)
|()()()()()
|()(平均错误概率为：
问题：如何降低错误概率？
l改变译码规则；
l改变输入符号的概率分布，也就是进行信道编码。

然而，信道编码降低了传输的错误概率，代价是信息传输率的降低。

给定信道容量为C的离散无记忆信道[X, P(y|x), Y]，其中P(y|x)为信道传递概率。

当信息传输率R<C时，只要码长n足够长，总可以在输入X n符号集中找到M（=2nR）个码字组成的一组码（2nR, n）和相应的译码规则，使译码的平均错误概率任意小（P E→0）。

当信息传输率R>C时，无论码长n多长，总也找不到一种编码，使译码错误概率任意小。