信息论第6章有噪信道编码

可编辑ppt
2
有噪信道编码定理 ——香农第二定理
定理1 设有一离散无记忆平稳信道，其信道容量为C，
只要待传送的信息传输率 R＜C，则存在一种编码， 当输入序列长度n足够大时，使译码错误概率任意小。 物理含义：
(1) 只要R＜C，就可以在有噪信道中以任意小 的错误概率(pE＜)传输信息；
(2) 当输入序列长度n足够大时，可以以任意接 近信道容量C的信息传输率传递信息。
可编辑ppt
定理
分组码最小汉明距离与检错和纠错能力的关系:
1）dmin e 1 (e为检错个数)
用于检错重发ARQ
2）d min 2t 1 (t为纠错个数） 用于FEC
3）dmin e t 1（e>t） 用于HEC（又检又纠）
↑→ 检错和纠错能力↑
可编辑ppt
dmin e 1
可编辑ppt
第六章 有噪信道编码
错误概率与信道的统计特性有关, 但并不是唯一相 关的因素, 译码方法的选择也会影响错误率。
➢ 信道统计特性 信道统计特性用信道传递矩阵来描述, 该矩阵确 定了哪些是正确传递概率, 哪些是错误传递概率. ➢ 译码规则
通信过程并非到信道输出端就结束, 还要经过 译码过程(或判决过程)才到达消息的终端(收信者).
可编辑ppt
4
差错控制方式
差错控制方式一般可以分为四种类型：
• 检错重发（ARQ） • 前向纠错（FEC） • 混合纠错检错（HEC） • 信息反馈（IRQ）
可编辑ppt
源自文库
汉明距离与最大似然译码
• 定理 对于一个二进制对称信道，如果信道输 入码字为等概率分布，则其最大似然译码可以 等价于最小汉明距离译码。
可编辑ppt
3
定理2 有噪信道编码定理的逆定理 设有一离散无记忆平稳信道，其信道容量为C，
对于任意>0，若要选用码字总数M=2n(C+ )，则无论
n取多大，也找不到一种编码，使译码错误概率任
意小。
物理含义： 在任何信道中，信道容量C是进行可靠传输的最大 信息传输率。要想使信息传输率大于信道容量而 又无错误地传输消息是不可能的。
可编辑ppt
1
译码规则的选择依据: 使平均错误概率最小。
最小错误概率准则
选择译码函数F(bj)=a*并使之满足条件: p(a*|bj)≥p(ai|bj) （对所有ai≠a*）
极大似然译码准则
• 选择译码函数F(bj)=a*,使满足 p(bj|a*)p(a*)≥p(bj|ai)p(ai)，即p(a*bj)≥p(aibj)。
8
dmin 2t 1
可编辑ppt
9
dmin e t 1
可编辑ppt
10