第六章：信道编码定理
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
译码错误
• A 是接收空间 • w1, w2 … 是发送的码字 Ωi
An
w2 x w1 x x
不知如何译码 不知如何译码 Ω2
• 围绕每个码字有一个译码域 • 如果接收的码字在 Ωi中 ，就 认为发送的是码字 wi
w4
Ω4
发生错误
Ω1
w3
Ω3
•一般, An中 存在一些不属于任 何 Ωi的区域 • 有时接收码字会被映射到错误 的Ωi，进而被译成错误的 wi
广义信道或离散信道
• 注意：信道译码可以不是离散信道译码。只有当解调为 注意：信道译码可以不是离散信道译码。 可以不是离散信道译码
硬判决输出时才是离散信道和离散信道译码
§6.2:信道编码的作用及实质 信道编码的作用及实质 －信道编码的作用
• 信道编码的作用： 信道编码的作用： 在资源、可靠性和传信量之间选择一个好的 在资源、可靠性和传信量之间选择一个好的 工作点（有时还要考虑延时）。 工作点（有时还要考虑延时）。 • 资源指的提供信息传输所付出的代价 资源指的提供信息传输所付出的代价
信道
信宿
传输的信息是否无误？ 传输的信息是否无误？
所得信息能否可靠 地确定信道输入？ 地确定信道输入？
信息流 H(X)
通信信道 I(X;Y)
C
给定特性的信道最大可达 的信息传输率－ 的信息传输率－ 信道传输信息的能力度量 信道传输信息的能力度量 信道噪声 信息传输的有效性指标 可以获得的信 息量
实际通信中人们对传输要求什么？ 实际通信中人们对传输要求什么？
– 有效性：认为可靠性已满足 有效性： – 可靠性：认为有效性已满足 可靠性：
• 将信源与信道编码分别研究
– 信源编码：解决有效性问题 信源编码： – 信道编码：解决可靠性问题 信道编码：
编码 信源 信源编码 信源编码 信道编码 信道编码
有效性、可靠性问题分别解决 有效性、
信源译码 信源译码 译码 信道译码 信道译码
§6.2:信道编码的作用及实质 信道编码的作用及实质 • 匹配信道特性： 匹配信道特性： －信道编码的实质
–抗白噪声： 抗白噪声： 抗白噪声 • 优秀的调制、信道编码方案， 优秀的调制、信道编码方案， • 扩频方式等。 扩频方式等。 –抗衰落和多径干扰： 抗衰落和多径干扰： 抗衰落和多径干扰 • 功控抗慢衰落， 功控抗慢衰落， • 空间分集抗平滑瑞利（空间选择）衰落， 空间分集抗平滑瑞利（空间选择）衰落， • Rake接收机及自适应均衡抗频率选择性， Rake接收机及自适应均衡抗频率选择性 接收机及自适应均衡抗频率选择性， • 交织编码抗时间选择性衰落等。 交织编码抗时间选择性衰落等。 –抗多址干扰与远近效应： 抗多址干扰与远近效应： 抗多址干扰与远近效应 • 正交码型设计， 正交码型设计， • 功率控制， 功率控制， • 多用户检测， 多用户检测， • 扰乱编码进行能量分集， 扰乱编码进行能量分集， • 智能天线等。 智能天线等。
§6.2:信道编码的作用及实质 信道编码的作用及实质 什么是信道编码？ －什么是信道编码？
• 复接、代数编码、调制、成形滤波、扩频、上下变频 复接、代数编码、调制、成形滤波、扩频、 等等都属于广义的信道编码范畴 等等都属于广义的信道编码范畴 广义的信道编码
信信 编编 信信 译编 离离信 道编编 信道 译编 调调 信道 解调
– 包括频率、时间、空间、功率等等。但不包括实现 包括频率、时间、空间、功率等等。 复杂度 – 一个好的编码就是要充分利用资源，传递尽可能多 一个好的编码就是要充分利用资源， 的信息
§6.2:信道编码的作用及实质 信道编码的作用及实质 －信道编码的三种情形
– 给定资源和可靠性要求，通过信道编码尽量提 给定资源和可靠性要求， 高传输速率（ 多电平编码） 高传输速率（例：多电平编码） – 给定对信息传输的速率和可靠性要求，通过信 给定对信息传输的速率和可靠性要求， 道编码尽量减少资源开销（ 扰乱编码） 道编码尽量减少资源开销（例：扰乱编码） – 给定资源和传输速率，通过编码提高可靠性（ 给定资源和传输速率，通过编码提高可靠性（ 纠错编码） 例：检、纠错编码）
§6.2:信道编码的作用及实质 信道编码的作用及实质 －信道编码的实质
• 利用冗余降低差错概率
– —— 在信息码中增加一定数量的监督码元，使它们满足一定 在信息码中增加一定数量的监督码元， 的约束关系。 的约束关系。在信道传输中如果码字受干扰而在接收端出现一 些偏差，破坏了其约束关系， 些偏差，破坏了其约束关系，收方通过检验这种约束关系来把 错误识别或校正出来，从而保证通信的可靠性。 错误识别或校正出来，从而保证通信的可靠性。 －差控码
• 将所有可能的输入信息（消息）映射到信道符号（波形 将所有可能的输入信息（消息）映射到信道符号（ 空间的点，而这个点的集合要小于（包含于） ）空间的点，而这个点的集合要小于（包含于）全信道 空间中点的集合。 空间中点的集合。 – ——通过增加冗余度，即将信息空间映射到更大的信道 通过增加冗余度， 波形空间，以提高不同码字波形间的差异程度， 波形空间，以提高不同码字波形间的差异程度，从而获 得增益。 得增益。
6.1:问题引出与定理描述
通过不可靠的信道可以实现可靠的信息传输
• 只要系统设计的信息传输率 息传输能力之内， 在信道的信 息传输能力之内， 就可以实现可靠传输。 就可以实现可靠传输。 解 码 器
噪声
编 码 器
• 实现有效且可靠传输的途 径是信道编码 信道编码。 径是信道编码。
信源
信道
信宿
信道编码的作用及实质－ §6.2:信道编码的作用及实质－什 信道编码的作用及实质
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－5
• 译码准则一：最小错误概率准则（最大后验概率准 译码准则一：最小错误概率准则（ 则）
p(g( y) | y) = m p(xm | y) ax
m
• 特点： 特点：
– 优点：理想 优点： – 缺点：1、后验概率不易得到 缺点： 、 2、后验概率依赖于输入分布 、
001
010
100
111
§6.2:信道编码的作用及实质 信道编码的作用及实质
－差错控制编码的基本原理
• 如用三位二进制编码传二个字母 000 A 111 B
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－7
• 译码准则三：最小距离译码准则 译码准则三：
d( y, g( y)) = m d( y, xm ) in
m
• 最小距离译码准则 最大似然译码准则 最小距离译码准则&最大似然译码准则
– 在二进制对称信道中－－二者是一致的 在二进制对称信道中－－二者是一致的 －－
正确译码 正确译码
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－4
• 问题： 问题：
– 在输入和信道特性给定的条件下，差错概率将取决 在输入和信道特性给定的条件下， 于接收矢量空间按什么样的划分准则进行划分
• 划分接收矢量空间的准则 划分接收矢量空间的准则
– －－译码器的译码准则 －－译码器的译码准则
传输信息量大－－传输要有效 传输信息量大－－传输要有效 －－ 传输信息无差错－－传输要可靠 传输信息无差错－－传输要可靠 －－ 可靠性？ 可靠性？
§6.1:问题引出与定理描述
• 提出的与信道传输可靠性有关的问题： 提出的与信道传输可靠性有关的问题： 可靠性有关的问题
– 如何能使信息传输后发生的错误最少？ 如何能使信息传输后发生的错误最少？ • 错误概率与那些因素有关？ 错误概率与那些因素有关？ • 有无办法控制？ 有无办法控制？ 具体信道编码技术 • 能控制到什么程度？ 能控制到什么程度？ – 无误传输可达的最大信息率是多少？ 无误传输可达的最大信息率是多少？
§6.2:信道编码的作用及实质 信道编码的作用及实质
－差错控制编码的基本原理
• 如用三位二进制编码来代表八个字母 000 A 100 E 001 B 101 F 010 C 110 G 011 D 111 H
——R=log8/3=1bit/二进制符号 二进制符号 ——不管哪一位发生错误，都会使传输字母错误 不管哪一位发生错误， 不管哪一位发生错误
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－6
• 译码准则二：wk.baidu.com大似然译码准则 译码准则二：
p( y | g( y)) = m p( y | xm) ax
m
• 最大后验概率译码准则 最大似然译码准则 最大后验概率译码准则&最大似然译码准则
– 输入等概时－－二者是一致的 输入等概时－－二者是一致的 －－
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－8
• 选择好的译码规则可以降低错误概率 • FANO不等式说明 无论什么译码规则 对减少误码 不等式说明,无论什么译码规则 不等式说明 无论什么译码规则,对减少误码 率的作用有限,误码率受信道特性的影响严重。 误码率受信道特性的影响严重 率的作用有限 误码率受信道特性的影响严重。 • 增加码空间 ，并选择适当的编码方法,可以既使 增加码空间M，并选择适当的编码方法 可以既使 错误概率降低,又使码率保持较大 又使码率保持较大。 错误概率降低 又使码率保持较大。 • 适当的编码方法就是适应信道特性的方法即 信道 适当的编码方法就是适应信道特性的方法即:信道 编码
信道编码定理
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－1
• 错误概率与译码规则 错误概率与译码规则
– 错误概率Pe与什么有关？ 错误概率 与什么有关？
• 信道的统计特性 • 译码规则
– 译码规则的选择依据
• 最大后验概率准则－－理想 最大后验概率准则－－ －－理想 • 最大似然准则－－实用 最大似然准则－－ －－实用 • 最小距离准则－－实用 最小距离准则－－实用 －－
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－2
消 息 集 合
B C 3 1 A 2
编 码 集 合
发 送 波 形 集 合
B
A
P A1 P A2 P P A3 A5 P A4
1 3 4 5 2
接 收 波 形 集 合
C
编码
编码
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－3 信道译码n
§6.1: 问题引出与定理描述
几乎无误
– 问题： 问题：
在有噪信道中，使平均误码率Pe尽可能小的 在有噪信道中，使平均误码率 情况下，可达到的信息传输率是多少？ 情况下，可达到的信息传输率是多少？
– 答案： 答案：
信道容量C 信道容量
6.1:问题引出与定理描述
• 信道编码定理： 信道编码定理：
– 设R是信息传输的速率，C是离散无记忆信道的信 是信息传输的速率， 是离散无记忆信道的信 是信息传输的速率 道容量，ε>0是任意小的数，则只要 >0是任意小的数 道容量， >0是任意小的数，则只要R<C就总存在 就总存在 码字长为N 码字数为 码字长为N，码字数为M=2NR的分组码使译码的 平均差错概率Pe<ε。 平均差错概率 。
§6.2:信道编码的作用及实质 信道编码的作用及实质
• 如用三位二进制编码传四个字母 000 A 011 B 101 C
－差错控制编码的基本原理
110 D
——R=（log4）/3=0.67bit/二进制符号 R=（log4）/3=0.67bit/二进制符号 R= ——发生一位错误，准用码字将变成禁用码字，接收端 发生一位错误， 发生一位错误 准用码字将变成禁用码字， 就能知道出错，但是不能纠错。 就能知道出错，但是不能纠错。 禁用码字： 禁用码字：
第六章： 第六章：信道编码定理
信息论研究编码的主要内容
– 回答如下问题 回答如下问题:
• 为什么要编码 为什么要编码? • 什么样的码是好码 什么样的码是好码?
– 不能回答的问题 不能回答的问题:
• 怎样进行编码 怎样进行编码? • 怎样进行译码 怎样进行译码?
信息论研究编码的方法
• 将问题分而治之
么是信道编码？ 么是信道编码？
• 通信系统模型
消息集中 一个元素 信道波形 空间中的 一个点 失真后 的波形 恢复的 消息
信信 编编
信道 编编
消息到波 形的映射
信道
信道 译编
判断是消 息集中的 哪个元素
信信 译编
引入失真
• 信道编码：从消息到信道波形或矢量的映射 信道编码：
希望通信系统与信道统计特性相匹配的编码
• A 是接收空间 • w1, w2 … 是发送的码字 Ωi
An
w2 x w1 x x
不知如何译码 不知如何译码 Ω2
• 围绕每个码字有一个译码域 • 如果接收的码字在 Ωi中 ，就 认为发送的是码字 wi
w4
Ω4
发生错误
Ω1
w3
Ω3
•一般, An中 存在一些不属于任 何 Ωi的区域 • 有时接收码字会被映射到错误 的Ωi，进而被译成错误的 wi
广义信道或离散信道
• 注意：信道译码可以不是离散信道译码。只有当解调为 注意：信道译码可以不是离散信道译码。 可以不是离散信道译码
硬判决输出时才是离散信道和离散信道译码
§6.2:信道编码的作用及实质 信道编码的作用及实质 －信道编码的作用
• 信道编码的作用： 信道编码的作用： 在资源、可靠性和传信量之间选择一个好的 在资源、可靠性和传信量之间选择一个好的 工作点（有时还要考虑延时）。 工作点（有时还要考虑延时）。 • 资源指的提供信息传输所付出的代价 资源指的提供信息传输所付出的代价
信道
信宿
传输的信息是否无误？ 传输的信息是否无误？
所得信息能否可靠 地确定信道输入？ 地确定信道输入？
信息流 H(X)
通信信道 I(X;Y)
C
给定特性的信道最大可达 的信息传输率－ 的信息传输率－ 信道传输信息的能力度量 信道传输信息的能力度量 信道噪声 信息传输的有效性指标 可以获得的信 息量
实际通信中人们对传输要求什么？ 实际通信中人们对传输要求什么？
– 有效性：认为可靠性已满足 有效性： – 可靠性：认为有效性已满足 可靠性：
• 将信源与信道编码分别研究
– 信源编码：解决有效性问题 信源编码： – 信道编码：解决可靠性问题 信道编码：
编码 信源 信源编码 信源编码 信道编码 信道编码
有效性、可靠性问题分别解决 有效性、
信源译码 信源译码 译码 信道译码 信道译码
§6.2:信道编码的作用及实质 信道编码的作用及实质 • 匹配信道特性： 匹配信道特性： －信道编码的实质
–抗白噪声： 抗白噪声： 抗白噪声 • 优秀的调制、信道编码方案， 优秀的调制、信道编码方案， • 扩频方式等。 扩频方式等。 –抗衰落和多径干扰： 抗衰落和多径干扰： 抗衰落和多径干扰 • 功控抗慢衰落， 功控抗慢衰落， • 空间分集抗平滑瑞利（空间选择）衰落， 空间分集抗平滑瑞利（空间选择）衰落， • Rake接收机及自适应均衡抗频率选择性， Rake接收机及自适应均衡抗频率选择性 接收机及自适应均衡抗频率选择性， • 交织编码抗时间选择性衰落等。 交织编码抗时间选择性衰落等。 –抗多址干扰与远近效应： 抗多址干扰与远近效应： 抗多址干扰与远近效应 • 正交码型设计， 正交码型设计， • 功率控制， 功率控制， • 多用户检测， 多用户检测， • 扰乱编码进行能量分集， 扰乱编码进行能量分集， • 智能天线等。 智能天线等。
§6.2:信道编码的作用及实质 信道编码的作用及实质 什么是信道编码？ －什么是信道编码？
• 复接、代数编码、调制、成形滤波、扩频、上下变频 复接、代数编码、调制、成形滤波、扩频、 等等都属于广义的信道编码范畴 等等都属于广义的信道编码范畴 广义的信道编码
信信 编编 信信 译编 离离信 道编编 信道 译编 调调 信道 解调
– 包括频率、时间、空间、功率等等。但不包括实现 包括频率、时间、空间、功率等等。 复杂度 – 一个好的编码就是要充分利用资源，传递尽可能多 一个好的编码就是要充分利用资源， 的信息
§6.2:信道编码的作用及实质 信道编码的作用及实质 －信道编码的三种情形
– 给定资源和可靠性要求，通过信道编码尽量提 给定资源和可靠性要求， 高传输速率（ 多电平编码） 高传输速率（例：多电平编码） – 给定对信息传输的速率和可靠性要求，通过信 给定对信息传输的速率和可靠性要求， 道编码尽量减少资源开销（ 扰乱编码） 道编码尽量减少资源开销（例：扰乱编码） – 给定资源和传输速率，通过编码提高可靠性（ 给定资源和传输速率，通过编码提高可靠性（ 纠错编码） 例：检、纠错编码）
§6.2:信道编码的作用及实质 信道编码的作用及实质 －信道编码的实质
• 利用冗余降低差错概率
– —— 在信息码中增加一定数量的监督码元，使它们满足一定 在信息码中增加一定数量的监督码元， 的约束关系。 的约束关系。在信道传输中如果码字受干扰而在接收端出现一 些偏差，破坏了其约束关系， 些偏差，破坏了其约束关系，收方通过检验这种约束关系来把 错误识别或校正出来，从而保证通信的可靠性。 错误识别或校正出来，从而保证通信的可靠性。 －差控码
• 将所有可能的输入信息（消息）映射到信道符号（波形 将所有可能的输入信息（消息）映射到信道符号（ 空间的点，而这个点的集合要小于（包含于） ）空间的点，而这个点的集合要小于（包含于）全信道 空间中点的集合。 空间中点的集合。 – ——通过增加冗余度，即将信息空间映射到更大的信道 通过增加冗余度， 波形空间，以提高不同码字波形间的差异程度， 波形空间，以提高不同码字波形间的差异程度，从而获 得增益。 得增益。
6.1:问题引出与定理描述
通过不可靠的信道可以实现可靠的信息传输
• 只要系统设计的信息传输率 息传输能力之内， 在信道的信 息传输能力之内， 就可以实现可靠传输。 就可以实现可靠传输。 解 码 器
噪声
编 码 器
• 实现有效且可靠传输的途 径是信道编码 信道编码。 径是信道编码。
信源
信道
信宿
信道编码的作用及实质－ §6.2:信道编码的作用及实质－什 信道编码的作用及实质
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－5
• 译码准则一：最小错误概率准则（最大后验概率准 译码准则一：最小错误概率准则（ 则）
p(g( y) | y) = m p(xm | y) ax
m
• 特点： 特点：
– 优点：理想 优点： – 缺点：1、后验概率不易得到 缺点： 、 2、后验概率依赖于输入分布 、
001
010
100
111
§6.2:信道编码的作用及实质 信道编码的作用及实质
－差错控制编码的基本原理
• 如用三位二进制编码传二个字母 000 A 111 B
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－7
• 译码准则三：最小距离译码准则 译码准则三：
d( y, g( y)) = m d( y, xm ) in
m
• 最小距离译码准则 最大似然译码准则 最小距离译码准则&最大似然译码准则
– 在二进制对称信道中－－二者是一致的 在二进制对称信道中－－二者是一致的 －－
正确译码 正确译码
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－4
• 问题： 问题：
– 在输入和信道特性给定的条件下，差错概率将取决 在输入和信道特性给定的条件下， 于接收矢量空间按什么样的划分准则进行划分
• 划分接收矢量空间的准则 划分接收矢量空间的准则
– －－译码器的译码准则 －－译码器的译码准则
传输信息量大－－传输要有效 传输信息量大－－传输要有效 －－ 传输信息无差错－－传输要可靠 传输信息无差错－－传输要可靠 －－ 可靠性？ 可靠性？
§6.1:问题引出与定理描述
• 提出的与信道传输可靠性有关的问题： 提出的与信道传输可靠性有关的问题： 可靠性有关的问题
– 如何能使信息传输后发生的错误最少？ 如何能使信息传输后发生的错误最少？ • 错误概率与那些因素有关？ 错误概率与那些因素有关？ • 有无办法控制？ 有无办法控制？ 具体信道编码技术 • 能控制到什么程度？ 能控制到什么程度？ – 无误传输可达的最大信息率是多少？ 无误传输可达的最大信息率是多少？
§6.2:信道编码的作用及实质 信道编码的作用及实质
－差错控制编码的基本原理
• 如用三位二进制编码来代表八个字母 000 A 100 E 001 B 101 F 010 C 110 G 011 D 111 H
——R=log8/3=1bit/二进制符号 二进制符号 ——不管哪一位发生错误，都会使传输字母错误 不管哪一位发生错误， 不管哪一位发生错误
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－6
• 译码准则二：wk.baidu.com大似然译码准则 译码准则二：
p( y | g( y)) = m p( y | xm) ax
m
• 最大后验概率译码准则 最大似然译码准则 最大后验概率译码准则&最大似然译码准则
– 输入等概时－－二者是一致的 输入等概时－－二者是一致的 －－
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－8
• 选择好的译码规则可以降低错误概率 • FANO不等式说明 无论什么译码规则 对减少误码 不等式说明,无论什么译码规则 不等式说明 无论什么译码规则,对减少误码 率的作用有限,误码率受信道特性的影响严重。 误码率受信道特性的影响严重 率的作用有限 误码率受信道特性的影响严重。 • 增加码空间 ，并选择适当的编码方法,可以既使 增加码空间M，并选择适当的编码方法 可以既使 错误概率降低,又使码率保持较大 又使码率保持较大。 错误概率降低 又使码率保持较大。 • 适当的编码方法就是适应信道特性的方法即 信道 适当的编码方法就是适应信道特性的方法即:信道 编码
信道编码定理
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－1
• 错误概率与译码规则 错误概率与译码规则
– 错误概率Pe与什么有关？ 错误概率 与什么有关？
• 信道的统计特性 • 译码规则
– 译码规则的选择依据
• 最大后验概率准则－－理想 最大后验概率准则－－ －－理想 • 最大似然准则－－实用 最大似然准则－－ －－实用 • 最小距离准则－－实用 最小距离准则－－实用 －－
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－2
消 息 集 合
B C 3 1 A 2
编 码 集 合
发 送 波 形 集 合
B
A
P A1 P A2 P P A3 A5 P A4
1 3 4 5 2
接 收 波 形 集 合
C
编码
编码
错误概率与译码准则、编码方法－ 错误概率与译码准则、编码方法－3 信道译码n
§6.1: 问题引出与定理描述
几乎无误
– 问题： 问题：
在有噪信道中，使平均误码率Pe尽可能小的 在有噪信道中，使平均误码率 情况下，可达到的信息传输率是多少？ 情况下，可达到的信息传输率是多少？
– 答案： 答案：
信道容量C 信道容量
6.1:问题引出与定理描述
• 信道编码定理： 信道编码定理：
– 设R是信息传输的速率，C是离散无记忆信道的信 是信息传输的速率， 是离散无记忆信道的信 是信息传输的速率 道容量，ε>0是任意小的数，则只要 >0是任意小的数 道容量， >0是任意小的数，则只要R<C就总存在 就总存在 码字长为N 码字数为 码字长为N，码字数为M=2NR的分组码使译码的 平均差错概率Pe<ε。 平均差错概率 。
§6.2:信道编码的作用及实质 信道编码的作用及实质
• 如用三位二进制编码传四个字母 000 A 011 B 101 C
－差错控制编码的基本原理
110 D
——R=（log4）/3=0.67bit/二进制符号 R=（log4）/3=0.67bit/二进制符号 R= ——发生一位错误，准用码字将变成禁用码字，接收端 发生一位错误， 发生一位错误 准用码字将变成禁用码字， 就能知道出错，但是不能纠错。 就能知道出错，但是不能纠错。 禁用码字： 禁用码字：
第六章： 第六章：信道编码定理
信息论研究编码的主要内容
– 回答如下问题 回答如下问题:
• 为什么要编码 为什么要编码? • 什么样的码是好码 什么样的码是好码?
– 不能回答的问题 不能回答的问题:
• 怎样进行编码 怎样进行编码? • 怎样进行译码 怎样进行译码?
信息论研究编码的方法
• 将问题分而治之
么是信道编码？ 么是信道编码？
• 通信系统模型
消息集中 一个元素 信道波形 空间中的 一个点 失真后 的波形 恢复的 消息
信信 编编
信道 编编
消息到波 形的映射
信道
信道 译编
判断是消 息集中的 哪个元素
信信 译编
引入失真
• 信道编码：从消息到信道波形或矢量的映射 信道编码：
希望通信系统与信道统计特性相匹配的编码