第7章 有噪信道编码
第七章：信息率失真函数与限失真信源编码
✓ 不同的p(v|u)有不同的 D
R(D)
✓ 对我们有意义的：具有最小的 D 的
p(v|u)
R(D)>0
✓ 利用该p(v|u)求得使R(Dmax)=0时的 Dmax
✓ R=0时，U,V统计独立p(v|u)只是v的 函数,则有： p(v|u)＝P(v)
R(D)=0
D Dmax
§7.3:率失真函数－5
]
• 失真函数：均方误差失真，即： d (u, v) (u v)2
–求解步骤：
• 计算平均失真度 D • 当 D ≤D，求互信息 • 求互信息的下限值得到包含有D和σ2 的R(D)表达式 • 讨论D和σ2 比值不同时R(D)的取值
–验证：找到满足R(D)的试验信道，验证其正确性 –结果分析：R(D)曲线分析
• 允许一定的失真度下，能将信源信息压缩到什么程 度？（最少需要多少比特才能在收端描述信源？）
• 一定的信息传输率R下，可能达到的最小的平均失 真是多少？
– 相关问题
• 失真如何度量？ • 率失真函数如何计算？
§7.1:概述－6
• 方法：
– 抽象：将与讨论重点关系小的部分抽象
• 因为涉及信源编码，对信道进行抽象
最好地利用C
消息 压缩冗余度
信 源
最佳分布 无噪无损信道
编 码
R=C;PE=0,
限：平均码长最小值Hr(S) 每个码符号平均能够携带的最大信息量
§7.1:概述－2
• 有噪信道编码定理回顾：
– 只要R<C，总可以找到一种信道编码方法，使在信道 上能够以尽可能小的PE传输信息。
增加冗余度，最好地匹配信 道特性
• P(u)=[ω，1－ ω]， ω≤1/2
信道编码
前言计算机通信是一种以数据通信形式出现，在计算机与计算机之间或计算机与终端设备之间进行信息传递的方式。
它是现代计算机技术与通信技术相融合的产物，在军队指挥自动化系统、武器控制系统、信息处理系统、决策分析系统、情报检索系统以及办公自动化系统等领域得到了广泛应用。
计算机通信系统是经典的数字通信系统，它是计算机技术和通信技术结合的产物，一方面通信网络为计算机之间的数据传递和交换提供必要的设施和手段；另一方面，数字计算机技术的发展渗透到通信技术中，又提高了通信网络的各种性能，二者相互渗透、互相促进、共同发展。
由于计算机、卫星通信及高速数据网的飞速发展，数据的交换、处理和存储技术得到了广泛的应用，数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象，人们对数据传输和存储系统的可靠性提出来了越来越高的要求，经过长时间的努力，通过编译码来控制差错、提高可靠性的方式在信道传输中得到了大量的使用和发展，并形成了一门新的技术叫做纠错编码技术，纠错编码按其码字结构形式和对信息序列处理方式的不同分为两大类：分组码和卷积码。
第一章 信道编码1.1 信道编码概述1.1.1信道模型信息必须首先转换成能在信道中传输或存储的信息后才能通过信道传送给收信者。
在信息传输过程中，噪声或干扰主要是从信道引入的，它使信息通过信道传输后产生错误和失真。
因此信道的输入和输出之间一般不是确定的函数关系，而是统计依赖的关系。
只要知道信道的输入信号、输出信号以及它们之间的统计依赖关系，就可以确定信道的全部特性。
信道的种类很多，这里只研究无反馈、固定参数的单用户离散信道。
1．离散信道的数学模型离散信道的数学模型一般如图6.1所示。
图中输入和输出信号用随机矢量表示，输入信号为 X = (X 1, X 2,…, X N )，输出信号为Y = (Y 1, Y 2,…, Y N )；每个随机变量X i 和Y i 又分别取值于符号集A ={a 1, a 2, …, a r }和B ={b 1, b 2, …, b s }，其中r 不一定等于s ；条件概率P (y |x ) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。
有噪信道编码
BSC信道，p=0.01
10
错误概率既与信道的统计特性有关，也与译码规则 的选择有关。
有 噪 信 道 编 码 定 理
举例
例如：二元对称信道中，单个符号的错误传递概率是， 正确的传递概率是11 。
1-ε 1 ε
0
0
ε
11
1
ε
1
1-ε
设输入等概，错误传递概率=2/3
有 噪 信 道 编 码 定 理
常用译码准则
解：设判决函数为 F ( y ) a *，得
p E ( A)
[(1/ 6 1/ 3) (1/ 3 1/ 6) (1/ 6 1/ 3)]/ 3
21
a a*
p( y | x a ) / 3
1/ 2
pE/ 3
时，则选择译码函数为F(y)=a*。可见，MAP准则可归结为似然比检验。
有 噪 信 道 编 码 定 理
MAP准则举例
a1 0 0.5 5 0 0.3 3 0 0.2 2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4 由MAP准则 b1 b2 b3 a1 1/6 1/10 1/15 [ P (ai b j )] a2 1/15 1/10 1/6 a3 1/10 1/10 2/15 b1 b2
有 噪 信 道 编 码 定 理
ML准则举例
a1 0.5 0.3 0.2 P a2 0.2 0.3 0.5 a3 0.3 0.3 0.4 b1 b2 b3
由ML准则
F (b1 ) a1 F (b2 ) a2
F (b3 ) a2
18
错误率 PE=1-(0 1 (0.5+0.3+0.5)/3 5+0 3+0 5)/3=0 0.5667 5667。
第八讲有噪声信道编码定理
8－1 8－2 8－3 8－4
错误概率与译码准则 Fano不等式 联合典型序列 无失真信道编码定理
8－1 错误概率与译码准则
1、离散信道编码的概念
信源
信源
信道
编码
编码
信道
信源
信源
译码
译码
信宿
L
um UL
级 移
存
器
xX n
y Y n
纠
纠
错
错
编
解
码
离散信道
码
器
器
干扰
L
级 移
||G n(Y |x)| | 2n[H (Y |X )2]
定理：若 x 与 y 统计独立并与联合典型序列概率P(xy) 有相同的边缘分布，
即 ( x ,y ) P ( x ) P ( y ) P ( x ) y P ( x ) y P ( x ) P ( y );
y
x
（但不一定 P (x)P (y)P (x)y）
的概率约为 2nI(X;Y)
证明：
( x , y ) 为典型序列的概率，等于联合典型序列中任意
一对 X 和 Y 为独立的典型序列的概率。
P [x (,y) G n(X)Y ] P (x)P (y) (xy), G n(X)Y
2n[H (X) Y ]2 n[H (X) ]2 n[H (Y) ]2 n[I(X;Y) 3]
（3）
2n[H(XY)] P(xy)2n[H(XY)];
(1 )2n[H(X)] ||Gn(X)||2n[H(X)]; (1 )2n[H(Y)] ||Gn(Y)||2n[H(Y)]; (1 )2n[H(XY)] ||Gn(XY)||2n[H(XY)];
信道编码原理
某一种符号。
p(b1
a) 1
p(0 0)
1
p
p
【例5－1】 二元对称信道简记为
BSC(BinarySpy(mb2mae2t)ricCph(1a1n)nel1)， 其p 输p入/输出符号均取
值于{0，1}，若r=sp=(2b1，a且2 )a1=pb(10=10)，ap2=b2=1，有转移概率
p(b2
（4）选择合适的译码规则可降低平均错误译码的概率 。
5.2.3 费诺不等式
描述了平均错误译码概率Pe与信道疑义度H(X|Y) 的内在联系，即
H(X︱Y) ≤ H(Pe)十Pe1oga(r-1)
注：
（1）不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。
（2）费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性H(X|Y)由两部分 组成：第一部分是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性 H(Pe)；第二部分是当平均错误译码概率为Pe时，到底 是哪一个信源符号被错误译码的最大平均不确定性 Pe1oga(r-1)。
prj p X F(bj ) ai Y bj
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
（1）从整个传递作用的效果来看，信道的输入是 X=X1X2…XN，输出是Y=Y1Y2…YN。 （2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
N次扩展信道的传递矩阵
信息论与编码第七章 有噪信道编码
(1) 最大后验概率准则 ¾ 定义 选择译码函数 F(bj ) = a*, a* ∈ A, bj ∈ B
并使之满足条件 P(a* | bj ) ≥ P(ai | bj ), ai ∈ A, ai ≠ a* 这种译码准则称为“最大后验概率准则”或“最小错误概，它对于每一个输出符号均译有最
（1）求平均错误概率pe
pe = ∑ ∑ p(xy ) = 0.01+ 0.12 + 0.07 + 0.12 + 0.1+ 0.02 = 0.44 x-xk y
(2)当信源等概分布，按最大似然函数译码准则译码，已给出信道转移
概率矩阵 ⎡0.5 0.3 0.2⎤ 在矩阵的每列中选一最大值(矩阵中带下划
一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y] 来描述。
a1
X
ar
P(bj | ai )
b1
Y
bs
77..22 相相关关概概率率定定义义及及关关系系
一些关于联合概率和条件概率的关系： (1) 设输入和输出符号的联合概率为 P(x=ai,y=bj)=P(aibj)，则有
P(aibj ) = P(ai )P(bj | ai ) = P(bj )P(ai | bj )
0
1/3
0
2/3
2/3
1
1
1/3
若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为：
PE
=
P(0)Pe(0)
+
P(1)
P(1) e
=
2 3
反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误 概率为1/3，可见错误概率与译码准则有关。
有噪信道编码定理
有噪信道编码定理
噪声信道编码定理（Noise channel coding theorem）是通信理论中的一个重要定理，也被称为香农编码定理（Shannon's coding theorem）。
它说明了在有噪声的信道中，通过适当的编码和解码技术，可以实现任意小的误码率。
具体来说，噪声信道编码定理提供了用于传输信息的信道容量的上限，称为香农容量（Shannon capacity）。
香农容量表示了在给定的信道条件下，所能传输的最大有效数据速率。
根据该定理，如果某个编码方案的数据速率小于香农容量，则可以通过适当的编码和解码技术实现任意小的误码率。
噪声信道编码定理的核心思想是通过错误检测和纠正编码，将原始的输入符号转化为冗余的编码符号，这些编码符号可以对信道中的噪声进行纠正或者检测错误。
通过正确的编码和解码过程，接收端可以恢复出原始的输入符号，并降低误码率。
噪声信道编码定理的应用非常广泛，包括在无线通信、有线通信、光纤通信等各种通信系统中。
它为信道编码提供了理论指导，对于提高通信系统的可靠性和容量具有重要的意义。
信息论-第7章抗干扰信道编码
设输入符号为等概分布，采用极大似然译码规则 （即大数逻辑译码） F ( 1 ) 1 F ( 4 ) 8
F ( 2 ) 1 F ( 3 ) 1 F ( 5 ) 1 F ( 6 ) 8 F ( 7 ) 8 F ( 8 ) 8
输入为等概条件下，相应的平均错误概率为 1 pE p( j | i ) p( i ) *p( j | i ) M Y ,X x Y , X x*
16
7.2 译码规则的选择准则
(3) 最大后验概率译码规则和极大似然译码规则是等价的 最大后验概率译码规则可以很容易推出极大似然译码 规则。由贝叶斯公式，最大后验概率公式可写为
p( y j | x * ) p( x * ) p( y j ) p( y j | xi ) p( xi ) p( y j ) 对i
第7章
抗干扰信道编码
信道编码是以信息在信道上的正确传输为目 标的编码，可分为两个层次上的问题： • 如何正确接收载有信息的信号 －－线路编码 • 如何避免少量差错信号对信息内容的影响 －－纠错编码
1
纠错码分类
• 从功能角度：检错码 、纠错码 • 对信息序列的处理方法：分组码、卷积码 • 码元与原始信息位的关系：线性码、非线 性码 • 差错类型：纠随机差错码、纠突发差错码、 介于中间的纠随机/突发差错码。 • 构码理论：代数码、几何码、算术码、组 合码等
卫星通信导论习题答案解析
第1章题解① T= V= s ② T= V= s ③ T= V= s ④ T= V= s ⑤ T= V= s① 84231km ，281ms ② 160ms ③ 37500km第2章题解（1）, (2) , (3) , (4) ,d=37911km 03.39=α f L =G/T=K馈线输入端 105.0105.0010110LNA A T T T T +⎪⎭⎫ ⎝⎛-+==171°KLNA 输入端 LNA AT T T T +⎪⎪⎭⎫⎝⎛-+=105.00105.0101110=153°K 3×2110-W/Hz217°KEIRP=48dBW G/T=K(1) ； ； (2)4.8 m(K T 2900=)噪声系数的噪声温度为0T = (K T 2900=) 噪声系数的噪声温度为0T = (K T 2900=)++100+3=179K噪声温度为 =++⎥⎦⎤⎢⎣⎡-+41.01.010500010029010111050EIRP=47dBW(1) 03981.001585.01011014.18.1+=+=CNC/N=(2) 002328.0003981.0006309.01011014.22.2=-=-=CN于是，所需的上行C/N=(1) 链路损耗 L=+20lg37500+= (2)卫星转发器输入功率 C=20++26= – 卫星转发器输出功率 C=110–==11W (3) N= –+10lg500+10lg36M= – (4) C/N=(1) 卫星转发器发射的每路功率为 –14dBW/路=路(2) 地球站接收载波功率 C= ––206+30+40= –150Dbw地球站输入端噪声功率 N= –+10lg150+10lg50K= –载噪比 C/N=(3)余量=–=(1) 链路损耗L=+20lg38500+=(2) 接收天线增益G=202459.05.0⎪⎭⎫⎝⎛π=接收载波功率 C=10lg200+34–3+––1= –(3) 噪声功率 N= –+10lg110+10lg20M= –(4) C/N=余量(5) 强降雨时接收载波功率 C= ––2= –噪声功率 N= –+10lg260+10lg20M= –载噪比 C/N=余量 dB(1) 链路损耗 L=+20lg37500++2=(2)噪声功率 N= –+10lg500+10lg36M= –(3) 转发器输入载波功率 C=10lg100+54+26–= –载噪比 C/N=(4) 卫星发射功率 110–=或链路传输损耗 L=+20lg2000+=地球站接收载波功率 C=+(18–3)+1–= –地球站噪声功率 N= –+10lg260+10lg20K= –载噪比 C/N=第3章题解由图3-3得输入回退6dB ；由图3-4得输出回退3dB 。
有噪信道编码定理
错误译码的概率为：P(e | bj ) 1 P(ai | bj ) 1 PF (bj ) | bj
平均错误译码概率为：
PE EP(e | bj ) P(bj ) P(e | bj )
j 1 s
它表示经过译码后平均接收到一个符号所产生 的错误大小，也称平均错误概率。 只要设计译码规则 F (bj ) ai ，使条件错误译码概率
根据最大似然译码准则可选择码函数为 B F (b1) a1 第一列中 P(b1 | a1) 0.5 B : F (b 2) a 3 第二列中 P(b2 | ai ) 0.3(i 1,2,3) F (b3) a 2 第三列中 P(b3 | a 2) 0.5
PE 1 1 (0.2 0.3) (0.3 0.3) (0.2 0.4) 0.567 P ( b | a ) 3 Y , X a 3 1 1 (i ) (0.3 0.2) (0.2 0.3) (0.3 0.4) 0.567 P e 3 X 3
F(yj)=xi (i=1,2,…r; j=1,2,…s)
对于有r个输入，s个输出的信道来说，可以有rs个 不同的译码准则。
【例6.1】有一离散单符号信道，信道矩阵为
0 . 5 0. 3 0. 2 P 0 . 2 0 . 3 0 . 2 0 . 3 0. 3 0. 4
6.1
错误概率和译码规则
我们已经知道错误概率与信道统计特性有关 。信道的统计特性可由信道的传递矩阵来描述 。当确定了输入和输出对应关系后，也就确定 了信道矩阵中哪些是正确传递概率，哪些是错 误传递概率。例如在二元对称信道中，单个符 号的错误传递概率是p，正确传递的概率是 p 1 p
信道编码
24
假设三位S1、S2、S3校正子码组与误码位置的对应关系 如下表1所示。 表1
25
由表1可知，当误码位置在a2、a4、a5、a6时，校正子S1
＝1；否则S1＝0。因此定义： S1＝a6⊕a5⊕a4⊕a2， 同理定义 S2＝a6⊕a5⊕a3⊕a1 S3＝a6⊕a4⊕a3⊕a0。 在编码时a6、a5、a4、a3为信息码元，a2、a1、a0为监督码 元。 则监督码元可由以下监督方程唯一确定
混合方式（HEC） 结合前向纠错和ARQ的系统，在纠错能力范围内， 自动纠正错误，超出纠错范围则要求发送端重新发 送。它是一种折衷的方案。
8
差错控制方式分类
根据差错控制编码的功能不同分为： 检错码、纠错码、纠删码（兼检错、纠错）。 根据信息位和校验位的关系分为： 线性码和非线性 码。 根据信息位和校验位之间的约束关系分为：分组码 和卷积码。 根据信息位在编码后是否保持原来的形式分为：系统 码、非系统码。 按照纠正错误的类型不同分为：纠正随机错误的码、 纠正突发错误的码 按照构造差错控制编码的数学方法来分：代数码、几 何码、算术码。 按照每个码元取值的不同：二进制码和非二进制码 9
分组码、卷积码 分组码的监督码元只与本码组的信息码 元有关。 卷积码的监督码元不仅与本码组的信息 码元有关，还与前面几个码组有关。
13
纠错编码的有关概念
线性码、非线性码 信息码元与监督码元之间的关系呈线性 关系，即，满足一组线性方程式，称为 线性码。否则，两者关系不能用线性方 程式来描述，称为，非线性码。
3混合错误：既有突发错误又有随机差错的情况。这 6 种信道称之为混合信道
有噪信道编码定理
PE
P(0)
P(0) e
P(1)
P(1) e
1111 1 23 23 3
可见，译错的可能性减少，译对的可能性增加了。
理信学院 孙桂萍
2020/9/8
7
译码规则
数学定义：设离散单符号信道的输入符号集为 A={ai}，i=1,2,…,r；输出符号集为B={bj}， j=1,2,…,s。制定译码规则就是设计一个函数 F(bj)，它对于每一个输出符号bj确定一个唯一 的输入符号ai与其对应。
有噪信道编码定理
理信学院 孙桂萍
2020/9/8
1
主要内容 错误概率和译码规则
➢ 最大后验概率准则 ➢ 最大似然译码准则
错误概率与编码方法
➢ 最小距离译码准则
理信学院 孙桂萍
2020/9/8
2
信道编码的目的
o 从信道编码的构造方法看，信道编码的基本思路 是根据一定的规律在待发送的信息码中加入一些 人为多余的码元，以保证传输过程可靠性。信道 编码的任务就是构造出以最小的冗余度代价换取 最大抗干扰性能的“好码”。
译码规则b：
0 收到“0”译成“1”；收到“1”译成“0”
输 在规则b确定的情况下，错误概率 出 为：
1
1/3
1 发送“0”，收到“1”，译成“0”——正
二元对称信道 确的译码，译码正确的概率为2/3；
发送“0”，收到“0”，译成“1”——错 误的译码，译码错误的概率为1/3
在此译码规则下，平均错误概率——PE
理信学院 孙桂萍
2020/9/8
12
最大后验概率准则另一种描述
因为一般已知传递概率 P(bj ai ) 和输入符号的先验 概率 P(ai ) ，所以将 P (a *b j)P (a ib j)a ,i Aa ia *
信息论有噪信道编码定理
信息论有噪信道编码定理
信息论中的噪声信道编码定理是一项基本定理，它表明在存在噪声的通信信道中，可以通过适当的编码方式来实现任意小的错误率。
具体而言，噪声信道编码定理指出，对于具有离散输入和输出的信道模型，存在一种编码模式，使得在传输信息时，可以通过增加冗余信息，使得接收端可以正确地恢复发送端的信息。
这种编码方式称为通道编码。
噪声信道编码定理主要包括两个方面的内容：
1. 容量定理：对于给定的噪声信道，存在一种编码方式，使得传输速率不超过信道的容量时，可以实现任意小的错误概率。
2. 可靠性定理：对于给定的噪声信道和错误概率要求，存在一种编码方式，使得传输速率足够接近信道的容量时，可以实现所需的错误概率。
噪声信道编码定理的重要性在于它给出了在有限带宽和有限功率条件下，如何通过适当的编码方式来克服通信信道中的噪声，并实现可靠的信息传输。
这一定理为现代通信系统的设计和优化提供了重要的理论依据。
信息论-信息论课件ch7第二次课--噪信道编码
信息信论息基论础
定义
一个码字集合中任意两码字的汉明距离
最小值。用 dmin 来表示。
一个（n，k）线性分组码的最小 dmin 距离定义为
d m in
min i j
d
(vi
,
v
j
)
（7.17）
其中，d (vi , v j ) 表示码字 vi , v j 间的汉明距离。
凸§码§函2的.2数.1最1.1小自条距信件息离和自互信信息息
单击此处添加标题
1、重复码
信息信论息基论础
重复码是一种最简单的分组码，只有一个信息位， n-1个校验位（是信息位的简单重复），码率为1/n， 所以码字数与信源符号数相同。二元重复码中只有 两个码字，即0…0和1…1，码的最小距离为n，能 纠（n-1）/2个差错。很明显， 一个n次重复码的 距离是n。
➢Page 6
§汉明2.距1离.1 条件自信息
信息论
定
义
设两二元码字为 x [x1,..., xn ], y [ y1,..., yn ]
，其中，xi , yi取自符号集{0，1}，定义它
们的汉明距离为
n d (x, y) xk yk
k 1
其中， 为模二加运算。
例如，码字 x [1101110和]
2、奇偶校验码,方阵码(或行列监督码)
➢Page 19
•
➢Page 20
凸§单§熵几§离单函2符2种散的击.2.数.平1此简号31基.稳处1单自有离平添本的记条自加信散均忆性标分件信息信题信互组质和自息源码的道信互（信熵信息息1）息
单击此处添加标题
例7.7
对等概信源符号0和1进行重复码 编码，对应的码字为 000，111； 编码序列通过错误概率为 p 的二 元对称信道传输， 接收端利用最 大似然译码准则；求译码错误率 pE。
信道编码
2. 前向纠错方式 前向纠错方式记作FEC(Forword ErrorCorrection)。发 端发送能够纠正错误的码，收端收到信码后自动地纠正传 输中的错误。其特点是单向传输，实时性好，但译码设备 较复杂。
3. 混合纠错方式 混合纠错方式记作HEC(Hybrid ErrorCorrection)是FEC 和ARQ方式的结合。发端发送具有自动纠错同时又具有检错 能力的码。收端收到码后，检查差错情况，如果错误在码的
现传输中的一位错误。如果是(3,1)重复码，两个许用码组是 000 与111, d0=3; 当收端出现两个或三个 1 时，判为 1，否则判 为 0。此时，可以纠正单个错误，或者该码可以检出两个错误。
码的最小距离d0 直接关系着码的检错和纠错能力；任 一(n,k)分组码，若要在码字内: (1) 检测e个随机错误，则要求码的最小距离d0≥e+1; (2) 纠正t个随机错误， 则要求码的最小距离d0≥2t+1; (3) 纠正t个同时检测e(≥t)个随机错误，则要求码的最小 距离d0≥t+e+1。
2.3.5 恒比码
码字中 1 的数目与 0 的数目保持恒定比例的码称为恒比码。
由于恒比码中，每个码组均含有相同数目的 1 和 0，因此恒比
码又称等重码，定 1 码。这种码在检测时，只要计算接收码元 中 1 的数目是否正确，就知道有无错误。
目前我国电传通信中普遍采用 3∶2 码，又称“5 中取 3”
S3指示23-1种不同的错误图样，校正子与错码位置的对应关 系如表2-5所示。
表2-5 校正子与错码位置的对应关系
S1 S2 S3 001 010 100 011
错码位置 a0 a1 a2 a3
S1 S2 S3 101 110 111 000
信道编码
6
经典信道编码
■分组码之汉明码 ●汉明码（7，4）编码方法 设码字为a6 a5 a4 a3 a2 a1 a0，规定校验关系（不唯一）
a6+a5+a4+a2=0 a6+a5+a3+a1=0 a6+a4+a3+a0=0
矩阵形式
1 1 1 1 1 0 1 0 1 0 1 1 1 0 0 0 1 0
汉明距离，记作 汉明距离直接决定着编码算法的检错和纠错能力，汉明距离越大，说明码字间 的最小差别越大，抗干扰能力越强。
●汉明距离与检错纠错能力
检测e个错误 纠正t个错误 检测e个错误，同时纠正t个错误(e>t)
4
经典信道编码
■分组码之汉明码 ● 1950年，R.Hamming和M.Golay提出了第一个实用的差错控制编码方案，极大地
1
2 3 4 5
aaaa
abca aaab aaab aabc
000 000 000
111 001 011 000 000 111 111 001 100 000 111 001
5
3 6 4 7
否
是 否 是 否
6 7
8
abdc aabd
abdd
111 110 010 000 111 001
111 110 101
交织器 1 2 3 4 2 3 4 x x x x x 1 xxx1 x x 1 x x xxxx x 解交织器
x
交织器 5 6 7 8 6 7 8 3 4 2 x x 5 x x25
解交织器 x 2 5
x
x 1
xxxx x
交织器 9 10 11 12 10 11 12 7 8 6 3 x 9 x 369
有噪信道编码
1 F E ="p(x i y j )：Y ,X _x*24 丄—丄丄丄』 12 8 24 12 12 24 6.2设一离散无记忆信道的输入符号集为 丄，输出符号集为，信道转移概率为，若译码器以2概率对收到的判决为。
试证明对给定的输入分布，任何随机判决方法得到的错误概率不低于 最大后验概率译码时的错误概率。
解：6.3将个消息编成长度为的二元数字序列，对特定的个二元序列从个可供选择的序列中独立、 等概地选出。
设采用极大似然译码规则译码。
试求题图 6.1中三种信道下的平均译码错误概 率。
解：6.4某一信道，其输入的符号集为，输出的符号集为，信道矩阵为【S ] .S 1 足 岂 S 4 &0.22 0.20 0.18 0.15 0.10& E & 0.08 0.05 0.02 现有4个消息的信源通过这信道传输（消息等概率出现） 一种码若对信源进行编码，我们选择这样6.1设有一离散无记忆信道，其信道矩阵为2 3 6P 1 1 16 2 3 1 1 1'3 6 2 j1 1右P （X 1）= —, P （X 2）= P （X 3）=—。
试求最佳译码时的平均错误概率2 4解：p(x*/y j ) 一 p(x 〃y j )p(y j )p(x*/y j ) 一 p(y j )p(X i /y j ) p(x* y j )兰 p(X i y j )- '1 1丄8 6 12 b(X j y j )】= 1 1 1 24 8 12 1 1 1 12 24 8 一 F(y 1)=X 1；F(y 2)=X 1；F(y 3)=x3其码长为。
并选取这样的译码规则(1) 这样编码后信息传输率等于多少？(2) 证明在选用的译码规则下，对所有码字有解：6.5设有一离散无记忆信道，其信道矩阵为S S6 ,S | S1 足岂S4]p「0.32 0.22 0.18 0.16 0.08 0.04；'(1) 计算信道容量；(2) 找出一个码长为2的重复码，其信息传输率为。
有噪信道编码
第7章有噪信道编码本章主要内容：√1.概述√2.最佳判决与译码准则3.信道编码与最佳译码√4.费诺（Fano）不等式√5.有噪信道编码定理6.纠错编码技术简介7.信道编码性能界限§7.1 概述信道编码：就是按一定的规则给信源输出序列增加某些冗余符号，使其变成满足一定数学规律的码序列（或码字），再经信道进行传输。
（提高传输的可靠性）信道译码：就是按与编码器同样的数学规律去掉接收序列中的冗余符号, 恢复信源消息序列。
一般地，所加的冗余符号越多，纠错能力就越强，但传输效率降低。
因此在信道编码中明显体现了传输有效性与可靠性的矛盾。
本节主要内容：1. 信道编码的基本概念2. 判决与译码规则3. 译码错误概率7.1.1 信道编码的基本概念简化的通信系统模型如图7.1.1所示。
图7.1.1 简化通信系统模型图信道译码信道编码信道码字（码长为n)等概消息{1,2,……，M}接收序列恢复的消息U Vn Y n X 设信源输出或信道编码器的输入消息集合为U，信道编码器采用分组编码，输出码字为的一个子集，其中每个码符号取自符号集；码字通过离散无记忆信道传输；信道输出或译码器的输入为，其中每个符号取自符号集；译码器输出是被恢复的消息，其集合用V表示。
n X i x X ∈12{,,,}r A a a a = n Y y Y ∈12{,,,}s B b b b =（1）消息产生：由信源发出M 个等概率消息：U ={1，2，…，M}；（2）信道编码：编码器将消息映射成码字，编码函数f ：{1，2，…，M}→C= ，其为码长为n 的码字，码符号集A 的大小为r ；（3）信道传输：为n 维矢量，取自码字集C ，作为n 次扩展信道的输入，，是n 维矢量，为信道输出，；（4）信道译码：译码器根据接收的完成译码功能，译码函数。
12{,,,}M c c c x n C A ∈y n Y ∈y y :{1,2,,}n g Y V M →=⋅⋅⋅信息传送过程衡量信道编码有效性的重要指标就是信息传输速率（也称码率）。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信道编码是以信息在信道上的正确传输为目标 的编码，可分为两个层次上的问题： 如何正确接收载有信息的信号－－线路编码 如何避免少量差错信号对信息内容的影响－－ 纠错编码 主要介绍：有扰离散信道的编码定理；纠错编 译码的基本原理与分析方法；几个重要的编码 算法(线性分组码;卷积码)
Ik是k×k单位矩阵，P是k×(n-k)矩阵。
生成的码字C
前k位由单位矩阵Ik决定，等于把信息组m原 封不动搬到码字的前k位； 其余的n-k位叫冗余位或一致校验位，是前k 个信息位的线性组合。 这样生成的(n,k)码叫做系统码。若生成矩阵 G不具备系统形式，则生成的码叫做非系统码。 系统化不改变码集，只是改变了映射规则。
汉明码(Hamming Code)
汉明码不是指一个码，而是代表一类码。
汉明码的纠错能力 t = 1，既有二进制的，也有非二 进制的。二进制时，汉明码码长n和信息位k服从以下 规律： (n,k)=(2m-1, 2m-1-m)，其中m= n-k。 当 m ＝3、4、5、6、7、8…时，有汉明码(7,4)、 (15,11) 、 (31,26) 、 (63,57) 、 (127,120) 、 (255,247)…。
相当低，而R保持一定的水准？
错误概率和译码规则
如果输入端有2n个符号序列可以作为消息，如 果选出其中的M个作为消息传递，当M较大时， PE也跟着会大，而R也大。M小时，PE和R也 会降低。
M一定时，选择怎样的序列作为消息发送？
例：n=3，M=4, R=log M/3=2/3; PE1 < PE2 法1: (000,011,101,110) 法2: (000,001,010,100) 例：n=5，M=4，(00000,01101,10111,11010) 得：PE=7.8*10-4
从物理意义上看，伴随式S并不反映发送的码字是什 么，而只是反映信道对码字造成怎样的干扰。
伴随式S的意义
差错图案E是n重矢量，共有2n个可能的组合， 而伴随式S是(n-k)重矢量，只有2n-k个可能的 组合，因此不同的差错图案可能有相同伴随式 接收端收到R后，因为已知HT，可求出 S＝ RHT；如果能知道对应的E，则通过C = R＋E 而求得C。 S=(sn-k-1,…,s1,s0)=EHT,有n个未知数en－ 1,… e1,e0, 却只有n-k个方程，可知方程组有 多解。 概率译码：把所有2k个解的重量(差错图案E中 1的个数)作比较，选择其中最轻者作为E的估 值。ห้องสมุดไป่ตู้方法概念上很简单但计算效率不高。
5.6.2
m
伴随式与标准阵列译码
R=(rn-1,…,r1,r0)
C=(cn-1,…,c1,c0)
(n,k)
定义差错图案E
信道
E＝(en－1,…,e1,e0)＝ R－C ＝(rn-1－cn-1,…,r1－c1,r0－c0) 二进制码中模2加与模2减是等同的，因此有 E=R＋C 及 R=C＋E
错误概率和译码规则
确定F(bj)= ai后，如果发送端发送的就是ai， 则正确译码，否则错误译码。收到bj的译码正 确概率为P(F(bj)/ bj))=P(ai/bj) 令P(e/bj)为条件错误概率，平均错误概率：
PE P(b j ) P(e / b j ) P(b j )(1 P( F (b j / b j )))
成的列矢量总数是2n-k-1, 恰好和校验矩阵的
列数n =2m-1相等。只要排列所有列，通过
列置换将矩阵H转换成系统形式，就可以进
一步得到相应的生成矩阵G。
例 6.4
构造一个m=3的二元(7，4)汉明码。
解：先利用汉明码的特性构造一个(7，4)汉明码的校验
矩阵H，再通过列置换将它变为系统形式： 0 0 0 1 1 1 1 列置换 1 1 1 0 1 0 0 H= 0110011 0 1 1 1 0 1 0 = [PT I3] 1010101 1101001
系统形式的生成矩阵
(n,k)码的任何生成矩阵都可以通过行运算 （以及列置换）简化成“系统形式” 。
1 0 G = [Ik P ] = 0 0 0 1 0 0 0 1 p( k 1)( nk 1) p( k 1)1 p( k 1)0 p1( nk 1) p11 p10 p0( nk 1) p01 p00
5.6.1 生成矩阵和校验矩阵
c＝ m*G
1×n 1×k k×n 码字 消息 生成矩阵 G＝[gk-1…g1g0]T，有k个(1×n)行矢量，如何选择呢？ c = mk-1 gk-1+…+ m1 g1+m0 g0 码字都可以写成k个基底的线性组合 由于k个基底即G的k个行矢量线性无关，矩阵G的秩一定等于 k。 当信息元确定后，码字仅由G矩阵决定，因此我们称这 k×n 矩阵G为该(n,k)线性分组码的生成矩阵。
空间构成
n维n重空间有相互 正交的n个基底 选择k个基底构成码
空间C 选择另外的(n-k)个 基底构成空间H C和H是对偶的 CHT＝0, GHT=0
k维k重 信息组 空间m
n维n重空间V
k维n重 n-k维 码空间 n重H C
校验矩阵
将 H 空间的 n-k 个基底排列起来可构成一个 (n-k)×n矩阵，称为校验矩阵H。用来校验 接收到的码字是否是正确的； G是(n,k)码的生成矩阵，H是它的校验矩阵； 如果(n,k)码是系统码，由GHT=0，得H＝ [－PT In-k ]，二进制时，负号可省略。 P98页的例题
有噪信道编码定理
正定理：只要传信率R小于信道容量C，总存 在一种信道码（及解码器），可以以所要求的 任意小的差错概率实现可靠的通信。 逆定理：信道容量C是可靠通信系统传信率R 的上边界，如果R >C，就不可能有任何一种 编码能使差错概率任意小。 信道编码的途径
增大信道容量C 减少信息传输率R 增加码长n
汉明码是完备码，因为它满足上述等式。 1 n 1 n 1 (2m 1) 2m 2n k i i 0
汉明码校验矩阵的构成
汉明码的校验矩阵H具有特殊的性质，
能使构造方法简化。一个(n,k)码的校验矩阵
有n－k行和n列，二进制时n-k个码元所能组
7.1 错误概率和译码规则
有噪信道的错误和信道统计特性、译码过程有 关 例：在BSC信道中，p=p(0/0)=1/3 规则1：接收到0—>0，接收到1—>1 平均错误PE=P(0)*2/3+P(1)*2/3=2/3 规则2：接收到0—>1，接收到1—>0 平均错误PE=P(0)*1/3+P(1)*1/3=1/3 译码规则：设计一个函数F(bj),对于每一个输出 bj可以唯一确定一个输入符号ai。
7.2 联合信源信道编码定理
例题 7.2
7.3 线性分组码
信息码元、校验元、编码效率 检错码、纠错码 线性码、非线性码
信道的检错和纠错能力
汉明距离：长度为n的两个符号序列ai和bj，对应位 置上不同码元的个数。用D(ai,bj)表示. 码的最小距离dmin：任两个码字汉明距离的最小值。 dmin越大，PE越小。最小距离越大，受干扰后，越 不容易把一个码字错成为另外的一个码字，因而错 误概率小。 最大似然译码准则(最小距离译码准则):
再得生成矩阵G为 1000101 G = [I4 P] = 0 1 0 0 1 1 1 0010110 0001011
当输入符号等概时，上述两个准则等价 例：输入分布P(a3)=P(a2)=0.25, P(a1) =0.5,
1 / 2 1 / 3 1 / 6 P 1 / 6 1 / 2 1 / 3 1 / 3 1 / 6 1 / 2
信道编码的基本思想
添加冗余，重复发送消息。(以BSC信道为例, 取p=0.01): 发送方:0—>000; 1—>111, 接收方8种可能， 利用最大似然的方式选择译码规则。 问题：信息传输率降低。定义编码后的消息传 输率：R=log M/n；M是输入消息的个数， n是码字的长度。 有噪信道编码定理：能否找一种编码，使得PE
伴随式S的定义
因为CHT = 0 所以RHT＝(C＋E)HT＝CHT＋EHT= EHT 如果收码无误：必有 RHT = 0。 如果收码有误：即E 0， 则RHT = EHT 0。 在HT固定的前提下，RHT仅仅与差错图案E有 关，而与发送码C无关。定义伴随式S S = (sn-k-1,…,s1,s0) = RHT = EHT
j j
(最大后验概率准则)为使PE最小，就要使P(F(bj)/ bj))最大。即选择译码函数F(bj)=a*，满足:
p(a * / b j ) p(ai / b j ), ai a *
错误概率和译码规则
(最大似然译码准则)选择译码函数F(bj)=a*，满足:
p(b j / a*) p(b j / ai ), ai a *
D(a*, b j ) D(ai , b j ), ai a *
信道的检错和纠错能力
定理1：线性分组码中，如果要检测e个随机错 误，则要求码字的最小距离dmin至少为e+1;而 如果要纠正e个随机错误，则要求码字的最小 距离dmin至少为2e+1 如果dmin=3，纠错能力是1，检错能力是2