信道编码原理

j 1
sN
第5章 信道编码原理
离散无记忆信道的N次扩展信道
p(Y X ) (Y1Y2 YN X 1 X 2 X N )
p(Y X 1 ) p(Y2 X 2 )...p(YN X N )
p(Yk X k )
k 1
N
即
P( j i ) P(b j1b j 2 b jN ai1ai 2 aiN )
根据一定的规律在待发送的信息码中加入一些多 余的码元，以保证传输过程的可靠性。其任务就是 构造出以最小多余度代价换取最大抗干扰性能的 “好码”。
第5章 信道编码原理
4）好的错误控制编码方案的目标：
(1)用可以纠正的错误个数来衡量纠错能力; (2)快速有效地对消息进行编码; (3)快速有效地对接收到的消息进行译码; (4)单位时间内所能传输的信息比特数尽量大(即有少的 冗余度)。 上述第(1)个目标是最基本的。为了增加一个编码方案 的纠错能力，必须引入更多的冗余度。但增加的冗余度会
i ai1ai 2 ...aiN
（5－3）
式中：ai1,ai2,…,aiN∈X=｛a1,a2,…,ar｝；
i1，i2，…，iN=1，2，…，r(i=1,2,…,rN)。
第5章 信道编码原理
图5－4 N次扩展信道
第5章 信道编码原理
输出的随机变量序列Y=Y1Y2…YN共有sN种不同的消息， 其中某一具体的消息可表示为
造成实际信息传输速率的降低。因此第(1)个和第(4)个目标
不完全相容。另外，为了能纠正更多的错误，编码策略会 变得更复杂，于是第(2)个和第(3)个目标也很难达到。
第5章 信道编码原理
5.2.2 平均错误概率
1. 译码规则（译码函数）
依据一定的判决准则设计一个单值函数
F (b j ) ai
(i 1,2,...,r; j 1,2,...,s)
信道转移图如图所示
第5章 信道编码原理
2. 离散无记忆扩展信道
基本离散信道的N次扩展信道：
设基本离散信道的输入符号集为X=｛a1,a2,…,ar｝，输 出符号集为Y=｛b1,b2,…,bs｝，传递概率为p(Y|X)=p(bj|ai)； 又设多符号离散平稳信源X=X1X2…XN其每一时刻的随机变 量Xk(k=1,2,…,N)均取自信道的输入符号集X=｛a1,a2,…,ar｝, 可知信源X=X１X2…Xn共有rN种不同的消息，某一具体的消 息可表示为
第5章 信道编码原理
5.1.2 信道数学模型
1. 基本离散信道
基本离散信道允许输入r(任意正整数)种不同的离散符号 ai(i＝1，2，…，r)，其相应的输出为s(任意正整数)种不同 的离散符号bj(j＝1，2，…，s)。如图所示。
第5章 信道编码原理
输入符号集X=｛a1,a2,…,ar｝， 输出符号集Y=｛b1,b2,…,bs｝ 条件概率p(bj|ai)(i=1,2,…,r;j=1,2,…,s) 为信道的传递概率 注：符号集X和Y之间可完全相同、部分相同或完全不同。
（2）与基本离散信道相比，N次扩展信道的输入符号数由r 种扩展为rN种,输出符号数由s种扩展为sN种。
第5章 信道编码原理
N次扩展信道的传递矩阵
1 P 2

1 p( 1 1 ) p( 1 2 )
p( 1 r N )
2 p( 2 1 ) p( 2 2 )
使每一种可能的输出符号bj(j=1,2,…,s)与一个惟一的输 入符号ai(i=1,2,…,r)一一对应。函数F(bj)=ai即为译码函数或 译码规则。
第5章 信道编码原理
注： （1）对输入符号集为X=｛a1,a2,…,ar｝，输出符
号集为Y=｛ b1,b2,…,bs｝的信道来说，一共可构成
rs种不同的译码规则。
现“0”和“1”的正确译码概率分别是：
p X 0 Y 0 p 1 4
p X 1Y 1 p 1 4
这意味着从统计的观点看，在这种译码规则下信道输 出端出现的四个符号“0”(或“1”)中，只能有一个能得到正
确译码。
第5章 信道编码原理 如采用译码规则(3)。F(0)=1,F(1)=0，则信道输出端出
p2 pp pp p2 pp p2 p2 pp pp p2 p2 pp p2 pp pp p2
注：离散无记忆信道的二次扩展信道同样也是对称信道。
第5章 信道编码原理
5.2 信道编码的基本概念
信息传输的有效性与可靠性是辨证统一的，信道编码的 主要目的就是改善传输系统的质量，从而达到传输既有效、 又可靠的目的。
现“0”和“1”的正确译码概率分别是：
pX 1Y 0 p 3 4
pX 0 Y 1 p 3 4
这意味着从统计的观点看，在这种译码规则下信道输出 端出现的四个符号“0”(或“1”)中有三个能得到正确译码。
第5章 信道编码原理
2. 正确译码概率Prj
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，正确译码的概率prj为是在信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入符号ai的后验概率， 即
j b j1b j 2 ...b jN
式中：bj1, bj 2 ,...,bjN Y b1, b2 ,...,bs j1，j2，…，jN=1，2，…，s (j=1,2,…,sN)。
基本离散信道的N次扩展信道：
（1）从整个传递作用的效果来看，信道的输入是
X=X1X2…XN，输出是Y=Y1Y2…YN。
P(b j1 ai1 ) p(b j 2 ai 2 ) p (b jN aiN )
N
p(b jk aik )
k 1
第5章 信道编码原理 【例5－3】已知某二进制对称离散无记忆信道。设信道的 输入符号集为X=｛0,1｝，输出符号集为Y=｛0,1｝，信道的 矩阵为
P0 1
符号种数r和s可相等，也可不等。
第5章 信道编码原理
基本离散信道的信道矩阵
要完整描述信道的传递特性必须测定r×s个条件概率，并
将r×s个条件概率排列成一个r×s阶矩阵
b1 a1 P a2 ar p (b1 a1 ) p (b1 a2 ) p (b1 ar )
b2

bs p (bs a1 ) p (bs a2 ) p (bs ar )
第5章 信道编码原理 【例5－1】 二元对称信道简记为 BSC(BinarySymmetricChannel)，其输入/输出符号均取值 于{0，1}，若r=s=2，且a1=b1=0，a2=b2=1，有转移概率
p(b1 a1 ) p(0 0) 1 p p
p(b2 a2 ) p(11) 1 p p
j 1
2
第5章 信道编码原理
图5－2 二元对称信道转移图
第5章 信道编码原理
【例5－2】
二元删除信道简记为
BEC(BinaryErasureChannel)，它的输入X取值于{0，1}， 输出符号Y取值于{0，2，1}，因r=2，s=3，则信道转移矩阵 为 0 2 1
0 p 1 p 0 P 1 0 1 q q

s p( s 1 ) p( s 2 )
N
r
N
p( 2 r N ) p( s N r N )
N N 式中：0 p( j i ) 1, i 1,2,...,r ; j 1,2,...,s
N)。 ( i =1,2, … , r p ( ) 1 j i
• 信源编码之后的码字序列抗干扰能力很脆弱， 在信道噪声的影响下容易产生差错，为了提高 通信系统的有效性和可靠性，要在信源编码器 和信道之间加上一个信道编码器。
第5章 信道编码原理
5.1.1 信道分类
不研究信号在信道中传输的物理过程，并假定信道的 传输特性是已知的，将信道用其输入/输出的统计关系模型 来描述，信道的分类方法有： （1）按输入／输出信号在幅度和时间上的取值分： 数字信道或离散信道、模拟信道或波形信道和连续信道。 （2）按输入/输出之间关系的记忆性分,可分为无记忆信道和 有记忆信道 （3） 按输入/输出信号之间的关系是否是确定分，可分为有 噪声信道和无噪声信道。
第5章 信道编码原理
第5章 信道编码原理
5.1 5.2 5.3 5.4 5.5 信道及其数学模型 信道编码的基本概念 译码准则 编码原则 抗干扰信道编码定理及逆定理
第5章 信道编码原理
5.1
信道及其数学模型
• 有噪声信道编码的主要目的是提高传输可靠性，
增加抗干扰能力，因此也称为纠错编码或抗干
扰编码。
0 p p
1 p p
其中： 0 p, p 1; p p 1 ，求此离散无记忆信道的 二次扩展信道的信道矩阵。
第5章 信道编码原理
解：二次扩展信道的信道矩阵为
1 00 2 01 3 10 4 11 1 00 P 2 01 3 10 4 11
p(b1 a 2 ) p(01) p
p(b2 a1 ) p(10) p
第5章 信道编码原理 则BSC的信道转移概率矩阵P为
0 1 p p P 1 p 1 p
二元对称信道转移图如图5－2所示。
可见，这些转移概率满足
0
Biblioteka Baidu
1
p(b
j 1
2
j
a1 ) p(b j a2 ) 1
prj p X F (b j ) ai Y b j


第5章 信道编码原理
3. 错误译码概率Pej
当信道的输入符号是ai，在信道输出端接收到某符号 bj(j=1,2,…,s)后，错误译码的概率pej为信道输出端出现 bj(j=1,2,…,s)的前提下，推测信道输入的符号是除了ai以外 的其他任何可能的输入符号的后验概率，即
5.2.1 基本概念
1） 差错类型
1°独立随机差错: 在无记忆信道中出现，数据流中发生的错误彼此无关 。 2°突发错误: 在有记忆信道中，数据流中一个错误的发生 , 带来一连 串错误的发生。 3°混合差错
第5章 信道编码原理
2）信道编码分类：
纠独立随机差错码、纠突发差错码和纠混合差 错码。
3）信道编码的基本思路：
的前提下，信道不可能输出bj(j＝1，2，…，s)； （2）p(bj|ai)＝1时，表示在输入符号为ai(i＝1，2，…，r) 的前提下，信道输出bj(j＝1，2，…，s)是一个确定事 件。 （3）由于噪声的随机干扰使得在信道输入某符号ai(i＝1， 2，…，r)的前提下，信道输出哪一种符号虽然是不确 定的，但一定是信道输出符号集Y=｛b1,b2,…,bs｝中的 某一种符号。
p (b2 a1 ) p (b2 a2 ) p (b2 ar )
式中： 0 p(b j ai ) 1, i 1,2,...,r; j 1,2,...,s;
p(b
j 1
s
j
ai ) 1 (i=1,2,…,r)。
第5章 信道编码原理
注：
（1）p(bj|ai)=0时，表示在输入符号为ai(i＝1，2，…，r)
例：二进制对称信道，其输入符号集为X=｛0,1｝,输出 符号 集为Y=｛0,1｝，则可构成rs=22=4种译码规则。
译码规则(1)：F(0)=0,F(1)=0
译码规则(2)：F(0)=0,F(1)=1 译码规则(3)：F(0)=1,F(1)=0
译码规则(4)：F(0)=1，F(1)=1
第5章 信道编码原理
pe j P X e Y b j



式中：e表示除了F(bj)=ai以外的所有可能的输入符号的集合。 注：
p ej 1 p rj 1 p F (b j ) ai b j

第5章 信道编码原理
4. 平均错误译码概率Pe
Pe p(b j ) pej p(b j ) 1 p F (b j ) ai b j
注：
（2） 不同的译码规则会引起不同的可靠程度。
例：若已知二进制对称信道传递矩阵为
0 1 4 3 4 1 3 4 1 4
P0 1
其信源符号“0”和“1”的正确传递概率均为p=1/4；“0” 和“1”的错误传递概率均为p＝3／4。
第5章 信道编码原理 如采取译码规则(2)，F(0)=0,F(1)=1，则信道输出端出