第02讲——基本概念

码字集的误码率
• 码字集的误码率描述的是一种编码方案的总 体误码性能，是评价编码好坏的标准。但一 般较难得到准确的结果，需要用一些近似， 得到性能界。 • 联合界：落在并集中的概率不大于落在各集 合中的概率之和。可以用成对差错概率描述 误码性能界 Pe=Σx1P(x1)P(e|x1) ≤ Σx1P(x1) Σx2P(x2)P(x1→x2) = Σx1Σx2P(x1) P(x2)P(x1→x2)
二进制对称DMC的成对差错概率
• 当x1、x2的汉明距为d时，长度为n时
d d d /2 d i d −i d /2 P (1− P ) P(x1 →x2 ) = 2 + ∑ P (1− P ) B B d / 2 B i B i=d / 2+1
d为偶数 d为奇数
时间及幅度连续信道
• 根据奈奎斯特采样定理，带限的时域连续波形 可以用采样序列描述。 • 当发送信号波形的双边谱严格限制在带宽为B 的区间内的时候，只需要以B为采样率进行采 样，即可得到包含该波形所有信息的时间离散 序列。 • 如果发送波形限制在时间T以内，则表示该波 形的序列点数为BT个，也就是说发送波形可以 表示成一个BT维复矢量。
信道特性的描述
• 幅度连续信道
– 可用转移概率密度函数描述：p(y=b|x=a), a=(a1,a2,...an)∈X, b=(b1,b2,...bm)∈Y, 均为矢量 （或n(m)重符号） – 可用转移概率密度函数描述：p(y=b|x=a), a=(a1,a2,...an)∈X, b=(b1,b2,...bm)∈Y, 均为矢量 （或n(m)重符号）
距离谱
• 对BSC信道中误码率联合界进一步分析： • P(e|x1)≤ Σx2P(x2)P(x1→x2)=ΣdhN(dh)F(dh)≅ ΣdhN(dh) Ddh • 其中N(dh)是到一个合法码字x1距离为的 dh合法码字的平均个数。F(dh)为汉明距 离为dh的一对码字间的成对差错概率。 • N(dh)作为一个距离的函数来看时就称作 该编码相对码字x1的距离谱 距离谱
信道容量C
• 将联合界推广为广义联合界
P(∪Bj ) ≤ ∑P(Bj ) j
ρ
，0≤ρ≤1
• 利用广义联合界及前面Bhattacharyya界中 系数函数的指数从1/2改为参数s，对s和ρ 进行优化，得到的新的R0实际上就是香 农信道容量C。
小结：信道概述
• • • • • 信道特性的描述 无记忆信道 对非时变无记忆离散信道举例 非时变无记忆连续信道举例 距离在编码中的作用
误码率计算中的常用方法及近似
• 成对差错概率，对任一对合法码字x1和x2 ，发 送的是码字x1 ，而根据译码规则判断为x2的概 率。记为P(x1→x2) • 成对差错概率描述的是在特定的信道条件下， 给定的译码规则下，合法码字集中特定的一对 码字间的差错概率。一般比较容易给出解析表 达式或进行数值计算 • 二进制编码中的成对差错概率P(x1→x2)由x1和 x2之间的汉明距离决定。
平均编码界（续）
• 在证明最优编码的存在性时，常用到这 个方法。即我们不要求找到这种编码， 但如果在某一类编码集合中的所有编码 其误码性能的平均值能达到我们的要求， 则必存在至少一种编码，其误码性能能 达到要求。
平均编码界
• 即至少存在一种编码C，有Pe(C)≤ Ec(Pe(C)) • Ec(Pe(C))= Σx1P(x1)P(e|x1) = Σx1P(x1) ΣC’ P(C’)P(e|C’,x1) ≤ Σx1P(x1) ΣC’ P(C’)Σx2P(x2|C’)P(x1→x2) = Σx1P(x1) ΣC’ Σx2P(x2)P(x1→x2) =|C’|Σx1Σx2 P(x1) P(x2)P(x1→x2) • 注意这里的x1和x2均取自于全空间。
非时变无记忆离散信道举例
• 硬判决的MFSK信道
– x与y取自同一符号集合，当y=x时我们说传 输正确，当y≠x时说发生了一次误码。Pe=1y≠x P P(y=x)称为误符号率，通常，当b≠a时有 P(y=b|x=a)≡Pe/(M-1)，即错成其它任一符号 的概率相等。
成对差错序列Βιβλιοθήκη Baidu率
• 发端编码集合中有两个码字x1、x2，当发 码字序列x1，错译成码字的x2概率，记为 P(x1→x2)。
截止速率R0
• 在平均码性能界中，令P(x1)=ΠkP(x1k), P(x2)=ΠkP(x2k), 同时假设信道为DMC，则 可推出：Ec(Pe(C))≤ |C’|{Σy[ΣyP(x)P(y|x)1/2]}n • 其中P(x)为编码输出符号概率律，P(y|x) 为信道的符号转移概率，n为编码长度。 令 R0(P)=-log2{Σy[ΣyP(x)P(y|x)1/2]} ， 而 k=log2(|C’|+1) 为 编 码 前 的 比 特 数 。 则 Ec(Pe(C))≤ 2k-nR0(P)
• 当信道是一个线性信道时，接收信号波 形也必然限制在带宽B以内
无记忆信道
• 离散信道
– 当m=n，且P(y=b|x=a)=P(y1|x1)P(y2|x2)...P(yn|xn) 时， 各维的收符号只与相应的发符号有关，称为无记忆 离散信道，简写为DMC
• 连续信道
– 当m=n，且p(y=b|x=a)= p(y1|x1)p(y2|x2)...p(yn|xn) 时， 各维的收符号只与相应的发符号有关（无符号间串 扰），称为无记忆连续信道
小结：误码曲线与编码增益
• 有关横坐标 • 有关编码增益
小结：误码率计算中的常用方 法及近似
• • • • • 成对差错概率 联合界与距离谱 平均编码界 Bhattacharyya界 截止速率R0
第二讲
信道编码中的有关基本概念
信道概述
• 回顾：编码是消息到信道波形或矢量的 一种映射关系 • 从数学上看，信道实际上也是从发空间X 到收空间Y一个概率映射函数
发 送 波 形 集 合 A
PA3 PA5 PA4 PA1 PA2
1 3 4 2 5
B C
接 收 波 形 集 合
信道概述（续）
• 收发集合可以以符号集的多重形式表示，相当 于多维空间。 • 发空间的维数n与收空间的维数m可以不等
• 对离散信道而言，误码曲线的横坐标一 般为信道误符号率的倒数，因此经过信 道编码后的误码性能一般都能有所改善， 即误码曲线向左下方移动，但这是以效 率降低为代价的。
编码曲线的横坐标（续一）
• 对连续信道而言，也可用信道符号信噪 比作横坐标，因此经过信道编码后的误 码性能一般都能有所改善，即误码曲线 向左下方移动，但这是以效率降低为代 价的。
• 非时变信道
– 当各因子具有相同的转移概率形式时
有记忆信道
• 实际的连续信道通常会有符号间串扰 （ISI），因此是有记忆的，但在一种较 常见的特殊情况下，即在加性平稳白高 斯噪声下的线性信道（y=Ax+n）时，可 以等效于一个无记忆信道。
有记忆信道的无记忆化
• 对A作线性变换使正交化得：A=UTΛU，其中Λ Λ Λ 为A的特征值对矩阵。代入得 y= UTΛUx+n，令 Λ x=UTx’，y’=UTy，n=UTn’，则有y’=Λx’+n’。 Λ 于是对x’和y’而言就形成了一个无记忆信道。由 于U为正交变换，不会产生信息量丢失，因此可 以认为X’-Y’信道与X-Y信道是等价的。于是我 们就可以直接利用有关无记忆信道的编码了。
Bhattacharyya界
• 对成对差错概率进行一定的近似 • P(x1→x2)=Σy∈D2P(y|x1) ≤ Σy∈D2P(y|x1)( P(y|x2) /P(y|x1))1/2 ≤Σy ( P(y|x1) P(y|x2))1/2 • 其根本思想是在概率积分中当部分积分较难做 时，乘以某个不小于0的函数，该函数在积分 区间中的值大于等于1。从而将积分区间扩展 到全空间。该函数还可以有参数，通过优化参 数，可以使界尽量的紧。例如，这里用到的系 数函数为(P(y|x2) /P(y|x1))1/2，也可以推广为 [P(y|x2) /P(y|x1)]s，0≤s≤1。
2
2
Eu
Ham
– 当BSC中采用BPSK硬判决时，有PB= e −dHamA2 / 4σ 2 因此近似有：P(x1→ x2)∝ e
− A2 / 2σ 2
，
距离在编码中的作用
• 从上面的例子中可以看出，BSC和AWGM信道 中成对错误概率只和编码参数中的码距（分别 为汉明距离和欧氏距离）有关，且成单调关系。 因此在这些信道中的码设计就是要对码距离进 行优化。 • 具体地说，不同信道的优化目标不同
编码曲线的横坐标（续二）
• 但对连续信道，用Eb/N0为横坐标更具有 可比性，因为它是用原信息的能量与信 道噪声能量进行的比较，从而避免了因 冗余的引入使总传输能量增加而造成的 不可比性。
编码增益
• 采用逐符号译码的误比特性能要优于序列译码 • 采用逐符号译码的误帧性能要劣于序列译码 • 编码后的误帧率总会有所改善 • 编码后序列译码的误比特率在高信噪比时总要优于无编 码而信噪比很低时要劣于无编码，即编码增益在高SNR 时大于0，而SNR很低时小于0。 • 系统编码后逐符号译码的误比特率总要优于无编码，即 至少存在一种编码，它的误比特率编码增益总大于0。
信道概述（续）
• 根据收发空间中每一维所取的数域有限 或无限可分为离散信道和连续信道 • 这里借用了空间的名称，但只用到了它 的集合概念而没有用到空间中的运算， 只有线性信道才可以直接用线性运算构 成一个线性空间。
信道特性的描述
• 离散信道
– 可用转移概率律描述：P(y=b|x=a), a=(a1,a2,...an)∈X（发空间）, （发空间） b=(b1,b2,...bm)∈Y（收空间）, （收空间） 均为矢量（或n(m)重符号）
d i d −i P(x1 →x2 ) = ∑ P (1− P ) B i B i=d / 2+1
d
– 可以近似认为P(x1→x2)∝PBd/2
非时变无记忆连续信道举例
• AWGN信道中的BPSK相干解调
– y=x+n，其中n为零均值，方差为σ2的高斯随 机矢量。 – 当x1、x2的汉明距为d时有 – P(x1→x2)= Q(d σ ) = Q( dHamA2 σ 2 ) ≤ e−d A / 2σ – 其中dEu为欧氏距离，A为BPSK幅度。
– 例如当发送波形x(t)通过一个滤波器h(t)时，输出 y(t)=x(t)*h(t)，如果x(t)只在[0,T]内有值，而当h(t)有 一定的宽度τ时，输出的非零长度变成了T+τ，也就 是说当接收采样率等于或高于发送采样率时，接收 的维数增加了。而如果接收时采用了较低的采样率， 则有效维数就减低了。
截止速率R0（续）
• 其中R0(P)不仅与信道有关，还是编码符号概率 律的函数，因此可以通过选择合适的P(x）使 其最大，最大值记为R0。 • 至少存在一种(n,k)编码，使得 Pe≤2k-nR0(P)=2-n(R0-R)。其中R=k/n • 同时这也说明只要编码效率R小于R0，只要码 长足够长，总存在编码使误字率小于任意值。 • 在上面的推导中主要用了三种定界方法。可以 看出，每一种都可能比较宽松，因此有可能通 过其它的定界方法得到更紧的界。
– 离散信道：汉明距离 – AWGN信道：欧氏距离 – 衰落信道：汉明距离和欧氏距离要同时考虑。
误码曲线
未编码的 误帧率 误码率 编码后用逐 符号译码的 误比特率 编码后逐 符号译码 的误帧率 编码后序 列译码的 误帧率
编码后用序 列译码的误 比特率
未编码的 误比特率
Eb/N0
编码增益
误码曲线的横坐标