第5章-信息理论与编码课后答案

第5章有噪信道编码5.1 基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。

掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。

5.2 学习要点5.2.1 信道译码函数与平均差错率5.2.1.1 信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F 。

信道译码模型如图5.1所示。

5.2.1.2 信道译码函数信道译码函数F 是从输出符号集合B 到输入符号集合A 的映射：*()j j F b a A =∈，1,2,...j s =其含义是：将接收符号j b B ∈译为某个输入符号*j a A ∈。

译码函数又称译码规则。

5.2.1.3 平均差错率在信道输出端接收到符号j b 时，按译码规则*()j j F b a A =∈将j b 译为*j a ，若此时信道输入刚好是*j a ，则称为译码正确，否则称为译码错误。

j b 的译码正确概率是后验概率：*(|)()|j j j j P X a Y b P F b b ⎡⎤===⎣⎦ （5.1）j b 的译码错误概率：(|)()|1()|j j j j j P e b P X F b Y b P F b b ⎡⎤⎡⎤=≠==-⎣⎦⎣⎦ （5.2）平均差错率是译码错误概率的统计平均，记为e P ：{}1111()(|)()1()|1(),1()|()s se j j j j j j j ssj j j j j j j P P b P e b P b P F b b P F b b P F b P b F b ====⎡⎤==-⎣⎦⎡⎤⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎣⎦∑∑∑∑ （5.3）5.2.2 两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。

图5.1 信道译码模型}r a5.2.2.1 最佳译码规则使e P 达到最小的译码规则称为最佳译码规则。

这种规则是按后验概率最大原则定出的，所以又称最大后验概率译码规则。

**(),:(|)(|),j j j j j i j i F b a A b BF P a b P a b a A⎧=∈∈⎪⎨∈⎪⎩≥ （5.4） 上式中最大后验概率条件可等价成最大联合概率条件。

将*(|)(|)j j i j P a b P a b ≥两边乘以()j P b ，变换为*(,(,)j j i j P a b P a b )≥。

因此，最佳译码规则又可表示成：**(),:(,)(,),j j j j j i j i F b a A b BF P a b P a b a A⎧=∈∈⎪⎨∈⎪⎩≥ （5.5） 因为使用最大联合概率条件，所以又称为最大联合概率译码规则。

5.2.2.2 极大似然译码规则按最大转移概率条件来确定的译码规则，称为极大似然译码规则：**(),:(|)(|),j j j j j j i i F b a A b B F P b a P b a a A⎧=∈∈⎪⎨∈⎪⎩≥ （5.6） 虽然极大似然译码规则的平均差错率不是最小，不是最佳的，但最易找出。

可以证明，当信道输入等概时，极大似然译码规则与最大联合概率译码规则等价，此时极大似然译码规则也是最佳的。

5.2.3 信道编码对平均差错率和信息率的影响信道编码（或称纠错编码）是靠增加冗余码元来克服或减轻噪声影响的。

冗余是相对于信息的表示而言，但是对提高传送可靠性来说，冗余码元却提供了极宝贵的可靠性信息。

以下以两种简单信道编码方法来说明信道编码对平均差错率和信息率的影响。

5.2.3.1 “简单重复”编码日常中人们可以通过重复某句话使别人听得更清楚。

数字通信中，将符号重复传几次，也会提高传送可靠性。

例如，“重复2次”编码，如图5.2所示。

编码规则为图5.2 “重复2次”编码112345672800000010100111001011101111ffu u αααααααα=−−→========−−→=12345678000001010011100101110111ββββββββ========12000111αα==0000:1111f →⎧⎨→⎩ 扩展信道的转移矩阵为331234567832222223132222223|8[]Y X p p p p p pp p p pp pp p P ppp pp p ppp p pp pp ββββββββαα⎡⎤=⎢⎥⎢⎥⎣⎦按极大似然译码规则得译码函数：1121314851687888()()()()()()()()F F F F F F F F βαβαβαβαβαβαβαβα========即4162183758011000101001000111010110100111FFββββααββββ==⎫⎫⎪⎪==⎪⎪−−→=−−→=⎬⎬==⎪⎪⎪⎪==⎭⎭信道编码之后的信息率为()H U R N=b i t /码元 （5.7） 若信源等概率分布，则log MR N=b i t /码元 （5.8） 其中M 代表信源消息（符号）个数。

无编码 log 2111N R === b i t /码元 210e P -= “重复2次”编码 log 21333N R === b i t /码元 4310e P -=⨯155N R == bit /码元 510e P -=177N R == bit /码元 7410e P -=⨯随着“重复”次数的增加，e P 下降，但R 也跟着下降。

即信息传输的有效性和可靠性是矛盾的。

5.2.3.2 对符号串编码对信源的符号串进行编码，即增多消息个数M ，同时增大码长N ，有可能使平均差错率e P 降低到要求的范围以内，而又能使信息率R 降低得不多。

例如，取4M =（2次扩展信源）、5N =。

4个消息记为123400,01,10,11s s s s ==== 编码函数为1212345:1,2,3,4i i i i i i i i i f s m m a a a a a i α=→==112231241112i i i i i i i i i i i i a m a m a m m a m a m m ⎧=⎪=⎪⎪=⊕⎨⎪=⎪⎪=⊕⎩ 译码采用极大似然规则。

编译码示意图见图5.3所示。

编码后的信息率R 和平均差错率e P 分别为log 4255R == bit /码元 5432411(4208)7.86104e P p p p p p -=-++≈⨯与“重复2次”编码相比，R 略有增加，e P 处在同一数量级。

因此，增大码长N 和适当增多消息个数M ，对兼顾e P （可靠性）和R （有效性）的要求是有效的。

5.2.4 最小汉明距离译码规则5.2.4.1汉明距离两个等长符号序列x 和y 之间的汉明距离，记为(,)D x y ，是x 与y 之间对应位置上不同符号的个数，用来定量描述符号序列之间的“相似”程度。

5.2.4.2汉明距离与信道编码性能的关系码是码字的集合，码字则是由码元组成的符号序列。

假如12{,,,}q C c c c = 是等长码，则C 中任意两个不同码字之间的汉明距离或码间距离为(,),,,i j i j i j D c c c c c c C ≠∈码C 的最小码间距离定义为min min (,),i j i j i j d D c c c c c c C ⎡⎤=≠∈⎣⎦最小码间距离min d 是衡量码的性能的重要参数，码的min d 小，说明其中有些码字受干扰后容易变为另一码字，译码时就会出错。

因此，信道编码在选择码字时，应尽量使码的最小码间距离min d 大一些为好。

图5.3 4M = 、5n = 的编译码示意图0000000010110110101111111010ff f f −−→−−→−−→−−→0000000001000100010001000100001000100011011010110001111010010010111101111000111010111101101010110011111110011100110101001101011011110001111010010010100101111001000000110110111110105次扩展信道对于二元对称信道，设信源有M 个消息12{,,,}M s s s ，输入和输出符号集分别为{0,1}A =和{0,1}B =，其N 次扩展信道的入口符号集N A 和出口符号集N B 中都含有2N 个N 长二元符号串，即122122{,,,}{,,,}N N N NA B αααβββ==从NA 中选择M 个符号串当作码字组成码C ：12{,,,}M C c c c =按极大似然译码规则进行译码时，可以推导出等价于以下规则，称为最小（汉明）距离译码规则：**(),:(,)min (,),Nj j j Nj j i j i F c C B F D c D c c C A ββββ⎧=∈∈⎪⎨⎡⎤=∈⊂⎪⎣⎦⎩ （5.9） 其含意是：将接收序列j β译为与之最相似的输入序列（码字）*j c 。

5.2.5有噪信道编码定理（香农第二定理）5.2.5.1有噪信道编码定理若信道是离散、无记忆、平稳的，且信道容量为C ，只要待传送的信息率R C <，就一定能找到一种信道编码方法，使得码长N 足够大时，平均差错率e P 任意接近于零。

有噪信道编码定理实际上是一个存在性定理，它指出：在R C <时，肯定存在一种好的信道编码方法，用这种好码来传送消息可使e P 逼近零。

但香农并没有给出具体编码方法。

对有噪信道编码定理的证明要用到联合典型序列。

所谓典型序列，是指那些平均自信息量逼近熵的序列。

联合ε典型序列，是指那些平均联合自信息量逼近联合熵的序列。

离散无记忆信源X 发出N 长序列12N i i i i x x x x = ，若()()i I x H X Nε-< （5.10） 则称i x 为X 的ε典型序列，否则称为X 的非ε典型序列。

若i x 和j y 分别是X 和Y 的N 长ε典型序列，且(,)()i j I x y H XY Nε-< （5.11）则称序列对(,)i j x y 为X 与Y 的联合ε典型序列，否则称为非联合ε典型序列。

5.2.5.2有噪信道编码逆定理若信道是离散、无记忆、平稳的，且信道容量为C ，如果信息率R C >，则肯定找不到一种信道编码方法，使得码长N 足够大时，平均差错率e P 任意接近于零。

对有噪信道编码逆定理的证明，要用到Fano 不等式。