信息论与编码复习5-6

2011-1-3
2
码树
中间节点不安排码字，只在终端节点安排码字 中间节点不安排码字， 每个终端节点对应的码字由从根节点出发到终端节点 走过的路径上所对应的符号组成 当第i阶的节点作为终端节点，且分配码字， 当第i阶的节点作为终端节点，且分配码字，则码字的 码长为i 码长为i 按树图法构成的码一定满足即时码的定义 树码的各个分支都延伸到最后一级端点，则称为满树 满树， 树码的各个分支都延伸到最后一级端点，则称为满树， 否则为非满树 否则为非满树 满树码是定长码，非满树码是变长码 满树码是定长码，
k =1
费诺编码方法
费诺编码属于概Biblioteka Baidu匹配编码 费诺编码属于概率匹配编码，不是最佳的 概率匹配编码， 编码方法。编码过程如下： 编码方法。编码过程如下：
1. 将信源消息符号按其出现的概率依次排列 p(x1)≥ p(x2)≥…≥ p(xn) 2. 按编码进制数将概率分组，使每组概率尽可能 按编码进制数将概率分组， 接近或相等，并为每一组分配一位码元。 接近或相等，并为每一组分配一位码元。如编 二进制码就分成两组， 进制码就分成m 二进制码就分成两组，编m进制码就分成m组。 3. 将每一分组再按同样原则划分，重复步骤2，直 将每一分组再按同样原则划分，重复步骤2 至概率不再可分为止。 至概率不再可分为止。 4. 信源符号所对应的码字即为费诺码。 信源符号所对应的码字即为费诺码。
第5章 信源编码
重点掌握
分组码的属性 唯一可译码的判断方法 信源编码定理 香农编码、费诺编码、哈夫曼编码 香农编码、费诺编码、
一般了解
编码的术语 游程编码、算术编码 游程编码、
2011-1-3 1
分组码属性
码
非分组码 奇异码 非唯一可译码 分组码 非即时码 非奇异码 唯一可译码 即时码（非延长码） 即时码（非延长码）
2011-1-3 5
唯一可译码判断方法和步骤
1. 首先，观察是否是奇异码。若是，一定不 奇异码。 首先，观察是否是奇异码 若是， 是唯一可译码。 是唯一可译码。 2. 其次，计算码长是否满足Kraft不等式。若 不等式。 其次，计算码长是否满足Kraft不等式 不满足，一定不是唯一可译码。 不满足，一定不是唯一可译码。 3. 按照树图的构造法则，若能将码画成码树 按照树图的构造法则，若能将码画成码树 则是即时码，也就是唯一可译码。 则是即时码，也就是唯一可译码。 4. 按唯一可译码判断法进行判断。 唯一可译码判断法进行判断。 进行判断
只有唯一可译码判断法能确切判断是否是唯一可译码
2011-1-3 6
无失真信源编码
设信源符号序列的长度为L 设信源符号序列的长度为L X = ( X 1 X 2 L X l L X L )
X l ∈ {a1 , a2 ,L , ai ,L , an }
L
变换成由K 变换成由KL个符号组成的 Y = (Y1Y2 LYk LYK ) 码序列（码字） 码序列（码字） Yk ∈ {b1 , b2 ,L , b j ,L , bm } 变换要求 能够无失真或无差错地从Y 恢复X 能够无失真或无差错地从Y 恢复X，也就是 能正确地进行反变换或译码 KL log m 传送Y 传送Y 时所需要的信息率最小 K =
E = ( e1e2 L en ) = C ⊕ R
分组码：每个码字中增加的r 个校验元只由本组的k 分组码：每个码字中增加的r 个校验元只由本组的k个 信息元产生，与其他信息组的信息元无关。记为( 信息元产生，与其他信息组的信息元无关。记为(n, k) 卷积码：增加的r个校验元既与本组信息元有关， 卷积码：增加的r个校验元既与本组信息元有关，还与 前面L组信息元有关。记为( 前面L组信息元有关。记为(n, k, L)
2011-1-3 15
限失真信源编码定理
设离散无记忆信源X的信息率失真函数为R 设离散无记忆信源X的信息率失真函数为R(D) 当信息率 R＞R(D)时，只要信源序列长度 L 足够长，一定存在一种编码方法， 足够长，一定存在一种编码方法，其译码失 为任意小的正数。 真小于或等于 D＋ε，ε为任意小的正数。 反之， 反之，若R＜R(D) ，则无论采用什么样的编 码方法，其译码失真必大于D 码方法，其译码失真必大于D。 如果是二元信源，则对于任意小的ε 如果是二元信源，则对于任意小的ε＞0，每一 个信源符号的平均码长满足如下公式： 个信源符号的平均码长满足如下公式：
R(D) ≤ K ≤ R(D) + ε
2011-1-3 16
第6章 信道编码
重点掌握
差错控制相关的基本概念 差错控制系统分类 检、纠错能力 有扰离散信道编码定理
一般了解
纠错码分类 纠错码的基本思路
2011-1-3 17
与差错控制有关的基本概念
汉明重量（码重）：码字中非0码元的个数， 汉明重量（码重）：码字中非0码元的个数， ）：码字中非 表示。对于二进制来说，指码字中码元1 用W表示。对于二进制来说，指码字中码元1 的数目。 的数目。 汉明距离（码距）：两个等长码字之间对应码 汉明距离（码距）：两个等长码字之间对应码 ）： 元不相同的数目， 表示。 元不相同的数目，用D表示。 码的最小距离d 码的最小距离dmin：在某一码集C中，任意两个 在某一码集C 码字之间汉明距离的最小值称为该码的最小距 离，即 d min = min {D ( Ci , C j )} Ci , C j ∈ C Ci ≠ C j 最小码距是衡量该码纠错能力的重要依据
2011-1-3 9
变长编码定理 单个符号变长编码定理 单个符号变长编码定理 若一离散无记忆信源的符号熵为H 若一离散无记忆信源的符号熵为H(X)， 每个信源符号用m进制码元进行变长编码， 每个信源符号用m进制码元进行变长编码， 一定存在一种无失真编码方法， 一定存在一种无失真编码方法，其码字 平均长度满足下列不等式
2011-1-3 8
编码效率 差错概率 P ≤ σ ( X ) e 2 Lε
2
σ 2(X ) 当信源序列长度L 当信源序列长度L满足 L ≥ 时， 2 ε δ
就能达到差错率要求。 就能达到差错率要求。
编码效率 η = H L ( X )
K
最佳编码效率为 HL (X ) η= , ε >0 HL (X ) + ε
对任意ε>0，δ>0， 对任意ε>0，δ>0，只要
KL log m ≥ H L ( X ) + ε L
则当L足够大时，必可使译码差错小于δ 则当L足够大时，必可使译码差错小于δ； 反之，当 K L log m ≤ H X − 2ε 反之， ) L(
L
时，译码差错一定是有限值，而当L足够大时，译码几乎 译码差错一定是有限值，而当L足够大时， 必定出错。 必定出错。
L
2011-1-3
7
定长编码定理
定长编码定理： 定长编码定理：由L个符号组成的、每个符号的熵 个符号组成的、 的无记忆平稳信源符号序列X 为HL(X)的无记忆平稳信源符号序列X1X2…Xl…XL， 可用K 个符号Y ,…Y 每个符号有m 可用KL个符号Y1, Y2,…, Yk,…YKL（每个符号有m种 可能值）进行定长编码。 可能值）进行定长编码。
2011-1-3 13
哈夫曼编码方法
哈夫曼编码的步骤
1. 将信源消息符号按其出现的概率大小依次排列 p(x1)≥p(x2)≥…≥ p(xn) )≥p 2. 取两个概率最小的符号分别配以0和1，并将这两个 取两个概率最小的符号分别配以0 概率相加作为一个新符号的概率， 概率相加作为一个新符号的概率，与未分配码元的 符号重新排队。 符号重新排队。 3. 对重排后的两个概率最小符号重复步骤2的过程。 对重排后的两个概率最小符号重复步骤2的过程。 4. 继续上述过程，直到最后两个符号配以0和1为止。 为止。 继续上述过程，直到最后两个符号配以0 5. 从最后一级开始，向前返回得到各个信源符号所对 从最后一级开始， 应的码元序列，即相应的码字。 应的码元序列，即相应的码字。
2011-1-3 14
三种编码的比较
香农码、费诺码、哈夫曼码都考虑了信源的统计特性， 香农码、费诺码、哈夫曼码都考虑了信源的统计特性， 经常出现的信源符号对应较短的码字， 经常出现的信源符号对应较短的码字，使信源的平均码 长缩短，从而实现对信源的压缩。 长缩短，从而实现对信源的压缩。 香农码有系统的、惟一的编码方法， 香农码有系统的、惟一的编码方法，但在很多情况下编 有系统的 码效率不是很高。 码效率不是很高。 费诺码和哈夫曼码的编码方法都不惟一。 费诺码和哈夫曼码的编码方法都不惟一。 费诺码比较适合于对分组概率相等或接近的信源编码。 费诺码比较适合于对分组概率相等或接近的信源编码。 比较适合于对分组概率相等或接近的信源编码 哈夫曼码对信源的统计特性没有特殊要求， 哈夫曼码对信源的统计特性没有特殊要求，编码效率比 对信源的统计特性没有特殊要求 较高，对编码设备的要求也比较简单， 较高，对编码设备的要求也比较简单，因此综合性能优 于香农码和费诺码。 于香农码和费诺码。
− log p ( xi ) ≤ K i < − log p ( xi ) + 1
Pi = ∑ p ( xk )
i −1
3. 令P1=0，计算第i个消息的累加概率 =0，计算第i 4. 将累加概率Pi变换成二进制数，取小数点后Ki 将累加概率P 变换成二进制数，取小数点后K 位为该消息的码字
2011-1-3 12
HL ( X) ≤ K < HL ( X) +ε
其中， 为任意小正数。 其中，ε为任意小正数。
2011-1-3
11
香农编码步骤
1. 将信源消息符号按其概率从大到小排列
p ( x1 ) ≥ p ( x2 ) ≥ L ≥ p ( xn )
2. 确定满足下列不等式的整数码长Ki 确定满足下列不等式的整数码长K
2011-1-3 3
克劳夫特不等式
唯一可译码存在的充分和必要条件为： 唯一可译码存在的充分和必要条件为：各 存在的充分和必要条件为 码字的长度K 应满足下式。 码字的长度Ki 应满足下式。
n
∑m
i =1
− Ki
≤1
m是进制数，n是信源符号数 是进制数， 注意： 注意：克拉夫特不等式只是说明唯一可译码 是否存在，并不能作为唯一可译码的判据。 是否存在，并不能作为唯一可译码的判据。
2011-1-3 4
唯一可译码的判断法
将码C中所有可能的尾随后缀组成一个集合F 将码C中所有可能的尾随后缀组成一个集合F，当且仅当集 中没有包含任一码字，则可判断此码C为唯一可译码。 合F中没有包含任一码字，则可判断此码C为唯一可译码。 集合F 集合F的构成方法 首先观察码C中最短的码字是否是其它码字的前缀。 首先观察码C中最短的码字是否是其它码字的前缀。若 将其所有可能的尾随后缀排列出。 是，将其所有可能的尾随后缀排列出。而这些尾随后缀 又有可能是某些码字的前缀（或者某些码字是这些尾随 又有可能是某些码字的前缀（或者某些码字是这些尾随 后缀的前缀）， ），再将这些尾随后缀产生的新的尾随后缀 后缀的前缀），再将这些尾随后缀产生的新的尾随后缀 列出。依此下去， 列出。依此下去，直到没有一个尾随后缀是码字的前缀 为止。 为止。 按照上述步骤将次短码字、 按照上述步骤将次短码字、…等等所有码字可能产生的 尾随后缀全部列出。最终得到码C 尾随后缀全部列出。最终得到码C的所有可能的尾随后 缀的集合F 缀的集合F。
2011-1-3 18
与差错控制有关的基本概念
错误图样 在二元无记忆N次扩展信道中， 在二元无记忆N次扩展信道中，差错的形式也可以 用二元序列来描述，称为错误图样 错误图样。 用二元序列来描述，称为错误图样。 设发送码字为C=(c 设发送码字为C=(c1c2…cn)，接收码字为 R=(r1r2…rn)，两者的差别为 =(r
2011-1-3 19
差错控制系统分类
前向纠错方式（FEC） 实时性好， 前向纠错方式（FEC） 实时性好，适用于单工通信
H( X ) H( X ) ≤K< +1 log m log m
2011-1-3 10
变长编码定理 离散平稳无记忆序列变长编码定理 离散平稳无记忆序列变长编码定理 对于平均符号熵为H 对于平均符号熵为HL(X)的离散平稳无 记忆信源， 记忆信源，必存在一种无失真编码方 法，使平均信息率 K 满足不等式