编码技术PPT课件

1.概率均匀化的基本思路
有冗余信息的信源在解除了各符号的相关性后，若 能够使各个符号出现的概率趋于均匀，就能进一步去 掉冗余信息，提高信源的平均信息量。将出现概率大 的消息符号编成位数少的短码，而出现概率小的符号 编成长码，则编码后各个符号的出现概率就会接近或 趋于均匀.
2. 香农—范诺（Shannon—Fano）编码法
设一个有限离散独立信源，可以输出八个独立的消息A、 B、C、D、E、F、G、H，各符号输出的概率空间如下所 示：
X： A B C D E F G H P（X）： 0.01 0 .27 0 .09 0 .14 0 .05 0 .12 0.03 0 .29
利用香农一范诺编码法，对该信源进行编码。具体编码方法及步 骤如下： ①首先把各个消息按其出现概率的大小，由大到小重新排列； ②将这个重排的概率序列分成两组，每组的概率之和尽可能接近 或相等。然后，再对每一组又进行同样的分组，仍然使分成的相 应两组概率之和尽可能相等，这时就得到四个分组了。如此继续 进行下去，直至每个消息都被单独分割出来为止。 ③对每一次划分出的第一组的消息分配一个0，第二组消息则分配
I (xi )
log 1 P(i)
=
称I(xi ) 为消息X i 的自信息量.
6．1．1．2 离散信源的平均信息量——熵
表X 示i
1.信源熵--信源输出一个消息所提供的平均信息量，即 信源的不肯定度.
2. 对 于 二 元 离 散 信 源 ， 若 出 现 0 、 1 的 概 率 分 别
为 P(0) P P(1) 1 ，P
，那么，该信
H源2 (的x) 熵[为P lo：g 2 P (1 P) log 2 (1 P)]
只有当 P 1
即P 0
2
H2 (x)
H 2时(x)，
取最H大2 (x值) ， log 2 P 1(bit) 。当
P 1
或
时，
取最小值0。
3.具= 有N1HNN个(x时)符，号i该N1的P信 l离og源2散P1的独N熵PH立loNg信(2 xP1)源 lo中g 2 P1，即当log取N2 个N最各大符值号的出现概率P =
一个1。最后，每个消息的二元编码就由它分得的所有的0、1序 列给定。
3.霍夫曼（Huffman）编码法 霍夫曼（Huffman）编码法具体编码方法及步骤如下： ①将信源各个消息按其出现的概率大小以降序排列； ②把排列后的两个最小概率对应的消息分成一组，给其中大
的（或小的）一个消息分配0，另一个分配1，然后求出它 们的概率和，并把这个新得到的概率与其他尚未处理过的 概率再次按由大到小的顺序重新排成一个新序列； ③反复重复步骤②，直到所有的概率都已经被联合处理过为 止。 ④从图的左边开始，沿着从这个消息为出发点的路线一直走 到最右边，将遇到的二元数字依次由最低写到最高位所得 的二元数字序列，就是最佳的二元代码。
现代通信原理
（第3版）
第6章 编码技术
本章学习要求：
• 了解：单个消息的信息量度量方式 • 掌握：模拟信源、离散信源发出消息所携带的平均信息量—
—熵的计算公式和方法 • 掌握：通信的两个主要技术指标——有效性和可靠性 • 掌握：香农公式 • 了解：源编码和信道编码的概念 • 了解：改善系统两大指标的措施——压缩信源消息中的冗余
6．2 信道容量与香农 公式
6．2．1 信道的容量 1.单位时间内传输的信息量就叫做信息传输速率，简称
6．1．2 信源编码
1.对于信源和信道都已知的通信系统，其编码根据不同的目的可分为信源编 码和信道编码两类。
• 信源编码主要针对信源特性，通过改变信源各个符号之间的概率分布， 实现信源与信道间的匹配，使信息传输速率无限接近其最大值——信道 容量，所以也称之为有效性编码。
• 信道编码则是通过变换各个信码之间的规律或相关性，使其对误码具有 一定的自检或自纠能力，进而使系统在一定的传信率下错误概率任意小。 这类编码的目的主要是为了提高系统的抗干扰力，针对信道特性而采取 的措施，有时也叫抗干扰编码。
1.当信源输出的消息是连续变化时，或者说信源的输出在任意时 间范围内，都可以有无数多个取值时，就称该信源为连续信源。
2.连续信源的熵H (v)
H (v) p(v) log= p(v)dv
不是指它实际输出的绝对熵，而是减去一个无穷大项后的相 对熵。 3.结论： 连续信源的熵指的是一个比无穷大大多少的相对量，而不是绝对 量； 离散信源的熵是一个绝对量，二者是不同的。
一个信源输出序列的各个符号之间具有很强的相关性，以 致于只要知道其中的一部分符号就可以推知其余符号. 3.符号独立化 解除信源各符号之间的相关性，使得各个符号的出现彼此独 立。 4.由于强、弱记忆信源各个符号之间的相关性完全不同，分别 采用预测法、延长法（也叫合并法）来完成其各自的符号独
6．1．2．2 概率均匀化一最佳编码
=
（bit）
4.结论：
在无干扰情况H (下x) ，收信者从信源输出的每个消息中得到的平均信
息量，等于信源每个消息所提供的平均信息量，也等于信源的
不肯定度
；当信道存H (在x) 于扰时，收信者从收到的每个
消息中得到的平均信息量将小于信源每个消息提供的平均信息
量，或者说小于信源的不肯定度
。
6．1．1．3 连续信源的熵
来提高有效性以及增加冗余码元来提高可靠性 • 掌握：两种最佳信源编码方法，即霍夫曼编码和香农—范诺
编码法 • 了解：通过汉明码和循环码阐明信道的可靠性编译码思路及
过程6．1 信源编码61．1 信息的度量1.信源的不肯定度就是信源提供的信息量；信源的不肯 定度越高，信宿得到的信息量就越大。
2.设信源发出某消息X i 的概率P为(i) I(x，i ) 用 消息 提供信息量，则定义：
2.信源最佳化过程一般按如下两步进行： （1）符号独立化：解除各符号间的相关性；
（2）概率均匀化：使各符号出现概率相等。
6．1．2．1 符号独立化 1.弱记忆信源
在一个信源输出的所有符号序列中，每个符号都只与其相 邻的少数几个符号之间统计相关，而和所有其它相距较远的 符号相互独立或者其相关性可以忽略不计。 2.强记忆信源