北京理工大学信息论第八章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
5
第一节 香农编码
设有离散无记忆信源
x1
p(
x1
)
x2 p(x2 )
..... .....
xq p( xq
),
q
p(xi ) 1
i 1
6
香农编码方法的步骤
1 按信源符号的概率从大到小的顺序排队
设 p(x1) p(x2 ) ...... p(xq )
2 令p( x0 ) 0，用pa ( x j ), j i 1 j1 表示第i个码字的累加概率 pa(xj) p(xi) 1 i1
H (S) LN H (S) 1 log r N log r N
当
N 则得：
lim
N
L
Hr
(S)
4
这个定理是香农信息论中非常重要的一个定理， 它指出，要做到无失真的信源编码，信源每个符号 所需要的平均码元数就是信源的熵值，如果小于这 个值，则唯一可译码不存在，可见，熵是无失真信 源编码的极限值。定理还指出，通过对扩展信源进 行编码，当N趋向于无穷时，平均码长可以趋近该 极限值。
9
由离散无记忆信源熵定义，可计算出：
6
H( X ) p( xi )log2 p( xi ) 2.42(比 特 / 符 号) i1
对上述信源采用香农编码的信息率为
R
L N
log 2
r
2.7 1
log 2
2
2.7
这 里N 1, r 2
编码效率为信源熵和信息率之比。则
百度文库H (X ) 2.42 89.63%
表5.3.1 二进制费诺编码
编码
0
0 1
0
0
1
1
0
1
1
码字
00 01 10 110 1110 1111
码长
2 2 2 3 4 4
12
上述码字还可用码树来表示，如图下所示。
13
该信源的熵为
6
H( X ) p( xi )log2 p( xi ) 2.42325(比 特 / 符 号) i 1
R 2.7
可以看出，编码效率并不是很高。
10
第二节 费诺编码
费诺编码也是一种常见的信源编码方法。编码步骤 如下：
将概率按从大到小的顺序排列，令
p(x1)≥ p(x2)≥…≥ p(xq)
按编码进制数将概率分组，使每组概率和尽可能
接近或相等。如编二进制码就分成两组，编r进制 码就分成r组。
给每一组分配一位码元。 将每一分组再按同样原则划分，重复步骤2和3，
概率都相等的信源进行编码时，可达到理想的编码效
率。
14
[例] 有一单符号离散无记忆信源
X P( X
)
1x/14,
x2 , 1/ 4
x3 , 1/ 8
x4 , 1/ 8
x5 , 1/16
x6 1/16
x7 1/16
1 /x18 6
对该信源编二进制费诺码，编码过程如表。
信源符号
表 5.3.2 二进制费诺编码
直至概率不再可分为止。
11
[例] 设有一单符号离散信源
X P( X
)
0x.21 ,5
x2 , 0.25
x3 , 0.20
x4 , 0.15
x5 , 0.10
0x.065
对该信源编二进制费诺码。编码过程如下表。
信源符号
x1 x2 x3 x4 x5 x6
概率
0.25 0.25 0.20 0.15 0.10 0.05
第八章 无失真的信源编码
第一节 香农编码 第二节 费诺编码 第三节 霍夫曼编码
第四节 游程编码 第五节 冗余位编码
1
信源编码概述
信源编码理论是信息论的一个重要分支，其理 论基础是信源编码的两个定理。
无失真信源编码：针对离散信源或数字信号 限失真信源编码：适用于波形信源或波形信号（模
拟信号）。
3
回顾香农第一定理
定理5.8 无失真变长信源编码定理（香农第一定理）
离散无记忆信源S的N次扩展信源S N ，其熵为H (S N ) ，并且编 码器的码元符号集为A：{1,2 ,...,q} 对信源 S N 进行编码，总 可以找到一种编码方法，构成唯一可译码，使信源S中每个符 号所需要的平均码长满足
x6
0.05
0.95
5
111110(0.11110)2
8
计算出给定信源香农码的平均码长
q
L p(xi )li i 1 0.25 2 2 (0.2 0.15) 3 0.10 4 0.05 5 2.7 (比 特/ 符 号)
若对上述信源采用等长编码，要做到无失真译码，每 个符号至少要用3个比特表示。相比较，香农编码对信 源进行了压缩。
概率
编码
码字 码长
x1
0.25
0
x2
0.25 0 1
00
2
01
2
x3
0.125
x4
0.125
0
0
1
100 3 101 3
x5
0.0625 1
0
0 1100 4
x6
0.0625
3 log 2 p(xi ) li 1 log2 p(xi )
4 把pa (x j )用二进制表示，用小数
点 后 的li 位 作 为xi的 码 字
7
[例]有一单符号离散无记忆信源
X P( X
)
0x.21,5
x2 , 0.25
x3 , 0.20
x4 , 0.15
x5 , 0.10
0x.065
信源编码的分类：离散信源编码、连续信源编码和相 关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编 码； 连续信源编码：独立信源编码，只能做到限失真 信源编码； 相关信源编码：非独立信源编码。
2
有些编码原理和技术在通信原理和信号处理等相 关课程中已经介绍过。例如： 连续信源编码：脉冲编码调制(PCM)、矢量量 化技术； 相关信源编码： 预测编码：增量编码、差分脉冲调制 (DPCM)、自适应差分脉冲调制(ADPCM)、 线性预测声码器； 变换编码：K－L变换、离散变换、子带编码、 小波变换。
对该信源编二进制香农码。其编码过程如下表所示。
表5.1.1 二进制香农编码
xi
p(xi)
pa(xj)
li
码字
x1
0.25
0
2
00(0.000)2
x2
0.25
0.25
2
01(0.010)2
x3
0.2
0.5
3
x4
0.15
0.7
3
x5
0.1
0.85
4
100(0.100)2 101(0.101)2 1101(0.1101)2
平均码长为
6
L p(xi )li 2.45(比 特/ 符 号) i 1
编码效率为
H ( X ) 2.423 2.423 98.91% 这 里N 1, r 2
L N
log 2
r
2.45 1
log
2
2
2.45
本例中费诺编码有较高的编码效率。费诺码比较适合
于每次分组概率都很接近的信源。特别是对每次分组
第一节 香农编码
设有离散无记忆信源
x1
p(
x1
)
x2 p(x2 )
..... .....
xq p( xq
),
q
p(xi ) 1
i 1
6
香农编码方法的步骤
1 按信源符号的概率从大到小的顺序排队
设 p(x1) p(x2 ) ...... p(xq )
2 令p( x0 ) 0，用pa ( x j ), j i 1 j1 表示第i个码字的累加概率 pa(xj) p(xi) 1 i1
H (S) LN H (S) 1 log r N log r N
当
N 则得：
lim
N
L
Hr
(S)
4
这个定理是香农信息论中非常重要的一个定理， 它指出，要做到无失真的信源编码，信源每个符号 所需要的平均码元数就是信源的熵值，如果小于这 个值，则唯一可译码不存在，可见，熵是无失真信 源编码的极限值。定理还指出，通过对扩展信源进 行编码，当N趋向于无穷时，平均码长可以趋近该 极限值。
9
由离散无记忆信源熵定义，可计算出：
6
H( X ) p( xi )log2 p( xi ) 2.42(比 特 / 符 号) i1
对上述信源采用香农编码的信息率为
R
L N
log 2
r
2.7 1
log 2
2
2.7
这 里N 1, r 2
编码效率为信源熵和信息率之比。则
百度文库H (X ) 2.42 89.63%
表5.3.1 二进制费诺编码
编码
0
0 1
0
0
1
1
0
1
1
码字
00 01 10 110 1110 1111
码长
2 2 2 3 4 4
12
上述码字还可用码树来表示，如图下所示。
13
该信源的熵为
6
H( X ) p( xi )log2 p( xi ) 2.42325(比 特 / 符 号) i 1
R 2.7
可以看出，编码效率并不是很高。
10
第二节 费诺编码
费诺编码也是一种常见的信源编码方法。编码步骤 如下：
将概率按从大到小的顺序排列，令
p(x1)≥ p(x2)≥…≥ p(xq)
按编码进制数将概率分组，使每组概率和尽可能
接近或相等。如编二进制码就分成两组，编r进制 码就分成r组。
给每一组分配一位码元。 将每一分组再按同样原则划分，重复步骤2和3，
概率都相等的信源进行编码时，可达到理想的编码效
率。
14
[例] 有一单符号离散无记忆信源
X P( X
)
1x/14,
x2 , 1/ 4
x3 , 1/ 8
x4 , 1/ 8
x5 , 1/16
x6 1/16
x7 1/16
1 /x18 6
对该信源编二进制费诺码，编码过程如表。
信源符号
表 5.3.2 二进制费诺编码
直至概率不再可分为止。
11
[例] 设有一单符号离散信源
X P( X
)
0x.21 ,5
x2 , 0.25
x3 , 0.20
x4 , 0.15
x5 , 0.10
0x.065
对该信源编二进制费诺码。编码过程如下表。
信源符号
x1 x2 x3 x4 x5 x6
概率
0.25 0.25 0.20 0.15 0.10 0.05
第八章 无失真的信源编码
第一节 香农编码 第二节 费诺编码 第三节 霍夫曼编码
第四节 游程编码 第五节 冗余位编码
1
信源编码概述
信源编码理论是信息论的一个重要分支，其理 论基础是信源编码的两个定理。
无失真信源编码：针对离散信源或数字信号 限失真信源编码：适用于波形信源或波形信号（模
拟信号）。
3
回顾香农第一定理
定理5.8 无失真变长信源编码定理（香农第一定理）
离散无记忆信源S的N次扩展信源S N ，其熵为H (S N ) ，并且编 码器的码元符号集为A：{1,2 ,...,q} 对信源 S N 进行编码，总 可以找到一种编码方法，构成唯一可译码，使信源S中每个符 号所需要的平均码长满足
x6
0.05
0.95
5
111110(0.11110)2
8
计算出给定信源香农码的平均码长
q
L p(xi )li i 1 0.25 2 2 (0.2 0.15) 3 0.10 4 0.05 5 2.7 (比 特/ 符 号)
若对上述信源采用等长编码，要做到无失真译码，每 个符号至少要用3个比特表示。相比较，香农编码对信 源进行了压缩。
概率
编码
码字 码长
x1
0.25
0
x2
0.25 0 1
00
2
01
2
x3
0.125
x4
0.125
0
0
1
100 3 101 3
x5
0.0625 1
0
0 1100 4
x6
0.0625
3 log 2 p(xi ) li 1 log2 p(xi )
4 把pa (x j )用二进制表示，用小数
点 后 的li 位 作 为xi的 码 字
7
[例]有一单符号离散无记忆信源
X P( X
)
0x.21,5
x2 , 0.25
x3 , 0.20
x4 , 0.15
x5 , 0.10
0x.065
信源编码的分类：离散信源编码、连续信源编码和相 关信源编码三类。 离散信源编码：独立信源编码，可做到无失真编 码； 连续信源编码：独立信源编码，只能做到限失真 信源编码； 相关信源编码：非独立信源编码。
2
有些编码原理和技术在通信原理和信号处理等相 关课程中已经介绍过。例如： 连续信源编码：脉冲编码调制(PCM)、矢量量 化技术； 相关信源编码： 预测编码：增量编码、差分脉冲调制 (DPCM)、自适应差分脉冲调制(ADPCM)、 线性预测声码器； 变换编码：K－L变换、离散变换、子带编码、 小波变换。
对该信源编二进制香农码。其编码过程如下表所示。
表5.1.1 二进制香农编码
xi
p(xi)
pa(xj)
li
码字
x1
0.25
0
2
00(0.000)2
x2
0.25
0.25
2
01(0.010)2
x3
0.2
0.5
3
x4
0.15
0.7
3
x5
0.1
0.85
4
100(0.100)2 101(0.101)2 1101(0.1101)2
平均码长为
6
L p(xi )li 2.45(比 特/ 符 号) i 1
编码效率为
H ( X ) 2.423 2.423 98.91% 这 里N 1, r 2
L N
log 2
r
2.45 1
log
2
2
2.45
本例中费诺编码有较高的编码效率。费诺码比较适合
于每次分组概率都很接近的信源。特别是对每次分组