《信息论与编码》课件第5章 信源编码技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（3）将每一大组的信源符号再分成两组，使划分后 的两个组的概率之和尽可能近似相等，并将各组分 别赋予一个二进制码元“0”和“1”。 （4）如此重复，直至每个组只剩下一个信源符号为 止。
❖ 例5.2对例5.1的信源进行费诺编码,具体编码过程如下
消息符 号
概率
a1
0.20
a2
0.19
a3
0.18
a4
0.17
编码效率为
H (X ) 2.61 0.953
L 2.74
➢ 显然，费诺码要比上述香农码的平均码长小，编码效率高。
➢ 从上面的例子可以看出，p(a4)<p(a2)，而码长L4<L2，从 统计角度来看，平均码长一定不是最短的;
➢ 如果将两个符号对应的码字互换，这样编码得到的平均码长
肯定小于原来的平均码长。尽管如此，费诺码的平均码长仍
10 2
11 2 010 3
011 3
方法1 方法2
❖ 根据两种方法的编码结果，计算两种哈夫曼码的平 均码长，结果是两种编码方法的平均码长相等，即
7
L p(ai )li =2.2 码元/符号 i 1
编码效率也相等，都为 H (X ) =0.965
，L
但是两种码的质量不完全相同，编码质量可以用码方差衡量，即
a5
0.15
a6
0.10
a7
0.01
第一次 分组
0
1
第二次 分组
0 1 0
1
第三次 分组
0 1 0
1
第四次 分组
0 1
二元码字
00 010 011 10 110
1110
1111
码长
2 3 3 2 3
4
4
❖ 根据每个信源符号的码长，得到每个符号的平均码长为
7
L p(ai )li 2.74 码元/符号 i 1
❖ 例5.4 设有离散无记忆信源的概率空间为
X p
a1 0.4
信源符号 概率
ai
p(ai )
a1
0.4
a2
0.2
a3
0.2
a4 a5
} 0.1 0
0.1 1
0.4 0.2
}0.2 0
0.2 1
a2 a3 a4 a5 0.2 0.2 0.1 0.1
编码过程
0.4
}0.4 0
0.2 1
}0.6 0
❖ 由于先对概率进行排序，再进行分组，并指定码字，使得第 一次分组后的部分码长能大于第一组某些符号码长，即较小 概率分配较长码字，所以也会导致平均码长增加。
5.1.3哈夫曼码
❖ 哈夫曼提出了一种构造最佳码的方法，编码效率高。 ❖ 其基本思想是：概率大的符号分配短码字，而概率
小的信源符号分配长码字，为此首先为小概率符号 分配码元，分配码元后的符号进行概率合并，然后 按照大小顺序重排概率，并对概率小的符号或者符 号集合分配码元，直到概率合并结束为止。 ❖ 然后逆向搜索参与概率合并时分配的码元符号，形 成对应的码字。对于二元码，其编码步骤如下： ❖ （1）将信源消息符号按其出现的概率大小依次排 列为
r
l2 E (li L)2 p(ai )(li L)2 i 1
2 l1
1.36
l
2 2
0.16
由于方法2的码方差比方法1的码方差小许多，
所以方法2编码质量好。
❖ 码方差小的编码方法要比码方差大的方法好，这种 结论可以这样说明。由于上述的三种编码方法实际 上都是产生码表的过程。而在实际应用中，码表的 建立是依据大量的统计结果产生的。对于一次具体 的信源编码，实际信源的数据统计规律与建立码表 使用的统计规律不一定完全一致。
但是香农码构造码字时没有综合使用信源统计特 性，所以码长并非最短的。
香农码编码采用累计概率小数部分的二进制表示作 为码字，从而保证了码字是唯一可译码的。
5.1.2费诺码
❖ 费诺从概率匹配角度出发，构造了一种编码算法，称为 费诺码。
❖ 其基本思想是：
✓ 按照累加概率尽可能相等的原则对信源符号进行分组， 对于二元码，则每次分为两组，对于元码，则每次分为 个组，并且给不同的组分配一个不同的码元符号；
无失真 编码
等长编码 变长编码
信息率受到熵的限制，平均码长 不小于熵
香农第1定理
限失真 编码
平均码长受到信息 率失真函数限制
香农第3定理
在平均失真一定条 件下，编码输出码 率不小于平均失真 所对应信息率
➢通过信源扩展，并对扩展信源序列进行编码，可以 有效提高信源编码效率；
➢增加序列的长度，最佳码的平均码长能够逼近信源熵。 ➢香农的信源编码理论只是指出了平均码长的界，即阐 述了存在性问题，没有给出具体的最佳编码方案。
p1 p2 pn
❖ (2)取两个概率最小的两个信源符号分别分配码元0 和1，并 将这两个概率相加作为一个新符号的概 率，与未分配的二 进符号的符号一起重新进行概 率排序。
❖ (3)对重排后的两个概率最小符号重复步骤（2）的 过程。
❖ (4)不断继续上述过程，直到最后两个符号配以0和1为止。
❖ (5)从最后一级开始，反向搜索参与编码的符号，得 到各个 信源符号所对应的码元序列，即相应的码 字。
❖ 具有代表性变长编码方法有：香农码，费诺码和哈夫曼码等。
香农码:是建立在信息科学基础上的第1种信源编码方法， 理论意义非常重要； 哈夫曼码：信源扩展长度一定情况下，组码中最好的编 码算法；在实际信源编码中得到广泛使用。
比如：在文本压缩,图像压缩，视频压缩等数据压缩中， 最后的熵编码经常采用哈夫曼码
➢ 只讨论存在性问题是不够的，信源编码的编码效果 毕竟取决于具体的编码方案，为了提高信源编码效 率，科学家们进行了大量的卓有成效的研究工作， 取得了许多研究成果，并且形成了专门学科。
➢ 但是信源是复杂的，许多信源不是离散无记忆信源， 甚至不是平稳的，而且在许多情况下，信源输出的 符号是有限的；
➢ 所假设的信源编码模型与实际并不相符，等等这些 因素都给信源编码造成了困难。
对信源进行缩减时，如果两个概率最小的符号合并 后的概率与其它信源符号的概率相同，这两者在缩 减信源中进行概率排序，其位置放置次序是可以任 意的，故会得到不同的哈夫曼码。考虑到合并后概 率是多个符号概率累加，应当放在上面，以便减少 更多符号分配更长码的可能，这样不仅可以减小平 均码长，而且可以减小码的任意性。此外，即使平 均码长相等，还存在码字质量的好坏问题。
平均码长满足香农第一定理
H(X ) L 1 H(X )
log d
log d
问 题
1.a7对应的码字过长，实际上取为1111即可，所 以按信息量分配码长存在问题；
2.信源只有7个消息符号，即使采用等长编码，平
均码长为3小于本例中的3.14
由于每个信源符号码长是根据信源符号的信息量选 择，从局部来看每个码长的取值都是最佳的，所以香 农码是最佳码。
✓ 对其中的每组按照累计概率尽可能相等的原则再次进行 分组，并指定码元符号，直到不能再分类为止。
✓ 然后将每个符号指定的码元符号排列起来就得到相应的 码字。
❖ 如果采用二元码，则编码步骤为：
如果采用二元码，则编码步骤为： （1）将信源消息符号按其出现的概率大小依次排列
p1 p2 pn
（2）将依次排列的信源符号分为两大组，使两个组 的概率之和尽可能近似相等，并将各组分别赋予一 个二进制码元“0”和“1”。
❖ 比如采用表5.4和5.5产生的码表进行编码，实际信
源的统计特性与表中列出的统计特性不同，实际概
率为
pr (a1) p(a2 ) 0.2
pr (a2) p(a1) 0.4
❖ 其他概率分布与编码产生使用概率相同。如果采用
方法1进行编码，则平均码长为
5
Lr1 pr (ai )li i 1
0.21 0.4 2 0.2 3 0.1 4 0.1 4
例5.3 对例5.1中的信源进行哈夫曼编码，编码过程、产生每 个信源符号码字和码长如下表
信源符号 概率
ai p(ai )
a1 0.20 a2 0.19 a3 0.18 a4 0.17
a5 0.15
} a6 0.10 0
a7 0.01 1
0.2 0
0.19 0.18
0.17
}0.15 0
0.11 1
进制码字。
例5.1 设信源共有7个符号消息，按照概率大小排列后的概 率分布和累加概率如表5.1所示。根据自信息量定义计算每 个信源符号的信息量，然后根据信息量确定码长
比如 1b0.17 l4 1b0.17 1
2.56 l4 3.56
考虑到码长的整数要求，所以取 l4 3
其累计概率 P4 0.57 二进制表示为 0.1001... 编码码字为100 累计概率算法： Pi 0.b1b2 blibli1
编码过程
0.26 0.20
0.19
}0.18 0
0.17 1
0.35 0.39 0.26 0.35 0
} } 0.20 0 0.26 1
0.19 1
}0.61 0
0.39 1
码字 码长
Wi li
1.0 10 2 11 2
000 3
001 3
010 3 0110 4 0111 4
平均码长为
7
L p(ai )li 2.72
a4
0.17
0.57 2.56 3 100
a5
0.15
0.74 2.74 3 101
a6
0.10
0.89 3.34 4 1110
a7
0.01
0.99 6.66 7 1111110
7
L p(ai )li 3.14 比特/符号 H(X ) 2.61 比特/符号
i 1
编码效率为
H (X ) 2.61 0.831 L 3.14
a1 p(a1 )
a2 p(a2 )
ar p(ar )
❖ 按照每个符号提供的信息量大小分配码字长度 ；
❖ 对应码字的长度Li之间满足下列关系
I (xi ) li I (xi ) 1 i
自信息量 上取整
❖ 这样就可以保证对于每个信源符号而言，码字长度是最佳 的。
❖ 具体编码方法如下 ： ❖ (1)将信源消息符号按其出现的概率大小依次排列为
0.4 1
码字 码长Wi来自li1.0 1 1
01 2
000 3 0010 4 0011 4
信源符号 概率
ai
p(ai )
a1
0.4
a2
0.2
a3
0.2
a4 a5
} 0.1 0
0.1 1
0.4 0.2
}0.2 0
0.2 1
编码过程
0.4
}0.4 0
0.2 1
}0.6 0
0.4 1
码字 码长
Wi
li
1.0 00 2
然满足
H(X) L 1 H(X)
log d
log d
❖ 费诺码是根据信源的统计特性进行编码的，经常出现的信源 符号分配短码，以减少平均码长，这是一种好的编码方法。
❖ 但是当信源符号较多时，符号的概率之间没有特别明显的差 距，从而使得后续分组时，每个小组的累加概率相差甚大， 并使得平均码长增加，所以费诺码不是最优码。
➢ 至今信源编码技术仍然是研究的重要课题之一，本 章主要介绍信源编码技术已经取得的一些研究成果。
5.1 最佳变长编码
将能够荷载一定信息量，且码字的平均长度最短，可 分离的变长码字集合称为最佳变长码。
最佳变长码编码的基本原则是：概率大的信源符号分配 短的码字，而概率小的信源符号分配长码字，从而使得 平均码长最短
i 1
编码效率为 H(X ) 2.61 0.963
L 2.72
比较三种编码方法，可以看出哈夫曼的平均码长最小，信
息传输速率大，编码效率很高
❖ 哈夫曼编码方法得到的码并非是唯一的，原因在于：
每次对信源缩减时，赋予信源最后两个概率最小的 符号，分配码元0和1是可以任意的，即大概率符号 或者合并后的符号集合可以分配码元0也可以是1， 这种选择任意性可以得到不同的哈夫曼码，但不会 影响码字的长度。
p1 p2 pn
❖ (2)确定每个信源符号的码长，同时保证码长为满足 下列不等式的整数
lbp(ai ) li lbp(ai ) 1
❖ (3)为了编成唯一可译码，计算第i个消息的累加概率
i 1
Pi p(ak ) k 1
❖ (4)将累加概率Pi表示为二进制形式； ❖ (5)取二进制数的小数点后Li位作为该消息符号的二
照相机、网络上 广泛使用的后缀 为.jpg图像文件， 其图像压缩熵编 码器就是哈夫曼 码。
视频压缩如 mpeg2， h.263,h.264都使 用哈夫曼编码
5.1.1 香农码
❖ 香农根据离散无记忆信源的自信息量构造了一种码，称为香 农码 ；
❖ 设离散无记忆信源所对应的概率空间为
X p( x)
X 2li Pi b12li 1 b2 2li 2
bli
20
bli
21
1
对X取整，整数部分的li位二进制表示就是编码码字
表5.1 香农码编码过程 消息符号 符号概率 累加概率 I(ai) 码长
码字
a1
0.20
0 2.34 3 000
a2
0.19
0.2 2.41 3 001
a3
0.18
0.39 2.48 3 011
❖ 例5.2对例5.1的信源进行费诺编码,具体编码过程如下
消息符 号
概率
a1
0.20
a2
0.19
a3
0.18
a4
0.17
编码效率为
H (X ) 2.61 0.953
L 2.74
➢ 显然，费诺码要比上述香农码的平均码长小，编码效率高。
➢ 从上面的例子可以看出，p(a4)<p(a2)，而码长L4<L2，从 统计角度来看，平均码长一定不是最短的;
➢ 如果将两个符号对应的码字互换，这样编码得到的平均码长
肯定小于原来的平均码长。尽管如此，费诺码的平均码长仍
10 2
11 2 010 3
011 3
方法1 方法2
❖ 根据两种方法的编码结果，计算两种哈夫曼码的平 均码长，结果是两种编码方法的平均码长相等，即
7
L p(ai )li =2.2 码元/符号 i 1
编码效率也相等，都为 H (X ) =0.965
，L
但是两种码的质量不完全相同，编码质量可以用码方差衡量，即
a5
0.15
a6
0.10
a7
0.01
第一次 分组
0
1
第二次 分组
0 1 0
1
第三次 分组
0 1 0
1
第四次 分组
0 1
二元码字
00 010 011 10 110
1110
1111
码长
2 3 3 2 3
4
4
❖ 根据每个信源符号的码长，得到每个符号的平均码长为
7
L p(ai )li 2.74 码元/符号 i 1
❖ 例5.4 设有离散无记忆信源的概率空间为
X p
a1 0.4
信源符号 概率
ai
p(ai )
a1
0.4
a2
0.2
a3
0.2
a4 a5
} 0.1 0
0.1 1
0.4 0.2
}0.2 0
0.2 1
a2 a3 a4 a5 0.2 0.2 0.1 0.1
编码过程
0.4
}0.4 0
0.2 1
}0.6 0
❖ 由于先对概率进行排序，再进行分组，并指定码字，使得第 一次分组后的部分码长能大于第一组某些符号码长，即较小 概率分配较长码字，所以也会导致平均码长增加。
5.1.3哈夫曼码
❖ 哈夫曼提出了一种构造最佳码的方法，编码效率高。 ❖ 其基本思想是：概率大的符号分配短码字，而概率
小的信源符号分配长码字，为此首先为小概率符号 分配码元，分配码元后的符号进行概率合并，然后 按照大小顺序重排概率，并对概率小的符号或者符 号集合分配码元，直到概率合并结束为止。 ❖ 然后逆向搜索参与概率合并时分配的码元符号，形 成对应的码字。对于二元码，其编码步骤如下： ❖ （1）将信源消息符号按其出现的概率大小依次排 列为
r
l2 E (li L)2 p(ai )(li L)2 i 1
2 l1
1.36
l
2 2
0.16
由于方法2的码方差比方法1的码方差小许多，
所以方法2编码质量好。
❖ 码方差小的编码方法要比码方差大的方法好，这种 结论可以这样说明。由于上述的三种编码方法实际 上都是产生码表的过程。而在实际应用中，码表的 建立是依据大量的统计结果产生的。对于一次具体 的信源编码，实际信源的数据统计规律与建立码表 使用的统计规律不一定完全一致。
但是香农码构造码字时没有综合使用信源统计特 性，所以码长并非最短的。
香农码编码采用累计概率小数部分的二进制表示作 为码字，从而保证了码字是唯一可译码的。
5.1.2费诺码
❖ 费诺从概率匹配角度出发，构造了一种编码算法，称为 费诺码。
❖ 其基本思想是：
✓ 按照累加概率尽可能相等的原则对信源符号进行分组， 对于二元码，则每次分为两组，对于元码，则每次分为 个组，并且给不同的组分配一个不同的码元符号；
无失真 编码
等长编码 变长编码
信息率受到熵的限制，平均码长 不小于熵
香农第1定理
限失真 编码
平均码长受到信息 率失真函数限制
香农第3定理
在平均失真一定条 件下，编码输出码 率不小于平均失真 所对应信息率
➢通过信源扩展，并对扩展信源序列进行编码，可以 有效提高信源编码效率；
➢增加序列的长度，最佳码的平均码长能够逼近信源熵。 ➢香农的信源编码理论只是指出了平均码长的界，即阐 述了存在性问题，没有给出具体的最佳编码方案。
p1 p2 pn
❖ (2)取两个概率最小的两个信源符号分别分配码元0 和1，并 将这两个概率相加作为一个新符号的概 率，与未分配的二 进符号的符号一起重新进行概 率排序。
❖ (3)对重排后的两个概率最小符号重复步骤（2）的 过程。
❖ (4)不断继续上述过程，直到最后两个符号配以0和1为止。
❖ (5)从最后一级开始，反向搜索参与编码的符号，得 到各个 信源符号所对应的码元序列，即相应的码 字。
❖ 具有代表性变长编码方法有：香农码，费诺码和哈夫曼码等。
香农码:是建立在信息科学基础上的第1种信源编码方法， 理论意义非常重要； 哈夫曼码：信源扩展长度一定情况下，组码中最好的编 码算法；在实际信源编码中得到广泛使用。
比如：在文本压缩,图像压缩，视频压缩等数据压缩中， 最后的熵编码经常采用哈夫曼码
➢ 只讨论存在性问题是不够的，信源编码的编码效果 毕竟取决于具体的编码方案，为了提高信源编码效 率，科学家们进行了大量的卓有成效的研究工作， 取得了许多研究成果，并且形成了专门学科。
➢ 但是信源是复杂的，许多信源不是离散无记忆信源， 甚至不是平稳的，而且在许多情况下，信源输出的 符号是有限的；
➢ 所假设的信源编码模型与实际并不相符，等等这些 因素都给信源编码造成了困难。
对信源进行缩减时，如果两个概率最小的符号合并 后的概率与其它信源符号的概率相同，这两者在缩 减信源中进行概率排序，其位置放置次序是可以任 意的，故会得到不同的哈夫曼码。考虑到合并后概 率是多个符号概率累加，应当放在上面，以便减少 更多符号分配更长码的可能，这样不仅可以减小平 均码长，而且可以减小码的任意性。此外，即使平 均码长相等，还存在码字质量的好坏问题。
平均码长满足香农第一定理
H(X ) L 1 H(X )
log d
log d
问 题
1.a7对应的码字过长，实际上取为1111即可，所 以按信息量分配码长存在问题；
2.信源只有7个消息符号，即使采用等长编码，平
均码长为3小于本例中的3.14
由于每个信源符号码长是根据信源符号的信息量选 择，从局部来看每个码长的取值都是最佳的，所以香 农码是最佳码。
✓ 对其中的每组按照累计概率尽可能相等的原则再次进行 分组，并指定码元符号，直到不能再分类为止。
✓ 然后将每个符号指定的码元符号排列起来就得到相应的 码字。
❖ 如果采用二元码，则编码步骤为：
如果采用二元码，则编码步骤为： （1）将信源消息符号按其出现的概率大小依次排列
p1 p2 pn
（2）将依次排列的信源符号分为两大组，使两个组 的概率之和尽可能近似相等，并将各组分别赋予一 个二进制码元“0”和“1”。
❖ 比如采用表5.4和5.5产生的码表进行编码，实际信
源的统计特性与表中列出的统计特性不同，实际概
率为
pr (a1) p(a2 ) 0.2
pr (a2) p(a1) 0.4
❖ 其他概率分布与编码产生使用概率相同。如果采用
方法1进行编码，则平均码长为
5
Lr1 pr (ai )li i 1
0.21 0.4 2 0.2 3 0.1 4 0.1 4
例5.3 对例5.1中的信源进行哈夫曼编码，编码过程、产生每 个信源符号码字和码长如下表
信源符号 概率
ai p(ai )
a1 0.20 a2 0.19 a3 0.18 a4 0.17
a5 0.15
} a6 0.10 0
a7 0.01 1
0.2 0
0.19 0.18
0.17
}0.15 0
0.11 1
进制码字。
例5.1 设信源共有7个符号消息，按照概率大小排列后的概 率分布和累加概率如表5.1所示。根据自信息量定义计算每 个信源符号的信息量，然后根据信息量确定码长
比如 1b0.17 l4 1b0.17 1
2.56 l4 3.56
考虑到码长的整数要求，所以取 l4 3
其累计概率 P4 0.57 二进制表示为 0.1001... 编码码字为100 累计概率算法： Pi 0.b1b2 blibli1
编码过程
0.26 0.20
0.19
}0.18 0
0.17 1
0.35 0.39 0.26 0.35 0
} } 0.20 0 0.26 1
0.19 1
}0.61 0
0.39 1
码字 码长
Wi li
1.0 10 2 11 2
000 3
001 3
010 3 0110 4 0111 4
平均码长为
7
L p(ai )li 2.72
a4
0.17
0.57 2.56 3 100
a5
0.15
0.74 2.74 3 101
a6
0.10
0.89 3.34 4 1110
a7
0.01
0.99 6.66 7 1111110
7
L p(ai )li 3.14 比特/符号 H(X ) 2.61 比特/符号
i 1
编码效率为
H (X ) 2.61 0.831 L 3.14
a1 p(a1 )
a2 p(a2 )
ar p(ar )
❖ 按照每个符号提供的信息量大小分配码字长度 ；
❖ 对应码字的长度Li之间满足下列关系
I (xi ) li I (xi ) 1 i
自信息量 上取整
❖ 这样就可以保证对于每个信源符号而言，码字长度是最佳 的。
❖ 具体编码方法如下 ： ❖ (1)将信源消息符号按其出现的概率大小依次排列为
0.4 1
码字 码长Wi来自li1.0 1 1
01 2
000 3 0010 4 0011 4
信源符号 概率
ai
p(ai )
a1
0.4
a2
0.2
a3
0.2
a4 a5
} 0.1 0
0.1 1
0.4 0.2
}0.2 0
0.2 1
编码过程
0.4
}0.4 0
0.2 1
}0.6 0
0.4 1
码字 码长
Wi
li
1.0 00 2
然满足
H(X) L 1 H(X)
log d
log d
❖ 费诺码是根据信源的统计特性进行编码的，经常出现的信源 符号分配短码，以减少平均码长，这是一种好的编码方法。
❖ 但是当信源符号较多时，符号的概率之间没有特别明显的差 距，从而使得后续分组时，每个小组的累加概率相差甚大， 并使得平均码长增加，所以费诺码不是最优码。
➢ 至今信源编码技术仍然是研究的重要课题之一，本 章主要介绍信源编码技术已经取得的一些研究成果。
5.1 最佳变长编码
将能够荷载一定信息量，且码字的平均长度最短，可 分离的变长码字集合称为最佳变长码。
最佳变长码编码的基本原则是：概率大的信源符号分配 短的码字，而概率小的信源符号分配长码字，从而使得 平均码长最短
i 1
编码效率为 H(X ) 2.61 0.963
L 2.72
比较三种编码方法，可以看出哈夫曼的平均码长最小，信
息传输速率大，编码效率很高
❖ 哈夫曼编码方法得到的码并非是唯一的，原因在于：
每次对信源缩减时，赋予信源最后两个概率最小的 符号，分配码元0和1是可以任意的，即大概率符号 或者合并后的符号集合可以分配码元0也可以是1， 这种选择任意性可以得到不同的哈夫曼码，但不会 影响码字的长度。
p1 p2 pn
❖ (2)确定每个信源符号的码长，同时保证码长为满足 下列不等式的整数
lbp(ai ) li lbp(ai ) 1
❖ (3)为了编成唯一可译码，计算第i个消息的累加概率
i 1
Pi p(ak ) k 1
❖ (4)将累加概率Pi表示为二进制形式； ❖ (5)取二进制数的小数点后Li位作为该消息符号的二
照相机、网络上 广泛使用的后缀 为.jpg图像文件， 其图像压缩熵编 码器就是哈夫曼 码。
视频压缩如 mpeg2， h.263,h.264都使 用哈夫曼编码
5.1.1 香农码
❖ 香农根据离散无记忆信源的自信息量构造了一种码，称为香 农码 ；
❖ 设离散无记忆信源所对应的概率空间为
X p( x)
X 2li Pi b12li 1 b2 2li 2
bli
20
bli
21
1
对X取整，整数部分的li位二进制表示就是编码码字
表5.1 香农码编码过程 消息符号 符号概率 累加概率 I(ai) 码长
码字
a1
0.20
0 2.34 3 000
a2
0.19
0.2 2.41 3 001
a3
0.18
0.39 2.48 3 011