《多媒体技术基础》第3版第02章_数据无损压缩
《多媒体技术》 第二讲 多媒体数据压缩技术(第3—4节)课堂笔记及练习题
多媒体技术第二讲多媒体数据压缩技术（第3—4节）课堂笔记及练习题主题：第二讲多媒体数据压缩技术（第3—4节）学习时间：2016年4月11日--4月17日内容：第三节运动图像压缩标准MPEG一、MPEG标准简介MPEG标准是面向运动图像压缩的一个系列标准。
分别在1.5Mbps，10Mbps，40Mbps传输速率下对图像编码，依次命名为MPEG-1，MPEG-2，MPEG-3（被取消）。
后来又增加了MPEG-4，随后还将增加MPEG-7标准。
一个典型的MPEG-l编、解码器原型几点说明：编码部分：①视频和音频编码器分别对MPEG标准的视频和音频进行编码，产生编码图像。
这些输出一般被称为基本码流（ES）；②系统编码器和复接器产生多路复合流，它包含着基本码流以及系统层编码；③多路复合而成的码流以介质特定格式存储在数字存储介质(DSM)或网络上，标准不规定介质特定格式。
解码部分：①系统解码器执行两类操作：一类是作用在整个多路复合流上的操作，称为复合流操作；另一类是作用在单个基本流上的操作，称为特定流操作；②系统解码器从输入多路复合流中抽取定时信息，并对输入流进行分流处理，输出两个基本流分别给视频和音频解码器；③视频和音频解码器分别解码输出视频和声音信号；④系统、视频、音频和介质4个解码器之间用定时信息进行同步。
二、MPEG音频MPEG音频标准的特点：①音频信号采样率可以是32kHz，44.1kHz或48kHz。
②压缩后的比特流可以按4种模式之一（单声道模式、双—单声道模式、单音频通道模式、立体声模式、联合立体声模式）支持单声道或双声道；③压缩后的比特流具有预定义的比特率之一；④MPEG音频标准提供3个独立的压缩层次，用户可在复杂性和压缩质量之间权衡选择（层1最简单，使用比特率384kbps、层2的复杂度中等，使用比特率192kbps左右、层3最复杂，但音质最佳，使用比特率64kbps）；⑤编码后的比特流支持循环冗余校验CRC(cyclic redundancy check)；⑥MPEG音频标准还支持在比特流中载带附加信息。
《多媒体技术》 第二讲 多媒体数据压缩技术(第1—2节)课堂笔记及练习题
多媒体技术第二讲多媒体数据压缩技术（第1—2节）课堂笔记及练习题主题：第二讲多媒体数据压缩技术（第1—2节）学习时间： 4月4日--4月10日内容：第二讲多媒体数据压缩技术第一节多媒体数据和信息转换一、多媒体间的信息转换为了便于交流信息，需要对不同的媒体信息进行转换。
下表是部分媒体之间说明：＊易＊＊较困难＊＊＊很困难二、多媒体数据文件格式多媒体文件的格式很多，下表介绍常用文件格式的特点和应用场合。
三、多媒体数据的信息冗余多媒体计算机系统主要采用数字化方式，对声音、文字、图形、图像、视频等媒体进行处理。
数字化处理的主要问题是巨大的数据量。
一般来说，多媒体数据中存在以下种类的数据冗余：1）空间冗余：一些相关性的成像结构在数字化图像中就表现为空间冗余。
2）时间冗余：两幅相邻的图像之间有较大的相关性，这反映为时间冗余。
3）信息熵冗余（编码冗余）：信息熵是指一组数据所携带的信息量。
如果图像中平均每个像素使用的比特数大于该图像的信息熵，则图像中存在冗余，这种冗余称为信息熵冗余。
4）结构冗余：有些图像从大域上看存在着非常强的纹理结构，例如布纹图像和草席图像，我们说它们在结构上存在冗余。
5）知识冗余：有许多图像的理解与某些基础知识有较大的相关性。
这类规律性的结构可由先验知识和背景知识得到，我们称此类冗余为知识冗余。
6）视觉冗余：人类视觉系统对于图像场的任何变化，并不是都能感知的。
这类冗余我们称为视觉冗余。
7）其他冗余：例如由图像的空间非定常特性所带来的冗余。
以上所讲的是多媒体数据的信息冗余。
设法去掉信号数据中的冗余，就是数据压缩。
第二节常用的数据压缩技术一、数据压缩编码方法1）根据解码后数据与原始数据是否完全一致来进行分类：① 可逆编码(无失真编码)，如Huffman编码、算术编码、行程长度编码等。
② 不可逆编码(有失真编码)，常用的有变换编码和预测编码。
2）根据压缩的原理进行划分：① 预测编码：它是利用空间中相邻数据的相关性，利用过去和现在出现过的点的数据情况来预测未来点的数据。
多媒体技术基础第3版第2章数据无损压缩
*
2.0 数据无损压缩概述(续2)
2章 数据无损压缩
The Father of Information Theory—— Claude Elwood Shannon Born: 30 April 1916 in Gaylord, Michigan, USA Died: 24 Feb 2001 in Medford, Massachusetts, USA
统计编码
编码特性
编码方法
香农-范诺编码 霍夫曼编码 算术编码
*
*
2.2.1 统计编码——香农-范诺编码 香农-范诺编码(Shannon–Fano coding) 在香农的源编码理论中，熵的大小表示非冗余的不可压缩的信息量 在计算熵时，如果对数的底数用2，熵的单位就用“香农(Sh)”，也称“位(bit)” 。“位”是1948年Shannon首次使用的术语。例如 最早阐述和实现“从上到下”的熵编码方法的人是Shannon(1948年)和Fano(1949年)，因此称为香农-范诺(Shannon- Fano)编码法
2章 数据无损压缩
02
霍夫曼(D.A. Huffman)在1952年提出和描述的“从下到上”的熵编码方法
根据给定数据集中各元素所出现的频率来压缩数据的一种统计压缩编码方法。这些元素(如字母)出现的次数越多，其编码的位数就越少
广泛用在JPEG, MPEG, H.26X等各种信息编码标准中
*
*
2.2.2 霍夫曼编码— Case Study 1 现有一个由5个不同符号组成的30个符号的字符串：BABACACADADABBCBABEBEDDABEEEBB 计算 该字符串的霍夫曼码 该字符串的熵 该字符串的平均码长 编码前后的压缩比 霍夫曼编码举例1
多媒体技术基础无损压缩
x(t) (t nT ) n
x(nT ) (t nT )
n
采样分析
原连续时间信号：x(t) X ( j )
采样函数频谱：
P( j) 2 ( k 2 )
T k
T
已采样信号的频谱：
X
P
(
j
)
1
2
X
(
j )
P(
j )
1 T
X
k
(
j(
ks
)
采样
❖此外，对同一个连续时间信号，当采样间 隔不同时也会得到不同的样本序列。
结论：没有任何条件限制的情况下，从连续时间信号 采样所得到的样本序列，不能唯一地确定原来的连续 时间信号，即：一个连续时间信号必须在某一种条件 下才能由其样本来表示。
采样分析
采样函数： p(t) (t nT ) n 采样样本：
香农信息论
传输理论
保密理论
有失真信源编码 无失真信源编码
率失真理论
等长编码 变长编码
定理
定理
有噪声 信道编码理论
网络信道
保密系统的 信息理论
网络信息理论
压缩编码
最优码构成 码 码
码构成 纠错码
网络最佳码
保密码
代数编码 卷积码
信息论之父
❖ —— ❖ : 30 1916 , , ❖ : 24 2001 , ,
s M M s M M
采样分析
对连续时间信号在时域理想采样，就相当 于在频域以采样频率 s为周期延拓，幅值减 小1。要使频谱不混迭，就必须使信号带限， 且
s M M s 2M
上述即为时域采样的约束条件
从而我们得到怎样抽取样本，样本才能唯一地表征原信 号的取样条件，下面为上述分析的一个完整总结－－采样 定理。
大学_多媒体技术基础第三版(林福宗著)课后答案下载
多媒体技术基础第三版（林福宗著）课后
答案下载
多媒体技术基础第三版（林福宗著）课后答案下载
第1章多媒体技术概要
1.1 多媒体的概念
1.1.1 多媒体是什么
1.1.2 超文本的概念
1.1.3 超媒体的概念
1.1.4 多媒体系统的结构
1.2 多媒体数据压缩与编码
1.2.1 为什么要压缩
1.2.2 两种类型的压缩
1.2.3 三种类型的编码
1.2.4 压缩与编码
1.3 多媒体与光盘
1.4 多媒体与网络
1.4.1 因特网是什么
1.4.2 万维网是什么
1.5 多媒体国际标准
1.5.1 国际电信联盟(ITU)标准
多媒体技术基础第三版（林福宗著）：内容提要
点击此处下载多媒体技术基础第三版（林福宗著）课后答案
多媒体技术基础第三版（林福宗著）：图书目录
在第2版的基础上,本版教材对部分章节的内容做了更新,增加了MPEG-4 AVI/H.264和多媒体传输方面的内容。
为保持多媒体技术基础课程内容的'完整性,《多媒体技术基础》仍由四个部分组成: 一是多媒体压缩和编码(第2~13章),主要介绍声音、图像和数字电视媒体的基本知识、压缩和编码方法;二是多媒体存储(第14~16章),主要介绍CD、DVD、HD?-DVD和Blu-ray Disc存储器的存储原理和存储格式;三是多媒体传输(第17~20章),主要介绍多媒体网络应用、服务质量(QoS)、因特网.。
多媒体技术基础.
第二章 多媒体信息的表示与压缩 2.1 文字 一、西文（ASCII码） 二、汉字（数字编码、拼音码、 字型编码）
2.2 音频（Audio）
定义：20HZ～20KHZ的音频范围 分类：波形声音、语音、音乐 声音三要素：音调、音强、音色
一、数字音频
音频数字化：把模拟音频信号转换成 有限个数字表示的离散序列。 转换过程：选择采样频率，进行采样 选择分辨率，进行量化 形成声音文件
2、VOC文件 3、MIDI文件 用于音乐，与WAV文件不同
二、乐器数字接口（MIDI）
MIDI信息实际上是一段音乐的描述，只 记录产生某种声音的指令，指令中包括 了使用MIDI设备的音乐、音量和持续时 间长短信息。是数字化的乐谱，由音符 序列、定时及合成音色的乐器定义组成。
三、数字化声音和MIDI的比较
编码过程
（1）将信源符号按概率递减顺序排列； （2）把两个最小的概率加起来，作为新符 号的概率； （3）重复（1）和（2），直到概率和达到1 为止； （4）在每次合并消息时，将被合并的消息 赋予1和0或0和1； （5）寻找从每一信源符号到概率为1的路径， 记录下路径上的1和0 （6）对每一符号写出从码树的根到终结点1、 0序列
另外，MPEG中视频信号包含有静止画 面（帧内图）和运动信息（帧间预测图） 等不同的内容，量化器的设计比 JPEG 压缩算法的标准，除了解压 后的数据有无失真或失真程度之外，是看 压缩比的大小。压缩比常用的定义有两种： （1） 采样压缩比 （2） 比特压缩比
2、算术编码
定义：是一种二元码的编码方法， 在不考虑信源统计的情况下，只要监视 一小段时间内码出现的频率，不管统计 是平稳的或非平稳的，编码的码率总能 趋近于信源熵值，每次迭代时的编码算 法只处理一个数据符号，并且只有算术 运算。
《多媒体技术》电子教案：多媒体数据压缩编码技术
多媒体技术电子教案：多媒体数据压缩编码技术一、多媒体数据压缩编码技术概述多媒体技术是指利用计算机技术将文字、图像、音频、视频等多种形式的信息进行集成，并能够对它进行处理、传输和存储，以提供更好的用户体验。
在多媒体技术中，数据压缩编码技术是非常重要的一个部分。
数据压缩编码技术可以将多媒体数据进行压缩，以便更有效地存储和传输。
该技术可以通过减少数据冗余、淘汰不必要的数据等方式来降低多媒体文件的大小。
数据压缩编码技术有很多种不同的方法，如无损压缩和有损压缩等。
二、无损压缩技术无损压缩技术是将多媒体数据进行无损压缩，即在不损失数据质量的情况下，将文件大小进行压缩。
常见的无损压缩技术包括：Run Length Encoding（RLE）、标志赋值编码、霍夫曼编码等。
1. Run Length Encoding（RLE）Run Length Encoding（RLE）是一种简单的数据压缩编码技术，它通过识别文件中连续出现的相同数据并进行编码来压缩多媒体数据。
例如，当一张图像中有大量相同的像素时，RLE可以将它们表示为一个像素值和一个重复次数的序列，从而达到压缩数据的目的。
2. 标志赋值编码标志赋值编码也是一种简单的无损压缩技术，它可以通过对多媒体数据中的不同符号/颜色赋予不同的标志来将其进行压缩。
例如，一种常见的标志赋值编码技术是算术编码。
3. 霍夫曼编码霍夫曼编码是一种无损压缩技术，它利用统计学原理来压缩多媒体数据。
该编码技术通过对多媒体数据中出现频率较高的符号/颜色分配短码，对出现频率较低的符号/颜色分配长码，从而达到对数据进行压缩的目的。
三、有损压缩技术有损压缩技术是将多媒体数据进行有损压缩，即在一定程度上损失数据质量的情况下，将文件大小进行压缩。
常见的有损压缩技术包括：数据降采样、量子化、离散余弦变换（DCT）、离散小波变换（DWT）等。
1. 数据降采样数据降采样也是一种简单的有损压缩技术，它通过减少音频和视频数据的采样率和比特率来达到压缩文件大小的目的。
多媒体技术基础第3版课后答案
(7)
cb
(8)
bab
(9)
baba
(10)
aa
(11)
aaa
(12)
aaa
…
…
输出码字
(1) (2) (4) (3) (5) (8) (1) (10) (11) …
2.7 LZ78 算法和LZ77 算法的差别在哪里？ (1) LZ77 编码算法的核心是查找从前向缓冲存储器开始的最长的匹配串(2.4.2 LZ77 算
3.3 什么叫做采样？什么叫做量化？什么叫做线性量化？什么叫做非线性量化？ (1) 采样：在某些特定的时刻对模拟信号进行测量的过程。 (2) 量化：幅值连续的模拟信号转化成为幅值离散的数字信号的过程。 (3) 线性量化：在量化时，信号幅度的划分是等间隔的量化。 (4) 非线性量化：在量化时，信号幅度的划分是非等间隔的量化。
2.8 LZSS算法和LZ77 算法的核心思想是什么？它们之间有什么差别？ (1) LZSS通过输出真实字符解决了在窗口中出现没有匹配串的问题，但这个解决方案包
含有冗余信息。(2.4.3 LZSS算法) (2) LZ77 编码算法的核心是查找从前向缓冲存储器开始的最长匹配串(2.4.2 LZ77 算法)
3.1 音频信号的频率范围大约多少？话音信号频率范围大约多少？ (1) Audio: 20~20000 Hz (2) Speech: 300~3400 Hz
3.2 什么叫做模拟信号？什么叫做数字信号？ (1) 模拟信号是幅度或频率发生连续变化的一种信号。 (2) 数字信号是以二进制代码形式表示有无或高低的一种信号。
1.2 超链接是什么？ 超链接(hyper link)是两个对象或元素之间的定向逻辑链接，是一个对象指向另一个对象
多媒体技术基础试题(附带答案)
《多媒体技术基础》试题1一、选择题（每小题2分，共30分）1.多媒体技术的主要特性有（D ）。
（1）多样性（2）集成性（3）交互性（4）实时性A.仅（1）B.（1）（2）C.（1）（2）（3）D.全部2.一般认为，多媒体技术研究的兴起，从（B ）开始。
A.1972年，Philips展示播放电视节目的激光视盘B.1984年，美国Apple公司推出Macintosh系统机C.1986年，Philips和Sony公司宣布发明了交互式光盘系统CD-ID.1987年，美国RCA公司展示了交互式数字视频系统DVI3.请根据多媒体的特性判断以下哪些属于多媒体的范畴（B ）。
（1）交互式视频游戏（2）有声图书（3）彩色画报（4）彩色电视A.仅（1）B.（1），（2）C.（1），（2），（3）D.全部4.超文本是一个（B）结构。
A.顺序的树形B.非线性的网状C.线性的层次D.随机的链式5.两分钟双声道、16位采样位数、22.05kHz采样频率声音的不压缩的数据量是（A ）。
A.10.09MBB.10.58MBC.10.35KBD.5.05MB6.什么时候需要使用MIDI，（B ）。
（1）没有足够的硬盘存储波形文件时（2）用音乐伴音，而对音乐质量的要求又不是很高时（3）想连续播放音乐时（4）想音乐质量更好时A.仅（1）B.（1），（2）C.（1），（2），（3）D.全部7.下述声音分类中质量最好的是（A ）。
A.数字激光唱盘B.调频无线电广播C.调幅无线电广播D.电话8.在数字视频信息获取与处理过程中，下述顺序（C ）是正确的。
A.A/D变换、采样、压缩、存储、解压缩、D/A变换B.采样、压缩、A/D变换、存储、解压缩、D/A变换C.采样、A/D变换、压缩、存储、解压缩、D/A变换D.采样、D/A变换、压缩、存储、解压缩、A/D变换9.下列关于Premiere软件的描述（C ）是正确的。
（1）Premiere软件与Photoshop软件是一家公司的产品（2）Premiere可以将多种媒体数据综合集成为一个视频文件（3）Premiere具有多种活动图像的特技处理功能（4）Premiere是一个专业化的动画与数字视频处理软件A.（1），（3）B.（2），（4）C.（1），（2），（3）D.全部10. 下列多媒体创作工具（B ）是属于以时间为基础的著作工具。
多媒体技术基础 ppt课件
第1节 多媒体基础知识
第2节 多媒体计算机 第3节 多媒体信息的数字化和压缩技术 第4节 多媒体相关软件简介
第1节 多媒体基础知识
一、任务
某医院儿科护理部要在全市医疗卫生工作会议上做工作报 告，院长要求张护士长一定要全方位立体化、“有声有色” 的把儿科护理部和全院的形象在报告中表现出来。张护士 长犯愁了，自己一个医务工作者，如何“有声有色”的来 完成汇报工作呐？
小刘是某学校的音乐老师，拥有一台普通的计算 机。最近他开通了博客，想录制并合成一些自创 歌曲上传到博客里。考虑到去录音棚的费用太高， 小刘想自己动手录制。那么在现有条件下，小刘 还需要怎么做才能实现自己的愿望？
二、 相关知识与技能
（一） 多媒体计算机系统组成
（二） 多媒体计算机的功能 （三） 多媒体计算机硬件系统 （四） 多媒体计算机软件系统
（二）多媒体信息的数字化（续）
2. 图形/图像的数字化
图形和图像：图形文件中存放的是描述图形的指令，以矢 量图形文件形式存储；图像数字化后以位图形式存储。 动画和视频：图形和图像的动态形式，并配以同步的声音。
计算机应用基础
(第三版) 多媒体技术基础
第 8章
多媒体技术基础
E学习目标
1.了解多媒体信息处理技术与一些常用的软件 2. 理解多媒体信息的数字化过程与数据压缩技术 3.理解并掌握多媒体计算机系统的组成 4. 掌握多媒体的概念、特点与多媒体信息类型 5.掌握多媒体计算机的功能特点
第8章 多媒体计算机基础
第 3节多媒体信息的数字化和压缩技术 一、任务
一对新婚夫妇，决定把他们的结婚录像进行以下几种处理： 1.刻录一张DVD光盘，以供随时在DVD影碟机中播放；2. 在自己的计算机硬盘上保存一份，可随时打开观看；3.上 传到互联网上一份，供朋友们在线观看。他们要实现这个 愿望应该怎么做？
第二章 多媒体数据压缩技术
的一个间隔，信息越长，编码表示它的间隔就
越小，表示这一间隔所需的二进制位就越多。 2、编码方法：后一个编码字符是在前面编码字符 的范围内，利用原概率分配区间重新求解该编 码字符的范围。
33
2.2.2 常用无损压缩算法
3、编码过程举例：假设信源符号为{a,e,i,o,u}，
这些符号的概率分别为{ 0.2, 0.3, 0.1, 0.2， 0.2 }，根据这些概率可把间隔[0, 1)分成5个子 间隔（如下图）： 字符 概率 范围 a 0.2 e 0.3 i 0.1 o 0.2 u 0.2
概述
（1）数据压缩研究主要集中于图像和视频信号的压缩 （2）数据压缩是以一定的质量损失为代价， 质量损失 一般都是在人眼允许的误差范围之内。 （3）压缩处理过程：
编码过程：将原始数据经过编码进行压缩，以便存 储与传输； 解码过程：对编码数据进行解码，还原为可以使用 的数据。
18
2.1
概述
四、衡量数据压缩技术的指标
第二章 多媒体数据压缩技术
2.1
概述
2.2
常用的数据压缩技术
1
2.1 概述
一、为什么要进行数据压缩
1. 多媒体信息数据量大
例:对语音信号来说（20HZ—4KHZ) 依据采样定理，设数字化精度为8bit，则1秒
数据量为：
4k 2 8b 64kb
2
2.1 概述
对动态图像信息来说，采用代表光强、色彩和饱 和度的YIQ彩色空间，如果带宽分别为： 4.2MHZ、1.5MHZ、0.5MHZ，则1秒钟数据量为：
（1）第一个字符e被编码时： rangelow=0.2, rangehigh=0.5 low=low+range*rangelow = 0+1*0.2=0.2, high=low+range*rangehigh=0+1*0.5=0.5 Range=high-low=0.5-0.2=0.3 此时分配给e的范围为[0.2,0.5）
多媒体技术基础题及答案
多媒体技术基础题及答案2016年多媒体技术基础题及答案多媒体技术是一种迅速发展的综合性电子信息技术，它给传统的计算机系统、音频和视频设备带来了方向性的变革，将对大众传媒产生深远的影响。
下面随yjbys店铺一起来看看最新的多媒体考试题及答案!填空题1.在计算机中表示一个圆时,用圆心和半径来表示,这种表示方法称为矢量法。
2.数据压缩算法可分无损压缩和有损压缩两种。
3. 视频采集卡是多媒体计算机获取影像处理功能的关键性的适配器。
4.多媒体计算机获取图形或静态图像的方法包括：计算机直接产生、扫描输入和视频信号数字化仪器将彩色全电视信号转换后输入三种。
5.多媒体的集成性是指以计算机为中心，综合处理多种信息媒体的特性，它包括信息媒体的集成和处理这些信息媒体的设备与软件的集成。
6.多媒体其含义，一是指存储信息的实体，如磁盘、光盘、磁带等;二是指传递信息的载体，如数字、文字、声音、图形和图像。
7.RGB中的R、G、B分别表示红、绿、蓝三种颜色。
8.表示图像的色彩位数越多，则同样大小的图像所占的存储空间越大。
9.多媒体软件开发过程一般包括四个方面：项目内容和框架的确定、脚本的编写和改编、媒体素材的准备和计算机处理、计算机多媒体集成以及软件测试。
10.现在主流的DVD光盘的单面存储量是 4.7 GB。
11.数据压缩算法可分无损压缩和有损压缩两种。
12.扩展名OVL、GIF、BAT中，代表图像文件扩展名的是 GIF 。
13.衡量数据压缩技术性能好坏的重要指标是压缩比、算法复杂度、恢复效果14.以下分辨率、色彩位数、扫描速度是扫描仪的主要性能指标。
15.扫描仪可以在图像输入、光学字符识别应用中使用16. 16位的增强色能表示____65536 ____种颜色。
17. 真彩色的颜色深度为_____24_______位。
18. 模拟图像数字化经过采样、量化、编码三个过程。
19. 颜色具有三个特征：亮度、色调、饱和度。
20.衡量数据压缩技术性能好坏的重要指标是压缩比、算法复杂度、恢复效果。
多媒体技术Chap02 数据无损压缩
2.0 压缩的依据
▪ 数据冗余：统计冗余或数据中出现的结构（空域 内、时域内、频域内）
▪ 视听冗余：感知上多余的信息
• 听觉系统的敏感度有限 • 视觉系统的敏感度有限
第2章 数据无损压缩
10 of 92
2.0 多媒体与压缩
▪ 三种多媒体数据类型
• 文字 (text)数据——无损压缩
• 根据数据本身的冗余(Based on data redundancy)
第2章 数据无损压缩
目录
2.0 简介
2.1 信息论基础知识
信息量、熵、信源编码 决策量、编码冗余
2.2 统计编码
2.2.1 香农-范诺编码 2.2.2 霍夫曼编码 2.2.3 算术编码
2.3 行程长度编码
2.4 词典编码
2.4.1 词典编码的思想 2.4.2 LZ77算法 2.4.3 LZSS算法 2.4.4 LZ78算法 2.4.5 LZW算法2.2.Biblioteka 算术编码2.3 行程长度编码
第2章 数据无损压缩
14 of 92
2.1 信息论基础知识
▪ 数据无损压缩的理论——信息论(information theory)
• 1948年创建的数学理论的一个分支学科，研究信息 的编码、传输和存储
• 最初应用于通信工程领域，后扩展到包括计算在内 的多个领域，如信息的存储、信息的检索等。
(1) 计算该图像可能获得的压缩比的理论值 (2) 对5个符号进行编码 (3) 计算该图像可能获得的压缩比的实际值
符号在图像中出现的数目
符号
A
B
C
D
E
出现的次数
15
7
7
6
5
出现的概率 15/40 7/40 7/40 6/40
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章 数据无损压缩
18 of 42
2.2.2 霍夫曼编码— Case Study 1
霍夫曼编码举例1
现有一个由5个不同符号组成的30个符号的 字符串：
BABACACADADABBCBABEBEDDABEEEBB
计算
(1) 该字符串的霍夫曼码 (2) 该字符串的熵 (3) 该字符串的平均码长 (4) 编码前后的压缩比
霍夫曼(D.A. Huffman)在1952年提出和描述的 “从下到上”的熵编码方法 根据给定数据集中各元素所出现的频率来压 缩数据的一种统计压缩编码方法。这些元素 (如字母)出现的次数越多，其编码的位数就 越少 广泛用在JPEG, MPEG, H.26X等各种信息编码 标准中
2011年1月23日
H ( X ) p ( xi ) log 2 p( xi )
i 1 n
p ( A) log 2 ( p ( A)) p ( B ) log 2 ( p ( B )) p ( E ) log 2 ( p ( E )) = (15/40) log 2 (40/15)+(7/40) log 2 (40/7)+ +(5/40) log 2 (40/5) 2.196
Master's thesis, A symbolic analysis of relay and switching circuits Doctoral thesis: on theoretical genetics
In 1948:
A mathematical theory of communication, landmark, climax (An important feature of Shannon's theory: concept of entropy )
第2章 数据无损压缩
2.2.1 香农-范诺编码(续1)
(1) 压缩比的理论值
按照常规的编码方法，表示5个符号最少需要3位， 如用000表示A，001表示B，…，100表示E，其余3 个代码 (101，110，111)不用。这就意味每个像素用 3位，编码这幅图像总共需要120位。按照香农理 论，这幅图像的熵为
第2章 数据无损压缩
视听冗余
数据冗余
2011年1月23日
7 of 42
2.1 数据的冗余(续1)
决策量(decision content)
在有限数目的互斥事件集合中，决策量是事 件数的对数值 在数学上表示为
H0=log(n) 其中，n是事件数
决策量的单位由对数的底数决定
Sh (Shannon): 用于以2为底的对数 Nat (natural unit): 用于以e为底的对数 Hart (hartley)：用于以10为底的对数
(1) 计算该图像可能获得的压缩比的理论值 (2) 对5个符号进行编码 (3) 计算该图像可能获得的压缩比的实际值 表2-1 符号在图像中出现的数目 符号 出现的次数 出现的概率 A 15 15/40 B 7 7/40 C 7 7/40 D 6 6/40 E 5 5/40
14 of 42
2011年1月23日
2011年1月23日
第2章 数据无损压缩
10 of 42
2.1 数据的冗余(续4)
数据的冗余量
2011年1月23日
第2章 数据无损压缩
11 of 42
2.2 统计编码
统计编码
给已知统计信息的符号分配代码的数据无损压缩方法 香农-范诺编码 霍夫曼编码 算术编码 香农-范诺编码和霍夫曼编码的原理相同，都是根据符 号集中各个符号出现的频繁程度来编码，出现次数越 多的符号，给它分配的代码位数越少 算术编码使用0和1之间的实数的间隔长度代表概率大 小，概率越大间隔越长，编码效率可接近于熵
2011年1月23日
第2章 数据无损压缩
20 of 42
2.2.2 霍夫曼编码— Case Study 1 (续2)
(1) 计算该字符串的霍夫曼码
步骤①：按照符号出现概率大小的顺序对符号进行排序 步骤②：把概率最小的两个符号组成一个节点P1 步骤③：重复步骤②，得到节点P2，P3，P4，……， PN，形成一棵树，其中的PN称为根节点 步骤④：从根节点PN开始到每个符号的树叶，从上到下 标上0(上枝)和1(下枝)，至于哪个为1哪个为0则 无关紧要，但通常把概率大的标成1，概率小的 标成0 步骤⑤：从根节点PN开始顺着树枝到每个叶子分别写出 每个符号的代码
/news/2001/february/26/1.html
2011年1月23日
第2章 数据无损压缩
5 of 42
2.0 数据无损压缩概述(续3)
Claude Shannon ——The founding father of electronic communications age；American mathematical engineer In 1936~1940, MIT:
2.4.1 词典编码的思想 2.4.2 LZ77算法 2.4.3 LZSS算法 2.4.4 LZ78算法 2.4.5 LZW算法
2.2 统计编码
2.2.1 香农-范诺编码 2.2.2 霍夫曼编码 2.2.3 算术编码
参考文献和站点
2011年1月23日
第2章 数据无损压缩
2 of 42
2.0 数据无损压缩概述
第2章 数据无损压缩
编码方法
编码特性
2011年1月23日
12 of 42
2.2.1 统计编码——香农-范诺编码
香农-范诺编码(Shannon–Fano coding)
在香农的源编码理论中，熵的大小表示非冗余的不 可压缩的信息量 在计算熵时，如果对数的底数用2，熵的单位就用 “香农(Sh)”，也称“位(bit)” 。“位”是1948年Shannon 首次使用的术语。例如
2011年1月23日
第2章 数据无损压缩
6 of 42
2.1 数据的冗余
冗余概念
人为冗余
在信息处理系统中，使用两台计算机做同样的工作是提高 系统可靠性的一种措施 在数据存储和传输中，为了检测和恢复在数据存储或数据 传输过程中出现的错误，根据使用的算法的要求，在数据 存储或数据传输之前把额外的数据添加到用户数据中，这 个额外的数据就是冗余数据 由于人的视觉系统和听觉系统的局限性，在图像数据和声 音数据中，有些数据确实是多余的，使用算法将其去掉后 并不会丢失实质性的信息或含义，对理解数据表达的信息 几乎没有影响 不考虑数据来源时，单纯数据集中也可能存在多余的数 据，去掉这些多余数据并不会丢失任何信息，这种冗余称 为数据冗余，而且还可定量表达
(2) 符号编码
对每个符号进行编码时采用“从上到下”的方法。首 先按照符号出现的频度或概率排序，如A，B，C， D和E，见表2-2。然后使用递归方法分成两个部 分，每一部分具有近似相同的次数，如图2-1所示
2011年1月23日
第2章 数据无损压缩
16 of 42
2.2.1 香农-范诺编码(续3)
第2章 数据无损压缩
数据无损压缩的方法
2011年1月23日
4 of 42
2.0 数据无损压缩概述(续2)
信息论之父介绍
The Father of Information Theory—— Claude Elwood Shannon
Born: 30 April 1916 in Gaylord, Michigan, USA Died: 24 Feb 2001 in Medford, Massachusetts, USA
声音(audio)数据——有损压缩
图像(image)/视像(video) 数据——有损压缩
2011年1月23日
第2章 数据无损压缩
3 of 42
2.0 数据无损压缩概述(续1)
数据无损压缩的理论——信息论(information theory)
1948年创建的数学理论的一个分支学科，研究信息的编码、 传输和存储 该术语源于Claude Shannon (香农)发表的“A Mathematical Theory of Communication”论文题目，提议用二进制数据对信 息进行编码 最初只应用于通信工程领域，后来扩展到包括计算在内的其 他多个领域，如信息的存储、信息的检索等。在通信方面， 主要研究数据量、传输速率、信道容量、传输正确率等问题。 霍夫曼编码(Huffman coding ) 算术编码(arithmetic coding) 行程长度编码(run-length coding) 词典编码(dictionary coding) ……
图2-1 香农-范诺算法编码举例
（3）压缩比的实际值
按照这种方法进行编码需要的总位数为 30+14+14+18+15＝91，实际的压缩比为 120:91≈1.32 : 1
第2章 数据无损压缩
2011年1月23日
17 of 42
2.2.2 统计编码——霍夫曼编码
霍夫曼编码(Huffman coding)
一个等概率事件的集合，每个事件的信息量等于该 集合的决策量
第2章 数据无损压缩
2011年1月23日
9 of 42
2.1 数据的冗余(续3)
熵(entropy)