5数据压缩技术

多媒体数据压缩技术
5.1 数据压缩基本原理 5.1.1 信息、数据与编码 信息、 5.1.2 数据压缩的条件 5.1.3 数据冗余 5.2 数据压缩算法 5.2.1 数据压缩算法分类 5.2.2 预测编码原理 5.2.3 变换编码原理 5.2.4 统计编码原理 5.2.5 霍夫曼编码原理 5.2.6 行程编码原理
■ 44.1kHz / Stereo 1.3MB ■ 22.0kHz / Mono 0.3MB ■ Stop
● 信息传输与存储的限制 (压缩 → 传输或存储 → 解压缩 解压缩) 压缩
数据冗余 ● 冗余基本概念
● 冗余 —— 信息所具有的各种性质中多余的无用空间 ● 冗余度 —— 多余的无用空间的程度 ● 信息量与冗余的关系
● 冗余分类 [1] 空间冗余 空间冗余——规则物体的物理相关性 规则物体的物理相关性 [2] 时间冗余 时间冗余——视频与动画画面间的相关性 视频与动画画面间的相关性 [3] 统计冗余 统计冗余——具有空间冗余和时间冗余 具有空间冗余和时间冗余 [4] 结构冗余 结构冗余——规则纹理、相互重叠的结构表面 规则纹理、 规则纹理 [5] 信息熵冗余 信息熵冗余——编码冗余，数据与携带的信息 编码冗余， 编码冗余 [6] 视觉冗余 视觉冗余——视觉、听觉敏感度和非线性感觉 视觉、 视觉 [7] 知识冗余 知识冗余——凭借经验识别 凭借经验识别 [8] 其他冗余 其他冗余——上述 种以外的冗余 上述7种以外的冗余 上述
I = D － du
I — 信息量 D — 数据量 du — 冗余量，包含在 中 冗余量，包含在D中
● 冗余举例
播音员—— 180字/分钟，2Byte一个字，360Byte (合0.35KB/分钟 分钟， 一个字， 分钟) 播音员 字 分钟 一个字 合 分钟 音频数据——8kHz采样×8bit×60秒 = 3840KBit (合480KB/分钟 采样× 分钟) 音频数据 采样 × 秒 合 分钟
例 例2-1 设信源有16种符号，其出现的概率相同，即 P（Xi） =1/16。计算其平均信息熵。
例 例2-2 某信源有8种符号，其出现的概率如下：
2. 香侬理论的要点
• 信源中含有自然冗余度，这些冗余度既来自于信源本身的相 关性，又来自于信源概率分布的不均匀性，只要找到去除相 关性或改变概率分布不均匀性的手段和方法，也就找到了信 息熵编码的方法。 • 但信源所含有的平均信息量（熵）是进行无失真编码的理论 的极限，只要不低于此极限，就能找到某种适宜的编码方法， 去逼近信息熵，实现数据压缩。
MULTIMEDIA TECHNOLOGY
第5章
第
5章
5.2.7 算术编码原理 5.2.8 LZW压缩编码 压缩编码 5.3 静态图像 静态图像JPEG压缩编码技术 压缩编码技术 5.3.1 JPEG标准的由来 标准的由来 5.3.2 JPEG压缩算法 压缩算法 5.3.3 无失真预测编码 5.3.4 有失真DCT压缩编码 有失真 压缩编码 5.4 动态图像MPEG压缩编码技术 压缩编码技术 动态图像 5.4.1 基本原理 5.4.2 MPEG技术标准 技术标准
公式中， 是随机消息组合X{a1,a2,…,ar}中的 公式中，Pi (i = 1,2,…,r )是随机消息组合 是随机消息组合 中的 消息ai (i = 1,2,…,r )的先验概率。 的先验概率。 消息 的先验概率 Pi 可以度量 i (i = 1,2,…,r )所含的信息量。 可以度量a 所含的信息量。 所含的信息量 而I(ai) (i = 1,2,…,r )在X的先验概率空间 的先验概率空间P{p1,p2,…,pr}中的 在 的先验概率空间 中的 统计平均值为信息源X的熵： 统计平均值为信息源 的熵： 的熵 n H(X) = H{p1,p2,…,pr} = - ∑ Pilog2pi i=1 信息源X的熵用来度量 中每种消息所包含的平均信息量。信息熵 信息源 的熵用来度量X中每种消息所包含的平均信息量 的熵用来度量 中每种消息所包含的平均信息量。 主要表示信息系统的有序程度，而不是热力学中系统的无序程度。 主要表示信息系统的有序程度，而不是热力学中系统的无序程度。
例 考虑一张 640×480 的全彩影像 640×480×3×8= 7,372,800 Bits 调制解调器(Modem)为 36Kbps 7372800/36000= 204.8 (sec)= 3.41 (min) 假设压缩算法(JPEG)的压缩率为1:12 (7372800/12)/36000= 17.1 (sec) 对图片压缩效果较好，但对色彩单纯的图形則效果一般不很理 想。
● 冗余分类 [1] 空间冗余 空间冗余——规则物体的物理相关性 规则物体的物理相关性 [2] 时间冗余 时间冗余——视频与动画画面间的相关性 视频与动画画面间的相关性 [3] 统计冗余 统计冗余——具有空间冗余和时间冗余 具有空间冗余和时间冗余 [4] 结构冗余 结构冗余——规则纹理、相互重叠的结构表面 规则纹理、 规则纹理 [5] 信息熵冗余 信息熵冗余——编码冗余，数据与携带的信息 编码冗余， 编码冗余 [6] 视觉冗余 视觉冗余——视觉、听觉敏感度和非线性感觉 视觉、 视觉 [7] 知识冗余 知识冗余——凭借经验识别 凭借经验识别 [8] 其他冗余 其他冗余——上述 种以外的冗余 上述7种以外的冗余 上述
我们了解的东西，描述它用的信息量少，不了解的东 西，描述它用的信息量大。 在信息论中，可以说：信息是用不确定的度量来定义 的；一个消息的可能性越小，其信息含量越大；消息 的可能性越大，则信息含量越小。
5.1 数据压缩基本原理 5.1.1 信息、数据与编码 信息、 1．信息和熵 ． ● 信息量的大小和消息有一定的关系。在数学上，消息是其出现概率 信息量的大小和消息有一定的关系。在数学上， 的单调下降函数。信息量越大，消息的可能性越小，反之亦然。 的单调下降函数。信息量越大，消息的可能性越小，反之亦然。 ● 信息量：为了从N个相等的可能事件中挑选出一个事件所需的信息 信息量： 度量和含量，所提问“是或否”的次数。也就是说，在N个事件中 度量和含量，所提问“是或否”的次数。也就是说， 辨 识特定的一个事件要询问“是或否”次数。 识特定的一个事件要询问“是或否”次数。 例 要从256个数中选定某一个数，可以先提问“是否大于128？”，不 论 回答是与否，则半数的可能事件被取消。如果继续询问下去，每次 询问将对应一个1bit的信息量。
● 冗余分类 [1] 空间冗余 空间冗余——规则物体的物理相关性 规则物体的物理相关性 [2] 时间冗余 时间冗余——视频与动画画面间的相关性 视频与动画画面间的相关性 [3] 统计冗余 统计冗余——具有空间冗余和时间冗余 具有空间冗余和时间冗余 [4] 结构冗余 结构冗余——规则纹理、相互重叠的结构表面 规则纹理、 规则纹理 [5] 信息熵冗余 信息熵冗余——编码冗余，数据与携带的信息 编码冗余， 编码冗余 [6] 视觉冗余 视觉冗余——视觉、听觉敏感度和非线性感觉 视觉、 视觉 [7] 知识冗余 知识冗余——凭借经验识别 凭借经验识别 [8] 其他冗余 其他冗余——上述 种以外的冗余 上述7种以外的冗余 上述
5.1 数据压缩基本原理 ● 数据压缩原理 数据压缩原理
• 数据压缩的对象是数据。数据是信息的载体，用来记录和 传送信息。真正有用的不是数据本身，而是数据所携带的 信息。大的数据量并不代表含有大的信息量 。 • 而对于去掉冗余的数据对信息没有本质的影响称为压缩。
5.1.1 信息、数据与编码 信息、 自然现象 例
● 冗余分类 [1] 空间冗余 空间冗余——规则物体的物理相关性 规则物体的物理相关性 [2] 时间冗余 时间冗余——视频与动画画面间的相关性 视频与动画画面间的相关性 [3] 统计冗余 统计冗余——具有空间冗余和时间冗余 具有空间冗余和时间冗余 [4] 结构冗余 结构冗余——规则纹理、相互重叠的结构表面 规则纹理、 规则纹理 [5] 信息熵冗余 信息熵冗余——编码冗余，数据与携带的信息 编码冗余， 编码冗余 [6] 视觉冗余 视觉冗余——视觉、听觉敏感度和非线性感觉 视觉、 视觉 [7] 知识冗余 知识冗余——凭借经验识别 凭借经验识别 [8] 其他冗余 其他冗余——上述 种以外的冗余 上述7种以外的冗余 上述
5.1.2 数据压缩的条件 ● 数据冗余度 (重复数据、可忽略数据 重复数据、 重复数据 可忽略数据) ● 人类不敏感因素 (颜色、亮度、细节等 颜色、 颜色 亮度、细节等) 重复数据 可忽略数据 ● 颜色不敏感因素 颜色不敏感因素
224 颜色 (16,777,216色) 色
28 颜色 (256色) 色 ● 音频不敏感因素 (试听 试听) 试听
●例 随着每次询问，有半数的可能事件被取消，这个过程由公式表示： 随着每次询问，有半数的可能事件被取消，这个过程由公式表示： log2256 = 8 bit 可看出：对于 个数的询问只要进行8次 即可确定一个具体的数。 可看出：对于256个数的询问只要进行 次，即可确定一个具体的数。 个数的询问只要进行 设：从N个数中选定任意一个数 的概率为 个数中选定任意一个数x的概率为 个数中选定任意一个数 的概率为p(x)，假定选定任意一个数 ， 的概率都相等，即p (x)=1/N，则信息量为： 的概率都相等， ，则信息量为： I (x) = log2N = - log21／N = - log2p(x) = I [p(x)] ／ 如果将信息源所有可能事件的信息量进行平均，即可得到信息的“ 如果将信息源所有可能事件的信息量进行平均，即可得到信息的“熵” (熵是平均信息量)，信息源 的符号集为 熵是平均信息量 ，信息源X的符号集为 的符号集为xi(i=1,2,…,N)。 。 设：xi出现的概率为 出现的概率为p(xi)，则信息源 的熵为： 的熵为： 出现的概率为 ，则信息源X的熵为 n H(x) = n P(xi ) I [p(xi )] = -∑ P(xi )log2p(xi ) i=1 i=1
∑
2. 信息与数据 信息可以用函数表示，该函数由信息论创始人 香农提出 信息可以用函数表示，该函数由信息论创始人C.E.Shannon香农提出， 香农提出， 以概率论的观点对信息进行定量描述，具体的信息函数表达式为： 以概率论的观点对信息进行定量描述，具体的信息函数表达式为： I(ai ) = -log2Pi (i = 1,2,…,r )