数字媒体技术导论

• H(X )=E{I(xj )}=
P ( xj ) log2 P ( xj )
j 1
n
H(X )称为信源X 的“熵”，即信源X发出任 意一个随机变量的平均信息量。 • 其中，等概率事件的熵最大，假设有N个事件， 此时熵为： H(X )＝ 1 log 2 1 ＝ log 2 N N N
j 1 N
数字媒体技术导论
信息熵(续)
• 当P(x1)＝1时，P(x2)＝P(x3)＝…＝P(xj)＝0，此 时熵为 H(X)＝－ P(x1) log 2 P( x1) ＝0 • 由上可得熵的范围为： 0≤ H(X) ≤
log 2 N
数字媒体技术导论
信息熵(续)
• 在编码中用熵值来衡量是否为最佳编码。若以 Lc表示编码器输出码字的平均码长，其计算公 式为：
统 计 编 码
预 测 编 码
变 换 编 码
分 析
图像压缩
视音频压缩
合 成 编 码
—
JPEG 等 运动图像 声音
MP3 MPE G H.26x 系列 AVS
数字媒体技术导论
按信息压缩前后比较是否有损失进行划分：
• 无损压缩指使用压缩后的数据进行重构（还原
或解压缩），重构后的数据与原来的数据完全
相同。常用的无损压缩算法有霍夫曼(Huffman) 算法和LZW算法 。也称为可逆编码。 • 有损压缩指使用压缩后的数据进行重构，重构 后的数据与原来的数据有所不同，但不影响人 对原始资料表达的信息造成误解。也称为不可 逆编码。
数字媒体技术导论
输入数据 A B
输出数据 1 C 4 A
编码词典 1. A B 2. A X 3. A E 4. A X 5. B X X D
C
A D X Y X
.....
A D Y
.....
8.2.4.1 LZ77算法
• LZ77是以以色列计算机专家Abraham Lempel和 Jakob Ziv在1977年开发和发表的。
数字媒体技术导论
LZ77算法具体步骤
（1）把编码位臵设臵到输入数据流的开始位臵。 （2）找窗口中最长的匹配串 （3）以“(Pointer, Length) Characters”的格式 输出，其中Pointer是指向窗口中匹配串的指针， Length表示匹配字符的长度，Characters是前向 缓冲存储器中的不匹配的第1个符。 （4）如果前向缓冲存储器不是空的，则把编码位臵 和窗口向前移(Length+1)个字符，然后返回到步 骤（2）。
8.1.1 压缩的可能性与信息冗余
数据能够被压缩的主要原因在于媒体数据中存 在数据的信息冗余。信息量包含在数据之中，一 般的数据冗余主要体现在： 1）空间冗余 2）结构冗余 3）时间冗余
4）视觉冗余
5）知识冗余 6）信息熵冗余
数字媒体技术导论
8.1.2 数据压缩分类
数据压缩分类
数据压缩方法分类
数字媒体压缩标准分类
数字媒体技术导论
8.2.4.2 LZW算法
• LZW压缩算法是一种新颖的压缩方法，它采用了一 种先进的串表压缩，将每个第一次出现的串放在 一个串表中，用一个数字来表示串，压缩文件只 存贮数字，则不存贮串，从而使图像文件的压缩 效率得到较大的提高。 • LZW编码是围绕称为词典的转换表来完成的。
数字媒体技术导论
数字媒体技术导论
霍夫曼编码的特点：
• 霍夫曼编码构造出来的编码值不是唯一的。
• 对不同信号源的编码效率不同。
• 由于编码长度可变，因此译码时间较长；编
码长度的不统一，也使得硬件实现有难度。
数字媒体技术导论
8.2.3 行程编码
• 行程编码又称行程长度编码（Run Length Encoding， RLE），是一种熵编码。这种编码方法广泛地应用于各 种图像格式的数据压缩处理中。 • 行程编码的原理是在给定的图像数据中寻找连续重复的
数字媒体技术导论
8.2.4 词典编码
词典编码（dictionary encoding）技术 属于无损压缩技术，主要是利用数据本身包含 许多重复的字符串的特性。可以用一些简单的 代号代替这些字符串，就可以实现压缩，实际 上就是利用了信源符号之间的相关性。字符串 与代号的对应表就是词典。
数字媒体技术导论
数字媒体技术导论
8.1 数据压缩及分类
8.1.1 压缩的可能性与信息冗余
经过数字化处理后的图形、图像、视频和音频 等媒体信息的数据量非常大，如果不进行数据压缩， 计算机系统就无法对它进行存储、交换和传输。 1）数字图像 2）数字视频 3）数字音频
（数据量的计算）
数字媒体技术导论
8.1 数据压缩及分类
数字媒体技术导论
无记忆信源
【无记忆信源】（1）存在一个或多个基本符号集；（2）将多 个基本符号集做笛卡儿积，形成一定长度的联合概率空间； （3）运用外力的功（电动势）将单个符号或一定长度的符 号序列从随机事件转化成必然事件，或者说，将一个随机系 统转化成一个必然系统；并且回退到原始空间中来，该原始 空间的概率分布不因为事件的发生而改变。 【有记忆信源】（1）存在一个或多个基本符号集；（2）将多 个基本符号集做笛卡儿积，形成一定长度的联合概率空间； （3）运用外力的功（电动势）将单个符号或一定长度的符 号序列从随机事件转化成必然事件，或者说，将一个随机系 统转化成一个必然系统；不能回退到原始空间中来，即原始 空间的概率分布因为事件的发生而改变。
14 个 0
• 用RLE编码方法得到的代码为：4160841140。 代码斜黑体表示的数字是行程长度，黑体字后 面的数字代表像素的颜色值。
数字媒体技术导论
行程编码分类：
• 定长编码
– 定长编码是指编码的行程长度所用的二进制 位数固定
• 不定长编码
– 变长行程编码是指对不同范围的行程长度使 用不同位数的二进制位数进行编码。使用变 长行程编码需要增加标志位来表明所使用的 二进制位数。
L c＝
P ( x ) L( x )
j j j 1
n
（j=1,2,…,n）
其中：P(xj ) 是信源X发出xj 的概率，L(xj)为 xj的编码长。
数字媒体技术导论
信息熵(续)
• 平均码长与信息熵之间的关系为： – Lc≥H(X) 有冗余，不是最佳。
– Lc ＜ H(X )不可能。 – Lc ＝ H(X )最佳编码（ Lc稍大于H(X ) ） • 熵值为平均码长Lc的下限。
数字媒体技术导论
8.2.2 霍夫曼编码
• 霍夫曼编码（Huffman）是运用信息熵原理的 一种无损编码方法，这种编码方法根据源数据 各信号发生的概率进行编码。 • 在源数据中出现概率大的信号，分配的码字越
短；出现概率越小的信号，其码字越长，从而
达到用尽可能少的码表示源数据。
数字媒体技术导论
霍夫曼编码的算法：
… … … …
. ..
A B C D X
A B C
M
.....来自百度文库..
数字媒体技术导论
词典编码的种类：
• 第二种算法的思想是 从输入的数据中创建 一个“短语词典”， 这类短语不一定有具 体的含义，可以是任 意字符的组合。在编 码过程中遇到在“短 语词典”中出现的短 语是，编码器就输出 这个词典中的短语 “索引号”，而不是 短语本身。
数字媒体技术导论
按数据压缩编码的原理和方法进行划分：
• 统计编码：主要针对无记忆信源，根据信息码 字出现概率的分布特征而进行压缩编码，寻找 概率与码字长度间的最优匹配。 • 预测编码：是利用空间中相邻数据的相关性来 进行压缩数据的。 • 变换编码：是将图像时域信号转换为频域信号 进行处理。 • 分析– 合成编码：是指通过对源数据的分析， 将其分解成一系列更适合于表示的“基元”或 从中提取若干更为本质意义的参数，编码仅对 这些基本单元或特征参数进行。
数字媒体技术导论
按照媒体的类型进行压缩划分：
• 图像压缩标准：JPEG等 • 声音压缩标准：MP3 • 运动图像压缩标准：MPEG、H.26x系列、AVS
目录 数字媒体技术导论
8.2 通用的数据压缩技术
– 行程编码 无损压缩技术 – 字典编码 – 熵编码等 – PCM 有损压缩技术 – DM – DPCM 通用的压缩方法具有压缩比低、 通用性强等特点
• 信息量是指信源中某种事件的信息度量或含量。 一个事件出现的可能性愈小，其信息量愈多， 反之亦然。 • 若pi为第i个事件的概率为0≤ pi ≤1，则该事 件的信息量为 • 一个信源包括的所有数据叫数据量，而数据量 中包含有冗余信息。 信息量 = 数据量-冗余量
数字媒体技术导论
信息熵
• 信息熵就是将信源所有可能事件的信息量的平均。 • 设从N个数中选定任一个数xj的概率为p(xj)，假定选定 任意一个数的概率都相等，即p(xj) ＝1/N，则
数字媒体技术导论
第八章 数字媒体压缩技术
教学目标： （1）了解数字媒体数据压缩的原因。 （2）理解数字媒体数据压缩技术的不同分类。 （3）掌握通用的数据压缩编码算法。 （4）了解各种数字媒体数据压缩的标准。
数字媒体技术导论
学习内容：
8.1 数据压缩及分类
8.2 通用的数据压缩技术
8.3 数字媒体压缩标准
• 此算法的一个改进算法是由Storer和Szymanski在 1982年开发的，称为LZSS算法。
• LZ77 算法在某种意义上又可以称为“滑动窗口压 缩”，该算法将一个虚拟的、可以跟随压缩进程 滑动的窗口作为词典，要压缩的字符串如果在该 窗口中出现，则输出其出现位臵和长度。
数字媒体技术导论
LZ77算法中涉及的概念
词典编码的种类：
输入数据 输出数据 A B C D X P M
. ... .. ....
• 第一种方法的思想是查 找目前正在压缩的字符 序列在以前输入的数据 中是否出现过，然后用 出现过的字符串代替重 复的部分，它的输出仅 仅是指向早期出现过的 字符串“指针”。 • 这里所指的词典是指用 以前处理过的数据表示 编码过程中遇到的重复 部分。这类编码的所有 算法都是以LZ77算法为 基础的。
1. 输入字符流(input stream)：要被压缩的字符序 列。 2. 字符(character)：输入数据流中的基本单元。 3. 编码位臵(coding position)：输入数据流中当 前要编码的字符位臵，指前向缓冲存储器中的开 始字符。 4. 前向缓冲存储器(Lookahead buffer)：存放从编 码位臵到输入数据流结束的字符序列的存储器。 5. 窗口(window)：指包含W个字符的窗口，字符是 从编码位臵开始向后数也就是最后处理的字符数。 6. 指针(pointer)：指向窗口中的匹配串且含长度 的指针。
目录 数字媒体技术导论
8.2.1 编码的理论基础
• 数据压缩技术的理论基础是信息论。 • 根据信息论的原理，可以找到最佳数据压缩编 码方法，数据压缩的理论极限是信息熵。 • 熵是信息量的度量方法，它表示某一事件出现 的消息越多，事件发生的可能性就越小，数学 上就是概率越小。
数字媒体技术导论
信息与信息量
数值，然后用两个字符取代这些连续值。即将具有相同
值的连续串用其串长和一个代表值来代替，该连续串就
称为行程，串长称为行程长度。
数字媒体技术导论
8.2.3 行程编码
• 假定一幅灰度图像，第n行的像素值为：
1111 888 „„ 888 1111 00000000000000
4个 1
60 个 8
4个 1
I(xj)＝log2N＝-log2 1/N ＝-log2p(xj)=I[p(xj)]
上式中，p(xj)是信源X发出xj的概率。I(xj)的含义是信 源X发出xj这个消息（随机事件）后，接收端收到信息
量的量度。
数字媒体技术导论
信息熵(续)
• 信源X 发出的xj(j=1,2,…,n)共n 个随机事件 的信息量的统计平均，即
LZW算法中的术语和符号
1. 前缀(Prefix)： 在一个字符之前的字符序列。 2. 缀-符串(String)：前缀＋字符。
1. 初始化，根据符号概率的大小顺序对符号进行排 序。 2. 把概率最小的两个符号组成一个新符号(节点)， 即新符号的概率等于这两个符号概率之和。 3. 重复第2步，直到形成一个符号为止（树），其概 率和等于1。 4. 分配码字。码字分配从最后一步开始反向进行， 即从最后两个概率开始逐渐向前进行编码，对于 每次相加的两个概率，给概率大的赋“0”，概率 小的赋“1”（也可以全部相反，如果两个概率相 等，则从中任选一个赋“0”，另一个赋“1”）。