多媒体技术 04数据压缩基础

( 5 ) I ( x; y) ? I ( x) ? I ( y ) ? I ( xy ) ( 6 ) I ( xy ) ? I ( x) ? I ( y ) ? I ( x; y )
I(x) I(y)
I(xy)
16
熵（Entropy）
? 事件集合（样本空间） X中每个事件的自信息 量I(x)是定义在这个样本空间上的一个随机变
? 互信息量的性质：
(1) I ( x; y ) ? I ( y ; x ) ( 2 ) I ( x; yz ) ? I ( x; y ) ? I ( x; z | y )
13
离散事件的非平均自信息量
? 为了完全确定事件x(使后验概率为1)所必 须提供的信息量称为x事件的非平均自信息 量I(x)
I ( x ) ? log 1 ? ? log p ( x ) p ( x)
20~20000
带宽 取样率 (KHz) (KHz)
3.2
8
7
16
20
44.1
20
48
20
48
量化 存储容 位数 量(MB)
8
0.48
14
1.68
16 5.292×2
16 5.76×2
5
16 5.76×6
1分钟数字视频信号需要的存储空间
数字电视 空间×时间 取样率
格 式 ×分辨率
(MHz)
量化位数
? 最大离散熵定理：当与信源对应的字符 集中的各个字符为等概率分布时，熵具 有极大值log2m。m为字符集中字符个数。
11
离散信源
信源
X1, X2, X3, X4……
{a1, a2, a3, …am}
? 如果随机序列中各个变量独立具有相同的概率 分布，则称为 简单离散信源。
? 如果离散平稳信源的输出序列中各个变量是相 互独立的，即前一个符号的出现不影响以后任 何一个符号出现的概率，则称为 离散无记忆平 稳信源，否则称为离散有记忆平稳信源 。
? 非平均自信息量是随机事件的一个固有特 性，它表明了事件的先验不确定性大小
I ( x) ? I ( x; y)
14
联合自信息量与条件自信息量
? 条件自信息量I(x|y)：y确定时x所保留的 不确定性大小：
I ( x | y ) ? ? log p ( x | y )
? 联合自信息量I(xy)：
I ( xy ) ? ? log p ( xy )
信息论中的信源编码理论解决的主要问题： （1）数据压缩的理论极限 （2）数据压缩的基本途径
10
信源
信源
X1, X2, X3, X4……
? 信源被抽象为一个随机变量序列（随机过程）。 ? 如果信源输出的随机变量取值于某一连续区间，
就叫做连续信源。比如语音信号 X(t)。
? 如果信源输出的随机变量取值于某一离散符号 集合，就叫做 离散信源。比如平面图像 X(x，y) 和电报。
12
离散事件的非平均互信息量
? y事件的发生对判断 x事件所带来的信息量取决于 x 的先验概率 p(x)与y发生后x的后验概率p(x|y)之比。
? 非平均互信息量 I(x ; y)
I ( x; y ) ? log p ( x | y ) ? log p ( xy )
p ( x)
p(x) p( y)
3600
6
数据压缩的好处
? 时间域压缩──迅速传输媒体信源 ? 频率域压缩──并行开通更多业务 ? 空间域压缩──降低存储费用 ? 能量域压缩──降低发射功率
7
数据压缩技术实现的衡量标准
?压缩比要大 ?恢复后的失真小 ?压缩算法要简单、速度快 ?压缩能否用硬件实现
8
数据压缩技术的分类
无损压缩 是指使用压缩后的数据进行重构(或者叫
存储容量 (MB)
公用中间 352×288
格式（ CIF）
×30
亮度 3； 亮度、色差
4:1:1
共 12
PAL720× CCIR 601 号 480×30
建议 NTSC720× 576×25
亮度 13.5 4:2:2
亮度、色差 共 16
ቤተ መጻሕፍቲ ባይዱ
HDTV
1280×720
亮度信号
×60
60
8
270
1620 1620
量，所以我们要研究它的统计特性。其数学期 望为：
H ( X ) ? ? p ( x ) ? I ( x ) ? ? ? p ( x ) ? log p ( x )
x? X
x? X
? H(X)表明了集合 X中随机事件的平均不确定性， 或者说平均信息量。
? 称H(X)为一阶信息熵或者简称为熵 (Entropy)
17
熵（Entropy）
? 在符号出现之前，熵表示符号集中的符 号出现的平均不确定性；在符号出现之 后，熵代表接收一个符号所获得的平均 信息量。
? 根据直觉，信源编码的数据输出速率 （平均码长）与信源熵之间应该有某种 对应关系。
18
信源的概率分布与熵的关系
? 熵的大小与信源的概率分布模型有着密 切的关系。
多媒体技术
第四讲
XID数据I压A缩N基础
主要内容
? 数据压缩概述 ? 经典数据压缩理论 ? 香农－范诺与霍夫曼编码 ? 算术编码 ? 行程编码 ? 词典编码 ? 预测编码 ? 变换编码 ? 分析综合编码
2
什么是数据压缩
? 数据压缩就是在一定的精度损失条件下，以最 少的数码表示信源所发出的信号
信源
做还原，解压缩)，重构后的数据与原来的数据完全相 同；无损压缩用于要求重构的信号与原始信号完全一 致的场合。
有损压缩 是指使用压缩后的数据进行重构，重构
后的数据与原来的数据有所不同，但不影响人对原始 资料表达的信息造成误解。有损压缩适用于重构信号 不一定非要和原始信号完全相同的场合。
9
经典数据压缩理论
信源 编码
信道 编码
信道
信宿
信源 译码
信道 译码
3
数据压缩的必要性
多媒体
多媒体信源引起了“数据爆炸” 数据 如果不进行数据压缩
传输和存储都难以实用化。
4
1分钟数字音频信号需要的存储空间
数字音 频格式 电话
会议电 视伴音 CD-DA
DAT
数字音 频广播
频带 (Hz)
200~3400
50~7000 20~20000 20~20000
15
一些结论
(1) I ( x | y ) ? I ( x)
( 2 ) I ( xyz ) ? I ( x) ? I ( y | x) ? I ( z | xy )
( 3) I ( xy ) ? I ( x) ? I ( y ) I(x;y)
(4) I ( x; y) ? I ( x) ? I ( x | y) ? I ( y) ? I ( y | x)