清华大学讲义视频编码基础PPT课件

K-L变换
数据压缩主要是去除信源的相关性。若考虑到信
号存在于无限区间上，而变换区域又是有限的，那 么表征相关性的统计特性就是协方差矩阵。
当协方差矩阵中除对角线上元素之外的各元素都
为零时，就等效于相关性为零。所以，为了有效地
进行数据压缩，常常希望变换后的协方差矩阵为一
对角矩阵，同时也希望主对角线上各元素随ｉ，ｊ
2.1 视频编码基础
• Digital Video Coding Overview • Video Compression Techniques
• 率失真基础
五道口生活网 五道口论坛
多媒体数据压缩的可能性
• 统计冗余
– 空间冗余——规则物体的物理相关性
– 时间冗余——视频与动画画面间以及 音频帧间的相关性
五道口生活网 五道口论坛
五道口生活网 五道口论坛
运动估计
近几年运动估计技术(Motion Estimation)十 分活跃。在H.26X，MPEG标准编码中都用到 这个技术。
关键问题： •运动表示：怎样将运动场参数化 •运动估计准则：用什么样的准则来估计上述参数 •优化方法：怎样五道搜口生索活网到五最道口优论参坛 数
DCT是从DFT引出的。DFT可以得到近似于 最佳变换的性能，但DFT的运算次数太多，且 需要复数运算。DCT从DFT中取实部，并可用 快速余弦变换算法，因此大大加快了运算。同 时其压缩性能十分逼近最佳变换的压缩性能。 所以，DCT在图像压缩中得到了广泛的应用。
五道口生活网 五道口论坛
五道口生活网 五道口论坛
• 信息熵冗余
– 编码冗余——数据与携带的信息
• 结构冗余
– 纹理冗余——规则纹理、相互重叠的 结构表面
• 视/听觉冗余
– 视觉、听觉敏感度和非线性感觉
• 知识冗余
– 凭借经验识别
五道口生活网 五道口论坛
22ห้องสมุดไป่ตู้色
1011 0001 1100
1011 0101
0100012108色11100100
1011 1100 0101 1111 1010
五道口生活网 五道口论坛
变换编码的原理
五道口生活网 五道口论坛
变换编码的系统构成
信源序列 变换 变换域采样 量化编码
存储和传输
再现序列
反变换 逆量化
译码
变换设计准则
变换编码器的性能取决于所用的基函数。一个好的变换 应该满足(1)对欲量化的信号去相关，以便可以对各个值有 效地使用标量量化而不会损失过多编码效率。(2)将原始象 素块的能量尽量压缩到五少道数口生几活网个五系道口数论。坛
例：有两个相邻采样值X1和X2，每一采样值用3bit编 码，因此有8个幅度等级，两个为： 8*8=64种。
x2
y2
y1
五道口生活网 五道口论坛
x1
变换编码的原理
在变换编码时，初始数据要从初始空间或时间域进 行数学变换，变换为一个更适于压缩的抽象域。该过 程是可逆的；即使用反变换可恢复原始数据。如将时 域信号变换到频域，因为声音、图像大部分信号都是 低频信号，在频域中信号的能量较集中，再进行采样、 编码就可以压缩数据。
• 率失真基础
五道口生活网 五道口论坛
基于块的混合编码
五道口生活网 五道口论坛
图象视频编码系统的组成：
编码器
分析 变换/预测
有损 量化
无损 二进制编码
信源模型 合成
量化参数 逆量化
参数统计
信道
噪声
二进制解码
解码器
五道口生活网 五道口论坛
变换编码的原理
变换编码是进行一种函数变换，映射变 换从信号域变换到另一个信号域。
按编码方法分类：
编码器 分析
有损 量化
无损 二进制编码
信源模型 合成
解码器
量化参数 逆量化
参数统计
信道
噪声
二进制解码
五道口生活网 五道口论坛
基于波形的编码方法：
1.假设象素统计独立的信源模型 — PCM 2.考虑邻近象素的统计相关性：
空间相关性：变换编码方法 时间相关性：预测编码方法 3.数据的统计相关性：熵编码
Digital Video Coding Overview
五道口生活网 五道口论坛
五道口生活网 五道口论坛
按编码方法分类：
• 基于波形的编码： 基于数据统计，去掉的是数据冗余，尽可能准确地
表示各个象素的颜色值，而不考虑一组象素可以表示 一个物体。 • 基于内容的编码：
把视频帧分成对应于不同物体的区域，并分别编码 这些物体，去掉的是内容冗余。其中基于对象 (Object-Based)方法称为中层压缩编码方法；而基于 语义(Syntax-Based)方五道法口生称活网为五道高口论层坛压缩编码方法。
• 不能兼得时，要综合考虑。 • 压缩质量评价
– 主观评价 ：平均意见得分（MOS）、五分制（优良中差劣） – 客观评价：均方误差、加权均方误差、信噪比、峰值信噪比（图
像）、分段信噪比（音频）、似然比、谱失真测度
SN(R dB)10lo五1g道0口 生rx2 2活网 五P 道口S论坛N(dRB )10lo1g0xm 2r2ax
客观指标与主观感知的差异
峰值信噪比=5.98
峰值信噪比=6.24
一般认为：峰值信噪比与图像质量近似成正比关系。
峰值信噪比度量与人的视觉感知并不完全一致！
五道口生活网 五道口论坛
2.1 视频编码基础
• Digital Video Coding Overview • Video Compression Techniques
的增加很快衰减。因此，变换编码的关键在于：在
已知Ｘ的条件下，根据它的协方差矩阵去寻找一种
正交变换Ｔ，使变换后的协方差矩阵满足或接近为
一对角矩阵。
五道口生活网 五道口论坛
离散余弦变换(DCT变换)
如果变换后的协方差矩阵接近对角矩阵，该 类变换称准最佳变换，典型的有DCT、DFT、 WHT、HrT等。其中，最常用的变换是离散余 弦变换DCT。
五道口生活网 五道口论坛
基于内容的编码方法:
(1)基于物体的分析与合成编码 物体分割、形状、运动、纹理
(2)基于知识的编码 物体模型
(3)语义编码 行为、参数、轨迹
五道口生活网 五道口论坛
视频压缩的性能指标
• 衡量压缩算法的三个主要性能指标 （1）压缩比； （2）压缩质量（失真）； （3）压缩与解压缩的速度。
Frame 1
五道口生活网 五道口论坛
Frame 2
五道口生活网 五道口论坛
Residual Frame
五道口生活网 五道口论坛
运动的表示