视频压缩编码原理与技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二、从计算机使用软件压缩还是硬件压缩来分：
单纯软件压缩（丢失大量信息）
• 丢帧：从每秒30帧或25帧中丢掉一些帧 • 不丢帧：在每帧中丢掉一些来不及处理的信息
软件压缩，硬件辅助
三、从压缩信号是模拟信号还是数字信号来分：
模拟信号压缩 • 缺点：大大降低了视频信号的质量 数字信号压缩
Logo §2.3 视频压缩技术分类
据量为 720*576*8*2*25=169Mbit=21MB/S
1GB硬盘存：1GB/21MB = 49s 的节目
结论：要使数字电视信号适合于实际存储和传输，必须压 缩数据量，降低传输数据码率。
wenku.baidu.com
前提：压缩后图象质量要满足视觉要求。
Logo §2.3 视频压缩可能性
数据与信息的区别 数据用来记录和传送信息，是信息的载体；数据的处理 结果是信息。 数据压缩的对象是数据，而不是“信息” 数据压缩的目的是在传送和处理信息时，尽量减小数据量 数据量与信息量的关系：数据量=信息量+冗余数据量
中国 AVS
AVS-P2, AVS-S
下一代标准？
方向、技术？
MPEG-1
1989 1993 1997 2001
2005
2009
2013
2017 年代
Logo §2.5 视频编码标准发展历程
Logo §2.5 视频编码标准发展历程 JPEG 、M-JPEG
有相当一部分国内外网络摄像机和视频服务器都
CCITT是国际电报电话咨询委员会的简称，它是国际电信联盟（ITU） 的常设机构之一。主要职责是研究电信的新技术、新业务和资费等问
题，并对这类问题通过建议使全世界的电信标准化。
从1993年3月1日起，国际电报电话咨询委员会（CCITT）改组为国 际电信联盟（ITU）电信标准化部门，简称ITU-T。
Logo §2.5 视频编码标准发展历程
国际无线电咨询委员会CCIR (Consultative Committee of International Radio)
CCIR是国际无线电咨询委员会的简称。成立于1927年，是国际电 信联盟（ITU）的常设机构之一。主要职责是研究无线电通信和 技术业务问题，并对这类问题通过建议书。
MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVC 下一代标准
AVS
MPEG-4 AVC/H.264 MPEG-4 MPEG-2
ITU-T VCEG
H.261, H.262(MPEG-2), H.263, H.264, VCEG H.NGC
H.263是一个较为成熟的标准，它是帧间预测和变换
编码的混合算法，压缩比较高，尤其适用低带宽上传输 活动视频。 采用H.263技术生产的网络型产品，其成本较为适中， 软/硬件丰富，适合集中监控数量较多的需求，如深圳大 学通信技术研究所开发的SF－10网络摄像机和SF-20视 频服务器，深圳新文鼎开发的W750视频服务器和
专利可免费使用
场景自适 应编码 运动矢 量预测 容错 高级的去块 效率虑波 高精度运 动补偿 多视 编码
隔行编码
基于对象 的可分级 编码
Logo §2.6 视频编码算法现状简介 三、编码效率进一步提高已很艰难 色彩空间和变换编码已接近最优；
用计算复杂度换取预测增益的空间越来越小；
熵编码提高增益的路也不宽。
Logo §2.1 视频压缩必要性
需要多大的硬盘空间
视频格式 DVCPRO DVCPRO 50 MPEG2 I 25M MPEG2 I 50M 非压缩标准清晰度视频 1分钟素材占用的磁盘空间 216MB 432MB 216MB 432MB 1.4GB
Logo §2.1 视频压缩必要性
按照ITU601的建议，传输1秒钟的PAL制式信号的原始数
Logo §2.7 问题分析—客观指标与主观感知的差异
峰值信噪比=5.98
峰值信噪比=6.24
一般认为：峰值信噪比与图像质量近似成正比关系。 结论：1、峰值信噪比度量与人的视觉感知并不完全一致！ 2、需要寻求更加符合人类视觉感知的客观度量方法以 及相应的编码理论和方法。
Logo §2.8 可能突破方向—借鉴视觉感知机理
从1993年3月1日起，与国际频率登记委员会（IFRB）合并，成为
现今国际电信联盟（ITU）无线电通信部门，简称ITU-R。
Logo §2.5 视频编码标准发展历程
国际电报电话咨询委员会CCITT (International consultative committee on telecommunications and Telegraphy)
Logo §2.3 视频压缩技术分类
一、从信息在压缩过程中有否丢失来分：
无损压缩
• 压缩前和压缩后还原的数据完全一致 • 多采用概率统计编码
• 平均压缩比在两倍左右
• 如winrar文档压缩
有损压缩
• 压缩过程中会丢失视频中的一些信息 • 压缩比较大 • 如JPEG压缩
Logo §2.3 视频压缩技术分类
前网络产品生产厂商开发的重要趋势之一。
Logo §2.5 视频编码标准发展历程
MPEG-2、MPEG-4、MPEG-4 AVC（简称AVC，也称
JVT、H.264）、AVS（Audio Video coding Standard）
是目前音视频产业可以选择的信源编码标准，MPEG-2是 第一代信源标准，其余三个为第二代标准； 前三个标准是由MPEG专家组完成的，第四个是我国自主 制定的；
人类视觉系统的信息处理能力远远超过目前的视频处理系 统，借鉴人类视觉系统的视觉信息处理基本神经机制和心 理机理，构建统一的图像/视频基本结构和表示模型及其
相应的视觉计算方法，发展将香农信息论与人类视觉信息
处理原理相结合的高效视觉编码理论是可能突破的方向； 视频编码处理的核心环节——要对视频中包含的视觉信息 进行高效的表达和准确地重建； 其本质是——是视觉信息的基本结构和有效表示问题。
四、从压缩算法分：
帧内压缩（空间压缩）
• 压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之 间的冗余信息 • 一般采用有损压缩算法(如DCT) • 压缩后的视频数据仍然可以以帧为单位进行编辑 • 压缩比较低
帧间压缩（时间压缩）
• 一般是采用无损压缩算法(如预测编码） • 用帧差值算法，通过比较本帧与相邻帧之间的差异，仅 记录本帧与其相邻帧的差值，大大减少数据量
Logo §2.5 视频编码标准发展历程
ITU的文件主要有两类：建议和报告。 现在已经有六百多个ITU-R建议，这些建议分为16类，大
多数电视方面的建议在BT类里，著名的数字演播室标准
CCIR-601建议现在更名为ITU-R BT.601。
Logo §2.5 视频编码标准发展历程
ISO/IEC MPEG
时间冗余
t
t+1
空间冗余
DCT
感知冗余
Logo §2.6 视频编码算法现状简介
宏块 变换编码 P帧 B帧 ~1985 基于位平面的 可伸缩编码 视频 对象 一般的 B帧 分布式 编码 1999 2014 基于上下文 的算术编码
差分预测 编码调制
DCT
1950
专利可免费使用
混合编码
哈夫曼 编码 块运动估计
从主要技术指标——编码效率比较：
MPEG-4是MPEG-2的1.4倍； AVS和AVC相当，都是MPEG-2两倍以上。
Logo §2.6 视频编码算法现状简介 一、传统视频编码方法
从信号处理层面入手，以像素、块为表示基础；
基于香农信息论，采用混合编码框架：
变换 + 预测 + 熵编码
Logo §2.6 视频编码算法现状简介 二、视频编码的极限
数学极限——熵 差别感知能力
Weber定律（韦伯定律）——K=ΔI/I 韦伯因两点阈和最小可觉差研究成为心理物理学的奠基者
辨别不是取决于两个刺激物差异的绝对值，而是取决于差异的相
对值 心理学模型
Logo §2.6 视频编码算法现状简介
Logo §2.8 可能突破方向—借鉴视觉感知机理
稀疏编码（Sparse Coding, SC）——是一种多维数据描
述方法，数据经稀疏编码后仅有少数分量同时处于明显激
活状态，大致等价于编码后的分量呈现超高斯分布； 优点：
编码方案存储能力大； 具有联想记忆能力； 计算简便； 使自然信号的结构更加清晰； 编码方案既符合生物进化普遍的能量最小经济策略，又满足电生 理实验的结论。
数字视频技术
第2章 视频压缩编码原理与技术 2011年10月
Logo §2.1 视频压缩必要性 典型压缩格式的数据速率对比表
格式
DVCPRO DVCPRO 50 MPEG2 I 25M MPEG2 I 50M 非压缩标准清晰度视频
典型数据速率
3.6MB／秒 7.2MB／秒 3.6MB／秒 7.2MB／秒 24MB／秒
Logo §2.4 数字视频的应用
Logo §2.5 视频编码标准发展历程
国际电信联盟ITU （International Telecommunication Union）
ITU的历史可以追溯到1865年。为了顺利实现国际电报通信，1865年5月 17日，法、德、俄、意、奥等20个欧洲国家的代表在巴黎签订了《国际 电报公约》，国际电报联盟（International Telegraph Union ，ITU）也 宣告成立。 随着电话与无线电的应用与发展，ITU的职权不断扩大。1906年，德、 英、法、美、日等27个国家的代表在柏林签订了《国际无线电报公约》。 1932年，70多个国家的代表在西班牙马德里召开会议，将《国际电报公 约》与《国际无线电报公约》合并， 制定《国际电信公约》，并决定自 1934年1月1日起正式改称为“国际电信联盟”（International Telecommunication Union）。 经联合国同意，1947年10月15日国际电信联盟成为联合国的一个专门机 构，其总部由瑞士伯尔尼迁至到日内瓦。
W74GM网络摄像机等采用的都是这一压缩技术。
Logo §2.5 视频编码标准发展历程 MPEG-4
MPEG-4的着眼点在于解决低带宽上音视频的传输问
题，在164KHZ的带宽上，MPEG-4平均可传5－7帧/秒。 采用MPEG-4压缩技术的网络型产品可使用带宽较低的网 络，如PSTN，ISDN,ADSL等，大大节省了网络费用。 MPEG-4的最高分辨率可达720×576，接近DVD画面 效果，基于图像压缩的模式决定了它对运动物体可以保证 有良好的清晰度。MPEG-4所有的这些优点，使它成为当
是采用JPEG，Motion-JPEG压缩技术，JPEG、MJPEG采用的是帧内压缩方式，图像清晰、稳定，适于 视频编辑，而且可以灵活设臵每路的视频清晰度和压 缩帧数。
其压缩后的格式可以读取单一画面，因此可以任
意剪接，特别适用与安防取证的用途。
Logo §2.5 视频编码标准发展历程 H.263
Logo §2.8 可能突破方向—借鉴视觉感知机理
对视觉感知机理的认识逐渐深入，用于视频编码的潜力很大
视频编码
JPEG (~14倍) JPEG (~50倍)
群组编码 视觉注意
感知图
运动感知
基于视感知的压缩 (~200倍)
…
稀疏编码 稀疏编码 视觉机理
…
单纯软件压缩（丢失大量信息）
• 丢帧：从每秒30帧或25帧中丢掉一些帧 • 不丢帧：在每帧中丢掉一些来不及处理的信息
软件压缩，硬件辅助
三、从压缩信号是模拟信号还是数字信号来分：
模拟信号压缩 • 缺点：大大降低了视频信号的质量 数字信号压缩
Logo §2.3 视频压缩技术分类
据量为 720*576*8*2*25=169Mbit=21MB/S
1GB硬盘存：1GB/21MB = 49s 的节目
结论：要使数字电视信号适合于实际存储和传输，必须压 缩数据量，降低传输数据码率。
wenku.baidu.com
前提：压缩后图象质量要满足视觉要求。
Logo §2.3 视频压缩可能性
数据与信息的区别 数据用来记录和传送信息，是信息的载体；数据的处理 结果是信息。 数据压缩的对象是数据，而不是“信息” 数据压缩的目的是在传送和处理信息时，尽量减小数据量 数据量与信息量的关系：数据量=信息量+冗余数据量
中国 AVS
AVS-P2, AVS-S
下一代标准？
方向、技术？
MPEG-1
1989 1993 1997 2001
2005
2009
2013
2017 年代
Logo §2.5 视频编码标准发展历程
Logo §2.5 视频编码标准发展历程 JPEG 、M-JPEG
有相当一部分国内外网络摄像机和视频服务器都
CCITT是国际电报电话咨询委员会的简称，它是国际电信联盟（ITU） 的常设机构之一。主要职责是研究电信的新技术、新业务和资费等问
题，并对这类问题通过建议使全世界的电信标准化。
从1993年3月1日起，国际电报电话咨询委员会（CCITT）改组为国 际电信联盟（ITU）电信标准化部门，简称ITU-T。
Logo §2.5 视频编码标准发展历程
国际无线电咨询委员会CCIR (Consultative Committee of International Radio)
CCIR是国际无线电咨询委员会的简称。成立于1927年，是国际电 信联盟（ITU）的常设机构之一。主要职责是研究无线电通信和 技术业务问题，并对这类问题通过建议书。
MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVC 下一代标准
AVS
MPEG-4 AVC/H.264 MPEG-4 MPEG-2
ITU-T VCEG
H.261, H.262(MPEG-2), H.263, H.264, VCEG H.NGC
H.263是一个较为成熟的标准，它是帧间预测和变换
编码的混合算法，压缩比较高，尤其适用低带宽上传输 活动视频。 采用H.263技术生产的网络型产品，其成本较为适中， 软/硬件丰富，适合集中监控数量较多的需求，如深圳大 学通信技术研究所开发的SF－10网络摄像机和SF-20视 频服务器，深圳新文鼎开发的W750视频服务器和
专利可免费使用
场景自适 应编码 运动矢 量预测 容错 高级的去块 效率虑波 高精度运 动补偿 多视 编码
隔行编码
基于对象 的可分级 编码
Logo §2.6 视频编码算法现状简介 三、编码效率进一步提高已很艰难 色彩空间和变换编码已接近最优；
用计算复杂度换取预测增益的空间越来越小；
熵编码提高增益的路也不宽。
Logo §2.1 视频压缩必要性
需要多大的硬盘空间
视频格式 DVCPRO DVCPRO 50 MPEG2 I 25M MPEG2 I 50M 非压缩标准清晰度视频 1分钟素材占用的磁盘空间 216MB 432MB 216MB 432MB 1.4GB
Logo §2.1 视频压缩必要性
按照ITU601的建议，传输1秒钟的PAL制式信号的原始数
Logo §2.7 问题分析—客观指标与主观感知的差异
峰值信噪比=5.98
峰值信噪比=6.24
一般认为：峰值信噪比与图像质量近似成正比关系。 结论：1、峰值信噪比度量与人的视觉感知并不完全一致！ 2、需要寻求更加符合人类视觉感知的客观度量方法以 及相应的编码理论和方法。
Logo §2.8 可能突破方向—借鉴视觉感知机理
从1993年3月1日起，与国际频率登记委员会（IFRB）合并，成为
现今国际电信联盟（ITU）无线电通信部门，简称ITU-R。
Logo §2.5 视频编码标准发展历程
国际电报电话咨询委员会CCITT (International consultative committee on telecommunications and Telegraphy)
Logo §2.3 视频压缩技术分类
一、从信息在压缩过程中有否丢失来分：
无损压缩
• 压缩前和压缩后还原的数据完全一致 • 多采用概率统计编码
• 平均压缩比在两倍左右
• 如winrar文档压缩
有损压缩
• 压缩过程中会丢失视频中的一些信息 • 压缩比较大 • 如JPEG压缩
Logo §2.3 视频压缩技术分类
前网络产品生产厂商开发的重要趋势之一。
Logo §2.5 视频编码标准发展历程
MPEG-2、MPEG-4、MPEG-4 AVC（简称AVC，也称
JVT、H.264）、AVS（Audio Video coding Standard）
是目前音视频产业可以选择的信源编码标准，MPEG-2是 第一代信源标准，其余三个为第二代标准； 前三个标准是由MPEG专家组完成的，第四个是我国自主 制定的；
人类视觉系统的信息处理能力远远超过目前的视频处理系 统，借鉴人类视觉系统的视觉信息处理基本神经机制和心 理机理，构建统一的图像/视频基本结构和表示模型及其
相应的视觉计算方法，发展将香农信息论与人类视觉信息
处理原理相结合的高效视觉编码理论是可能突破的方向； 视频编码处理的核心环节——要对视频中包含的视觉信息 进行高效的表达和准确地重建； 其本质是——是视觉信息的基本结构和有效表示问题。
四、从压缩算法分：
帧内压缩（空间压缩）
• 压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之 间的冗余信息 • 一般采用有损压缩算法(如DCT) • 压缩后的视频数据仍然可以以帧为单位进行编辑 • 压缩比较低
帧间压缩（时间压缩）
• 一般是采用无损压缩算法(如预测编码） • 用帧差值算法，通过比较本帧与相邻帧之间的差异，仅 记录本帧与其相邻帧的差值，大大减少数据量
Logo §2.5 视频编码标准发展历程
ITU的文件主要有两类：建议和报告。 现在已经有六百多个ITU-R建议，这些建议分为16类，大
多数电视方面的建议在BT类里，著名的数字演播室标准
CCIR-601建议现在更名为ITU-R BT.601。
Logo §2.5 视频编码标准发展历程
ISO/IEC MPEG
时间冗余
t
t+1
空间冗余
DCT
感知冗余
Logo §2.6 视频编码算法现状简介
宏块 变换编码 P帧 B帧 ~1985 基于位平面的 可伸缩编码 视频 对象 一般的 B帧 分布式 编码 1999 2014 基于上下文 的算术编码
差分预测 编码调制
DCT
1950
专利可免费使用
混合编码
哈夫曼 编码 块运动估计
从主要技术指标——编码效率比较：
MPEG-4是MPEG-2的1.4倍； AVS和AVC相当，都是MPEG-2两倍以上。
Logo §2.6 视频编码算法现状简介 一、传统视频编码方法
从信号处理层面入手，以像素、块为表示基础；
基于香农信息论，采用混合编码框架：
变换 + 预测 + 熵编码
Logo §2.6 视频编码算法现状简介 二、视频编码的极限
数学极限——熵 差别感知能力
Weber定律（韦伯定律）——K=ΔI/I 韦伯因两点阈和最小可觉差研究成为心理物理学的奠基者
辨别不是取决于两个刺激物差异的绝对值，而是取决于差异的相
对值 心理学模型
Logo §2.6 视频编码算法现状简介
Logo §2.8 可能突破方向—借鉴视觉感知机理
稀疏编码（Sparse Coding, SC）——是一种多维数据描
述方法，数据经稀疏编码后仅有少数分量同时处于明显激
活状态，大致等价于编码后的分量呈现超高斯分布； 优点：
编码方案存储能力大； 具有联想记忆能力； 计算简便； 使自然信号的结构更加清晰； 编码方案既符合生物进化普遍的能量最小经济策略，又满足电生 理实验的结论。
数字视频技术
第2章 视频压缩编码原理与技术 2011年10月
Logo §2.1 视频压缩必要性 典型压缩格式的数据速率对比表
格式
DVCPRO DVCPRO 50 MPEG2 I 25M MPEG2 I 50M 非压缩标准清晰度视频
典型数据速率
3.6MB／秒 7.2MB／秒 3.6MB／秒 7.2MB／秒 24MB／秒
Logo §2.4 数字视频的应用
Logo §2.5 视频编码标准发展历程
国际电信联盟ITU （International Telecommunication Union）
ITU的历史可以追溯到1865年。为了顺利实现国际电报通信，1865年5月 17日，法、德、俄、意、奥等20个欧洲国家的代表在巴黎签订了《国际 电报公约》，国际电报联盟（International Telegraph Union ，ITU）也 宣告成立。 随着电话与无线电的应用与发展，ITU的职权不断扩大。1906年，德、 英、法、美、日等27个国家的代表在柏林签订了《国际无线电报公约》。 1932年，70多个国家的代表在西班牙马德里召开会议，将《国际电报公 约》与《国际无线电报公约》合并， 制定《国际电信公约》，并决定自 1934年1月1日起正式改称为“国际电信联盟”（International Telecommunication Union）。 经联合国同意，1947年10月15日国际电信联盟成为联合国的一个专门机 构，其总部由瑞士伯尔尼迁至到日内瓦。
W74GM网络摄像机等采用的都是这一压缩技术。
Logo §2.5 视频编码标准发展历程 MPEG-4
MPEG-4的着眼点在于解决低带宽上音视频的传输问
题，在164KHZ的带宽上，MPEG-4平均可传5－7帧/秒。 采用MPEG-4压缩技术的网络型产品可使用带宽较低的网 络，如PSTN，ISDN,ADSL等，大大节省了网络费用。 MPEG-4的最高分辨率可达720×576，接近DVD画面 效果，基于图像压缩的模式决定了它对运动物体可以保证 有良好的清晰度。MPEG-4所有的这些优点，使它成为当
是采用JPEG，Motion-JPEG压缩技术，JPEG、MJPEG采用的是帧内压缩方式，图像清晰、稳定，适于 视频编辑，而且可以灵活设臵每路的视频清晰度和压 缩帧数。
其压缩后的格式可以读取单一画面，因此可以任
意剪接，特别适用与安防取证的用途。
Logo §2.5 视频编码标准发展历程 H.263
Logo §2.8 可能突破方向—借鉴视觉感知机理
对视觉感知机理的认识逐渐深入，用于视频编码的潜力很大
视频编码
JPEG (~14倍) JPEG (~50倍)
群组编码 视觉注意
感知图
运动感知
基于视感知的压缩 (~200倍)
…
稀疏编码 稀疏编码 视觉机理
…