视频编码原理及浅析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
锐意进取 彰显精彩
THANK YOU!
锐意进取 彰显精彩
• MPEG-1：主要针对SIF标准分辨率的图像进行压缩，目标码率为 1.5Mb/s。特点：1.随机存取；2. 快速正向/逆向搜索；3 .逆向 重播；4. 容错性.
锐意进取 彰显精彩
基本概念
• MPEG-2：“21世纪的电视标准”，它在MPEG-1的基 础上作了许多重要的扩展和改进，但基本算法和 MPEG-1相同。和MPEG-1向下兼容，主要针对存储媒 体、数字电视、高清晰等应用领域，分辨率为：低 （352x288），中（720x480），次高（1440x1080）， 高（1920x1080）。 • MPEG-4：相对于MPEG-1/2在低比特率压缩上有着显 著提高，在CIF（352*288）或者更高清晰度 （768*576）情况下的视频压缩，无论从清晰度还是 从存储量上都比MPEG1具有更大的优势，也更适合网 络传输。另外MPEG-4可以方便地动态调整帧率、比 特率，以降低存储量。设计过于复杂，难以完全实 现并且兼容，另外还有高昂的专利费的问题。
锐意进取 彰显精彩
文件格式分析
• • 针对一个视频文件.我们举例如下,分析工具为media info 30.avi为示例文件
• • •
从工具中可以得知,视频文件名为AVI 但是实际采用H264编码,那么在代码中他会走H.264的处理模式 这点是非常重要的,因为针对不同的编码格式,程序会走不同的BW和解码模式.
专利费,内容制造商需要支付其毛收入的0.5％作为专利费,设备制造商为每台设备1.5 美金.
锐意进取 彰显精彩
视频编码原理
• 视频编码框架：H263、MPEG4、H264等编码标准都基于这个标准框架
在目前的视频编码标准框架结构中，通常采用基于运动补偿的时域 预测去除时间冗余，采用基Biblioteka Baidu块的变换编码去除空间冗余，使用熵编码 去除前面两步生成数据中的信息熵冗余。这三种主要技术的组合，再辅 以若干增强编码算法，就形成了基于块的混合编码框架。
• H.263: 甚低码率的图像编码国际标准，它一方面以H.261为基
础，以混合编码为核心，其基本原理框图和H.261十分相似，原 始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其 它一些国际标准中有效、合理的部分，如：半像素精度的运动估 计、PB帧预测等，使它性能优于H.261。码率可小于64Kb/s，支 持多种分辨率：SQCIF、 QCIF、CIF、4CIF、16CIF。
输入 视频信号
编码控制
控制数据
－
变换
解码器
量化 反量化
数据 残差
反变换
＋
熵编码
动
编码 码流
帧内预测
去块效应 环内滤波器
帧内/ 帧间
运动补偿
重构 视频信号
运
数
据
o o o
后处理
输出 视频信号
运动估计
锐意进取 彰显精彩
视频编码原理
• 在基于块的视频编码方法中，各个块的编解码是互相独立 的，由于预测、补偿、变化、量化等引起块与块之间的边 界处会产生不连续，因此新版H．264／AVC标准采用了环 路内去块滤波器来解决每个16×16宏块重建后的边界扭曲 问题。去块效应滤波有两种方法：后处理去块效应滤波； 环路内去块效应滤波。H．264／AVC采用环路内去块效应 滤波（见上图），即滤波后的帧作为后面预测的参考帧。 与之前的H．263或MPEG的滤波器相比较，新版H．264 标准采用的滤波器基于更小的4×4的基本宏块，基本宏块 的边界根据片级／宏块级的特性与根据像素穿过滤波边界 的渐变度，对需要滤波的宏块边界进行有条件的滤波。重 建帧的每个像素都需要从外部存储器中重调出来以进行滤 波处理或作为相邻像素来判断当前像素是否需要进行滤波。 显然，这些操作需要消耗巨大的存储器带宽，对像素值进 行修改。
锐意进取 彰显精彩
基本概念
• H.264/AVC：由ITU-T与MPEG联合制定。它集中了以往标准的优点，在压缩编 码效率、视频内容自适应处理能力方面及网络层面，特别是对IP网络及移动 网络的自适应处理能力、抗干扰能力与顽健性等方面，相比H.263/MPEG-4均 有大幅度提高。一般来说H.264的数据压缩率在MPEG2的2倍以上、MPEG4的 1.5倍以上。
锐意进取 彰显精彩
基本概念
• 视频编码：视频压缩，是计算机处理视频的前 提。视频信号数字化后数据带宽很高，原始的 720P约533Mbps。经过H.264压缩，带宽可以降 至5Mbps以下，甚至数百Kbps • 视频编码方案(标准)有很多，主要的有MPEG系 列(由ISO下属的MPEG[运动图象专家组]开发)和 H.26X系列(由ITU主导，侧重网络传输)。
索引
基本概念 视频编码原理 文件格式分析
锐意进取 彰显精彩
基本概念
• 编解码 • 编解码器（codec）指的是一个能够对一个信 号或者一个数据流进行变换的设备或者程序 • 封装 • 很多多媒体数据流需要同时包含音频数据和视频数 据，这时通常会加入一些用于音频和视频数据同步 的元数据，例如字幕。这三种数据流可能会被不同 的程序，进程或者硬件处理，但是当它们传输或者 存储的时候，这三种数据通常是被封装在一起的。 通常这种封装是通过视频文件格 式来实现的，例如 常见的*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 这些格式中有些只能使用某些编解码器，而更 多可以以容器的方式使用各种编解码器。
专利费：H.264广播时基本不收费；产品中嵌入H.264编/解码器时，年产量10万 台以下不收取费，超过10万台每台收取0.2美元，超过500万台每台收取0.1美元。
• H.265 HEVC. 同H.264 有ITU MEPG联合定制.定义了34种帧内预测方向(H.264位9种),更好的 提高编码性能.向高清晰度和高帧数高压缩率方面更进一步发展,清晰度达到了8K4K,帧数达 到240FPS,压缩率更是超越H.264 70%左右.可以通过网络更好的传输4K2K信号.
锐意进取 彰显精彩
基本概念
• H.261: 为ISDN设计，主要针对实时编码和解码设计，压缩和解
压缩的信号延时不超过150ms，码率px64kbps(p=1~30）。主要采 用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩 技术。只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。 支持QCIF和CIF
锐意进取 彰显精彩
视频编码原理
• 视频合成：多个视频源在YUV空间或RGB空间进行像素的重新排列
锐意进取 彰显精彩
文件格式分析
• • 针对一个视频文件.我们举例如下,分析工具为media info 30.avi为示例文件
• • •
从工具中可以得知,视频文件名为AVI 但是实际采用H264编码,那么在代码中他会走H.264的处理模式 这点是非常重要的,因为针对不同的编码格式,程序会走不同的带宽和解码模式.
THANK YOU!
锐意进取 彰显精彩
• MPEG-1：主要针对SIF标准分辨率的图像进行压缩，目标码率为 1.5Mb/s。特点：1.随机存取；2. 快速正向/逆向搜索；3 .逆向 重播；4. 容错性.
锐意进取 彰显精彩
基本概念
• MPEG-2：“21世纪的电视标准”，它在MPEG-1的基 础上作了许多重要的扩展和改进，但基本算法和 MPEG-1相同。和MPEG-1向下兼容，主要针对存储媒 体、数字电视、高清晰等应用领域，分辨率为：低 （352x288），中（720x480），次高（1440x1080）， 高（1920x1080）。 • MPEG-4：相对于MPEG-1/2在低比特率压缩上有着显 著提高，在CIF（352*288）或者更高清晰度 （768*576）情况下的视频压缩，无论从清晰度还是 从存储量上都比MPEG1具有更大的优势，也更适合网 络传输。另外MPEG-4可以方便地动态调整帧率、比 特率，以降低存储量。设计过于复杂，难以完全实 现并且兼容，另外还有高昂的专利费的问题。
锐意进取 彰显精彩
文件格式分析
• • 针对一个视频文件.我们举例如下,分析工具为media info 30.avi为示例文件
• • •
从工具中可以得知,视频文件名为AVI 但是实际采用H264编码,那么在代码中他会走H.264的处理模式 这点是非常重要的,因为针对不同的编码格式,程序会走不同的BW和解码模式.
专利费,内容制造商需要支付其毛收入的0.5％作为专利费,设备制造商为每台设备1.5 美金.
锐意进取 彰显精彩
视频编码原理
• 视频编码框架：H263、MPEG4、H264等编码标准都基于这个标准框架
在目前的视频编码标准框架结构中，通常采用基于运动补偿的时域 预测去除时间冗余，采用基Biblioteka Baidu块的变换编码去除空间冗余，使用熵编码 去除前面两步生成数据中的信息熵冗余。这三种主要技术的组合，再辅 以若干增强编码算法，就形成了基于块的混合编码框架。
• H.263: 甚低码率的图像编码国际标准，它一方面以H.261为基
础，以混合编码为核心，其基本原理框图和H.261十分相似，原 始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其 它一些国际标准中有效、合理的部分，如：半像素精度的运动估 计、PB帧预测等，使它性能优于H.261。码率可小于64Kb/s，支 持多种分辨率：SQCIF、 QCIF、CIF、4CIF、16CIF。
输入 视频信号
编码控制
控制数据
－
变换
解码器
量化 反量化
数据 残差
反变换
＋
熵编码
动
编码 码流
帧内预测
去块效应 环内滤波器
帧内/ 帧间
运动补偿
重构 视频信号
运
数
据
o o o
后处理
输出 视频信号
运动估计
锐意进取 彰显精彩
视频编码原理
• 在基于块的视频编码方法中，各个块的编解码是互相独立 的，由于预测、补偿、变化、量化等引起块与块之间的边 界处会产生不连续，因此新版H．264／AVC标准采用了环 路内去块滤波器来解决每个16×16宏块重建后的边界扭曲 问题。去块效应滤波有两种方法：后处理去块效应滤波； 环路内去块效应滤波。H．264／AVC采用环路内去块效应 滤波（见上图），即滤波后的帧作为后面预测的参考帧。 与之前的H．263或MPEG的滤波器相比较，新版H．264 标准采用的滤波器基于更小的4×4的基本宏块，基本宏块 的边界根据片级／宏块级的特性与根据像素穿过滤波边界 的渐变度，对需要滤波的宏块边界进行有条件的滤波。重 建帧的每个像素都需要从外部存储器中重调出来以进行滤 波处理或作为相邻像素来判断当前像素是否需要进行滤波。 显然，这些操作需要消耗巨大的存储器带宽，对像素值进 行修改。
锐意进取 彰显精彩
基本概念
• H.264/AVC：由ITU-T与MPEG联合制定。它集中了以往标准的优点，在压缩编 码效率、视频内容自适应处理能力方面及网络层面，特别是对IP网络及移动 网络的自适应处理能力、抗干扰能力与顽健性等方面，相比H.263/MPEG-4均 有大幅度提高。一般来说H.264的数据压缩率在MPEG2的2倍以上、MPEG4的 1.5倍以上。
锐意进取 彰显精彩
基本概念
• 视频编码：视频压缩，是计算机处理视频的前 提。视频信号数字化后数据带宽很高，原始的 720P约533Mbps。经过H.264压缩，带宽可以降 至5Mbps以下，甚至数百Kbps • 视频编码方案(标准)有很多，主要的有MPEG系 列(由ISO下属的MPEG[运动图象专家组]开发)和 H.26X系列(由ITU主导，侧重网络传输)。
索引
基本概念 视频编码原理 文件格式分析
锐意进取 彰显精彩
基本概念
• 编解码 • 编解码器（codec）指的是一个能够对一个信 号或者一个数据流进行变换的设备或者程序 • 封装 • 很多多媒体数据流需要同时包含音频数据和视频数 据，这时通常会加入一些用于音频和视频数据同步 的元数据，例如字幕。这三种数据流可能会被不同 的程序，进程或者硬件处理，但是当它们传输或者 存储的时候，这三种数据通常是被封装在一起的。 通常这种封装是通过视频文件格 式来实现的，例如 常见的*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 这些格式中有些只能使用某些编解码器，而更 多可以以容器的方式使用各种编解码器。
专利费：H.264广播时基本不收费；产品中嵌入H.264编/解码器时，年产量10万 台以下不收取费，超过10万台每台收取0.2美元，超过500万台每台收取0.1美元。
• H.265 HEVC. 同H.264 有ITU MEPG联合定制.定义了34种帧内预测方向(H.264位9种),更好的 提高编码性能.向高清晰度和高帧数高压缩率方面更进一步发展,清晰度达到了8K4K,帧数达 到240FPS,压缩率更是超越H.264 70%左右.可以通过网络更好的传输4K2K信号.
锐意进取 彰显精彩
基本概念
• H.261: 为ISDN设计，主要针对实时编码和解码设计，压缩和解
压缩的信号延时不超过150ms，码率px64kbps(p=1~30）。主要采 用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩 技术。只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。 支持QCIF和CIF
锐意进取 彰显精彩
视频编码原理
• 视频合成：多个视频源在YUV空间或RGB空间进行像素的重新排列
锐意进取 彰显精彩
文件格式分析
• • 针对一个视频文件.我们举例如下,分析工具为media info 30.avi为示例文件
• • •
从工具中可以得知,视频文件名为AVI 但是实际采用H264编码,那么在代码中他会走H.264的处理模式 这点是非常重要的,因为针对不同的编码格式,程序会走不同的带宽和解码模式.