高效视频编码技术标准及其演化
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
高效视频编码技术 标准及其演化
多媒体数据压缩
数据压缩可分成两种类型
无损压缩 有损压缩
无损压缩
指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构 后的数据与原来的数据完全相同 用于要求重构的信号与原始信号完全一致的场合。一个很常见 的例子是磁盘文件的压缩。
有损压缩
指使用压缩后的数据进行重构，重构后的数据与原来的数据有 所不同，但不影响人对原始资料表达的信息造成误解。 适用于重构信号不一定非要和原始信号完全相同的场合。
第一代标准 第二代标准
3
数字视频编码标准的能力进化
20Mbps
高清信源 1.5Gbps
10Mbps
压缩75倍
压缩150倍
1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012
第一代标准 第二代标准
4
视频编码标准化了什么？
• 标准化的仅仅是解码器的语法
Transform Coding DCT
Macroblocks P-frames
Video Object Planes B-frames Multiple Reference ~1990
Variable Block-size Motion Compensation Generic B-pictures 2000
14
Control Data coeffs
Split into Macroblocks 16x16 pixels
Intra-frame Prediction MotionCompensation Intra/Inter
14
Key video coding tools contributed
DPCM
H.120
Taki 1974 BMA Motion Estimation Schroeder 1970 Hybrid Coding
Giorda 1975 Variable – Size BMA Motion Est. Jain 1979 Transform in DPCM Loop with MC Roese 1975 Hybrid Coding (Transform) Jones 1978 Interlaced Field/Frame Coding Netravali 1979 Motion Compensated Transform
XSVD
X 1920 X 1080 X 1920 X 1920 X
X X Y
y11 0 0 y22 Y ... ... 0 0
... ... ... ...
0 ... y NN 0
we can have 1280/(1280*1920)=1/1920, 1920:1
1970s
Tasto 1971
Adaptive Block Coding
Seyler 1962 VLC Video
Chen 1981 Scene Adaptive Coder
Woods 1969 Uniform Quantizer Pratt 1969 Threshold Coding Pratt, 1970 RunLength Coding Tescher, 1976 ZZ-RunLength Coding Tescher, 1977 Rate Buffer Dead-Zone Quantizer
Tescher, 1975
Zigzag Scan
C Reader, 2002
8
Temporal Coding Tools
1960s
Seyler 1962 Temporal Statistics Seyler 1962 Conditional Update (Spatial; Pixel) Harrison 1952 DPCM Rocca 1969 Conditional Update (Spatial; Block) Brofferio 1970 Motion Modeling Candy 1971 3D (Temporal) DPCM
16
AVS video standard
In Feb. 2006, AVS video issued as national standard
GB/T 20090.2-2006 Effective from March 2006
17
17
AVS被国际电联接受为视频编码格式
2007年5月，ITU-T IPTV FG 推荐下列视频格式
H.261 MPEG1 MPEG2 Etc.
Pratt 1968 Transform Coding (Intra)
Reader 1973 Conditional Update (Transform)
C Reader, 2002
MPEG2
9
If we can find a ideal transform
2
2015-4-7
数字音视频压缩标准的发展史
H.261 (1990) H.263 (1996) H.263+ (1998) H.263++ (2000) H.264 (AVC) (2003) MPEG-4 v3 MPEG-4 (2001)v2 MPEG-4 (2000)v1 (1999) AVS1-P2 MP (2003) ITU-T VCEG
MPEG-2 MPEG-AVC/H.264
4
3 2
1 0
1994 1995 1996 1997 Year 1998 1999 2000 2001 2002 2003 2004
http://www.avs.org.cn
6 2015-4-7
混合视频编码基本框架
Input Video Signal Coder Control
1950
Huffman Coding
Hybrid Coding Block Motion Estimation
Scene Adaptive Coder Motion Vector Prediction
Interlace
Integer Transform
Advanced Deblocking Filter
Entropy Entropy Coding coding
Prediction coding
Intra/Inter
MotionCompensation
Motion Estimation
7
7
Spatial Coding Tools
1960s
Andrews, 1968 Fourier Transform Huang 1966 Statistical Coding Max, 1960 NonUniform Quantizer Fano 1949 Huffman 1952 VariableLength Coding VLC Huang 1963 Block Quantization Pratt, 1969 Hadamard Transform Pratt 1969 Zonal Coding Habibi, 1971 Block Classification Chen, 1973 Slant Transform Ahmed, 1974 Cosine Transform
13
Control Data coeffs
Split into Macroblocks 16x16 pixels
Intra-frame Prediction MotionCompensation
Intra/Inter
13
2nd Generation, H.264, AVS,VC-1
Input Video Signal Coder Control Transform/ Quant Inv Quant/ Inv Transform Entropy Coding De-blocking Filter Output Video Signal Motion Data Motion Estimation
H.264/AVC video VC-1 video AVS video
AVS Video
2009年7月10日，上述文本 正式发布，“Media coding toolbox for IPTV”
AVS专辑在欧洲信号处理学会学报发表
o 2003年以前，ISO与ITU制定的MPEG-2、 MPEG-4与H.264等独步天下 o 2006年2月，AVS成为中国国家标准 GB/T20090 该专辑用了全部版面，刊 专辑有两篇文章分别综述 o MPEG-4 2006年4AVC/H.264 月，微软公司成功推动 VC-1成为美国 登了八篇 AVS文章 了 ， SMPTE标准 VC-9 以及微软公司的
10
网址 http://www.mpegla.com
11
2015-4-7
相关视频标准收费概要
MPEG-2视频和系统
每台设备：4$ (2002前)/2.5$/2$(2010年后) 每个封装媒体(例如DVD光盘)：约0.02美分
MPEG-4 AVC/H.264/VC-1
编解码设备：500万台以内每台0.2$，超过的每台 0.1$，封顶费每年650万$ 运营商：每次点播0.02美元或销售价的2%，封顶费 每年650万$
ObjectBased Scalability
Error Resilience
Modified from C Reader, 2002
Using for free
Need to pay
15
AVS Working Group
Set up by MII (Ministry of Information Industry) in June of 2002 In charge of national standardization of audiovideo coding for Chinese A/V industry Also in charge of organizing the delegation of China National Body to MPEG(ISO/IEC JTC1/SC29/WG11)
Transform coding
Transform/ Quant Inv Quant/ Inv Transform
Control Data coeffs
Split into Macroblocks 16x16 pixels
Intra-frame Prediction
De-blocking Filter Output Video Signal Motion Data
1970s
Limb 1975 Motion Measurement Netravali 1979 PRA Motion Estimation Netravali 1979 Motion Compensated DPCM (Pixel) Koga 1981 Motion Compensated DPCM (Block)
MPEG-2 (H.262) (1995)
MPEG-1 (1993)
SVC (H.264-G) (2007) ISO/IEC MPEG
HEVC (H.265) (2012)
China AVS IEEE-SA AVS
AVS1-P2 HP/SP/PP (2009)
1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012
– 允许引入新的优化 – 允许降低具体实现的复杂度 – 不提供图像质量的保证
信源
预处理
信号
编码 解码
标准化的范畴
后处理与纠错
仅标准化解码器的好处
MPEG-2编码器进化的证据
Encoder Improvements
7 6 5
Mbit/s
1st MPEG-2 Encoder 2ND Generation Encoder 3rd Generation Encoder 4th Generation 5th Generation Encoder Encoder Advanced Codec Encoder
12
2015-4-7
1st Generation, H.261, MPEG-1/2
Input Video SignaLeabharlann Baidu Coder Control Transform/ Quant Inv Quant/ Inv Transform Entropy Coding De-blocking Filter Output Video Signal Motion Data Motion Estimation
多媒体数据压缩
数据压缩可分成两种类型
无损压缩 有损压缩
无损压缩
指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构 后的数据与原来的数据完全相同 用于要求重构的信号与原始信号完全一致的场合。一个很常见 的例子是磁盘文件的压缩。
有损压缩
指使用压缩后的数据进行重构，重构后的数据与原来的数据有 所不同，但不影响人对原始资料表达的信息造成误解。 适用于重构信号不一定非要和原始信号完全相同的场合。
第一代标准 第二代标准
3
数字视频编码标准的能力进化
20Mbps
高清信源 1.5Gbps
10Mbps
压缩75倍
压缩150倍
1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012
第一代标准 第二代标准
4
视频编码标准化了什么？
• 标准化的仅仅是解码器的语法
Transform Coding DCT
Macroblocks P-frames
Video Object Planes B-frames Multiple Reference ~1990
Variable Block-size Motion Compensation Generic B-pictures 2000
14
Control Data coeffs
Split into Macroblocks 16x16 pixels
Intra-frame Prediction MotionCompensation Intra/Inter
14
Key video coding tools contributed
DPCM
H.120
Taki 1974 BMA Motion Estimation Schroeder 1970 Hybrid Coding
Giorda 1975 Variable – Size BMA Motion Est. Jain 1979 Transform in DPCM Loop with MC Roese 1975 Hybrid Coding (Transform) Jones 1978 Interlaced Field/Frame Coding Netravali 1979 Motion Compensated Transform
XSVD
X 1920 X 1080 X 1920 X 1920 X
X X Y
y11 0 0 y22 Y ... ... 0 0
... ... ... ...
0 ... y NN 0
we can have 1280/(1280*1920)=1/1920, 1920:1
1970s
Tasto 1971
Adaptive Block Coding
Seyler 1962 VLC Video
Chen 1981 Scene Adaptive Coder
Woods 1969 Uniform Quantizer Pratt 1969 Threshold Coding Pratt, 1970 RunLength Coding Tescher, 1976 ZZ-RunLength Coding Tescher, 1977 Rate Buffer Dead-Zone Quantizer
Tescher, 1975
Zigzag Scan
C Reader, 2002
8
Temporal Coding Tools
1960s
Seyler 1962 Temporal Statistics Seyler 1962 Conditional Update (Spatial; Pixel) Harrison 1952 DPCM Rocca 1969 Conditional Update (Spatial; Block) Brofferio 1970 Motion Modeling Candy 1971 3D (Temporal) DPCM
16
AVS video standard
In Feb. 2006, AVS video issued as national standard
GB/T 20090.2-2006 Effective from March 2006
17
17
AVS被国际电联接受为视频编码格式
2007年5月，ITU-T IPTV FG 推荐下列视频格式
H.261 MPEG1 MPEG2 Etc.
Pratt 1968 Transform Coding (Intra)
Reader 1973 Conditional Update (Transform)
C Reader, 2002
MPEG2
9
If we can find a ideal transform
2
2015-4-7
数字音视频压缩标准的发展史
H.261 (1990) H.263 (1996) H.263+ (1998) H.263++ (2000) H.264 (AVC) (2003) MPEG-4 v3 MPEG-4 (2001)v2 MPEG-4 (2000)v1 (1999) AVS1-P2 MP (2003) ITU-T VCEG
MPEG-2 MPEG-AVC/H.264
4
3 2
1 0
1994 1995 1996 1997 Year 1998 1999 2000 2001 2002 2003 2004
http://www.avs.org.cn
6 2015-4-7
混合视频编码基本框架
Input Video Signal Coder Control
1950
Huffman Coding
Hybrid Coding Block Motion Estimation
Scene Adaptive Coder Motion Vector Prediction
Interlace
Integer Transform
Advanced Deblocking Filter
Entropy Entropy Coding coding
Prediction coding
Intra/Inter
MotionCompensation
Motion Estimation
7
7
Spatial Coding Tools
1960s
Andrews, 1968 Fourier Transform Huang 1966 Statistical Coding Max, 1960 NonUniform Quantizer Fano 1949 Huffman 1952 VariableLength Coding VLC Huang 1963 Block Quantization Pratt, 1969 Hadamard Transform Pratt 1969 Zonal Coding Habibi, 1971 Block Classification Chen, 1973 Slant Transform Ahmed, 1974 Cosine Transform
13
Control Data coeffs
Split into Macroblocks 16x16 pixels
Intra-frame Prediction MotionCompensation
Intra/Inter
13
2nd Generation, H.264, AVS,VC-1
Input Video Signal Coder Control Transform/ Quant Inv Quant/ Inv Transform Entropy Coding De-blocking Filter Output Video Signal Motion Data Motion Estimation
H.264/AVC video VC-1 video AVS video
AVS Video
2009年7月10日，上述文本 正式发布，“Media coding toolbox for IPTV”
AVS专辑在欧洲信号处理学会学报发表
o 2003年以前，ISO与ITU制定的MPEG-2、 MPEG-4与H.264等独步天下 o 2006年2月，AVS成为中国国家标准 GB/T20090 该专辑用了全部版面，刊 专辑有两篇文章分别综述 o MPEG-4 2006年4AVC/H.264 月，微软公司成功推动 VC-1成为美国 登了八篇 AVS文章 了 ， SMPTE标准 VC-9 以及微软公司的
10
网址 http://www.mpegla.com
11
2015-4-7
相关视频标准收费概要
MPEG-2视频和系统
每台设备：4$ (2002前)/2.5$/2$(2010年后) 每个封装媒体(例如DVD光盘)：约0.02美分
MPEG-4 AVC/H.264/VC-1
编解码设备：500万台以内每台0.2$，超过的每台 0.1$，封顶费每年650万$ 运营商：每次点播0.02美元或销售价的2%，封顶费 每年650万$
ObjectBased Scalability
Error Resilience
Modified from C Reader, 2002
Using for free
Need to pay
15
AVS Working Group
Set up by MII (Ministry of Information Industry) in June of 2002 In charge of national standardization of audiovideo coding for Chinese A/V industry Also in charge of organizing the delegation of China National Body to MPEG(ISO/IEC JTC1/SC29/WG11)
Transform coding
Transform/ Quant Inv Quant/ Inv Transform
Control Data coeffs
Split into Macroblocks 16x16 pixels
Intra-frame Prediction
De-blocking Filter Output Video Signal Motion Data
1970s
Limb 1975 Motion Measurement Netravali 1979 PRA Motion Estimation Netravali 1979 Motion Compensated DPCM (Pixel) Koga 1981 Motion Compensated DPCM (Block)
MPEG-2 (H.262) (1995)
MPEG-1 (1993)
SVC (H.264-G) (2007) ISO/IEC MPEG
HEVC (H.265) (2012)
China AVS IEEE-SA AVS
AVS1-P2 HP/SP/PP (2009)
1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012
– 允许引入新的优化 – 允许降低具体实现的复杂度 – 不提供图像质量的保证
信源
预处理
信号
编码 解码
标准化的范畴
后处理与纠错
仅标准化解码器的好处
MPEG-2编码器进化的证据
Encoder Improvements
7 6 5
Mbit/s
1st MPEG-2 Encoder 2ND Generation Encoder 3rd Generation Encoder 4th Generation 5th Generation Encoder Encoder Advanced Codec Encoder
12
2015-4-7
1st Generation, H.261, MPEG-1/2
Input Video SignaLeabharlann Baidu Coder Control Transform/ Quant Inv Quant/ Inv Transform Entropy Coding De-blocking Filter Output Video Signal Motion Data Motion Estimation