视频编码技术前沿与方向_

基于视觉特性的视频编码
❖ 技术3：视觉感知机理与编码
– “像素-基元/纹理-对象-场景” 层次模型 – S. Zhu, UCLA
视觉表示模型 物理世界模型
场景
世界
对象 基元、纹理 像素
感知 物质 图获
取
原子/分子
结构 电子 感知
原始 图像
纹理 区域 估计
合成 纹理
合成
图像
15
基于视觉特性的视频编码
I
B
P
B
P
B
Spatial upsampling
பைடு நூலகம்
H20
H10
L20
H10
H20
H10
H21
H11
L21
H11
H21
H11
H22 H00 H12 H00 L22 H00 H12 H00 H22 H00 H12 H00
H23 H01 H13 H01 L23 H01 H13 H01 H23 H01 H13 H01
{MP}1,2 {MP}0
18
传统可伸缩编码 GOP boundaries
❖ HM.C2TF6e4nhSanVceCment
L3
H1
H2
H1
H3
H1
H2
H1
L3
– Hilearyaerrchical Picture编码, 完全可兼容AVC的SVC编
群组编码
…
视觉注意
稀稀疏疏编编码码 视觉机理
感知图
运动感知
…
[Guo03, ICCV]
基于视感知的压缩 (~200倍)
8
提纲
❖ 视频编码技术现状简介 ❖ 视频编码技术前沿与方向
– 基于视觉特性的编码 – 多维度可伸缩编码 – 多视/立体视编码 – 分布式编码 – 下一代视频编码标准
9
基于视觉特性的视频编码
– 基于香农信息论，采用混合 编码框架：变换 + 预测 + 熵 编码
❖ 视频编码的极限
– 数学极限 — 熵
– 差别感知能力 — Weber定律， 心理学模型
时间冗余 空间冗余
t
t+1 DCT 感知冗余
4
视频编码技术发展历程
❖ 编码效率进一步提高已很艰难
– 色彩空间和变换编码已接近最优
– 用计算复杂度换取预测增益的空间越来越小
❖ 符合人眼特性的图像/视频质量评价标准
– 块效应、模糊效应、振铃效应的模型表示
图像/视频库
主观质量评价 视觉失真测度模型
16
提纲
❖ 视频编码技术现状简介 ❖ 视频编码技术前沿与方向
– 基于视觉特性的编码 – 多维度可伸缩编码 – 多视/立体视编码 – 分布式编码 – 下一代视频编码标准
17
传统可伸缩编码
– 熵编码提高增益的路也不宽
差分预测 变换编码 编码调制
DCT
宏块 P帧
基于位平面的 可伸缩编码 B帧 视频
对象
一般的 B帧
1950
~1985
1999
专利可免费使用 专利可免费使用
基于上下文 的算术编码
分布式 编码
2014
哈夫曼 编码
混合编码 块运动估计
场景自适 应编码
隔行编码
容错
高级的去块
效率虑波
人类“眼脑”视觉信 系统处理息基本流程
视网膜
侧膝体
视觉信息表示的 基本粒子结构
光学刺激
像素
图像块
视频编码 理论基础
信息论
下颞叶皮质区
局部特征 部件/物体
视觉信息论
视频编码 框架与方法
基于数字信号处理的 框架与方法
基于视觉模型的 框架与方法
10
基于视觉特性的视频编码
❖ 视觉信息论 —— 从像素到基元（熵） ❖ 质量评价方法 —— 与主观感知一致 ❖ 编码方法 —— 多维度感知编码、分布式视觉编码
运动矢量
基于对象
预测
的可分级 编码
高精度运 动补偿
多视 编码
5
视频编码标准发展历程
❖ ISO/IEC MPEG
– MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVC
❖ ITU-T VCEG
– H.261, H.262(MPEG-2), H.263, H.264, VCEG H.NGC
香农信息熵 H(X)
像素集
扩展
视觉熵
H(F)
基元词典
11
基于视觉特性的视频编码
❖ 技术1：纹理分析合成编码*
12
*Thomas Wiegand: New Techniques for Improved Video Coding
基于视觉特性的视频编码
❖ 纹理分析合成编码*
– 实验结果对比
13
*Thomas Wiegand: New Techniques for Improved Video Coding
❖ 中国 AVS
– AVS-P2, AVS-S
❖ 下一代标准？
– 方向、技术？
下一代标准
AVS
MPEG-4 AVC/H.264
MPEG-4
MPEG-2
MPEG-1
6
1989 1993 1997 2001 2005 2009 2013 2017 年代
问题分析：客观指标与主观 感知的差异？
峰值信噪比=5.98
视频编码技术前沿与方向
http:// 1
提纲
❖ 视频编码技术现状简介 ❖ 视频编码技术前沿与方向
– 基于视觉特性的编码 – 多维度可伸缩编码 – 多视/立体视编码 – 分布式编码 – 下一代视频编码标准
2
数字视频应用
3
传统视频编码技术原理
❖ 传统视频编码方法
– 从信号处理层面入手，以像 素、块为表示基础
峰值信噪比=6.24
一般认为：峰值信噪比与图像质量近似成正比关系。
结论：1、峰值信噪比度量与人的视觉感知并不完全一致！
2、需要寻求更加符合人类视觉感知的客观度量方法以
及相应的编码理论和方法。
7
可能突破方向：借鉴视觉感知 机理
❖对视觉感知机理的认识逐渐深入，用于视 频编码的潜力很大
视频编码
JPEG (~14倍) JPEG (~50倍)
时域可分级
Layer 0: QCIF, 7.5 Hz, 64 kbit/s Layer 1: QCIF, 15 Hz, 128 kbit/s
空域可分级
Layer 2: CIF, 15 Hz, 256 kbit/s
质量可分级 时域可分级
质量可分级
Layer 3: CIF, 15 Hz, 512 kbit/s Layer 4: CIF, 30 Hz, 1024 kbit/s Layer 5: CIF, 30 Hz, 2048 kbit/s
基于视觉特性的视频编码
❖ 技术2：基于Inpainting技术的视频编码*
– 码率节省达18%
*D. Liu; X. Sun; F. Wu; S. Li; Y. Zhang, Image Compression With Edge-Based Inpainting, IEEE-TCSVT, 14
Vol. 17, No. 10, Oct. 2007 pp. 1273–1287.