图像视频分割方法介绍

• 视频前景分割
– 视频物体分割、交互式分割、前景抠图
• 图像共分割
• 边缘检测
视频前景分割
• 视频物体分割
– 建立在图像物体分割基础上？ – 图像物体分割：识别+分割 – 视频物体分割：跟踪+分割
• 方法
– 基于Level set
• Cremers D, Schmidt FR, Barthel F: Shape Priors in Variational Image Segmentation:Convexity, Lipschitz Continuity and Globally Optimal Solutions. CVPR: 2008
• 高阶条件随机场
– ALE(Oxford,CVPR2008, ECCV2010)
• 过分割块选取(整形规划问题)
– Stanford, Efficiently Selecting Regions for Scene Understanding. CVPR: 2010. – Maryland, Piecing Together the Segmentation Jigsaw using Context. CVPR, 2011
• 图像/视频编辑 • 多媒体内容检索 • 物体识别 • 三维重构
分割方向分类
• 图像分割
– 图像分割、过分割、场景解析
• 图像前景分割
– 物体分割、交互式分割、前景抠图
• 视频分割
– 运动分割、视频场景解析
• 视频前景分割
– 视频物体分割、交互式分割、前景抠图
• 图像共分割
• 边缘检测
分割方向分类
• 图像分割
– 图像分割、过分割、场景解析
• 图像前景分割
– 物体分割、交互式分割、前景抠图
• 视频分割
– 运动分割、视频场景解析
• 视频前景分割
– 视频物体分割、交互式分割、前景抠图
• 图像共分割
• 边缘检测
图像分割
• 图像分割 – 像素点的聚类 – 非监督、全自动 – 经典方法
• Ncut(Penn,CVPR 2000,CVPR2005) • Meanshift(Weizmann,PAMI2002) • Graph-Based(Uchicago, IJCV2004)
• 条件随机场+过分割块/像素点+外观特征
– Fulkerson B, Vedaldi A, Soatto S: Class Segmentation and Object Localization with Superpixel Neighborhoods. ICCV: 2009. – Aldavert D, Ramisa A, de Mantaras RL, Toledo R: Fast and Robust Object Segmentation with the Integral Linear Classifier. CVPR: 2010.
ECCV, 2010 – Budvytis I, Badrinarayanan V, Cipolla R: Label propagation in complex video sequences using
semi-supervised learning. BMVC: 2010. – Kang Y, Yamaguchi K, Naito Y, Ninomiya Y: Integrating Motion and Segmentation for Road
• 其他：结合场景识别、物体共存性
– 测试集 • MSRC, MIT LabelMe, MIT CBCL Scene Parsing, Stanford Stair
分割方向分类
• 图像分割
– 图像分割、过分割、场景解析
• 图像前景分割
– 物体分割、交互式分割、前景抠图
• 视频分割
– 运动分割、视频场景解析
from Motion Point Clouds. ECCV: 2008. – Wojek C, Schiele B: A Dynamic Conditional Random Field Model for Joint Labeling of Object
and Scene Classes. ECCV, 2008 – Xiao J, Quan L: Multiple View Semantic Segmentation for Street View Images. ICCV: 2009 – Zhang C, Wang L, Yang R: Semantic Segmentation of Urban Scenes Using Dense Depth Maps.
– 测试集
• VOC PASCAL, Graz Person, Penn Person, Weizmann Horse, Oxford Cow, CalTech Bird, Cambridge Flower.
图像前景分割
• 交互式分割
– 像素点的分类/聚类 – 监督式？手动 – 图像内单个物体的分割 – 方法分类：
– 测试集 • UC. Berkeley Segmentation Data Set and
Benchmarks 500 (BSDS500)
图像分割
• 过分割 • 像素点的聚类 • 非监督、全自动 • 视觉高层应用的计算单元
– 比像素点的计算效率高 – 相比图像分割，分割块较规整
• 常用的方法
– Superpixel(CVPR2003) – Superpixel Lattices(CVPR2008) – TurboPixels(PAMI2009) – SLIC Superpixels(MICCAI2010) – Quick shift: GPU segmentation(ECCV2010) – Entropy Rate Superpixel Segmentation(CVPR2011)
• 解决精细分层问题：全局优化法(CVPR2008、ICPR2006等)、超像素计算法(CVPR2008) • 解决宽基线视频分层问题： Bhat, P., (CVPR2006)
• 测试集
• Flower Garden
视频分割
• 视频场景解析
– 建立在图像场景解析理论基础上
• 方法
– 结合稀疏点云、多视图几何、深度图、动态条件随机场。 – Brostow GJ, Shotton J, Fauqueur J, Cipolla R: Segmentation and Recognition Using Structure
Scene Labeling. Transactions on Computer Vision and Applications. 2010, 2:121-131
分割方向分类
• 图像分割
– 图像分割、过分割、场景解析
• 图像前景分割
– 物体分割、交互式分割、前景抠图
• 视频分割
– 运动分割、视频场景解析Leabharlann 图像/视频分割方法分类介绍
北京航空航天大学 虚拟现实技术与系统国家重点实验室
问题描述
• 研究内容
– 图像和视频中像素点的聚类
• 非监督式的学习，共生模型(Generative)
– 图像和视频中像素点的分类
• 监督式的学习，判别模型(Discriminative)
• 应用
– 计算机视觉中的基础性问题 – 为高层的视觉应用或理解提供支持
2011
– 背景差
• Background Cut. ECCV, 2006 • Realtime Background Subtraction from Dynamic Scenes. ICCV, 2009 • Real-time Stable Texture Regions Extraction for Motion-based Object Segmentation. BMVC
• Shape Constrained Figure-Ground Segmentation and Tracking., CVPR, 2009 • Nonlinear Shape Manifolds as Shape Priors in Level Set Segmentation and Tracking., CVPR,
• 基于Level Set的方法 – 多针对医学图像处理 – Morphological Snakes(CVPR2010) – Segmentation from a Box(ICCV2011)
图像前景分割
• 前景抠图
– 软分割方法
• Alpha通道，0<=alpha<=1
– 监督？手动或Trimap或全自动 – 方法
• 马尔科夫随机场下的优化 – GraphCut(ICCV2001), GrabCut(Siggraph2004), Lazy Snapping(Siggraph2004), Active Segmentation(CVPR2007)
• 基于谱聚类的方法 – Random Walk(PAMI 2009) – Biased Normalized Cuts(CVPR2011)
图像分割
• 场景解析
– 像素点的分类 – 监督式，全自动 – 图像内各个物体的联合识别和分割 – 方法分类
• 二阶条件随机场+过分割块
– Photoup(Cornell, Siggraph2005, CVPR2006) – TextonBoost(Microsoft, ECCV2006) – Stair(Stanford, CVPR2008, ICCV2009, NIPS2009)
• 图像共分割
• 边缘检测
视频分割
• 运动分割
• 建立在图像分割理论基础上 • 增加了一个运动向量通道
– 光流或深度 • 像素点的时空聚类 • 非监督，全自动 • 方法分类
• 解决空间聚类问题：EM迭代法(CVPR2001等)、种子点扩散法(CVPR2004)、变分分析法
(ICCV2003,ECCV2006)、张量分析法(CVPR2003)、NCut分割(CVPR2000)、空间分解法(CVPR2004)等。
• 轮廓匹配结合外观聚类
– Combining Top-down and Bottom-up Segmentation. CVPR: 2004 – OBJ CUT. CVPR, 2005 – Object Segmentation by Alignment of Poselet Activations to Image Contours., CVPR, 2011
• 综述性文章(Adobe, Image and Video Matting: A Survey, Foundations and Trends in Computer Graphics and Vision 2007) – Bayesian(CVPR2001)、Possion(TOG2004)、Easy Matting(EG2006)、Spectral Matting(CVPR2007)、 Benchmark(CVPR2009)
– 测试集
• A Perceptually Motivated Online Benchmark for Image Matting
分割方向分类
• 图像分割
– 图像分割、过分割、场景解析
• 图像前景分割
– 物体分割、交互式分割、前景抠图
• 视频分割
– 运动分割、视频场景解析
• 视频前景分割
– 视频物体分割、交互式分割、前景抠图
• 视频前景分割
– 视频物体分割、交互式分割、前景抠图
• 图像共分割
• 边缘检测
图像前景分割
• 物体分割
– 像素点的分类 – 监督式、全自动 – 图像内单个物体的分割
• 车辆、行人、路牌、花、茶杯等等 – 分类
• 轮廓匹配
– Accurate Object Localization with Shape Masks. CVPR, 2006 – Simultaneous Object Detection and Segmentation by Boosting Local Shape Feature based Classifier. CVPR, 2007 – Adaptive Contour Features in Oriented Granular Space for Human Detection and Segmentation. CVPR, 2009