基于RGBD图像的图像分割算法研究

(b) 最终标记图像
25
(c) 彩色标记图像 (d) 深度标记图像 (e) 法向量标记图像
算法描述
• 梯度修正和分水岭分割
• 极小值标定：去除伪极小值 • 分水岭分割 • 保留了图中不同种类的边缘信息
RGB图像
修正前
修正后 26
算法描述
并入
相邻区域1
• 小区域去除
• 像素数少的区域 • 颜色均值 • 欧氏距离计算相似度
RGBD 图像 分割
5
目
录
背景介绍 研究内容概述 RGBD图像上的边缘检测算子 RGBD图像上的标记分水岭算法 总结与展望
6
研究内容概述
• 本文对RGBD图像上的分割算法进行研究，
通过深度信息的引入，获取场景中物体 的三维几何信息，帮助进行分割，以提 高分割的效果
RGB信息
深度(depth)信息
硕士学位论文答辩
基于RGBD图像的图像分割算法 研究
答辩人： 导 师： 专 业： 时 间：
1
目
录
背景介绍 研究内容概述 RGBD图像上的边缘检测算子 RGBD图像上的标记分水岭算法 总结与展望
2
背景介绍
• 图像分割应用广泛
• 计算机辅助医疗 • 智能交通 • 军事领域
3
背景介绍
• 图像分割是场景分析理解的基础
• 多梯度融合
RGB图像
灰度检测结果
多梯度融合结果
15
深度图像边缘检测算子
• 深度边缘检测算子
• 场景中的物体深度存在差异
16
深度图像边缘检测算子
深度均值差异
• 深度边缘检测算子
• 多方向的圆形边缘检测算子 • 深度渐变：高斯权重
B
B
17
深度图像边缘检测算子
• 法向量边缘检测算子
• 场景中物体的表面
分割效果对比
RGB图像
文献[1]分割结果
文献[2]分割结果
本文算法分割结果
29
[1] 高丽, 杨树元, 夏杰, 等. 基于标记的 Watershed 图像分割新算法[J]. 电子学报, 2007, 34(11): 2018-2023. [2] Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from RGBD images[C]//Computer Vision–ECCV 2012. Berlin Heidelberg: Springer, 2012: 847-870.
方向不同
物体 B P P 物体 A
方向变化
物体A
方向变化
物体 B
18
深度图像边缘检测算子
n
• 法向量边缘检测算子 • 多方向的圆形边缘检测算子
•
. . . .. .. . . . . . .. .. . .. . . .. . .. . .. . .. . .. .
• 法向量：平面拟合
• 协方差分析法
RGB图像
深度图像
标定结果
Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from RGBD images[C]//Computer 9 Vision–ECCV 2012. Berlin Heidelberg: Springer, 2012: 847-870.
目
录
背景介绍 研究内容概述 RGBD图像上的边缘检测算子 RGBD图像上的标记分水岭算法 总结与展望
30
总 结
• 对图像分割算法的国内外研究现状进行介绍，
并对几种现有的RGBD数据集进行介绍
• 针对深度图像提供的空间几何信息，设计了
两种边缘检测算子捕捉空间中的边缘信息。
• 提出了一种RGBD图像上的标记分水岭算法
• 物体的语义识别 • 物体之间的物理关系
4
国内外研究现状
区域 合并 算法
模糊C 聚类 算法
种子 区域 生长 算法 1990 2000
Grab Cut 算法
1960
1970
1980
2010
阈值 分割 算法
边缘 检测 算子
区域 生长 算法
Kmeans 算法
Snake 算法
分水岭 分割 算法
Graph Cuts 算法
相邻区域3
小区域
相邻区域2
27
去除前
去除后
分割效果对比
RGB图像
文献[1]分割结果
文献[2]分割结果
本文算法分割结果
28
[1] 高丽, 杨树元, 夏杰, 等. 基于标记的 Watershed 图像分割新算法[J]. 电子学报, 2007, 34(11): 2018-2023. [2] Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from RGBD images[C]//Computer Vision–ECCV 2012. Berlin Heidelberg: Springer, 2012: 847-870.
7
研究内容概述
• RGBD图像的边缘检测算子
• 彩色图像：多梯度融合的边缘检测算子 • 深度图像：深度边缘检测算子、法向量边缘检测算子
• RGBD图像上的标记分水岭算法
• 标记图像的提取 • 梯度修正和分水岭分割 • 小区域去除
8
实验数据集
• 采用纽约大学的NYU2数据集
• 包含26类共464个不同的室内场景 • 1449幅详细标定的RGBD图像
背景介绍 研究内容概述 RGBD图像上的边缘检测算子 RGBD图像上的标记分水岭算法 总结与展望
目
录
10
彩色图像边缘检测算法
• 多梯度融合 L通道 L梯度图像 • 多方向的圆形边缘检测算子
RGB 图像 转换 滤波器组提取纹理
转换
LAB图像
A通道 B通道
A梯度图像 B梯度图像
融合
最终梯度图像 多方向中最大值 边缘检测结果
A
n1 法向量夹角 n2
19
边缘检测算子效果对比
RGB图像
彩色边缘检测算子
深度边缘检测算子
法向量边缘检测算子
20
边缘检测算子效果对比
RGB图像
彩色边缘检测算子
深度边缘检测算子
法向量边缘检测算子
21
目
录
背景介绍 研究内容概述 RGBD图像上的边缘检测算子 RGBD图像上的标记分水岭算法 总结与展望
31
展 望
• 深度图像上存在较大的噪声，需要对其上的
边缘检测算子进一步研究，降低噪声的影响
• 标记图像中存在孤立的小标记和分裂的标记，
进一步研究标记图像的提取
• 标记分水岭边缘不够准确，从区域合并的角
度解决分水岭算法的过分割现象
32
科研工作及获得的成果
33
谢谢！
34
算法描述
•
P A Q
12
算法描述
• 多方向的圆形边缘检测算子
• 8方向计算像素变化程度
6 5 4 3
2 1 0
7
边缘方向 变化最剧烈的方向
13
算法描述
• 获取纹理图像
• 滤波器组
• 6对奇偶滤波 • 高斯差分滤波 • 13维响应向量
• kmeans聚类 • 分配标签 • 边缘检测
14
算法描述
22
算法概述
深度图像深度梯度图像法向量梯度图像扩展极小值 变换
RGB图像
彩色梯度图像
极小值标定
标记图像
分水岭 分割
23
修改后彩色梯度图像
分割结果
算法描述
• 标记图像提取
• 过分割现象有伪极小值引起 •
伪极小值 伪极小值 伪极小值 极小值
极小值 深度
24
算法描述
• 标记图像提取
• 标记图像融合
(a) RGB 图像
灰度图像
纹理图像
纹理梯度图像
[1] Martin D R, Fowlkes C C, Malik J. Learning to detect natural image boundaries using local brightness, color, and 11 texture cues[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2004, 26(5): 530-549.