基于CNN特征提取和加权深度迁移的单目图像深度估计

2019年4月图 学 学 报 April2019第40卷第2期JOURNAL OF GRAPHICS V ol.40No.2

基于CNN特征提取和加权深度迁移的

单目图像深度估计

温静，安国艳，梁宇栋

(山西大学计算机与信息技术学院，山西太原 030006)

摘要：单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而，图像匹配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此，提出了一种基于卷积神经网络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取CNN特征计算输入图像在数据集中的近邻图像；然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数；

再将形变函数迁移至候选深度图像集，同时引入基于SIFT的迁移权重SSW，并通过对加权迁移后的候选深度图进行优化获得最终的深度信息。实验结果表明，该方法显著降低了估计深度图的平均误差，改善了深度估计的质量。

关键词：单目深度估计；卷积神经网络特征；加权深度迁移；深度优化

中图分类号：TP 391 DOI：10.11996/JG.j.2095-302X.2019020248

文献标识码：A 文章编号：2095-302X(2019)02-0248-08

Monocular Image Depth Estimation Based on CNN Features Extraction and

Weighted Transfer Learning

WEN Jing, AN Guo-yan, LIANG Yu-dong

(School of Computer and Information Technology, Shanxi University, Taiyuan Shanxi 030006, China)

Abstract: The depth estimation of monocular image can be obtained from the similar image and its depth information. However, the performance of such an algorithm is limited by image matching ambiguity and uneven depth mapping. This paper proposes a monocular depth estimation algorithm based on convolution neural network (CNN) features extraction and weighted transfer learning.

Firstly, CNN features are extracted to collect the neighboring image gallery of the input image.

Secondly, pixel-wise dense spatial wrapping functions calculated between the input image and all candidate images are transferred to the candidate depth maps. In addition, the authors have introduced the transferred weight SSW based on SIFT. The final depth image could be obtained by optimizing the integrated weighted transferred candidate depth maps. The experimental results demonstrate that the proposed method can significantly reduce the average error and improve the quality of the depth estimation.

Keywords: monocular depth estimation;convolution neural network features; weighted depth transfer; depth optimization

收稿日期：2018-09-07；定稿日期：2018-09-12

基金项目：国家自然科学基金项目(61703252)；山西省高等学校科技创新项目(2015108)

第一作者：温静(1982 )，女，山西晋中人，副教授，博士，硕士生导师。主要研究方向为图像处理、计算机视觉等。E-mail：wjing@

第2期温静，等：基于CNN特征提取和加权深度迁移的单目图像深度估计249

单目图像深度估计是计算机视觉领域的热点问题。然而，受到单个摄像头的制约，想要通过空间立体几何计算图像中精确的深度信息是极其困难的。

现有的单目图像深度估计算法大都是对1幅图像上的所有像素点赋予一个相对深度关系，有基于线索、基于图模型和基于采样的深度估计方法。基于线索的估计方法是利用各种单目深度线索进行深度估计，常用的深度线索包括：运动信息[1]、聚焦[2]、线性透视[3]、纹理、遮挡[4]、阴影[5]等。因为不同的线索只出现在特定的场景，且各线索与深度间的关系不是绝对的，所以存在场景适用性和深度估计失败的问题。基于图模型的估计方法[6]考虑到场景在不同深度处成像的阴影、纹理存在差异，以及彼此间的遮挡关系，采用图模型来描述图像特征和彼此间的相对位置关系，并通过监督学习进行训练。该类算法的缺点是需要设计参数化的模型以及引入太多的场景假设。针对此问题，KONRAD等[7]提出基于采样的估计方法，首先从RGBD (red green blue depth)数据库中检索出匹配的图像，然后通过融合匹配图像的深度得到测试图像的深度。文献[8]提出基于尺度不变特征变换(scale invariant feature transform, SIFT)流的深度迁移方法，在相似场景间通过SIFT流建立像素级稠密空间对应关系，并将相似图像对应位置上的深度直接迁移到输入图像上。文献[9-11]构建能量方程对迁移后的深度进行插值和平滑，进一步改善了深度估计的质量。但该方法没有考虑同一对象深度的均匀性，使得同一目标的深度关系不一致。此外，该类算法的核心步骤是从深度数据库中进行相似图像的采样，将直接影响最终深度融合的效果，目前其算法的采样都是基于传统的图像全局特征之间的欧式距离，没有考虑到输入图像中不同目标的差异性和同一目标的一致性。

本文在基于采样的深度估计方法基础上通过引入了卷积神经网络(convolution neural network, CNN)特征获得更精确有效的相似图像集，并利用基于SIFT的迁移权重(SIFT similar weight，SSW)改善深度迁移时的图像深度均匀性问题。为此，本文提出了基于CNN特征提取和加权深度迁移的单目图像深度估计算法。

1 算法框架

基于CNN特征提取和加权深度迁移的单目图像深度估计算法框架如图1所示，主要分为KNN 检索、加权的SIFT流[8]深度迁移、深度图融合和基于目标函数的深度图优化4个模块。对于一幅输入图像，①通过KNN检索出K对近邻图像和深度图；

②通过SIFT流计算输入图像和各近邻图像的形变函数，将形变函数分别迁移到对应的候选近邻深度图并加权；③融合加权迁移后的候选深度图作为输入图像的初始深度估计；④建立目标函数对加权迁移后的候选深度图进行优化，便可得到最终的深度估计。

图1基于CNN特征提取和加权深度迁移的单目图像深度估计算法框架