【CN110060286A】一种单目深度估计方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910340694.6

(22)申请日 2019.04.25

(71)申请人 东北大学

地址 110169 辽宁省沈阳市浑南区创新路

195号

(72)发明人 张云洲　刘及惟　冯永晖　王帅　

裴美淇　

(74)专利代理机构 北京易捷胜知识产权代理事

务所(普通合伙) 11613

代理人 韩国胜

(51)Int.Cl.

G06T 7/50(2017.01)

(54)发明名称

一种单目深度估计方法

(57)摘要

本发明实施例涉及一种单目深度估计方法，

其包括：获取待处理图像，并对所述待处理图像

进行缩放处理，得到缩放图像；对所述缩放图像

基于多尺度全卷积密集神经网络进行训练，得到

深度图；对所述深度图进行放大处理，得到与所

述待处理图像的尺寸大小相同的深度图；其中对

所述缩放图像基于多尺度全卷积密集神经网络

进行训练包括：对所述缩放图像进行特征提取，

得到浅层特征；通过多尺度模块对所述浅层特征

进行特征连接，得到深层特征；将所述深层特征

与处理后的浅层特征进行特征连接，得到所述深

度图。本发明实施例提供的方法通过多尺度全卷

积密集神经网络对待处理图像进行训练，不仅可

以大幅提高单目深度估计的准确率，还能提高单

目深度估计的精度。权利要求书2页 说明书8页 附图6页CN 110060286 A 2019.07.26

C N 110060286

A

1.一种单目深度估计方法，其特征在于，其包括：

获取待处理图像，并对所述待处理图像进行缩放处理，得到缩放图像；

对所述缩放图像基于多尺度全卷积密集神经网络进行训练，得到深度图；

对所述深度图进行放大处理，得到与所述待处理图像的尺寸大小相同的深度图；其中对所述缩放图像基于多尺度全卷积密集神经网络进行训练包括：

对所述缩放图像进行特征提取，得到浅层特征；

通过多尺度模块对所述浅层特征进行特征连接，得到深层特征；

将所述深层特征与处理后的浅层特征进行特征连接，得到所述深度图。

2.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像进行特征提取，得到浅层特征包括：

对所述缩放图像进行卷积运算；

利用DenseNet模块密集连接机制对所述卷积运算的结果进行特征提取，

得到层网络的输出为x l

，

其中表示非线性激活，表示密集连接操作。

3.如权利要求1所述的单目深度估计方法，其特征在于，所述通过多尺度模块对所述浅层特征进行特征连接，得到深层特征包括：

利用至少三个不同尺寸的、并行的卷积核进行卷积运算，其中所述不同尺寸的卷积核包括1×1、3×3、5×5；

对所述卷积运算的结果进行池化运算；

对所述池化运算的结果利用DenseNet模块进行特征提取，分别得到至少三个不同的特征图；

采用特征连接对所述至少三个不同的特征图进行特征连接，得到所述深层特征。

4.如权利要求3所述的单目深度估计方法，其特征在于，所述处理后的浅层特征为对所述浅层特征按照空间维度进行特征压缩处理得到的权重与所述浅层特征进行计算得到。

5.如权利要求4所述的单目深度估计方法，其特征在于，所述按照空间维度进行特征压缩处理包括：

全局平均池化、卷积、非线性激活、卷积和归一化处理。

6.如权利要求5所述的单目深度估计方法，其特征在于，所述将所述深层特征与处理后的浅层特征进行特征连接包括：

基于注意力机制的跳跃连接将所述深层特征与所述处理后的浅层特征进行特征连接。

7.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述深度图进行放大处理包括：

基于上采样密集模块采用至少三个3×3的卷积核进行卷积运算；

对所述卷积运算的结果进行特征连接。

8.如权利要求1所述的单目深度估计方法，其特征在于，所述对所述缩放图像基于多尺度全卷积密集神经网络进行训练时采用边缘感知loss进行训练，其中所述边缘感知loss由berhu loss、梯度loss和边缘loss组成。

权　利　要　求　书1/2页2CN 110060286 A