【CN110009674A】基于无监督深度学习的单目图像景深实时计算方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910256117.9

(22)申请日 2019.04.01

(71)申请人 厦门大学

地址 361102 福建省厦门市翔安区厦门大

学翔安校区航空航天学院

申请人 厦门万久科技股份有限公司

(72)发明人 仲训昱　杨德龙　殷昕　彭侠夫　

邹朝圣　

(74)专利代理机构 桂林市持衡专利商标事务所

有限公司 45107

代理人 陈跃琳

(51)Int.Cl.

G06T 7/593(2017.01)

(54)发明名称

基于无监督深度学习的单目图像景深实时

计算方法

(57)摘要

本发明公开一种基于无监督深度学习的单

目图像景深实时计算方法，利用双目序列图像之

间的几何约束关系构造监督信号，取代传统的人

工标记数据集，完成了无监督算法设计；在

Depth -CNN网络中的，损失函数除了考虑图像之

间的几何约束，还设计了针对左右图像的景深估

计结果一致性约束项，提高算法精确度；以

Depth -CNN的输出作为Pose -CNN输入的一部分，

构造整体的目标函数，同时使用双目图像之间的

几何关系和序列图像之间的几何关系构造监督

信号，

进一步提高的算法的精确度以及鲁棒性。权利要求书2页 说明书10页 附图3页CN 110009674 A 2019.07.12

C N 110009674

A

1.基于无监督深度学习的单目图像景深实时计算方法，其特征是，包括步骤如下：

步骤1、使用无人驾驶数据集KITTI中的双目序列图像作为输入数据，并通过数据预处理将双目序列图像分类为两种类型，即用于景深估计卷积神经网络的立体图像对和用于相机姿态估计卷积神经网络的序列图像；

步骤2、基于残差网络建立景深估计卷积神经网络，构造一个端到端系统，以立体图像对作为输入，输出对应的景深估计图像，设计景深估计卷积神经网络对应的损失函数用于反馈传播；

步骤3、基于卷积神经网络模块建立相机姿态估计卷积神经网络，构造一个端到端系统，以序列图像和景深估计图像作为输入，输出序列图像之间的姿态变化矩阵，设计相机姿态估计卷积神经网络对应的损失函数用于反馈传播；

步骤4、基于步骤2所设计的景深估计卷积神经网络对应的损失函数和步骤3所设计的相机姿态估计卷积神经网络对应的损失函数，构造目标函数；

步骤5、基于步骤2的景深估计卷积神经网络和步骤3的相机姿态估计卷积神经网络完成深度神经网络的搭建，并基于步骤4完成目标函数的设计后，利用步骤1所得无人驾驶数据集KITTI中全部数据对深度神经网络中的景深估计卷积神经网络和相机姿态估计卷积神经网络进行同时训练，以固定深度神经网络的网络参数值和网络结构，得到最终的计算模型；

步骤6、将摄像头实际所得到的单目图像输入到步骤5所得到的计算模型中，则计算模型的输出即为图像对应的场景景深图像。

2.根据权利要求1所述的基于无监督深度学习的单目图像景深实时计算方法，其特征是，步骤4中，所构造的目标函数为：

Loss final ＝λ1 depth_loss+λ2

pose_loss 权　利　要　求　书1/2页2CN 110009674 A