基于局部对齐单目视频深度的三维场景重建

基于局部对齐单目视频深度的三维场景重建
徐光锴;赵峰
【期刊名称】《中国科学技术大学学报》
【年(卷),期】2024(54)4
【摘要】单目深度估计方法在各种场景下已经取得了较强的鲁棒性,该类方法通常预测尺度偏移量未知的不变仿射深度而非度量深度,因为收集大规模的不变仿射深度训练数据比收集度量深度训练数据容易得多。

然而,在某些基于视频的应用场景中,例如视频深度估计和三维场景重建,每帧预测的深度中存在的未知比例和偏移量值可能会导致预测的深度不一致。

为了解决该问题,我们提出了一种基于局部加权线性回归的方法,通过利用稀疏锚点恢复深度的尺度图和偏移量图,以保证连续帧之间的一致性。

大量的实验表明,我们的方法可以在几个零样本基准上显著降低现有技术方法的Rel误差(相对误差)。

此外,我们收集了630万张RGBD图像对来训练鲁棒的深度模型。

通过局部恢复尺度和偏移量,我们的ResNet50-backbone模型性能甚至超过了最先进的DPT ViT-Large模型。

与基于几何的重建方法相结合,我们提出了一种新的稠密三维场景重建流程,既能受益于稀疏点的尺度一致性,又能受益于单目深度估计方法的鲁棒性。

通过对视频的每一帧依次预测深度图,我们可以重建出准确的三维场景几何信息。

【总页数】12页(P13-22)
【作者】徐光锴;赵峰
【作者单位】中国科学技术大学信息科学技术学院类脑智能技术及应用国家工程实验室
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.基于视觉里程计的单目红外视频三维重建
2.基于单目SLAM的实时场景三维重建
3.基于场景模态深度理解网络的单目图像深度理解
4.基于单目图像的列车事故场景三维重建
5.动态场景下基于实例分割和三维重建的多物体单目SLAM
因版权原因，仅展示原文概要，查看原文内容请购买。