视觉里程计算法研究综述

过去曾经出现过一些有关 ＶＯ的综述文献［１，９～１１］，尤其是 文献［１，１１］系统地介绍了 ＶＯ在 ２０１２年以前的发展状况。但 是，近几年 ＶＯ技术取得了很大的进步，随着大量高性能 ＶＯ 系统的涌现，这些文献已经不能反映最新的 ＶＯ技术的发展。 本文在综述过程中，侧重结合一些先进的 ＶＯ系统。文章首先 介绍了 ＶＯ的概况，包括 ＶＯ问题的数学描述及其分类；然后 重点综述了特征模块、帧间位姿估计和减少漂移等 ＶＯ的关键 技术。针对近几年来出现的基于深度学习的 ＶＯ，简述了它的 发展动态 并 分 析 了 它 的 优 势 和 不 足。考 虑 到 算 法 评 价 对 于 ＶＯ发展的重要性，文章还介绍了三个常用的 ＶＯ公共数据集。 最后总结了 ＶＯ目前存在的问题，展望了它的发展趋势。
第 ３６卷第 ９期 ２０１９年 ９月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ．３６Ｎｏ．９ Ｓｅｐ．２０１９
百度文库
视觉里程计算法研究综述
慈文彦１，２，黄影平１，胡 兴１
（１．上海理工大学 光电信息与计算机工程学院，上海 ２０００９３；２．南京师范大学泰州学院 电力工程学院，江苏 泰州 ２２５３００）
摘 要：视觉里程计通过分析相机获取的图像流信息估计移动机器人的位姿。为了深入分析视觉里程计算法 的发展现状，结合一些先进的视觉里程计系统，综述了视觉里程计的相关技术以及最新的研究成果。首先简述 了视觉里程计的概念和发展历程，介绍了视觉里程计问题的数学描述和分类方法；然后，详细阐述了视觉里程计 的关键技术，包括特征模块、帧间位姿估计和减少漂移；此外，还介绍了基于深度学习的视觉里程计的发展动态。 最后，总结了视觉里程计目前存在的问题，展望了未来的发展趋势。 关键词：机器视觉；视觉里程计；位姿估计；视觉导航；移动机器人；深度学习 中图分类号：ＴＰ２４２．６ 文献标志码：Ａ 文章编号：１００１３６９５（２０１９）０９００１２５６１０８ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０５．０３４６
Ａｂｓｔｒａｃｔ：Ｖｉｓｕａｌｏｄｏｍｅｔｒｙ（ＶＯ）ｅｓｔｉｍａｔｅｓｔｈｅｐｏｓｅｏｆａｍｏｂｉｌｅｒｏｂｏｔｂｙａｎａｌｙｚｉｎｇｔｈｅｉｍａｇｅｆｌｏｗｃａｐｔｕｒｅｄｂｙｔｈｅｅｑｕｉｐｐｅｄ ｃａｍｅｒａｓ．ＩｎｏｒｄｅｒｔｏａｎａｌｙｚｅｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆＶＯａｌｇｏｒｉｔｈｍｓ，ｔｈｉｓｐａｐｅｒｒｅｖｉｅｗｅｄｔｈｅｒｅｌａｔｅｄｔｅｃｈｎｏｌｏｇｉｅｓｏｆＶＯａｎｄｔｈｅｕｐ ｔｏｄａｔｅｒｅｓｅａｒｃｈｓｔａｔｅｃｏｍｂｉｎｅｄｗｉｔｈｓｏｍｅａｄｖａｎｃｅｄＶＯｓｙｓｔｅｍｓ．Ｆｉｒｓｔｌｙ，ｔｈｉｓｐａｐｅｒｄｅｓｃｒｉｂｅｄｔｈｅｃｏｎｃｅｐｔａｎｄｔｈｅｅｖｏｌｕｔｉｏｎｏｆ ＶＯ，ａｎｄｉｎｔｒｏｄｕｃｅｄｔｈｅｍａｔｈｅｍａｔｉｃａｌｄｅｓｃｒｉｐｔｉｏｎａｎｄｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆＶＯ．Ｔｈｅｎ，ｉｔａｎａｌｙｚｅｄｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｏｆＶＯｉｎ ｄｅｔａｉｌｓ，ｉｎｃｌｕｄｉｎｇｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ，ｍｏｔｉｏｎｅｓｔｉｍａｔｉｏｎａｎｄｄｒｉｆｔｒｅｄｕｃｔｉｏｎ．Ｉｎａｄｄｉｔｉｏｎ，ｉｔａｌｓｏｉｎｔｒｏｄｕｃｅｄｔｈｅｌａｔｅｓｔｄｅｅｐｌｅａｒｎ ｉｎｇｂａｓｅｄＶＯ．Ａｔｌａｓｔ，ｉｔｄｉｓｃｕｓｓｅｄｔｈｅｅｘｉｓｔｉｎｇｐｒｏｂｌｅｍｓａｎｄｐｒｏｓｐｅｃｔｅｄｔｈｅｄｅｖｅｌｏｐｍｅｎｔｔｒｅｎｄｏｆＶＯ． Ｋｅｙｗｏｒｄｓ：ｍａｃｈｉｎｅｖｉｓｉｏｎ；ｖｉｓｕａｌｏｄｏｍｅｔｒｙ；ｐｏｓｅｅｓｔｉｍａｔｉｏｎ；ｖｉｓｉｏｎｂａｓｅｄｎａｖｉｇａｔｉｏｎ；ｍｏｂｉｌｅｒｏｂｏｔｓ；ｄｅｅｐｌｅａｒｎｉｎｇ
从连续的图像序列中估计相机自运动的思想最早由 Ｍｏｒａｖｅｃ［２］提出。他利用一个可滑动的相机获取视觉信息完成 了机器人的室内导航。１９８７年，Ｍａｔｔｈｉｅｓ等人［３］设计了从特征 提取、特征匹配与跟踪到运动估计的理论框架，该框架至今仍 为大多数 ＶＯ系统所遵循。绝大多数早期的 ＶＯ系统主要应 用于行星探测［２，４］，其中最典型的当属美国 ＮＡＳＡ的火星探测 项目。ＶＯ在火星 探 测 器 中 用 于 在 轮 速 传 感 器 失 效 时 测 量 六 个自由度参数。ＶＯ这个术语是由 Ｎｉｓｔｅｒ等人［５］在 ２００４年创 造的。他们设计了一种实时的 ＶＯ系统，真正意义上实现了机 器人室外运动导航，同时还提出了两类 ＶＯ的实现途径和流
程，即单目视觉和立体视觉的方法，这为后来 ＶＯ的研究奠定 了新的基础。
与 ＶＯ紧密相关的一个领域是基于视觉的同时定位与地 图 构 建 技 术 （ｖｉｓｕａｌｓｉｍｕｌｔａｎｅｏｕｓｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ， ＶＳＬＡＭ）［６～８］。ＶＳＬＡＭ在一个未知的环境中对机器人进行自 定位并实时重建环境的三维结构。其目标是获得对机器人运 动轨迹的全局一致性估计，这意味着机器人必须能够识别曾经 到过的地方，这个过程被称为闭环检测。而 ＶＯ是增量式的重 构路径，它只关心轨迹的局部一致性。从实时性和环境适应性 的角度出发，专注于局部运动估计的 ＶＯ更具有实用价值，更 适用于大范围运动的移动机器人。
Ｒｅｖｉｅｗｏｆｖｉｓｕａｌｏｄｏｍｅｔｒｙａｌｇｏｒｉｔｈｍ
ＣｉＷｅｎｙａｎ１，２，ＨｕａｎｇＹｉｎｇｐｉｎｇ１，ＨｕＸｉｎｇ１
（１．ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌＥｌｅｃｔｒｉｃａｌ＆ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ ｏｆＥｌｅｃｔｒｉｃＰｏｗｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＮａｎｊｉｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙＴａｉｚｈｏｕＣｏｌｌｅｇｅ，ＴａｉｚｈｏｕＪｉａｎｇｓｕ２２５３００，Ｃｈｉｎａ）
０ 引言
在移动机器人系统中，要进行目标探测和定位，对于自身 位姿的估计非常重要。传统的位姿估计方法有 ＧＰＳ、ＩＭＵ、轮 速传感器和声纳定位系统等里程计技术。近年来，相机系统变 得更加便宜，分辨率和帧率也更高，计算机性能有了显著提高， 实时的图像处理成为可能。一种新的位姿估计方法因此而产 生，即视觉里程计（ｖｉｓｉｏｎｏｄｏｍｅｔｒｙ，ＶＯ）。ＶＯ仅利用单个或多 个相机所获取 的 图 像 流 估 计 智 能 体 位 姿 ［１］。 它 的 成 本 较 低， 能够在水下和空中等 ＧＰＳ失效的环境中工作，其局部漂移率 小于轮速传感器和低精度的 ＩＭＵ，它所获得的数据能够很方便 地与其他基于视觉的算法融合，省去了传感器之间的标定。