视觉导航技术综述

视觉导航技术综述
唐超颖，杨忠，沈春林
（南京航空航天大学自动化学院，江苏 南京 210016）
摘要：概述了视觉导航技术。

视觉导航依据视觉图像，利用图像处理、计算机视觉、模型识
别等相关技术获取运动体的运动信息和空间位置信息，实现导航。

首先，简单比较了各种常
用的导航方式，分析了视觉导航的研究意义；其次，总结了目前视觉导航的应用领域及应用
概况；接着，介绍了局部视觉和分布式组合视觉两种导航方式的含义及应用情况；然后，分
析、比较了目前视觉导航研究中的一些关键技术；最后，综合国内外视觉导航技术研究的现
状及存在的问题，提出了进一步研究的方向与途径。

关键词：视觉导航、移动机器人、智能车辆、三维重建、图像匹配、路径识别
0 引 言
导航是指运动体按照预先给定的任务命令，根据已知的地图信息做出全局路径规划，并在行进过程中，不断感知周围的局部环境信息，做出各种决策，随时调整自身的姿态与位置，引导自身安全行驶，直至目标位置。

导航系统要解决的问题包括：一、空间位置、方向、环境信息的检测；二、所获信息的分析、处理及综合；三、运动路径规划。

根据环境信息的完整程度、导航指示信号类型、导航地域等因素的不同，目前常见的导航方法有：惯性导航、电磁导航、卫星导航、激光导航、红外导航、无线电导航、视觉导航及各种方式的组合导航等。

惯性导航利用加速度计与陀螺仪计算航程，推知当前位置和下一步目的地，不易受外界环境的影响，是目前的主要导航方法，但随着航程的增长，定位误差将会不断累加，导致定位精度下降[1]；电磁导航也称地下埋线导航，20世纪70年代迅速发展并广泛应用于柔性生产，其原理是在路径上连续埋设多条引导电缆，分别流过不同频率的电流，通过感应线圈对电流的检测来感知路径信息，该技术简单实用，但其成本高，改造和维护困难，且不适用于长距离导航[2]；卫星导航利用卫星发射无线电波到地面接收器的时间来推算地面接收器所在的经纬度，其中GPS是目前真正实用的一种卫星导航和定位系统，但其技术为美国所垄断，我国也正在致力于这方面的研究；激光和红外线定位由于可以达到很高的精度，近年也被广泛应用于导航领域，但激光导航需要向外界发射能量，不易隐身，红外导航易受日光影响，一般用于夜间导航；无线电导航方式中，角度到达定位和信号强度定位的精度不高，只能提供粗略的位置信息，抵达时间定位可以达到很高的精度，但是电波以光速传播，要达到米级精度，时间粒度需要纳秒级以上，且易受空中各种无线电波的干扰[3]。

视觉导航是采用CCD 摄像头拍摄路面图像，运用机器视觉等相关技术识别路径，实现自动导航的一种新兴导航方法[3]。

由于视觉导航通常采用被动工作方式，设备简单、成本低、经济性好、应用范围较广，在理论上具有最佳引导柔性，因此近年来发展非常迅速。

文中后续部分将对视觉导航的应用领域、适用范围、关键技术等方面做出综合分析。

基金项目：国家自然科学基金资助项目(60674100)
作者简介：唐超颖（1979-），女，江苏南京人，讲师，导航、制导与控制
1视觉导航的仿生学来源及其研究意义
1.1 蚂蚁的视觉导航及其研究意义
蚂蚁能够用可怜的视力在多变的自然环境中远距离识路[4]。

第一次经过时，它们在行进的过程中储存了路线的图像信息，之后就使用复合地标以及对于整个地形的记忆来导航。

蚂蚁有一系列地标记忆，在不同情况下会选择使用相应的记忆，比如寻找食物、回家等等。

精确的记忆调用往往是基于蚂蚁储存的一个巨大的全景信息。

理解蚂蚁导航系统有助于智能自动控制装置的开发，昆虫行为往往比哺乳动物的行为更贴近机械，蚂蚁的导航策略有很多固定的地方。

这一研究使人们更容易理解蚂蚁的导航策略是如何运作的，以及如何设计自动控制装置用同样的原理进行导航。

1.2 蜜蜂的视觉导航及其研究意义
蜜蜂用来保证自己平稳着陆的技巧可以用来控制无人驾驶飞机的着陆[5]。

实验发现，蜜蜂着陆时的飞行速度与它们离地面的高度总是成比例地减慢。

经验告诉我们：当我们向前运动时，离一个物体越近，它向我们奔来并越过我们的速度就越快。

同样，如果蜜蜂以一个恒定的速度着陆，地面就会越来越快地向它们扑来。

因此，蜜蜂在着陆过程中，让地面的影像越过自己视野的时候速度保持恒定，这样蜜蜂就会自动减慢它们的着陆速度，使在接触地面的那一瞬间速度为零。

蜜蜂着陆的精妙之处，就在于它利用视觉来进行自然导航，不需要了解自己速度的准确数字，也不需要知道自己离地面有多高，只需要知道地面影像越过自己视野时的速度。

对蜜蜂来说，这种导航只是它神经系统的某种特异化。

科学家们进行了实验验证，他们在一台计算机控制的起重机的吊钩上安装了一台向下的摄像机。

当保持地面影像移动速度恒定时，吊钩达到地面的运动刚好停止。

类似这样的视觉导航系统对微型飞行器来说是很有价值的，它能引导微型飞行器穿梭于建筑物之间，而不会因速度太快撞在墙壁上。

现在科学家们正在试制一架带有蜜蜂导航系统的无人驾驶飞机，希望它能像蜜蜂一样安全轻盈地着陆。

2 视觉导航的应用领域
视觉导航在交通运输、自动化仓库、柔性生产线的运料小车等方面都已经得到了较好的应用。

对于移动机器人和智能车辆的导航已经取得了初步的成果，并将应用于飞行器导航和月球探测车的导航。

2.1 移动机器人导航
移动机器人是一种在复杂环境下工作的具有自规划、自组织、自适应能力的机器人。

在移动机器人的相关技术研究中，导航技术可以说是其核心技术，也是实现真正智能化和完全自主移动的关键技术。

导航研究的目标是在没有人干预下使机器人有目的地移动并完成特定任务，进行特定操作。

机器人通过装配的信息获取手段，获得外部环境信息，实现自我定位，判定自身状态，规划并执行下一步动作[6]。

由于计算机视觉理论及算法的发展，视觉导航成为导航技术中一个重要发展方向。

通常，机器人利用装配的摄像机拍摄周围环境的局部图像，然后通过图像处理技术，如特征识别、距离估计等，进行机器人定位及规划下一步的动作。

有研究人员利用Fourier变换处理机器人全方位图像，并将关键位置的图像经Fourier变换所得的数据存储起来作为机器人定位的参考点，以后机器人拍摄的图像经变换后与之相对照，从而得知机器人当前位置[7]。

也有研究人员利用视觉技术计算解决机器人运动过程中的避碰点，从而实现机器人局部路径规划。

视觉导航既适用于室内环境，也适用于室外环境，两者都必须区分探测目标与背景。

为了将障碍与背景分开，所需的图像计算量很大，导致系统的实时性较差[8]。

可采用一些图像处理方法, 其中包括：使用Hough变换从图像中提取直线形式的道路边界，并通过对比探测到的道路信息与机器人内部存储的地图，修正偏差，实现导航[9]，这种方法可以提高导航的鲁棒性。

也可以把图像分解成为目标、背景、平地、不平地四类，并根据分解后的结果，将环境信息归类于平原模式和目标模式，然后针对不同的模式采用不同的环境表示方法和导航方式, 从而避免无用信息的运算。

在室内环境中，可采用Hough变换从图像中提取墙壁等直线信息，然后根据与多个墙壁的距离来实现自身的定位；对机器人内部的目标图形库采用树型存储，可以提高探测到的二维图像与目标的匹配速度。

由于仅通过单幅图像信息来判断障碍物的距离和速度是很不准确的，因此在实际应用中，可使用多个摄像机，或是利用一个摄像机的多幅连续图像序列来计算目标的距离和速度。

还可采用SSD算法，根据一个摄像机的连续画面来计算机器人与目标的相对位移，并用自适应滤波对测量数据进行处理，以减小环境的不稳定性造成的测量误差[10]。

为了避免大量的图形运算, 可用多种传感器来完成测距工作。

在室外或环境不规整情况下，很难用墙壁或道路边界进行导航，这时就有必要设置专用的陆标，或者选用树木之类的变化不大的自然景物作为陆标，结合CCD摄像头或超声波传感器来探测陆标，以确定机器人当前的准确位置。

2.2 智能车辆导航
智能车辆是当今世界车辆工程领域的研究前沿和热点。

智能车辆是集环境感知、规划决策、辅助驾驶等功能于一体的综合智能系统，是计算机视觉、人工智能、控制理论和电子技术等多个技术学科交叉的产物，代表了未来车辆的发展方向，具有十分广阔的应用前景[11]。

视觉导航智能车辆已经成为当今智能车辆的发展主流。

计算机视觉系统是智能车辆感知局部环境的重要“器官”，它以地面上涂设的条带状路标作为路径标识符，运用计算机视觉快速识别路径，其最优导向控制器能够保证对路径进行准确跟踪[12]。

与其它导航方式相比，车辆视觉导航具有以下突出优点：1）路径设置简单、灵活、成本低，便于维护与改线；2）采用图像处理技术可以很方便地识别多停车工位和多分支路径，克服了埋线磁导航和激光导航多工位、多分支路径识别的困难；3）采用图像识别技术可以方便地获取车辆的多种偏差信息，并针对不同偏差设计出多输入反馈最优导向控制器与模糊控制器的融合导航控制器，能够实现车辆不同状态下快速、可靠、稳定地调整；4）车辆具有自动避障、自动报警、自动上线和无线通讯等人工智能[13]。

我国吉林大学智能车辆课题组对车辆的自主导航机理及关键技术的开发与应用进行了较为系统的研究，已先后研制开发出四代视觉导航智能车辆。

制约智能车辆视觉系统发展的关键是视觉系统的实时性、鲁棒性等要求，即视觉系统数据处理必须与车辆的高速行驶同步进行，智能车辆视觉系统在不同的道路环境（如高速公路、普通公路等结构化道路和非结构化道路，复杂的路面环境如路面及车道线的宽度、颜色、纹理、动态随机障碍与车流等）以及变化的气候条件（如日照及景物阴影、黄昏与夜晚、阴天与雨雪等）均须具有良好的适应性。

对智能车辆视觉系统相关机理及图像处理与识别等关键技术的研究是目前世界范围内的研究热点[14]。

2.3 飞行器导航
小型无人驾驶飞行器近年来在许多领域得到了广泛的应用，如军事侦察、收集情报及执行反恐任务等。

导航是飞行器的重要组成部分，能为飞行器提供位置、速度及姿态信息。

小型飞行器多采用惯导与卫星导航。

惯导成本高、体积大，而卫星导航为非自主导航。

为了降低导航系统成本、减小体积、提高自主性、简化飞行器导航设备，可考虑采用视觉导航。

视觉系统具有独立性、准确性、可靠性以及信息完整性等优势，可完成目标识别、障碍物回
避及路径规划等功能[15]，利用视觉系统控制飞行器的姿态是近年发展起来的一种先进的定姿方法。

目前，国内外对视觉系统在飞行器上的应用研究较多，如低空飞行导航、障碍物检测与回避、无人机自动着舰时使用视觉系统测量无人机与舰艇的相对距离，由视觉信息估计飞行器运动参数等，其中有些成果已应用到飞行器上[16]。

视觉导航利用摄像机摄取图像信息，经图像处理提取并识别相关信息，估计出飞行器在环境中的姿态，进而控制飞行器飞行。

目前，很多飞行器都利用视觉系统采集图像，用于侦察和勘探。

如果能利用自带的成像系统进行飞行器的飞行姿态估计，势必能提高设备的利用率。

基于图像统计信息可以估计出飞行器的滚转角与俯仰角，提高姿态估计的实时性和鲁棒性，并且可以解决姿态估计过程中滚转角与俯仰角耦合的问题[17]。

这种方法适用于装备以视觉系统作为导航系统的飞行器，尤其是装备小型视觉系统的微小型飞行器。

将应用该算法的视觉导航系统与微惯性测量单元组合使用，可以增大飞行器姿态角估计的范围，进一步提高估计精度。

2.4 月球探测车导航
月球车具有高度自主性，并适于在复杂的非结构化月面环境中执行探测任务，它是目前对月球进行近距离探测的最直接有效的工具[18]。

月球车具有自主漫游和探测功能，能够在月球表面自动行驶几百米甚至是几百公里，通过自身携带的科学仪器可实现对月球表面环境的简单直接勘测。

月球巡视探测器要进行自主巡游，需要有路径规划、定位、避障、运动控制等基本功能。

月球车立体视觉系统是月球车认知月面环境的工具，也是月球车在复杂环境下赖以生存的重要信息源，利用立体视觉系统，不仅可以对环境地形重构、实时避障，而且还可以利用其得到的立体序列图像进行月球车自运动估计。

3 视觉导航方式
视觉导航定位系统的工作原理简单说来就是对周边环境进行光学处理，先用摄像头进行图像采集，然后对图像进行压缩，再将其反馈到由图像处理、分析，模式识别等算法构成的信息处理子系统中，把图像信息与实际位置信息联系起来，完成自主导航定位。

3.1 局部视觉导航
目前国内外应用较多的是安装车载摄像机的基于路标或地图模型匹配的局部视觉的导航方式[19]。

控制设备和传感装置装载在车体上，图像识别、路径规划等高层决策都由车载控制计算机完成。

视觉导航系统主要包括：摄像机（或 CCD图像传感器）、视频信号数字化设备、基于DSP 的快速信号处理器、计算机及其外设等。

当今国内外广泛研制的足球竞赛机器人通常都采用这种视觉导航方式，在机器人小车子系统中安装摄像头，配置图像采集板等硬件设备和图像处理软件等组成机器人视觉系统。

通过这个视觉系统，足球机器人就可以实现对球的监测和机器人自身的定位，做出相应动作。

这种方式的不足在于需要在工作区域内铺设行走路径等各种路标，机器人/车只能按固定路径行走，不能灵活改变路径自由行走，改造和维护困难[20]。

另外，由于所有的计算设备和传感器都装载在车体上，图像识别、路径规划等高层决策都由车载计算机完成，图像处理计算量大，对计算机实时处理速度要求非常高，因此延迟问题较为明显。

3.2 分布式视觉组合导航
分布式视觉组合导航也是一种常用的方式：一方面，整个视觉导航系统由全局视觉和局部视觉两部分组成，即“视觉组合”；另一方面，全局视觉本身具有分布性，即全局视觉由多部摄像机组成[21]，并且将摄像机与机器人/车分离，机器人/车在环境中的活动被置于全局
摄像机的监视之中，完成导航与定位。

根据机器人/车工作范围的大小、工作环境的复杂程度、环境中障碍物的大小和分布，以及对导航定位精度要求的不同来选择摄像机的数量和安装位置，体现了环境与机器人/车的集成思想。

利用全局视觉进行绝对定位时，需要对作为全局视觉的摄像机的参数进行标定。

与局部视觉不同的是，全局摄像机安装位置较高，获取的场景较大。

根据工作范围及工作环境的复杂程度的不同，需要在环境中布置多部摄像机，这就使得摄像机的标定精度、定位坐标的计算方法成为决定导航和定位精度的首要因素。

目前，在国外有些移动机器人导航系统中设计了利用全局视觉作为反馈环节的控制器，但多数只是作为移动机器人工作时的监控手段。

因此，对于合理利用全局视觉导航方式还需要进行深入的研究。

4 视觉导航的关键技术
视觉导航利用一只或多只摄像机获得场景的二维图像信息，然后通过图像处理、计算机视觉、模式识别等算法，确定运动信息或三维位置信息，从而进行导航。

目前视觉导航研究已取得了许多成果，但还有很多关键理论和技术问题有待解决和完善，其中的关键技术包括摄像机标定、立体图像匹配、路径识别和三维重建。

4.1 摄像机标定
摄像机标定是从二维图像获取三维信息必不可少的步骤，是视觉导航中一个关键的问题。

摄像机摄入图像中每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上的位置与空间物体表面相应点的几何位置有关。

这些位置的相互关系，由摄像机成像几何模型所决定，该几何模型的参数称为摄像机参数。

由试验和计算决定这些参数的过程称为摄像机标定，包括内部参数的标定和外部参数的标定两部分。

内部参数的标定是确定摄像机内部的几何和光学特性；外部参数的标定是确定摄像机在一个世界坐标系中的三维位置和方向。

传统的标定方法是通过结构已知的物体（如定标块）在图像中的投影来计算摄像机的参数。

这种方法的缺点是需要一个定标块，在很多实际应用中难以实现。

摄像机自标定技术可以克服这个缺点，它直接利用图像信息来标定内参数，不需要定标块。

目前摄像机自标定的方法几乎都是基于绝对二次曲线(absolute conic)或者它的对偶绝对二次曲面(absolute quadric)的方法。

文献[22]提出一种基于射影重建的线性摄像机自标定方法，它只需要在摄像机运动中存在一次纯平移运动，就可以线性标定摄像机内参数。

所以该方法对设备的要求不高，甚至不需要任何特殊的设备，比如用手持式摄像机拍摄一些图像即可。

另外，该方法在对图像进行射影重建的过程中利用了所有图像的信息，而不仅是利用极点的解析关系或者两幅图像之间的关系，所以该方法具有较好的鲁棒性。

文献[23]利用人工神经网络来直接学习图像信息与三维信息之间的关系，不需确定摄像机具体的内部参数和外部参数，也不需知道有关模型或参数的先验知识。

在双目视觉的情况下，两摄像机的位置关系不需具体求出，而是隐含在神经网络之中。

该神经网络方法已经成功地用于机器人曲线跟踪的实验。

4.2 立体图像匹配
在立体视觉系统中，图像匹配是指在两幅或多幅从不同角度观察得到的立体图像上寻找空间坐标中物体上的同一点的图像坐标，并将它们一一对应起来的过程，也称为对应点匹配或立体图像配准。

有两个问题需要解决：提取适当的图像特征作为匹配基元；选择适当的计算方法准确地、可靠地匹配这些所选基元，也就是特征选取方法和匹配计算方法的问题。

在目前的相关研究中，特征的选取主要包括直接根据图像的灰度信息和根据图像中物体的结构特征两大类。

其对应的匹配计算方法也包括两大类：基于图像的区域相关匹配（Area-based
Matching）和基于景物特征的图像特征匹配（Feature-based Matching）。

前者直接利用图像的灰度信息，具有实现简单、定位精度高、恢复视差密度大等优点。

其缺点是对景物的成像条件比较敏感，并且由于使用耗尽型搜索匹配技术，算法计算量大且耗时多，对噪声敏感，对于图像纹理较少或纹理重复度高的情况容易产生误匹配；而后者较多地利用了景物的结构信息，可利用不同尺度下的景物特征来分析景物，从而避免了前者的缺陷。

文献[24]和[25]提出以边缘点为匹配特征的匹配算法，并首次采用了动态规划技术，通过在二维规划平面上搜索最佳路径得到最佳匹配；文献[26]提出以边缘线为特征的动态规划算法，把搜索空间扩大到三维，不但保证了匹配在同一扫描线内是最佳的，而且在扫描线间也是全局最优的。

但是这类方法都首先要求特征（一般是图像中的角点、边缘、端点等）提取准确，并需要额外设置特征属性；其次，优化搜索技术的计算量较大，匹配效率较低。

文献[27]针对网格立体视觉三维表面重建系统提出了一种由粗到精的网格立体图像匹配方法，该方法将区域相关匹配技术与图像特征匹配技术相结合，充分利用了前者的精确性和后者的简洁性等优点。

首先提取图像的大致网格形状，采用逐步消除法得到网格交叉点，通过最小距离拓扑映射法初选种子点，进而采用一种基于特征匹配的“点－线－面”技术对网格条纹图像进行粗匹配，随后采用基于区域相关法进行进一步的精匹配，通过二维匹配插值得到更多的二维数据点以便获得更密集的视差表面。

在粗匹配过程中，将特征点的提取过程与匹配过程统一起来，无需进行特征点的属性分析和设置，减小了特征匹配的难度，避免了匹配歧义性。

4.3 路径识别
视觉导航的一项关键技术就是精确可靠地识别出行走路径。

摄像头拍摄的路面图像信息，由于受光照变化、路面不平所引起的摄像头振动和图像采集传输等因素的影响，不可避免地混入噪声成分。

在进行路径识别之前，首先应进行图像预处理，包括灰度变换和噪声消除等。

路径识别的关键在于能够通过视觉图像处理，找到导航路标的位置和方向。

文献[28]考虑路径先验知识的引导作用，结合非结构化自然环境中视觉导航路径的特点，兼顾反馈的思想，提出一种路径识别算法。

对自然环境的彩色图像进行处理分析时，选择了适宜的彩色特征用于路径识别,算法流程图如图1所示。

文献[29]提出的方法采用单摄像头，基于自然景观环境下，通过最大方差阈值分割法将图像转化为二值图像，并经过中值滤波去除噪声。

根据图像左右位置平均得到导航离散点，通过Hough变换得到导航路径，进而得到导航控制参数。

利用坐标系转换关系将图像坐标系中的导航信息转换到世界坐标系，从而完成路径识别。