一种基于单目视觉的移动机器人室内导航方法
基于单目视觉的移动机器人室内定位
!科技风 "#$% 年 $$ 月
电子信息 !"#!$%&$'(') *+&,-./&$01$21(3$&)%$4($%1'
基于单目视觉的移动机器人室内定位
魏5焱5 符秀辉
沈阳化工大学信息工程学院!辽宁沈阳!$$%$"#
摘5要阐述移动机器人定位技术在机器人技术中的重要性!提出在单目视觉的条件下实现对于移动机器人的定位!并在实 际室内环境运用单目相机+智能小车以及 Q<a,`- 软件平台进行试验!先通过相机标定得到相机参数!再运用相机在实验现场实际 采集图像!利用相机参数和采集到的图像信息来定位智能小车!得出了小车实际坐标位置!证明本文提出的方法有效"
基于单目视觉的SLAM算法研究与实现
基于单目视觉的SLAM算法研究与实现单目视觉SLAM算法是目前比较受关注的一种技术，它广泛应用于自动驾驶、机器人导航、虚拟现实等领域。
本文将从算法原理、实现过程、应用案例等方面，深入探究基于单目视觉的SLAM算法。
一、算法原理SLAM（同时定位与地图构建）是利用传感器获得机器人运动轨迹的同时，构建机器人所在环境的地图的一种技术。
单目视觉SLAM算法是利用单个摄像头获得机器人运动轨迹和环境地图的技术手段。
其原理基于视觉几何，包括特征提取、特征匹配、相机姿态估计、地图构建等步骤。
在特征提取方面，通常采用SURF、SIFT、ORB等算法。
在特征匹配方面，通常采用基于关键点匹配的方法，例如基于FLANN（快速最近邻搜索库）的近似最近邻匹配。
相机姿态估计方面，通常采用基于PnP（透视n点算法）的方法。
地图构建方面，通常采用基于稀疏的点云地图和基于积分的稠密地图两种方法。
二、实现过程单目视觉SLAM算法的实现通常分为前端和后端两部分。
前端负责特征提取、特征匹配和相机姿态估计等任务；后端负责地图构建、位姿优化和闭环检测等任务。
前端算法的作用是估计每帧图像的相机位姿，同时提取关键特征点，以用于后续的地图构建和位姿优化。
在实现上，往往采用滑动窗口（SLAM-SW）的方式进行相机位姿的估计，并使用基于光流估计的特征点运动模型，降低误差。
后端算法的作用是通过最小化误差来优化相机位姿，并生成高精度地图，通常采用基于非线性优化的方式。
由于SLAM问题是一个非线性优化问题，因此通常采用基于因子图（Factor Graph）的方法进行求解。
在实现上，常用的优化框架有g2o、ceres-solver等。
三、应用案例单目视觉SLAM算法已经广泛应用于机器人导航、自动驾驶、虚拟现实等领域。
下面介绍一些应用案例。
机器人导航方面，单目视觉SLAM算法可以用于室内机器人的自主导航。
例如，一项研究利用一个具有单目相机和惯性测量单元（IMU）的移动机器人，通过双目VIO（视觉惯性里程计）的方式实现自我定位和地图构建。
基于单目摄像头的人形机器人实时导航系统
基于单目摄像头的人形机器人实时导航系统王军华;魏衡华【摘要】提出一种用于室内环境下人形机器人的实时导航系统。
首先基于颜色特征，把单目图像的像素点分类为地面和障碍物，并对各个障碍物的像素点进行聚类，以选择出它们最底部的像素点作为特征点。
然后基于 SVM （ Support Vector Machine ）算法，构造摄像头中实际点和像素点坐标的映射关系，并用均值场理论辅助 SVM 的学习过程。
根据映射关系和特征像素点，就可以估计出障碍物与机器人的距离。
最后根据距离信息，在离散化的运动空间中，一步一步规划出机器人的行走路径。
在人形机器人 DARWIN 上对提出的方法进行了实现，实验结果显示了该方法的有效性。
%This paper presents a real-time navigation system. Based on color information , pixels from monocular image are classified into ground and obstacles, and pixels from the same obstacle are clustered to choose the bottom ones as features. Then SVM (Support Vector Machine) is used to establish a mapping between the real-world coordinates of points and their corresponding image pixels, and Field Mean theory is used to assist the learning procedure. Distances between obstacles and robot can be estimated according to the mapping and features. At last, the path is planned step by step in the discretized motion space with the distances information. The navigation method is implemented on humanoid robot DARWIN and the results of the experiment show its effectiveness.【期刊名称】《微型机与应用》【年(卷),期】2015(000)016【总页数】4页(P49-51,54)【关键词】人形机器人;导航;颜色信息;支持向量机;路径规划【作者】王军华;魏衡华【作者单位】中国科学技术大学自动化系，安徽合肥 230026;中国科学技术大学自动化系，安徽合肥 230026【正文语种】中文【中图分类】TP391近年来，研究人员对人形机器人开展了大量研究工作，并取得了巨大进步。
单目机器人导航
近年来， 随着视觉传感器价格的不断下降， 计算 机处理速度不断提高， 图像处理理论不断完善， 信息 量丰富的视觉导航已成为导航领域研究的热点， 并 在许多领域得到了应用。例如用室内自主车（ ａ ｕ ｔ ｏ ， ） 仓储货运 、 室外自主车 ｍ ａ ｔ ｅ ｄ ｇ ｕ ｉ ｄ ｅ ｄｖ ｅ ｈ ｉ ｃ ｌ ｅ Ａ Ｇ Ｖ （ ， ） 在军事、 城市环境等中 ａ ｕ ｔ ｏ ｎ ｏ ｍ ｏ ｕ ｓ ｌ ａ ｎ ｄｖ ｅ ｈ ｉ ｃ ｌ ｅ Ａ Ｌ Ｖ 的应用。但目前基于视觉的 Ａ Ｇ Ｖ的运动环境必须 是在光照强度不变的条件下的结构化道路， 而Ａ Ｌ Ｖ 的视觉导航离实用化的距离还相当遥远， 并且导航 的鲁棒性能较差、 精度也比较低。 本文的研究目的是使机器人能够通过视觉传感 器， 在室外大范围光照强度变化的情况下， 将导航路 径分割提取， 并计算导航参数， 并且能够识别各个停 靠位标识， 以使机器人能够在设定的地点停靠， 完成 相应的任务。由于机器人运行在室外， 不可避免要 受到不同光照的影响， 而以往的方法受光照变化影 响很大， 再加上地面背景比较复杂， 分割提取的效果 可想而知， 直接影响到导航参数的计算。本文介绍 了一种比较实用的稳定的导航方法， 弥补了传统的 导航线跟踪所采用的 Ｈ 变换和最小二乘法在执 ｏ ｕ ｇ ｈ 行时间和鲁棒性上的不足。
超声导航利用移动机器人身上装有超声接收 器， 测得移动机器人和信标的距离和方位从而估计 移动机器人的位姿。超声波导航方法的优点是硬件 结构简单， 价格低廉， 容易操作， 缺点是速度慢， 传感 器存在较大的波束角（ 角度分辨率低） ， 且对光滑表
］ ３ 面存在镜面反射， 单一传感器的稳定性不理想等［ 。
第４ 卷 第１ 期 ３ １ Ｖ ｏ ｌ ． ４ ３ Ｎ ｏ ． １ １
使用单目视觉的移动机器人导航方法
使用单目视觉的移动机器人导航方法李庆;郑力新;潘书万;张裕坤;谢一首【摘要】The combine of machine vision and robotics is a major trend in the future development of the robotics industry. In the schemes of mobile robot obstacle avoidance, there are many problems with using traditional sensors, and the acquired information is limited. So a method of monocular vision-based mobile robot obstacle avoidance and navigation is proposed. And if the camera lens focal length is known, there is no need for camera calibration in the application. To reduce the impact of light on the edge detection of the obstacle, the color image is converted to the HSI space. Detecting the edge of converted components by using canny algorithm, and the test results are synthesized. Filtering synthetic results by thresholding, to remove weak edge information and improve the detection accuracy. Connecting the spurious edges by morphological pro-cessing, and non-obstacle area is obtained through regional growth. The mapping between the image coordinate system and the robot coordinate system is established according the geometric relationship. Finally, using fuzzy logic combined with membership functions to obtain robot control parameters. Experimental results show that the image color space con-version reduces the impact of the shadow and reflective of ground surface, the algorithm can effectively eliminate the interference of ground stripes and accurately detect the edge of the obstacle, and fuzzy logic decision method improves the robustness of the algorithm and the reliability of results.%机器视觉与机器人的结合是未来机器人行业发展的一大趋势.在移动机器人的避障导航方案中,使用传统的传感器存在诸多问题,且获取的信息有限.提出一种基于单目视觉的移动机器人导航算法,在算法应用中,如果使用镜头焦距已知的相机,则无需对相机标定.为降低光照对障碍物边缘检测的影响,将机器人拍摄的彩色图像转换到HSI空间.采用canny算法对转换后的分量分别进行边缘检测,并合成检测结果.通过阈值处理过滤合成边缘,去除弱边缘信息,提高检测准确度.采用形态学处理连接杂散边缘,通过区域生长得到非障碍区域,并由几何关系建立图像坐标系与机器人坐标系之间的映射关系.利用结合隶属度函数的模糊逻辑得出机器人控制参数.实验结果表明,对图像颜色空间的转换降低了地面反光、阴影的影响,算法能有效排除地面条纹等的干扰并准确检测出障碍物边缘,而模糊逻辑决策方法提高了算法的鲁棒性和结果的可靠性.【期刊名称】《计算机工程与应用》【年(卷),期】2017(053)004【总页数】5页(P223-227)【关键词】单目视觉;移动机器人;导航;避障;区域生长;模糊逻辑【作者】李庆;郑力新;潘书万;张裕坤;谢一首【作者单位】华侨大学工业智能化技术与系统福建省高校工程研究中心,福建泉州362021;华侨大学工业智能化技术与系统福建省高校工程研究中心,福建泉州362021;华侨大学工业智能化技术与系统福建省高校工程研究中心,福建泉州362021;华侨大学工业智能化技术与系统福建省高校工程研究中心,福建泉州362021;华侨大学工业智能化技术与系统福建省高校工程研究中心,福建泉州362021【正文语种】中文【中图分类】TP391.4LI Qing,ZHENG Lixin,PAN Shuwan,et al.Computer Engineering andApplications,2017,53（4）：223-227.避障是大多数移动机器人导航中的重要一步。
基于单目摄像头的人形机器人实时导航系统
ｉ ｍａ ｇ ｅ ｐ ｉ ｘ ｅ ｌ ｓ ，ａ ｎ ｄ Ｆ ｉ ｅ ｌ ｄ Ｍｅ ａ ｎ ｔ ｈ ｅ ｏ ｒ ｙ ｉ ｓ ｕ ｓ ｅ ｄ ｔ ｏ ａ ｓ ｓ ｉ ｓ ｔ ｔ ｈ ｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｐ ｒ ｏ ｃ ｅ ｄ ｕ ｒ ｅ ．Ｄ ｉ ｓ ｔ ａ ｎ ｃ ｅ ｓ ｂ ｅ ｔ ｗ ｅ ｅ ｎ ｏ ｂ ｓ ｔ ａ ｃ ｌ ｅ ｓ ａ ｎ ｄ ｒ ｏ ｂ ｏ ｔ ｃ ａ ｎ ｂ ｅ ｅ ｓ ｔ ｉ ｍａ ｔ ｅ ｄ
ａ ｃ ｃ ｏ ｒ ｄ ｉ ｎ ｇ ｔ ｏ ｔ ｈ ｅ ｍａ ｐ ｐ ｉ ｎ ｇ ａ ｎ ｄ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ．Ａ ｔ ｌ ａ ｓ ｔ ，ｔ ｈ ｅ ｐ ａ ｔ ｈ ｉ ｓ ｐ ｌ ａ ｎ ｎ ｅ ｄ ｓ ｔ ｅ ｐ ｂ ｙ ｓ ｔ ｅ ｐ ｉ ｎ ｔ ｈ ｅ ｄ ｉ ｓ ｃ ｒ ｅ ｔ ｉ ｚ ｅ ｄ ｍｏ ｔ ｉ ｏ ｎ ｓ ｐ ａ ｃ ｅ ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｄ ｉ ｓ ｔ ａ ｎ ｃ ｅ ｓ
ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｄ ｉ ｎ ｔ ｏ ｇ ｒ ｏ ｕ ｎ ｄ ａ ｎ ｄ ｏ ｂ ｓ ｔ ａ ｃ ｌ ｅ ｓ ，ａ ｎ ｄ ｐ ｉ ｘ ｅ ｌ ｓ ｒｏ ｆ ｍ ｔ ｈ ｅ ｓ ａ ｍｅ ｏ ｂ ｓ ｔ ａ ｃ ｌ ｅ ａ ｒ ｅ ｃ ｌ ｕ ｓ ｔ ｅ ｒ ｅ ｄ ｔ ｏ ｃ ｈ ｏ ｏ ｓ ｅ ｔ ｈ ｅ ｂ ｏ ｔ ｔ ｏ ｍ ｏ ｎ ｅ ｓ ａ ｓ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ．Ｔ ｈ ｅ ｎ
Ｓ ＶＭ
（ Ｓ ｕ ｐ ｐ ｏ ｒ ｔ Ｖｅ ｃ ｔ ｏ ｒ Ｍａ ｃ ｈ ｉ ｎ ｅ ）ｉ ｓ ｕ ｓ ｅ ｄ ｔ ｏ ｅ ｓ ｔ ａ ｂ ｌ ｉ ｓ ｈ ａ ｍａ ｐ ｐ ｉ ｎ ｇ ｂ ｅ ｔ ｗｅ ｅ ｎ ｔ ｈ ｅ ｒ ｅ ａ ｌ — ｗｏ ｒ ｌ ｄ ｃ ｏ ｏ ｒ ｄ ｉ ｎ ａ ｔ ｅ ｓ ｏ ｆ ｐ ｏ ｉ ｎ ｔ ｓ ａ ｎ ｄ ｔ ｈ ｅ ｉ ｒ ｃ ｏ ｒ ｒ ｅ ｓ ｐ ｏ ｎ ｄ ｉ ｎ ｇ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第32卷第4期2006年7月 光学技术OPTICAL TECHN IQU EVol.32No.4J uly 2006 文章编号:1002-1582(2006)04-0591-03一种基于单目视觉的移动机器人室内导航方法Ξ付梦印,谭国悦,王美玲(北京理工大学信息科学技术学院自动控制系,北京 100081)摘 要:针对室内导航的环境特点,提出了一种简单快速的、以踢脚线为参考目标的移动机器人室内导航方法。
该方法从图像中提取踢脚线作为参考直线,通过两条直线在图像中的成像特征,提取角度和横向偏离距离作为移动机器人的状态控制输入,从而实现移动机器人的横向运动控制。
该方法无需进行摄像机的外部参数标定,大大简化了计算过程,提高了视觉导航的实时性。
关键词:视觉导航;直线提取;Hough变换;移动机器人;踢脚线中图分类号:TP242.6+2;TP391 文献标识码:AAn indoor navigation algorithm for mobile robot based on monocular visionFU Meng-yin,T AN G uo-yue,WANG Mei-ling(Department of Automatic Control,School of Information and Science Technolo gy,Beijing Institute of Technology,Beijing 100081,China)Abstract:Considered the features of indoor environment,a sim ple fast indoor navigation algorithm for vision-guide mobile robot was presented,which used skirting lines as the reference objects to locate the mobile robot.This algorithm detected skirt2 ing lines using monocular images and analyzed the lines’parameters to provide angle and distance of the robot as in puts of robot control.Without calibrating camera parameters,this algorithm greatly reduces computation time and improves the real-time a2 bility of vision navigation.K ey w ords:vision navigation;line detection;Hough transform;mobile robot;skirt line1 引 言近年来,机器视觉因其含有丰富的环境信息而受到普遍的关注。
随着视觉传感器价格的不断下降,视觉导航已成为导航领域研究的热点。
在室外进行视觉导航时,采用视觉传感器可获取车道信息,通过摄像机的标定来实现坐标转换,通过确定车辆当前的状态来实现导航。
绝大部分智能车辆都是应用视觉来完成车道检测的[1,2],例如意大利的AR2 GO[3]项目就是通过使用逆投射投影的方法[4]来确定车辆状态的,并获得了良好的实验效果。
在室内进行视觉导航时,利用视觉提取室内环境特征,例如一些预先设置的引导标志就是通过图像处理进行识别并理解这些标志来完成导航任务的[5,6]。
这些都需要在图像中进行大量的搜索运算来提取标志,并通过一系列的图像理解算法来理解标志的信息,因而计算量很大。
当然也可以通过视觉计算室内环境,例如通过走廊中的角点特征来获取状态信息[7],以此减少图像搜索时的计算量。
但这些角点信息易受移动机器人运动的影响,会模糊角点信息,为了提高计算精度需要通过光流法对背景信息进行运动补偿,计算复杂,实时性不理想。
当移动机器人在实验室走廊环境下进行导航控制时,需要视觉传感器为其提供偏航角和横向偏离距离这两个参数。
通过对单目视觉图像进行处理来获取这两个参数,完成移动机器人的横向运动控制。
2 摄像机成像模型与视觉系统2.1 摄像机成像模型使用视觉传感器首先要考虑的是其成像模型,它是指三维空间中场景到图像平面的投影关系,不同的视觉传感器有不同的成像模型。
本文采用高分辨率CCD摄像机作为视觉传感器,其成像模型为针孔模型,空间中任意一点P在图像上的成像位置可以用针孔模型近似表示。
如图1所示,P点投影位置为p,它是光心O同P点的连线O P与图像平面的交点,这种关系叫投射投影。
图中标出的坐标系定义如下[8]:(1)图像坐标系I(u,v)是以图像平面的左上角为坐标原点所定义的直角坐标系,以像素为单位表示图像中点的位置。
(2)像平面坐标(x,y)指的是CCD成像靶面195Ξ收稿日期:2005-07-12 E-m ail:guoyuetan@基金项目:国家自然科学基金资助项目(60453001)作者简介:付梦印(1964-),男,北京理工大学信息科学技术学院自动控制系教授,博士,主要从事导航制导、控制组合导航及智能导航技术的研究。
上的直角坐标系,以光心为原点,x 轴和y 轴分别与u 轴和v 轴平行,以毫米为单位。
(3)摄像机坐标系C (x c ,y c ,z c ),z c 为光轴,它与图像平面垂直,光轴与图像平面的交点为坐标系的原点,x c 轴和y c 轴分别与x 轴和y 轴平行。
(4)空间坐标系W (X W ,Y W ,Z W )指的是在环境中一个基准坐标系,用它来描述摄像机的位置及环境中任何物体的位置。
图1 摄像机成像中的各坐标系通过成像模型及其投射投影关系就可以求取图像中任意一点对应的空间位置关系,视觉传感器正是利用该原理来提供所需的环境信息的[8]。
2.2 视觉系统及其运动环境本文所述的单目视觉系统是安装在移动机器人上的,运行在室内走廊上的移动机器人以及周边环境的俯视图如图2所示。
图中的两条黑实线表示走廊上的踢脚线,γ和d 分别为移动机器人当前的偏航角和横向偏移距离。
图2 视觉系统俯视图 图3 视觉系统侧视图图3为视觉系统的侧视图。
图中给出了空间坐标系W (X W ,Y W ,Z W )与摄像机坐标系C (x c ,y c ,z c )的关系,其中h 为摄像机的安装高度,2α为摄像机的垂直视场角(可由h 和2α计算出移动机器人的视场盲区)。
3 视觉导航信息的获取3.1 图像处理图像处理是视觉导航的核心部分,通过图像处理可以获取所需的环境信息,如车道状态,前向障碍物检测与定位。
本文通过图像处理来提取室内环境中的踢脚线信息,以踢脚线信息作为室内导航的参考信息。
由于在一般的室内环境中均有踢脚线,不需要另外添加引导标志,而且室内走廊主要为直道,可以通过直线提取获取走廊中踢脚线参数。
室内视觉导航方法流程图如图4所示。
目前在图像处理中的最大瓶颈是图像处理的速度,它涉及到对图像中的每个像素的运算。
为了提高视觉导航的实时性,必须消除不必要的像素点。
而图像边缘含有丰富的环境信息,通过边缘提取就可以以足够少的像素数表示足够多的信息。
考虑到室内环境中的踢脚线灰度较低,在预处理环节,先对灰度图像进行反色处理,使踢脚线像素灰度级较高,而墙的灰度级较低,因此在简单的走廊环境中,采用阈值分割来实现图像分割,然后对分割图像进行边缘提取。
因此可大量地减少后续直线提取的计算量,提高了系统的实时性。
3.2 直线提取由于室内走廊主要为直道,踢脚线的成像主要为直线,所以本文通过对边缘图像进行直线提取来获取踢脚线的信息。
目前直线提取的方法有很多,应用最为广泛的是Hough 变换法[9],本文的直线提取方法也是以Hough 变换为基础的。
平面上的任意一条直线可以表示成为y =kx +b 。
在同一直线上所有的点有相同的参数(k ,b ),在以(k ,b )为变量的参数空间中,b =-kx +y ,同一直线上的点将相交于一点(k ,b ),通过(k ,b )就可以确定直线方程,这就是Hough 变换方法的指导思想。
为了避免斜率k 为∞的情况,把直线写成x cos θ+y sin θ=ρ的形式,相应的参数空间就成为(ρ,θ),其中ρ为原点到直线的距离,θ为直线与y 轴正方向的夹角,如图5所示。
经过Hough 变换,空间中的一点就可以变换为参数空间中的一条正弦曲线,因为两点可以确定一条直线,所以参数空间中任意两条正弦曲线的交点(ρ′,θ′)就可以表示一条直线。
图4 视觉导航流程图本文以图像的边缘点作为候选点,对每个点进行Hough 变换,可得到参数空间的正弦图,考虑到踢脚线主要图5 (x ,y )平面到参数平面(ρ,θ)的转换位于图像的下半部分,为减少计算量,对边缘图像的295光 学 技 术 第32卷下半部分进行直线提取。
所有点的正弦曲线均有相交点,这是因为图像中的任意两点可以确定一条直线,这样就必须对经过同一个(ρ,θ)的像素点的个数进行统计,点个数最多的(ρ,θ)说明在图像中有最多的点在这条直线上,而这条直线可能就是踢脚线,这里对经过(ρ,θ)的点个数设定一个阈值,当个数大于阈值时,判定(ρ,θ)所对应的直线就是候选直线,当个数小于阈值时,判定(ρ,θ)所对应的直线不是所求的直线。
3.3 直线参数与移动机器人状态对应关系的建立当移动机器人处于不同的运动状态时,由视觉系统提取的踢脚线也会有相应的变化。
3.3.1 移动机器人沿着平行于踢脚线的方向移动在这种情况下,移动机器人的偏航角为零。
注意到踢脚线在空间坐标系中是两平行直线,经过投射投影后成两相交直线,直线的交点称为灭影点(x d ,y d ),同一平面上相同方向的所有平行线都相交于同一灭影点。
当移动机器人在平行于踢脚线的方向上移动时,灭影点位置不变,而光心在图像中的成像坐标(x o ,y o )也是不变的。
所以根据先验知识,预先确定出灭影点坐标和光心坐标,通过这两点确定出参考直线。
经过以上的处理过程可以得到如下信息:(1)左右踢脚线直线方程为y l =k l x +b l y r =k r x +b r (2)左右踢脚线中线方程为y m =y l +y r 2=(k l +k r )x +(b l +b r )2=k m x +b m (3)参考直线方程为y ref =k ref x +b ref图6 图像中各直线示意图其中k ref =y d -y ox d -x ob ref =y o -b ref x o 如图6所示,任取一深度x ′为统一深度,分别计算出在此深度处对应的y ′r ,y ′m ,y ′ref 。