基于视觉的机器人全局定位
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
z。1[M1口1 1]。=M1[z。Y。z。1]。
…
zc2[“2秽2 1]。=鸩[戈。Y。z。1]T
其中z。。与z以分别表示P在摄像头坐标系c。与c:
下的彳坐标,M。与坞分别是t,和t:时刻的投影矩 阵.假设投影矩阵鸠与图像坐标已知,根据以上方
程,消除未知参量z。。与z。:可以获得4个方程,利用最 tJ、--乘法对4个方程进行求解,可以获得P的三维 坐标.t时刻的投影矩阵M。为:
Abstract:An environmental map built with monocular vision is used to implement inobile robot global localization.The feature matching is implemented with the KD.tree.based nearest search approach.The features are extracted with Scale In—
表明本文提出方法高效、可靠.
关键词:移动机器入;全局定位;KD树;特征提取;RANSAC;单目视觉
中图分类号:TP24
文献标识码:A
Monocular.。Vision.Based Mobile Robot Global Localization
LI Mao—hail,HONG Bing—ron91,LUO Rong—hua2,CAI Ze—SUl (1.School of Computer Science and Technology,Harbin Institute of Technology,Harbin 150001,China; 2.School ofComputer Science and Engineering,South China University ofTechnology,Cuangzhou 510640,China)
的两个数组分别为^r。i。和hr。。,则P的第i维元素
P¨’计算如下: rhr2i:
if target¨’≤hr‘mii:
P¨’={targez(j’if危r盆≤target“’≤hr2(2)
,
L矗r盛
if target“’≥hr墨
当lp{jtarget l≤r时,衍与以target为中心以r
为半径的超球体相交.为了更进一步提高匹配的准
『o faz^3]
F=l厶0厶I
(6)
b。厶:1 j
因此,只需要5个匹配对就可以求解F:
,曩沁Ff:,;’=(秽≯五,+六。)u∥+(“≯^:+六:)秽∥
{
+“÷¨^3+秽÷¨五3+1=0
olFl=^:五,六。+Yl,^。兀2一^:^。=0
(7)
其中i=1,…,5,(u;“,秽∥,1)是当前t时刻观测的
rd。0 uo]
托=j 0 d,%f[R。t]
(4)
l o 0『 1 j
其中R。与r。分别是摄像头坐标系在世界坐标系下 的旋转矩阵与平移矢量;叱=f/d戈,%=f/dy,表示焦
距,每一个像素在菇、Y方向的物理尺寸为出、dy;u。、 %表示摄像头光心在图像上的投影坐标;这些参数
由离线的摄像头定标确定,其中(髯。z。8。,)表示摄 像机相对于机器人的世界坐标,标定结果如表1所
为O(1092N). 基于KD树的最邻近点搜索算法采用深度优先
的启发式搜索策略.用一种超矩形(hyper—rectangle) 数据结构来描述K维空间采样点集合所占据的空间 范围,表示为两个数组:一个数组存储每一维的最小 坐标值,另一个存储每一维的最大坐标值.判断一个
超矩形胁是否与以target为中心、以‘r为半径的超球 体相交,首先需要找到府中最接近target点P,设胁
摘要:提出在基于单目视觉创建的环境地图中实现移动机器人全局定位.基于KD树的最近邻搜索实现特
征匹配.应用尺度不变特征变换(SIFT)方法提取特征,并用多维向量描述,保证了对图像光强变化、尺度缩放、三维
视角和噪声具有不变性.提出了一种基于RANSAC的鲁棒定位方法.在实际室内环境Pioneer3机器人上进行的实验
维空问R×D中采样点集合,d为目标点向量,则d
的最邻近点d’必须满足:
Vd”∈E,l dc=>d’|≤l d副”|
(1)
其中,}d甘d’l=√∑::,(di一矗;)2,di、d 7;为向量d和
d’的第i维元素.由于SIFT特征点描述器是128维 的,传统方法时间开销太大,因此提出了基于KD树 的最邻近点搜索算法来实现特征匹配,时间复杂度
征对进行三维重建才能获得,与基于立体视觉的地
图相比,精度存在差距.为了提高定位精度,需要充
分利用特征的图像坐标,即通过机器人t时刻观测的
特征图像坐标与地图中的路标在某t 7时刻的图像坐
标可以计算出机器人在这两个时刻的相对位姿关
系,实现相对定位,进一步可以确定机器人的全局位
姿.
3.1机器人相对位姿估计
示.
万方数据
142
机器人
2007年3月
图3特征点的三维坐标估计
Fig.3 3 D location of key-point
Table 1
表1摄像机内部参数与外部参数 Intrinsic and extrinsic parameters of the camera
内部参数
外部参数
az
368.82620 mm
万方数据
第29卷第2期
厉茂海等: 基于单目视觉的移动机器人全局定位
141
征具有高度可辨别性,能更好地描述环境.SIFT算法 主要分为4步:(1)尺度空间极值检测;(2)特征点的
定位;(3)特征点角度计算;(4)特征点的描述.SIFT 特征点描述器用一个多维向量来表示,该向量包括 方向直方图中所有堆的值.本文采用4×4的直方图 数组,每个直方图有8个方向,因此每个特征点需要 用4×4×8=128个元素的特征向量来描述。图1是 尺度不同(分别为1618 mm和756 mm)时对同一目 标进行特征点提取的结果,得到(a)278个特征点和
(b)267个特征点,图中“+”表示特征位置,本文所 有图像大小为320×240,从每帧图像提取的特征点
数一般在10到300之间. 2.2基于KI)树的SIFT特征匹配
SIFT特征点匹配的依据是特征点描述器(本文
为128维特征向量)之间的欧几里得距离最小.设一
个K维空间的定义域和值域分别为R和D,E为K
特征图像坐标,(u∥,”∥,1)是地图中的匹配路标在 某£’时刻的图像坐标.但是采用5点法求取F’矩阵 不稳定,对噪声很敏感本文采用RANSAC方法来提
高F计算的稳定性: (1)创建匹配对列表.对当前图像帧提取的SIFT
特征寻找地图库中与之匹配的特征,并创建匹配列 表{《¨一《,¨,…,J:M一髟们}.
r0一t:0]r cosO 0 sinOq
E=[明。R=j t:0 一t,lf 0
1
0
lo£。 o jL—sin0 0 c。soj
(5) [r]。是t时刻摄像头坐标系C到t r时刻摄像头坐标 系c 7的平移矢量T=[t。0 t:]T的反对称矩阵,R是
对应的旋转矩阵.显然,如果求解出基本矩阵F,那么 就可以分解出两个时刻的相对位姿.虽然F是一个 3×3的矩阵,含有9个变量,但是只能在相差一个比 例常数的情况下确定F,而且F的行列式为0.在计 算机视觉中通常采用7个匹配对来求解F,每个匹配 对根据极线约束建立一个方程由于限定机器人在 平面上运动,则变换F为:
征变换(Scale Invariant Feature Transform,SIFT)E2]提 取环境特征,在没有任何人为改变的室内自然环境 中实现机器人全局定位.基于KD树[31的最近邻搜索 寻找SIFT特征匹配对,并三维重建[4 3匹配对获得空 间三维路标.创建了具有可辨别性路标的环境模型. 提出了一种基于RANSAC Es]的定位方法.实验表明 本文方法能以较低计算开销、较高准确率实现全局 定位.
第29卷第2期 2007年3月
文章编号:1002-0446(2007)02-0140-05
机器人ROBOT
V01.29.No.2 March.2007
基于单目视觉的移动机器人全局定位
厉茂海1,洪炳镕1,罗荣华2,蔡则苏1
(1.哈尔滨工业大学计算机科学与技术学院,黑龙江哈尔滨150001;2.华南理工大学计算机科学与工程学院,广东广州510640)
假设机器人在t和t r时刻有南个特征匹配对,它
们的图像坐标分别为(t¨,…,t”)和(D“,…,
…
.
~,、m ~ ,、
~
∥’),则根据极线约束满足:,∥仃∥=0.I=7(M,
移,1)1‘是归一化的图像坐标,F=C1‘EC“是基本矩
阵,C是内部矩阵,E是本质矩阵,限定机器人在戈一z
平面上运动,绕Y轴的旋转角为0,则E表示为:
Keywords:mobile robot;global localization;KD—tree;feature extraction;RANSAC(RANdom SAmple Consensus);
monocular vision
1引言(Introduction)
移动机器人定位是机器人最基本、最重要的一 个功能,机器人的定位技术可分为位置跟踪和全局 定位两类.位置跟踪是指通过测量机器人相对于已 知初始位置的距离和方向来确定当前位置.而全局 定位要求机器人能够在对初始位置没有任何先验知 识的情况下,通过外部传感器感知信息确定位姿,因 此全局定位更具有挑战性.近来,视觉传感器因其能 感知丰富的环境信息而受到了普遍关注.许多已有 的视觉定位方法都采用人为设置路标的方法,并取 得了一定成功,如导游机器人MINERVA¨1.对于不 允许人为改变的自然环境,特征提取方法是十分重 要的,决定了定位方法.本文基于便宜简单的单目 CCD摄像机利用最近Lowe等人提出的尺度不变特
2单目视觉实现(Implementation of mono- cular vision)
2.1 SIFT特征提取 Lowe等人提出的SIFT对图像的尺度缩放、旋
转、三维视角、光强的变化具有不变性,因此SIFT特
基金项目:国家863计划资助项目(2002AA735041);国家自然科学基金资助项目(69985002) 收稿日期;2006—04—21
variant Feature Transform(SIFT),and discribed with highly distinctive multi-dimensional vector,making features be invar—
iant to changes in illumination,scale,3D viewpoint and noise.A robust localization based on RANSAC(RANdom SAmple Consensus)approach is presented.Experiments on robot Pioneer 3 with monocular CCD camera in our real indoor environ— ment show that our method is of high precision and stability.
确率,本文对匹配对进行极线约束检测,可以忽略部
来自百度文库
分误差较大的匹配对.图2是基于本文提出算法对
不同方向和尺度的实验室一角进行特征匹配的结
果,共得到93个匹配对,用“·”表示,匹配准确率在
80%以E.
(a) Fig.1
(b) 图1 SIFT特征提取 Typical extracted SIFT features
(b)
图2.基于KD树的SIFT特征匹配 Fig.2 The sIn’feature matching based 013.KD—tree
2.3三维重建
如果机器人在t,和t:两时刻观察到路标点 P(x。,Y。,z。),如图3所示.那么P的三维坐标与两
时刻的图像坐标P。(u。,口,)与P:(M:,移:)的关系为¨1:
Xer
2.1039 mm
d,
369.90239 mm
0cr
u0
159.67029 mm
0。,
口0
121.54136 mlrl
100.1742 lnm 90。
3 定位实现(Implementation for localiza— tion)
由于本文环境地图是利用单目CCD摄像头创建
的,路标的三维坐标必须对两个不同时刻匹配的特