基于双目视觉的移动机器人动态目标识别与定位

D ( x , y ,σ) =
[ G( x , y , kσ) - G( x , y ,σ) ] 3 I ( x , y) =
L ( x , y , kσ) - L ( x , y ,σ)
(3)
通过计算某采样点在每一尺度下 Do G 算子的
值 ,可以得到特征尺度轨迹曲线 。特征尺度曲线的
104
华 东 理 工 大 学 学 报 (自 然 科 学 版)
第 36 卷
动目标的检测 、识别与定位的理论和方法已取得了 较大发展 ,但将它应用于移动机器人技术还是一个 新兴的 、重要的发展方向 。在移动机器人的运动目 标识别与定位中 ,由于视觉传感器随着机器人的运 动而运动 ,目标在图像中的位置 、尺度和视点以及背 景图像都会随着变化 ,这些都增加了机器人运动目 标识别与定位的难度 。迄今已付诸工程实践的移动 机器人运动目标检测 、识别与定位技术大多数是针 对特定的场所和任务 ,如足球机器人比赛等 。文献 [ 2 ]针对足球机器人比赛提出了一种多目标检测和 跟踪算法 ,该方法中视觉传感器固定于足球场上方 , 足球场的布局是已知的 ,在进行多目标检测时把实 时获取的图像和已知的足球场的图像进行异或处理 进而检测场地上的多个目标 ,再根据颜色信息进行 足球与各个机器人的检测和定位 ,该方法只适用于 足球机器人比赛这种特定的场合 。基于颜色特征的 目标识别 ,具有旋转 、平移 、尺度等不变性 ,适用于目 标有鲜明颜色特征的情况 ,但是当环境中出现和目 标颜色相近的物体时 ,会导致目标识别与定位的失 败 。且颜色特征受光照影响大 ,有光照变化时 ,目标 识别性能会下降 。此外 ,基于固定视觉传感器的目 标跟踪 ,若目标超出视觉传感器的视野范围 ,目标检 测和跟踪就会失败 。安装在移动机器人上的视觉传 感器可实现大范围的目标搜索与跟踪 ,有着广阔的 应用前景 。
结果表明 :该方法在摄像机运动2目标运动情况下 ,能对局部特征未知或特征不明显的动态目标进
行有效的识别与定位 。
关键词 :视差特征 ; SIF T 算法 ; 动态目标识别 ; 目标定位
中图分类号 : TP391
文献标志码 :A
Dynamic Object Recognition and Localization of Mobile Robot Based on Binocular Vision
Q I U X ue2na1 ,2 ,3 , L I U Fei2 , L I U S hi2ron g2 , S U N Kai2 (1. I nsti t ute of A utom ation , East Chi na U ni versi t y of S cience an d Technolog y , S han g hai 200237 ,
局部极值点为该采样点的尺度 。为了寻找尺度空间
105
G( x , y ,σ)
πσ 2 1 e =
- ( x2 + y2 ) / 2σ2 2
(2)
式中 : ( x , y) 是空间坐标 ;σ是尺度坐标 ,σ值越小 ,
则表征该图像被平滑得越少 , 相应的尺度也越小 。
大尺度对应于图像的概貌特征 , 小尺度对应于图像
的细节特征 。
D ( x) = D ( x , y ,σ) 就是 Do G 计算得到的结果 。对式
由于单目视觉得到的外部环境是二维信息 ,而 实际环境是三维空间 ,上述处理方法丢失了大量的 重要信息 。通过给移动机器人配置双目或多目视觉 系统构成立体视觉可以获得更多的信息 ,这样可以 重建外部环境的三维信息 ,从而更好地为机器人导
航提供更全面的信息 。文献 [ 5 ]提出了一种基于双 目视觉和激光的移动机器人目标跟踪和避障的方 法 ,其中目标跟踪主要基于颜色特征 ,再结合双目视 觉标定模型计算目标和机器人之间的距离 ,通过激 光传感器进行避障 。文献 [ 6 ]利用双目视觉信息系 统实现三维空间中运动物体实时跟踪与测距 。当运 动目标超出视野范围时 ,通过控制摄像机云台转动 搜索目标 。通过自适应背景建模法与 Camshif t 算 法用于实现运动物体的辩识与跟踪 。
Chi na; 2. I nsti t ute of A utom ation , H an g z hou D i anz i U ni versi t y , H an g z hou 310018 , Chi na; 3. Col le ge of Elect ronic an d I n f orm ation En gi neeri n g , N i n gbo U ni versi t y of Technolog y ,
收稿日期 :2009202226 基金项目 :国家自然科学基金项目 (60675043) ;浙江省科技计划项目 (2007C21051) ;杭州电子科技大学科研启动基金 ( KYS09150543) ;浙江省
宁波市自然基金项目 (2008A610002) 作者简介 :邱雪娜 (19782) ,女 ,浙江岱山人 ,讲师 ,博士生 ,主要研究领域为智能机器人系统 、机器视觉等 。 通讯作者 :刘士荣 , E2mail :liushirong @hdu. edu. cn
Vol . 36 No . 1 2010202
华 东 理 工 大 学 学 报 (自 然 科 学 版)
Journal of East China Universit y of Science and Technology ( Nat ural Science Edition)
103
文章编号 :100623080 (2010) 0120103210
基于双目视觉的移动机器人动态目标识别与定位
邱雪娜1 ,2 ,3 , 刘 斐2 , 刘士荣2 , 孙 凯2 (1. 华东理工大学自动化研究所 ,上海 200237 ; 2. 杭州电子科技大学自动化研究所 ,杭州 310018 ;
Key words : disparit y feat ure ; SIF T algo rit hm ; dynamic o bject recognitio n ; o bject localizatio n
动态目标识别与定位作为机器视觉领域备受关 视觉导航 、多机器人编队以及智能监控等应用领域 注的前沿课题之一 ,在目标跟踪 、选择性环境建模 、 都具有非常重要的意义[1] 。在过去的 20 多年中 ,运
3. 宁波工程学院电信学院 ,浙江 宁波 315016)
摘要 :提出了一种双目移动机器人实时动态目标识别与定位方法 。该算法首先采用 SIF T
( Scale Invariant Feat ures Transfo rms) 算法提取目标特征 ,并结合双目视差特征进行目标匹配 ;然
后通过区域增长方法进行目标区域的提取 ;最后结合双目视觉标定的模型对目标进行定位 。实验
N i n gbo 315016 , Z hej i an g , Chi na)
Abstract : A real2time dynamic o bject recognitio n and localizatio n met hod is p resented for mo bile ro bot using binocular visio n. Firstly , t he SIF T operator is applied to o bject feat ures ext ractio n and o bject matching wit h t he disparit y feat ures of binocular visio n. Then , t he o bject area is ext racted t hro ugh regio n growing met hod. Finally , acco rding to t he binocular visio n calibratio n model , t he o bject′s locatio n is o btained. Experiment s show t hat in t he case of bot h camera moving and o bject moving , t he p ropo sed met hod can effectively recognize and locate t he dynamic o bject wit h unknown or o bscure o bject local feat ure.
定位[8 ] 、视觉里程计[9 ] 和视觉跟踪[10 ] 中 ,表现出了
较好的性能 。
ቤተ መጻሕፍቲ ባይዱ
SIF T 算法的本质是从图像中提取 SIF T 关键
点的过程 。算法包括 4 个步骤 : (1) 检测尺度空间极
值点 ; (2) 精确定位极值点 ; (3) 为每个关键点指定方
向参数 ; (4) 关键点描述子的生成 。尺度空间模拟图
(4) 关于 x 求导 , 并令等式等于零 , 就可以得到函数
D ( x) 的极值点 ^x。
^x
=-
52 D- 1 5 x2
5D 5x
(5)
则
1. 1 空间极值点坐标检测
为了有效地在尺度空间检测到稳定的关键点 ,
提出高斯差分尺度空间 (Do G scale2space) , 利用不
同尺度的高斯差分核与图像卷积生成 。
虽然国内外许多学者对基于视觉的移动机器人 目标识别与跟踪做了很多研究 ,而且也提出了很多 优秀的方法 ,但是这些算法大部分是针对某些特定 的动态目标 ,或是针对某些特定的工作环境 ,还存在 一定的不足 。本文提出了一种基于双目视觉的移动 机器人的动态目标识别与定位方法 ,结合 SIF T 算 法 、视差特征和区域增长方法 ,把目标检测 、识别与 定位融为一体 。该方法不需要动态目标的先验特征 信息 ,适用于特征未知或没有明显颜色特征和其他 局部特征的运动目标的识别与定位 ,而且 SIF T 特 征具有旋转 、尺度 、亮度不变性 ,对摄像机运动2目标 运动模式下的目标识别 、定位非常有效 。目标特征 匹配和目标区域提取结合了双目视觉的视差特征 , 在不增加算法计算量和复杂度的同时 ,提高了目标 识别和定位的精确性 ,为机器人运动目标检测 、识别 与定位提出了一种新的方法 ,并在物理实验上验证 了该方法的有效性 。
1 SIF T 算法
SIF T 算法是一种提取局部特征的算法 ,在尺度
空间寻 找 极 值 点 , 提 取 位 置 、尺 度 、旋 转 不 变 量 。
SIF T 算法的主要特点是对旋转 、尺度缩放 、亮度变
化保持不变性 ,对视角变化 、仿射变换 、噪声也保持
一定程度的稳定性[7] 。SIF T 特征提取应用在视觉
文献[ 3 ]提出了一种基于单目视觉和激光传感 器的目标跟踪和避障算法 ,用单目视觉进行目标跟 踪 ,根据目标在图像中的位置来控制机器人的运动 方向 ,利用激光探测物体的距离 ,采用动态目标势场 法进行避障 。但遇到目标和障碍物都在前方的情况 时 ,机器人不能有效地进行避障 。另外 ,此方法也没 有利用移动机器人与目标之间距离的远近来调整本 体的运动速度 。文献 [ 4 ]在移动机器人上装备一个 云台摄像机 ,先通过连续几帧图像的边缘检测补偿 摄像机的运动 ,再通过帧间差分法进行运动区域的 提取 ,最后在运动区域中 ,结合目标特征集和运动信 息确定运动目标 。但是这里的跟踪只是视频上的跟 踪 ,让目标尽量保持在图像的中心 ,而不是机器人真 正意义上的跟踪目标 。因为云台摄像机只是一个单 目摄像机 ,不能给出目标的深度信息 。
像数据的多尺度特征 ,高斯卷积核是实现尺度变换
的唯一线性核 。一幅二维图像 I ( x , y) 尺度空间定
义为
L ( x , y ,σ) = G( x , y ,σ) 3 I ( x , y)
(1)
其中 G( x , y ,σ) 是尺度可变高斯函数且
第1期
邱雪娜 ,等 :基于双目视觉的移动机器人动态目标识别与定位