基于SIFT特征点的双目视觉定位

标以外的特征．
使用ＳＩｌＴ特征提取算法获得模板图片和待测
万方数据
ห้องสมุดไป่ตู้
图片的ＳＩＩｉＴ特征向量，模板图片中的ｓＩＦｒ特征向 量几乎全为目标的特征向量，待测图片生成的ＳＩＦｒ 特征向量包括目标与背景．这些特征向量具有很好 的位置、尺度、旋转不变性．将模板图片与待测图片 的ＳＩＦＴ特征向量进行匹配，可以匹配出待测图片中 目标物体的ＳＩｆ＇Ｆ特征向量，这些ＳＩＦＴ特征向量的 位置点称为ＳＩｌＴ特征点，当匹配出的特征点达到一 定数量，表明在图片中检测出了目标物体．
２ 目标标定点选取
对于移动机器人目标定位，如要获取目标物体 的三维信息，需采集２幅不同位置的目标图像，利用 视差原理对２幅图像中目标物体上的同一点进行三 维信息的恢复，这里将该点称为目标物体的标定点． ２幅图像中标定点位置的相匹配程度决定了目标定 位的精确度．利用ｓｗｒ特征匹配算法可以在２幅图 像中获取一些ＳＩＦｒｒ特征点．由于２幅图像拍摄环境 的差异，２幅图像中获得的Ｓｉｌ，ｌ’特征点在空间位置 上不具有一致性，即这些特征点不全对应于目标上 相同位置上的点，需要进行选取才能获得具有空间 一致性的标定点．这里提出了一种完整的标定点获 取方法，该方法分为空间匹配点选取、标定点计算两 步． ２．１空间匹配点选择
ａｎｄ ｔｈｕｓ ｓｕｉｔａｂｌｅ ＳＩＦＩ＂ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｗｅｒｅ ｆｏｕｎｄ．Ｔｈｅｎ，ｂｙ ｃｈｏｏｓｉｎｇ ｍａｔｃｈｉｎｇ ｐｏｉｎｔｓ，ｃｏｍｐｕｔｉｎｇ ｔｈｅ ｃａｌｉｂｒａｔｅｄ
ｐｏｉｎｔｇ ｃｏｏｒｄｉｎａｔｅｓ，ａｎｄ ＳＯ ｏｎ，ｔｈｅ ｃａｌｉｂｒａｔｉｏｎ ｐｏｉｎｔｓ ｏｆ ｔｈｅ ｏｂｊｅｃｔ ｃｏｕｌｄ ｂｅ ｄｅｔｅｒｍｉｎｅｄ．Ｔｈｅｓｅ ｃａｌｉｂｒａｔｉｏｎ ｐｏｉｎｔｓ ｄｅ— ｓｃｒｉｂｅ ｔｈｅ ｓａｍｅ ｓｐａｔｉａｌ ｌｏｃａｔｉｏｎｓ ｏｆ ｏｂｊｅｃｔｓ ｉｎ ｔｈｅ ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｉｍａｇｅｓ．Ｆｉｎａｌｌｙ，ｔｈｅ ｔｈｒｅｅ—ｄｉｍｅｎｓｉｏｎａｌ ｃｏｏｒｄｉｎａｔｅｓ ｏｆ ｔｈｅ ｃａｌｉｂｒａｔｉｏｎ ｐｏｉｎｔｓ ｗｅｒｅ ｒｅｂｕｉｌｔ ｉｎ ｔｈｅ ｃａｍｅｒａｓ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ．Ｔｈｅ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｄｉｓｃｕｓｓｅｄ ｈａｓ ｇｏｏｄ ｒｏｂｕｓｔｎｅｓｓ ａｎｄ ｐｒａｃｔｉｃａｂｉｌｉｔｙ． Ｋｅｙｗｏｒｄｓ：ｓｉｖｒ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ；ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ；ｏｂｊｅｃｔ ｌｏｃａｔｉｏｎ；ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ
收稿日期：２００８＠３４３３．
作者简介：＠盂ｈｏ浩 ｔｍａ（ｉ１ｌ９．６６咖－）．，男，教授，硕士生导师，Ｅ－ｍａｉｌ：ｈｅｕａｃｍｅｎｇ
右图像中标定点的获取
１ 基于ＳＩ兀、特征向量的目标检测
如何在复杂环境中检测出目标物体是目标定位 的第一步，也是关键的一步．在宽基线条件下，利用 特征不变量技术进行匹配一直是研究的热点，ｓＩＦ－ｒ 特征匹配是其中较为完善和稳定的技术． １．１ ＳＩｖｒ特征匹配算法
ｓＩＦｒ特征向量的匹配主要就是对２幅待匹配 图像的ＳＩＦｔ特征向量进行相似性度量，计算第１幅 图像的每个局部特征点在待匹配图像的特征点集中 的最邻近匹配．这里使用欧氏距离作为特征点的相
似性度量．特征点ａ，ｂ间的欧氏距离叱表示如下：
％＝＾／乏（口‘一ｂｉ）２，ｉ∈（１，２，…，ｎ）．（１）
式中：ｎ为特征向量的维数． 为了排除因为图像遮挡和背景混乱而产生的无
万方数据
·６５０·
哈尔滨工程大学学报
第３０卷
１．１．１ ＳＩＦｒ特征向量的生成 ＳＩｌＴｒ特征向量的生成，包括检测尺度空间极值
点、精确定位极值点、指定特征点方向参数和生成特 征向量等步骤．
ＳＩｌ７ｒ特征匹配算法中尺度空间极值检测的主 要过程是：在尺度空间内，利用唯一的线性 核＂别——高斯核建立高斯金字塔；构建ＤＯＧ金字 塔；在ＤＯＧ金字塔内进行极值检测．最后可以初步 确定特征点的位置及所在尺度．
／＼．
乞ｌ。
｝ｌ ‘ ｑ．｛／
Ｉ／
‘％
矿丐 ●
一ｒ
／
ｔ． ｔ１
０ｃ１
一
ｄ
ｏｄ
ｉｄ
●
图１平行双目视觉系统
Ｆｉｇ．Ｉ Ｐａｒａｌｌｅｌ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍ
空间点Ｐ在摄像机坐标系Ｘ。。ｋ。Ｚ。。０ａ中的三 维坐标（‰。，％。，：Ｆ。）可以写为
第３０卷第６期 ２００９年６月
哈尔滨工程大学学报 Ｊｏｕｒｎａｌ ｏｆ Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ
ｄｏｉ：１０．３６９／ｊ．ｉｓｓｎ．１００６－７０４３．２００９．０６．０１ １
Ｖ０１．３０№．６ Ｊｕｎ．２００９
基于ＳＩＦＴ特征点的双目视觉定位
孟 浩，程康
（哈尔滨工程大学自动化学院，黑龙江哈尔滨１５０００１）
Ａｂｓｔｒａｃｔ：Ａｎ ｏｂｊｅｃｔ ｌｏｃａｔｉｏｎ ｍｅｔｈｏｄ ｗａｓ ｄｅｖｅｌｏｐｅｄ ｂａｓｅｄ ｏｎ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｔｈａｔ ｉｓ ｕｓｅｆｕｌ ｆｏｒ ｄｉｇｉｔａｌ ｉｍａｇｅ ｂａｓｅｄ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ．Ｆｉｒｓｔ，ｔｈｅ ＳＩＦＴ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ Ｗａｓ ｉｎｔｒｏｄｕｃｅｄ，ａｓ ｉｔ ｈａｓ
４ 目标定位实验
实验中采用ＤＦ－２０２ＴＺ针孔摄像机，组成平行双目 视觉系统，基线长度为１００ ｍｍ．焦距为３．８８ ｎｌｍ，１／３英 寸ＣＣＤ，ＣＣＤ的面积为３，２ ｍｉｌｌ×２，４ ｈｉｍ，采集图片的 尺寸为７６８ ｘ５７６像素．实验以墙壁插座为目标．
首先获取插座模板图片及左右两侧摄像机采集 的图片，如图２所示．
匹配关系的特征点，Ｌｏｗｅ提出了通过比较最邻近距
离和次邻近距离来消除错配．
昔＜尺，
。＜尺“
（２）
式中：“ｉ。为最邻近距离，“为次邻近距离，当他们
的比值小于距离比例阈值Ｒ时判定为正确匹配，否
则为错误匹配． １．２ 目标检测
可以利用ＳＩｌＴ特征匹配算法在待测图片中检
测出目标物体的前提是，拥有目标物体的模板图片． 该模板要求目标具有明显的特征，并且模板图片中 背景的特征尽可能少，即在模板图片中尽量去除目
ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏＩＴｎ）即尺度不 变特征变换算法，是Ｄａｖｉｄ Ｇ．Ｌｏｗｅ在研究并总结 了现有的基于不变量技术特征检测方法的基础上， 提出的一种特征匹配算法【６１．该方法建立于图像尺 度空间的基础上，在尺度空间寻找极值点，提取位 置、尺度和旋转不变量．ｓＩＦｒ特征匹配算法分为生 成ＳＩＦＴ特征向量和特征向量匹配２个过程．
双目视觉系统中最为简便常用的是和人眼构造 一致的平行等高双目视觉系统．该双目视觉系统两 个相同的摄像机平行摆放，摄像机前端平齐且高度 一致．摄像机在坐标系中横坐标重合，坐标原点相距 ｂ，将距离ｂ称为基线．如图１所示．
（算。，门）、（算：，Ｙ：）分别为空间点Ｐ在２个摄像 机成像面上的物理坐标，可以由在图像中的像素坐 标通过已知的摄像机内部参数计算而得．依据上述 公式，可以通过获取目标点在２幅图像中的位置，在 摄像机坐标系中标定目标点的三维坐标．
２）对特征点对集合Ｓ．进行验证，将左右两幅图 像利用ＳＩＦ＇ｒ特征匹配算法匹配，生成特征点对集合 ｓ伍Ｒ，将集合Ｓ．中的元素在集合ｓ Ｌ＆。中进行搜索， 如果搜索到相同元素则表示该特征点对在左、右图 片间也符合匹配，称之为空间匹配点，将其保留．最 后生成了空间匹配点对的集合Ｓ。．
由上述方法获得的空间匹配点对的集合Ｓ。中 的特征点，可以很好的保证对应于目标实物中的相 同位置，具有良好的空间位置匹配性． ２．２标定点坐标计算
为了获取２幅图像中的相同匹配点，这里结合 匹配点反向搜索及图像ＳＩＦｒ特征匹配进行匹配点 选择，设采集到左、右２幅图像，空间点匹配过程分 为如下：
１）利用ＳＩ壬－Ｔ特征匹配算法，分别将左右２幅图像 与插座模板图像匹配，获得特征点对集合Ｓ。和Ｓ。，搜 索２个特征点对集合，提取具有相同模板图像特征点 坐标的元素，即寻找左、右２幅图像当中在模板图像中 有相同匹配点的特征点，将左右图像中的匹配点生成 新的特征点对集合Ｓ．．
摘要：提出了一种结合了ｓＩＦｒ特征点的双目立体视觉定位方法．介绍了对尺度、旋转、视角等变化具有良好鲁棒性的 ＳＩＮ＂特征向量，利用Ｓ１ＦＹ特征向量匹配算法在双目视觉系统采集的左、右图片中分别检测目标、获取匹配的目标ｓｉｖｒ 特征点．经过空间匹配点选择、标定点坐标计算等步骤获取左、右图片中具有空间位置一致性的目标标定点，并在摄像机 坐标系中恢复目标标定点三维信息．实验结果表明，利用该方法进行目标定位具有较强的适应性，有一定的实用价值． 关键词：ＳＩＦＴ特征点；双目视觉；目标定位；特征匹配 中图分类号：ＴＰ２９ 文献标识码：Ａ文章编号：１００６－７０４３（２００９）０６－０６４９－０５
精确定位极值点的作用是消除低对比度极值点 和不稳定的边缘响应点，获得图像局部特征点．
对于选定的图像局部特征点，利用特征点邻域 像素的梯度方向分布特性为每个特征点指定其方向 参数，使得ＳＩＦＴ算子具有旋转不变性．
以特征点为中心取８×８的窗口，在每４×４的 小块上计算８个方向的梯度方向直方图，绘制每个 梯度方向的累加值，即可形成一个种子点，每个种子 点有８个方向向量信息．Ｌｏｗｅ建议对每个特征点使 用４ ｘ４共１６个种子点来描述，这样对于一个特征 点就可以产生１２８个数据，即最终形成１２８维的 ＳＩＦＴ特征向量． １．１．２ ＳＩＦＴ特征向量匹配
设空间匹配点集中元素总数为ｎ，（名ｉ，Ｙｉ）为点
第６期
盂浩，等：基于ＳＩＦＴ特征点的双目视觉定位
·６５ｌ·
集中的坐标，则该点集中心坐标为
ｎ １
孑＝÷∑铂
（３）
。。ｉ＝ｌ
●
ｎ
一＝÷∑Ｙ ２ ｉ上·Ｙ１．
（‘４４）Ｊ
。’‘＝ｌ
将中心坐标取整后作为标定点图像坐标．
３ 双目视觉标定点计算
双目立体视觉¨叫１１是对人双眼的模拟，人的双 眼从稍有不同的２个角度去观察三维世界的景物。 由于几何光学的投影，像点在左右两眼视网膜处在 不同的位置上．这种两眼视网膜上的位置差就称为 双目视差（简称视差），它反映了客观景物的深度． 双目立体视觉正是基于视差理论，用２个摄像机在 不同位置对同一物体成像，获取同一点的视差，再利 用视差测距原理计算深度信息．
ｇｏｏｄ ｒｏｂｕｓｔｎｅｓｓ ｔｏ ｃｈａｎｇｅｓ ｓｕｃｈ ａｓ ｓｃａｌｉｎｇ，ｒｏｔａｔｉｏｎ ａｎｄ ｖｉｓｕａｌ ａｎｇｌｅｓ．Ｂｙ ｔｈｅ ｕｓｅ ｏｆ ＳＩＦＴ ｆｅａｔｕｒｅ ｖｅｃｔｏｒ ｍａｔｃｈｉｎｇ，
ｏｂｊｅｃｔｓ ｗｈｉｃｈ ｈａｄ ｂｅｅｎ ｃｏｌｌｅｃｔｅｄ ｂｙ ａ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｗｅｒｅ ｄｅｔｅｃｔｅｄ ｉｎ ｂｏｔｈ ｌｅｆｔ ａｎｄ ｒｉｇｈｔ ｉｍａｇｅｓ，
随着机器人自主化的不断深入，对机器人自主 能力最重要的机器人视觉技术的要求也不断提高， 具有获取深度信息能力的双目立体视觉技术已经成 为了自主机器人技术的关键组成部分¨引．如何在 背景环境中正确获取目标位置，如何在左、右摄像机 采集的图片中选取具有空间位置一致性的目标标定 点一直是双目立体视觉技术的难点和关键．通常的 方法依靠目标的形状、颜色等特征检测目标，并以物 体的形心等作为标定点［３－５ Ｊ．该文将ＳＩＦＩ＂特征匹配 算法用于目标检测，可以在较复杂环境下，从待测图 片中匹配出模板目标，并提出了一种基于ｓＩＶｒ特征 点的目标标定点选择方法，用于双目立体视觉中左、
ｏｂｉｅｃｔ ｌｏｃａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｂａｓｅｄ ｏｎ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ
ＭＥＮＧ Ｈａｏ，ＣＨＥＮＧ Ｋａｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ａｕｔｏｍａｔｉｏｎ，Ｈａｒｂｉｎ Ｅｎｓｉｎｅｅｆｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ １５０００１，Ｃｈｉｎａ）