基于Kinect传感器的移动机器人室内环境三维地图创建_杨鸿

第43卷增刊（I ）2013年7月东南大学学报（自然科学版）JOUＲNAL OF SOUTHEAST UNIVEＲSITY （Natural Science Edition ）Vol．43Sup （I ）July 2013doi ：10．3969/j．issn．1001－0505．2013．S1．038基于Kinect 传感器的移动机器人室内环境三维地图创建杨鸿钱堃戴先中马旭东房芳（东南大学自动化学院，南京210096）（东南大学复杂工程系统测量与控制教育部重点实验室，南京210096）摘要：针对移动服务机器人在未知室内环境下的三维感知问题，提出了一种基于低成本Kinect传感器的三维地图创建实用方法．对于机器人在运动过程中连续采集的多帧ＲGB-D 信息，首先利用SUＲF 算子对ＲGB 图像提取稳定特征点并进行特征点匹配，然后结合深度图像，采用ＲANSAC 算法剔除可能存在的误匹配点并完成初始配准，从而估计得到图像帧间粗略的相对转移关系，最后运用广义ICP 算法对采集的深度图像进行精确配准，得到拼接的三维点云图．在此基础上进一步开发了移动机器人三维地图创建应用系统，实验验证了该方法的可行性和有效性．关键词：Kinect 传感器；SUＲF ；地图创建；广义ICP ；移动机器人中图分类号：TP24文献标志码：A文章编号：1001－0505（2013）增刊（I ）-0183-05Kinect-based 3D indoor environment map building for mobile robotYang HongQian KunDai XianzhongMa XudongFang Fang（School of Automation ，Southeast University ，Nanjing 210096，China ）（Key Laboratory of Measurement and Control of Complex Systems of Engineering of Ministry of Education ，Southeast University ，Nanjing 210096，China ）Abstract ：For the 3D perception problem of mobile service robots in unknown indoor environments ，a practical approach to building 3D maps using a low -cost Kinect sensor is proposed．Successiveframes of ＲGB-D （red-green-blue-depth ）information are captured during the robot's movements．First ，SUＲF （speeded up robust features ）detector is applied to color images for extracting and matc-hing stable feature points．Combined with depth images ，initial registration procedure is then per-formed by using the ＲANSAC （random sample consensus ）algorithm for eliminating possible mistake matching points and thus the relative transformation between frames can be estimated．Finally ，a generalized ICP （iterative closest point ）algorithm is employed to perform fine registration on cap-tured depth images ，which finally produces 3D point cloud mosaic．In addition ，an application sys-tem of mobile robot 3D mapping is developed．Experimental results validate the practicability and ef-fectiveness of the approach．Key words ：Kinect sensor ；SUＲF （speeded up robust features ）；map building ；generalized ICP （it-erative closest point ）；mobile robot 收稿日期：2013-05-16．作者简介：杨鸿（1989—），男，硕士生；钱堃（联系人），男，博士，讲师，kqian@seu．edu．cn．基金项目：国家自然科学基金资助项目（61075090，61005092，61105094，61175091）、东南大学复杂工程系统测量与控制教育部重点实验室开放课题基金资助项目（MCCSE2012B02）．引文格式：杨鸿，钱堃，戴先中，等．基于Kinect 传感器的移动机器人室内环境三维地图创建［J ］．东南大学学报：自然科学版，2013，43（S1）：183-187．［doi ：10．3969/j．issn．1001－0505．2013．S1．038］移动服务机器人要在环境中自主完成抓取作业等典型服务功能，必须明确工作空间的环境表达方法，创建三维地图有助于为其提供更为丰富、准确的广义环境信息．目前，针对二维地图自主创建的理论方法已经得到了深入研究，但对三维环境地图的自主构建，特别是结合图像外观分析方法的地图构建研究仍然不足．三维环境建模最常用的方式为基于体素（voxel）的方法，即将机器人周边环境划分为三维几何体（例如等体积的立方体），采用几何体的占据状态来表示环境［1-3］，然而这种方法对非结构化的环境表示能力有限．另一种表示方法为采用范围传感器测量获得的深度点云来表示环境模型［4-5］．利用点云构建三维环境地图的方法大多利用精度高、价格昂贵的三维激光扫描器．视觉传感器具有方便经济、信息量大等优点．Kinect是微软公司开发的一款体感外设，其核心设备由彩色摄像机、红外线发射器和红外线CMOS 摄影机组成．与激光传感器相比，Kinect能够快速地同时获取场景彩色图像和深度信息，且其不受环境可见光谱干扰，成本更为低廉［6］，适用于室内导航精度要求不高的情况．Henry等［7］提出了一个基于Kinect的交互式的三维重建系统，但是该系统依靠关键帧的选取，计算量大、时间复杂度高，难以用于移动机器人三维地图在线创建．本文开发了基于Kincet传感器的实时三维地图构建实用方法．经过标定后的Kinect深度摄像头和ＲGB摄像头直接关联，通过提取彩色图像特征点，计算出特征点在深度点云空间中相应的三维坐标；根据彩色图像配准过程重建的运动结构信息，指导多帧深度点云的拼接，形成统一坐标系下的三维地图．地图创建过程分为图像数据预处理和点集匹配两大步骤循环进行．首先，针对精度和实时性要求，采用SUＲF（speeded up robust features）算子提取图像特征点并进行帧间匹配．针对迭代算法中存在的计算量过大、匹配效率低下的问题，本文首先采用ＲANSAC（random sample consensus）算法排除可能存在的误匹配点的影响，有效提高了匹配速度；精确匹配阶段采用广义ICP（iterative closest point）算法迭代求取变换参数，克服了传统ICP算法可能使得迭代过程无法收敛到全局最优解的缺点，确保整个算法的鲁棒性．1复杂场景的特征点1．1特征点提取常用的特征点检测方法有Harris角点检测［8］，SIFT［9］，SUＲF［10］等．由于经典的SIFT算子时间复杂度高、计算数据量大，本文采用具有尺度不变性、旋转不变性的SUＲF算子，以获得鲁棒性、稳定性更好的特征点检测结果．SUＲF特征点提取过程可分为2步：①基于尺度空间理论的特征点检测．在图像金字塔的每一层使用Hessian矩阵的行列式来判别各个尺度的极值，得到稳定的特征点位置及所在的尺度值．SUＲF算法中用方框滤波（box filters）近似代替二阶高斯滤波，提高了卷积计算速度．②特征描述子的生成．首先通过Haar小波计算确定每个特征点主方向，再进行量化描述，使得每个特征点都对应一个4ˑ4ˑ4=64维的描述向量，归一化后去除光照变化的影响，构成了特征点的SUＲF描述子．图1中圆圈为某场景下检测到的SUＲF特征点．图1SUＲF特征点1．2特征点匹配图2为特征点匹配的流程．假设待匹配图像I1和I2中的特征点集合为X和Y．SUＲF描述子生成后，采用欧氏距离作为相似性度量：D（X，Y）=X－Y=∑di=1（Xi－Yi）槡w（1）D越小，表明特征点相似程度越高．特征点匹配过程中采用了最大近邻向量匹配方法［11］．对于X中的每一个特征点计算X i与Y中各个特征点的欧氏距离，得到最近及次近距离值分别为D1和D2，对应Y中的特征点分别为Y m和Y n．若D1≤αD2（α为最近距离与次近距离的比值，本文取α=0．60），则认为Xi与Y m匹配；否则丢弃该点，X i在Y中无匹配点．图2特征点匹配的基本流程481东南大学学报（自然科学版）第43卷2由粗到细的分层配准由于物体常被遮挡，在扫描生成图像数据的过程中深度图像难以覆盖物体的表面，需要从多个角度采集物体表面不同区域的深度信息，并保证它们之间保持一定的重叠区域．由这些重叠区域的数据并利用配准算法，求出各个深度图像间的相对运动关系，把它们变换到统一的坐标系下，生成完整的环境描述．2．1ＲANSAC算法初始配准匹配误差对变换矩阵的求解影响很大．为了提高矩阵中参数估计的精度，采用ＲANSAC算法［12］来剔除不准确的匹配点，排除可能存在的误匹配点的影响，求出图像帧的初始变换，使得2组数据的点集的公共区域能够大致重合，为下一步的精确匹配做准备．ＲANSAC充分利用了所有的初步匹配点，根据一个容许误差将所有的匹配点对分为内点和外点．由于一般的特征误差都会满足正态分布，设定阈值d（实验中d=3．00），舍去误差大于d的匹配点对（外点）；记误差小于d的匹配点对为内点，用来进行参数估计．2．2广义ICP算法精确配准设有2个三维点集X=｛x1，x2，…，x n｝和Y=｛y1，y2，…，yn｝，利用ICP算法［13］求取空间变换T（包括旋转矩阵和平移矩阵），使得X经过T变换后的集合X'和Y（固定）的残留误差最小．本文采用了广义的迭代最近点算法［14］来进行图像间的精确配准．它与ICP算法的主要区别是在计算残留误差E时引入了概率模型，通过最小化X'和Y的残留误差函数来找到变换矩阵T．广义ICP配准算法如下：算法1广义ICP配准算法输入：点云X=｛x i｝，Y=｛y i｝，初始变换矩阵T0；输出：T．T←TWhile not converged doFor i←1to N do//计算对应最近点mi←FindClosestPointInA（T·x i）；M←｛mi｝；//按条件赋予权值wi←（m i－T·x i≤d max）？1：0EndT←arg minTEEnd在概率模型下，假设存在点集^X=｛^x i｝和^Y=｛^yi｝，使得xi，yi服从正态分布x i N（^x i，C X i），y iN（^yi，C Yi），其中｛C Xi｝和｛C Yi｝是与测量点云相关的协方差矩阵．定义d i=y i－Tx i，那么变换矩阵T需要满足T=arg minT∏ip（di）=arg maxT∑ilog（p（di））（2）化简残留误差E得到E=∑id Ti（C Yi+TC XiT T）－1di（3）传统ICP算法中E=∑idi2，可以看成是广义ICP中C X i=θ，C Y i=I的一类特殊情况．对广义ICP算法的详细介绍可参阅文献［14］，值得注意的是，寻找对应点对的过程仍然是通过计算数据点之间的欧氏距离，这样做是为了便于采用k-d树的方法来进行加速，保证了改进后算法的效率．在精确配准过程中，使用初始配准后2个点集的位置作为新的初始位置，具体过程如下：①对X中的每个点计算其在Y中的最近点，使用k-d树进行加速，将所有最近点对构成的集合记作M．②求得使对应点对平均距离最小的刚体变换矩阵T．③对待匹配点集X进行变换，得到新的变换点集．④通过迭代计算极大似然估计值判断残留误差函数E是否最小，如果是，则停止计算；否则X'将作为新的X，返回步骤②，直到满足条件．⑤T即为所求的二次配准参数，精细配准结束．3实验结果及分析机器人导航平台PX-1如图3所示，处理器为一台Intel双核2．00GHz主频的PC机，运行Ubuntu11．04Linux操作系统．Kinect安装在移动机器人甲板上方，距离地面竖直高度为42cm．图4图3机器人导航平台PX-1581增刊（I）杨鸿，等：基于Kinect传感器的移动机器人室内环境三维地图创建图4真实测试环境图5机器人测试运动轨迹是实验所处的环境，图5是用激光传感器实现创建的二维地图及机器人测试运动轨迹，激光传感器扫描高度为30cm．采用基于激光创建的二维地图作为基准参照．实验过程中机器人按照上述路径移动，PC 机处理采集到的图像帧，当特征点对少于50组时，将舍弃该帧数据，不进行初始配准．另外，当移动机器人转动角度小于2ʎ或者移动距离小于5cm 时也会自动忽略该帧数据．采用本文方法最终得到环境的三维点云如图6（a ）所示．图6（b ）是由三维地图的点云垂直投影到水平面后得到的二维地图，对比图5中的虚线框内部分，可发现由Kinect 获取的地图数据具有很高的精度．图6创建的三维地图及其投影结果将Kinect 传感器ＲGB 摄像头同时捕捉到的环境彩色信息映射到相应的三维点云模型中，实际效果如图7所示．对比图4可看出，重建后的三维场景基本与真实场景一致．实验过程中，当Kinect 的视角偏转角度较小时，使用本文方法对室内环境进行三维地图创建的效果比较理想．当偏转角度过大时，就会丢失图像中的特征点，导致前后两帧图像无法成功匹配．其次，由于Kinect 传感器获取视察图的最小有效距离大约是0．5m ，对于室内一些体积较小的物体，无法获得稠密的点云．图7三维地图渲染结果4结语本文提出了一种基于Kinect 传感器的三维地图创建方法．该方法利用Kinect 传感器所采集的彩色图像信息来指导深度点云的配准，从而比其他在三维点云中直接配准的方法大大提高了计算效率．将该方法用于移动机器人在室内环境中进行三维地图创建，实验结果验证了其有效性．参考文献（Ｒeferences ）［1］Moravec H P．Ｒobot spatial perception by stereoscopicvision and 3D evidence grids ［Ｒ］．Pittsburgh ，Pennsyl-vania ，USA ：Ｒobotics Institute ，Carnegie Mellon Uni-versity ，1996．［2］Wurm K M ，Hornung A ，Bennewitz M ，et al．Octo-Map ：a probabilistic ，flexible ，and compact 3D map representation for robotic systems ［C /OL ］//Proceed-ings of the ICＲA 2010Workshop on Best Practice in 3D Perception and Modeling for Mobile Manipulation．An-chorage ，Alaska ，USA ，2010．http ：//ais．informatik．uni-freiburg．de /publications /papers /wurm10octomap．pdf．［3］Ｒyde J ，Hu H S．3D mapping with multi-resolution oc-cupied voxel lists ［J ］．Autonomous Ｒobots ，2010，28（2）：169-185．［4］Cole D M ，Newman P M ．Using laser range data for3D SLAM in outdoor environments ［C ］//IEEE Interna-tional Conference on Ｒobotics and Automation．Orlan-do ，Florida ，USA ，2006：1556-1563．681东南大学学报（自然科学版）第43卷［5］Nüchter A，Lingemann K，Hertzberg J，et al．6D SLAM-3D mapping out door environments［J］．Journalof FieldＲobotics，2007，24（8/9）：699-722．［6］刘鑫，许荣华，胡占义，等．基于GPU和Kinect的快速物体重建［J］．自动化学报，2012，38（8）：1288-1297．Liu Xin，XuＲonghua，Hu Zhanyi，et al．GPU basedfast3D-object modeling with Kinect［J］．Acta Automati-ca Sinica，2012，38（8）：1288-1297．（in Chinese）［7］Henry P，Krainin M，Herbst E，et al．ＲGB-D map-ping：using depth cameras for dense3D modeling of in-door environments［C］//Proceedings of the12th Inter-national Symposium on ExperimentalＲobotics．Delhi，India，2010，20：22-25．［8］Harris C，Stephens M J．A combined corner and edge detector［C］//Proceedings of the Fourth Alvey VisionConference．Manchester，UK，1988：147-151．［9］Lowe D G．Object recognition from local scale-invariant features［C］//International Conference on Computer Vi-sion．Kerkyra，Corfu，Greece，1999：1150-1157．［10］Bay H，Tuytelaars T，Van Gool L．SUＲF：speeded up robust features［C］//Proceedings of the European Con-ference on Computer Vision．Graz，Austria，2006：404-417．［11］Lowe D G．Distinctive image features from scale-in-variant keypoint［J］．International Journal of ComputerVision，2004，60（2）：9-110．［12］Fischler M A，BollesＲC．Ｒandom sample consensus：a paradigm for model fitting with applications to imageanalysis and automated cartography［J］．Communica-tion of the ACM，1981，24（6）：381-395．［13］Horn B K P．Closed-form solution of absolute orienta-tion using unit quaternions［J］．Journal of the OpticalSociety of America，1987，4（4）：629-642．［14］Segal A V，Haehnel D，Thrun S．Generalized-ICP［C/ OL］//Proceedings ofＲobotics：Science and Systems．Seattle，USA，2009．http：//www．robots．ox．ac．uk/avsegal/resources/papers/Generalized_ICP．pdf．781增刊（I）杨鸿，等：基于Kinect传感器的移动机器人室内环境三维地图创建。