基于深度相机的移动机器人自主跟随技术

2020年2月计算机工程与设计Feb.2020

第41卷第2期COMPUTER ENGINEERING AND DESIGN Vol.41No.2

基于深度相机的移动机器人自主跟随技术

任恒乐123徐方124,邸需4,田大吉4

（1.中国科学院沈阳自动化研究所机器人学国家重点实验室，辽宁沈阳110016；

2.中国科学院机器人与智能制造创新研究院，辽宁沈阳110016；

3.中国科学院大学，北京100049；

4.沈阳新松机器人自动化

股份有限公司中央研究院，辽宁沈阳110168）

摘要：为解决移动机器人在复杂环境下进行自主跟随的问题，提出一种基于深度相机的自主跟随方法。搭建一个载有深度相机的全向移动平台；通过提取图像中的方向梯度直方图来检测行人，利用社会力模型预测行人的运动状态，结合分段颜色直方图信息提出一种行人模型来识别行人；利用人工势场法进行路径规划，完成自主跟随任务。实验结果表明，应用该方法移动机器人，在有行人干扰或距离行人较近的复杂环境下能够顺利的完成跟随任务。

关键词：自主跟随；行人识别；社会力模型；人工势场法；全向移动平台

中图法分类号：TP242.6文献标识号：A文章编号：1000-7024（2020）02056205

doi：10.16208/j.issnl000-7024.2020.02.040

Autonomous following technology of mobile robot based on depth camera

REN Hengle123,XU Fang124,DI Pel,TIAN Da-f

(1.State Key Laboratory of Robotics,Shenyang Institute of Automation,Chinese Academy of Sciences,Shenyang110016, China；2.Institutes for Robotics and Inteligent Manufacturing,Chinese Academy of Sciences,Shenyang110016,China；

3.University of Chinese Academy of Sciences,Beijing100049,China；

4.Central Research Institute,

Shenyang SIASUN Robot and Automation Limited Company,Shenyang110168,China)

Abstract：To solve the problem of autonomous following of mobile robot in complex environments,an autonomous following method based on depth camera was proposed.An omnidirectional mobile platform with depth camera was built.Pedestrians were detected by extracting the histogram of oriented gradient in the image,and the social force model was used to predict the mvve-ment state of pedestrians]Combined with the segmentation color histogram information apedestrian modelwasproposedto identify pedestrians.The artificial potential field approach was used to carry out path planning to achieve autonomous following. Experimental results show that the mobile robot can successfully complete the following tasks in the environment of pedestrian interferenceorclosetopedestrians]

Key words：autonomous following；pedestrian recognition；social force model；artificial potential field approach；omnidirectional mobileplatform

0引言

由于深度相机既能采集颜色信息，又能采集深度信息,所以其可以作为移动机器人完成自主跟随任务的感知输入。自主跟随的核心技术就是对目标行人的准确检测与识别,即在判断出不同图像帧中的行人是否是同一个人。检测-跟 踪框架是目前一种主流的方法其思想是先在每帧图像中检测出行人，然后对不同图像帧中的行人进行数据关联来确认身份。Munaro等提出的方法通过将无迹卡尔曼滤波和行人的颜色直方图相结合来关联不同图像帧中的行人也。

收稿日期：20190-14；修订日期：20190306

基金项目：国家重点研发计划基金项目（2017YFC0806700）

作者简介：任恒乐（1993-）,男，河南三门峡人，硕士研究生，研究方向为机器人视觉与导航；徐方（1962-）,男，浙江杭州人，硕士,研究员，研究方向为机器人学、自动控制技术；邸需（1981-）,男，辽宁沈阳人，博士，研究方向为医疗机器人；田大吉（1986-）,男，吉林长春人，博士，高级工程师，研究方向为移动机器人的定位导航。E-mail:renhengle@

第41卷第2期任恒乐！徐方！邸需，等：基于深度相机的移动机器人自主跟随技术・563・

Wang等将粒子滤波与社会力模型结合来跟踪行人⑶。Liu

等则值偏移融入粒子进人的跟踪（

利用曼补均值漂移没有利用行人

运动信息的缺点来进行行人识别。［6-8］则是利用神

经网络对多个行人进行跟踪。但以上的算法在行人距离机

器人较近时效太理想，无移动机器人自主跟

随的需求。

本文利用华硕的Xtion PRO LIVE深度相机来获取

RGB图图。然后利用提岀的行人人进:

测与识别。接的目人及人的位置来规划一条路径，最令发送给全向移动平台盘控制器，从而使移动机器人在有行人或距离行人近的复杂能成任务。

1全向移动平台

全向移动平台没有非完整性约束，可向任意方向移动这点可器人时始终朝向目人。图1为搭建的全向移动。

图1全向移动平台实物

该平台采用3个全向轮，轮子轴向两两间的夹角均为120度，如图2所示。5为全向轮与》轴夹角。5为平台绕几何中心的转速，+为全向轮中心到平台几何中心的距离。由式（1）,式（2）可知卩为移动平台的实际速度，©为其与？轴夹角，文中的粗体表示矢量。5,°分别为移动平台沿？轴和》轴的速度分量。根据式（3）可以分别求岀3个全向轮的线速度51，52，53

(—V5+说(1)

tan©=—2) 51-—cos5sin5l-\5?

52=―cos5—sin5I5(3)

5310@5

2行人检测与识别

在机器人进行自主跟随的过程中&当机器人与行人的距离太近时，由于相机视野范围的限制，其只能获取行人

图2全向轮移动平台运动学模型

的局部信息，此时传统的方法很容易识别丢失。此外，当两个行人交叉行走岀现相互遮挡的情况时，行人的身份也极易岀现误匹配的问题。为了解决上述问题，本文提岀了人进人与识别。首先对当前图像帧提取方向方图信当前可能是行人的位置。然图中的相应获人的

标。接用预图像

人的期望位置。&人提取颜色直方图。

以上信息作为行人的输入，利用这些信息，行人模型将当前帧与上一帧图像中的行人相匹配来完成行人的检与别。

2.1力模型

当行人在路上行走时，往往受到外部环境的影响，如

人，车辆，。在此，我们只讨论人的。可以准确述这）0］。是由自身的驱动人排斥力构成，相应的表达式如式（4）所示，f是矢量，齐是人*受到的社会力。8*是行人*的驱动力。是行人*受到行人丿的排斥力

f=f+，$）根据行人的历史记录来计人期望的速度。行人真与期望之间的关系可以用驱动述。它可以表示为式（5），其中i是行人*的质量。$是行人*的期望速度。$是行人*的实际速度

f=I（i—$）（5）社会力模型的组成部分是来自他人的排斥力

f，—A・-0，）（6）

i

其中，A表示排斥力的大小，B表示力的范围，0，是行人*之间的距离矢量的大小。（！*假定行人想要在t停下来。另外，由人有限，排斥力可能不是各向同性的。-是 的各向异性因子，具体可由式（7），其中，入是各向异性系数，0，是行人6相对于行人*的位置与运动5i方向的

-（0，）=$+（1+入）1+c2（0，））（7

）