基于单目视觉的移动机器人跟随
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
２ 基于卡尔曼预测的目标跟踪实现
在均值漂移算法的推导过程中，对描述目标模型与 目标候选之间相似程度的Ｂｈａｔｔａｃｈａｒｙｙａ系数进行了泰勒 展开，而泰勒展开是通过在分析点的领域内展开来逼近 原函数的 万，方所数以 据 算法假设了一个目标点在连续两帧中偏
移量不大的前提，即偏移量不能超过核函数的带宽，本系 统所对应的任务决定了目标在图像平面移动快速，无法 满足这一前提条件，传统算法的跟踪很可能失败，引入卡 尔曼滤波器能很好的解决这个问题。卡尔曼滤波器ｕ纠 用于估计线性系统的状态，它能利用测量值修正估计的 状态，提供可靠的状态估计，使用卡尔曼滤波器作为预测 器，需要建立系统的状态方程，不同于以往单纯对目标点 的运动进行建模ｕ６｜，必须把机器人自身的运动一起加以 考虑，本文提出了室外环境下移动机器人对目标跟随时， 目标在摄像机像平面运动的状态方程，描述如下：
收稿日期 万：方２０数０９－据０３
Ｒｅｃｅｉｖｅｄ Ｄａｔｅ：２００９－０３
主性，扩展了应用范围，例如：交通警察、军用机器人、服 务机器人等，但这样改变的结果是目标检测变得极具挑 战，因为机器人的移动使得目标在像平面不连续，而且相 对应的背景不可预知，针对静止视频序列的目标跟踪方 法显然不适用，要实现图像平面上目标跟踪有两种思路 一种是跟踪模板的建立独立于背景，Ｃｈｒｉｓｔｉａｎ Ｓｃｈｌｅｇｅｌ等 提出了结合颜色和边缘的跟踪算法‘４｜，要求被跟随的人 衣服从预设的４种颜色中选择，在背景复杂的情况下，边 缘匹配容易失败；另外一种是先补偿视觉传感器运动造
移，输出为目标点在像平面上的位置，丁为采样周期，职
为处理噪声，％为测量噪声，均为零均值高斯白噪声，相
应的方差记作盯训和盯舯 摄像机的旋转运动引起目标在像平面水平方向的偏
移，摄像机在与目标连线方向上的移动则引起垂直方向 的偏移。对于第一个运动，假设摄像机与机器人重心所 在纵轴线重合，即摄像机旋转角度等同于机器人的旋转 角度，文献［４］给出了像平面目标位置与投影线和光轴
述子和形状直方图的间接景深计算方法。室外实验表明该算法具有很好的实时性和鲁棒性，能有效实现复杂室外环境下对人
的跟随。
关键词：卡尔曼滤波器；均值漂移；景深；主颜色描述子；形状直方图
中图分类号：ＴＰ２４２．６
文献标识码：Ａ
国家标准学科分类代码：５１０．４０５０
Ｐｅｒｓｏｎ ｆｏｌｌｏｗｉｎｇ ｏｆ ｍｏｂｉｌｅ ｒｏｂｏｔ ｕｓｉｎｇ ｍｏｎｏｃｕｌａｒ ｃａｍｅｒａ
ｔｈｅ ｉｍａｇｅ ｐｌａｎｅ．Ｔｏ ｃｏｍｐｅｎｓａｔｅ ｔｈｅ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｔａｒｇｅｔ ａｐｐｅａｒｉｎｇ ｉｎ ｔｈｅ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｃａｕｓｅｄ ｂｙ ｔｈｅ ｍｏｔｉｏｎ ｏｆ ｔｈｅ
‘１
１‘
１‘＾
‘１
１一一１
… ●
‘１
●
●
ｃａｍｅｒａ．ａｎ ａｌｇｏｒｉｔｈｍ ｔｈａｔ ｃｏｍｂｉｎｅｓ ｔｈｅ ｍｅａｎ ｓｈｉｔｔ ａｌｇｏｒｉｔｈｍ ａｎｄ Ｋａｌｍａｎ ｆｉｌｔｅｒ ＩＳ ｐｒｏｐｏｓｅｄ．ｗｉｔｈ ｔｈｅ ｓｔａｔｅ ｅｓｔｉｍａｔｉｏｎ
பைடு நூலகம்
摘 要：针对室外环境下移动机器人基于单目视觉对目标人实时跟随问题进行了研究，提出通过均值漂移算法对像平面目标
的跟踪来实现目标定位。为了补偿摄像机运动造成目标在像平面的偏移，提出了以卡尔曼滤波器的估计值作为均值漂移算法
的启动点，然后利用均值漂移算法获得最终位置；为了估计单目视觉下目标与机器人之间的距离，提出了一种借助于主颜色描
此位移转移到目标上，距离ｓ引起目标在像平面纵向的
偏移，如图１所示，ｋ时刻目标距机器人ｄ玉，相应的投影
线与水平线夹角为仪孟，在图像上的投影点是Ｙ孟，ｋ＋１时
刻分别用ｄＭ，仪Ｍ和ＹⅢ表示，ＹＢ表示像平面纵向拥有
的像素个数，垂直方向的视场角用ｙｖ表示，则由距离ｓ引 起目标在像平面纵向偏移的计算方法同式（２），如下：
Ｙｕ Ｄａｎｌ”，Ｗｅｉ Ｗｅｉ２，Ｚｈａｎｇ Ｙｕａｎｈｕｉ２ （Ｊ Ｃｏｌｌｅｇｅ ｏｆ Ｌｏｇｉｓｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ Ｍａｒｉｔｉｍｅ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２０１３０６，Ｃｈｉｎａ；
２ Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｚｈｅｆｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ ３１００２７，Ｃｈｉｎａ）
＾，
仪仪戈ｋ戈＋ｌ一三＝（戈Ｍ一下ＸＢ一戈一五＋％）ｙ戈／ｘＯｌ 戈＝Ｌ戈五＋１一■■一戈五十
－Ｋ－ ／Ｊ
ｙ戈
＝ ／ＸＢ＝
（戈五＋１一戈五）ｙ戈／ｘＢ＝臼
（２）
对于第二个运动，假设在一个周期内机器人前后移
动的距离是ｓ，为了便于分析，以机器人作为参照物，把
第３期
虞旦等：基于单目视觉的移动机器人跟随
６６１
１‘
ｒｅｓｕｌｔｓ ｉｎ ｃｕｒｒｅｎｔ ｔｒａｍｅ． １ｎ ｏｒｄｅｒ ｔｏ ｅｓｔｉｍａｔｅ ｔｈｅ ｄｉｓｔａｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｏｂｊ ｅｃｔ ａｎｄ ｒｏｂｏｔ．ａｎ ｉｎｄｉｒｅｃｔ ｄｅｐｔｈ ｃｏｍｐｕｔａ一
●
ｔｌｏｎ
ａｐｐｒｏａｃｈ
ｔｈａｔ
ａｄｏｐｔｓ
‘
ｄｏｍｉｎａｎｔ
‘
１‘
●
ｃｏｌｏｒ ｄｅｓｃｒｉｐｔｏｒ ａｎｄ ｓｈａｐｅ ｈｉｓｔｏｇｒａｍ ＩＳ
１’一
‘
‘
１‘
ｐｒｏｐｏｓｅｄ．Ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ
ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｉｓ ｒｏｂｕｓｔ，ａｎｄ ｈａｓ ｇｏｏｄ ｔｒａｃｋｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｒｅａｌ—ｔｉｍｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｏｎ ｐｅｒｓｏｎ ｆｏｌｌｏｗｉｎｇ
（Ｌ仪 仪ｖｖｋ¨一一仪仪ｖ／ｖｋＪ）Ｙ８
Ｙｋ＋１一ｙ五＝ １ｙ
（Ｌ仪仪五Ｍ＋一１一仪仪五五／）Ｊ ｙｙＢＢ
１ｙ
鱼畋一
ｙＢ １，ｙ后
／七＋１
ＹＢ／２
／’ Ｉｍａｇｅ
图１摄像头透视模型的侧面图 Ｆｉｇ．１ Ｔｈｅ ｓｉｄｅ ｅｌｅｖａｔｉｏｎ ｏｆ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ
为了获取观测值，需建立系统的观测模型，以一步预 测的结果为中心，在２倍于目标大小的区域Ｒ内，利用直 方图后投影计算概率图Ｍ ｏ来估计目标的位置，具体就是 在初始化目标模型时，建立目标传统的颜色直方图：
通过在概率密度空间中求解概率密度极值的均值漂 移（Ｍｅａｎ ｓｈｉｆｔ）算法属于第一种思路，Ｄ Ｃｏｍａｎｉｃｉｎ等 人ｕ２ ｏ把非刚性物体的跟踪问题近似为最优化问题后，均 值漂移在目标跟踪领域内得到了很好的应用，特征分布 标识了目标，通过对目标点赋大权值，对背景点赋小权 值，使目标区域成为密度极值区，从而将目标跟踪同均值 漂移算法联系起来，算法实时性好，对于目标的旋转、部 分阻挡、变形以及背景运动都不敏感，但是在跟踪连续性 上存在很大问题，如果目标在连续的两帧种偏移较大，传 统算法使得跟踪不能得以继续，本文提出了将卡尔曼滤 波器融于均值漂移算法，把滤波器对于目标点在像平面 位置的最优估计作为每一帧中均值漂移的起始点，相当 于对目标位置进行全局的预估计，最终位置由均值漂移 算法在起始点的领域内迭代得到，并以最终位置替代滤 波器中的后验估计值，用于下一帧的滤波估计，两种算法 交替使用，相互补充。另外为了恢复单目视觉下的景深 信息，用于保持机器人与目标之间的距离，本文提出了基 于先验知识约束的景深计算方法，其中目标在像平面高 度信息的获取借助了主颜色描述子ｕ３。１４ ｏ和形状直方图等 方法，主颜色描述子能有效的概括目标躯干部分，形状直 方图通过投影把离散的前景目标点映射到目标直方图 中，从而获取目标的高度信息，最后依据像平面透视模型 估计目标的实际景深。
＾… ‘
●
●●
＾１
１‘＾
‘１
‘
＾１
１‘＾
１‘
ｏｔ ｆｉｌｔｅｒｉｎｇ ａｓ ｔｈｅ ｓｔａｒｔｉｎｇ ｐｏｓｉｔｉｏｎ ｏｔ ｔｈｅ ｍｅａｎ ｓｈｉｔｔ ａｎｄ ｗｉｔｈ ｔｈｅ ｃｏｎｖｅｒｇｅ ｌｏｃａｔｉｏｎ ｏｔ ｔｈｅ ｍｅａｎ ｓｈｉｔｔ ａｓ ｔｈｅ ｔｒａｃｋｉｎｇ
●
“
Ｔ
●
１‘
‘
‘
第３ １卷第３期 ２０１０年３月
仪器仪 表学 报
Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔ
ＶｏＬ ３１ Ｎｏ．３ Ｍａｒ．２０１０
基于单目视觉的移动机器人跟随
虞 旦１’，韦 巍２，张远辉２
（１ 上海海事大学物流工程学院上海２０１３０６；２浙江大学电气工程学院杭州３１００２７）
戈玉＝垃型Ｌ— ｙ玉＝垃型Ｌ一 ∑ｘＩ（ｘ，ｙ）
６６０
仪器仪表学报
第３ １卷
成的偏移，再用针对背景静止的方法进行目标检测，文献 ［５］提到利用特征点匹配获取偏移信息来补偿摄像机的 造成的背景偏移，再利用粒子滤波器检测目标，但是粒子 滤波器计算复杂度降低了算法的实时｝生。
除此之外，也有较多关于移动机器人跟随的文章发 表，方法主要是基于测距传感器∞。７ ｏ和视觉传感器∞。１ ０｜， 其中的大部分都假设了一个前提：人脸面向机器人，这就 使得大量人脸检测和肤色检测的方法能够在这里得到应 用，另外这些方法对实时性的要求都不是很高，其中的文 献［８］采用的方法是两步式的：先锁定目标，再驱动机器 人至目标处。文献［１ １］采用的是另外一类目前研究较 热的红外视觉传感器，它能够有效的解决可见光传感器 上经常会遇到的一些问题：光照变化、目标的非刚性及可 变性等，但是如果不借助于其他传感器，基于红外的系统 不能区分被跟踪目标和周围行人，因为两者在红外图像 中没有显著区别。
Ａｂｓｔｒａｃｔ：Ｔｈｅ ｍｅｔｈｏｄ ｆｏｒ ｐｅｒｓｏｎ ｆｏｌｌｏｗｉｎｇ ｏｆ ｍｏｂｉｌｅ ｒｏｂｏｔ ｕｓｉｎｇ ｍｏｎｏｃｕｌａｒ ｃａｍｅｒａ ｉｎ ｏｕｔｄｏｏｒ ｅｎｖｉｒｏｎｍｅｎｔ ｉＳ ｒｅ—
ｓｅａｒｃｈｅｄ，ｔｈｅ ｌｏｃａｔｉｏｎ ｏｆ ｏｂｊｅｃｔ ｉｓ ａｃｈｉｅｖｅｄ ｔｈｒｏｕｇｈ ｕｓｉｎｇ ｔｈｅ ｍｅａｎ ｓｈｉｆｔ ａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈ ｒｅａｌｉｚｅｓ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｉｎ
戈五＋１
Ｙｋ＋１
戈五＋１
Ｙｋ＋１
０ Ｔ ０］ 戈五
１ ０ Ｔ Ｙｋ
＋
●
０１
０
戈五
００
１Ｊ
●
Ｙｋ
厂
戈Ｂ臼
百
ｌ（ａｒｃｔａｎ万ｈｉ－ａｒｃｔａｎ瓦ｈ）ｙＢ 手砺÷
ｙｙ
０
Ｌ
０
玩＝［三 ？ 言 言］ｘ五＋Ｋ
其中状态变量Ｘ孟＝［戈五Ｙ五戈五克］１。，分别表示目
标在像平面上的位置和速度，输入配孟＝［臼ｓ］１。为机器 人在前一个周期中旋转的角度和在目标连线方向上的位
ｕｎｄｅｒ ｃｏｍｐｌｅｘ ｏｕｔｄｏｏｒ ｅｎｖｉｒｏｎｍｅｎｔ．
Ｋｅｙ ｗｏｒｄｓ：Ｋａｌｍａｎ ｆｉｌｔｅｒ；ｍｅａｎ ｓｈｉｆｔ；ｄｅｐｔｈ；ｄｏｍｉｎａｎｔ ｃｏｌｏｒ ｄｅｓｃｒｉｐｔｏｒ；ｓｈａｐｅ ｈｉｓｔｏｇｒａｍ
１引
＿＿＿ｊＬ＿ 仁ｊ
传统的基于视觉对行人跟踪的研究是为了安全监 控ｕ Ｊ、人体运动分析心。等，静止的摄像头使得动态目标的 检测易于实现，比如背景剪除方法旧。就可以取得很好的 效果，如果将人体运动视觉分析的研究结合到移动机器 人平台上，基于视觉实现对人的全自主智能跟随，这被认 为是移动机器人的未来，利用移动机器人的灵活性和自
据颜色值的索引把像素点的值替换成相应的直方图概
率值：
，（戈，Ｙ）＝｛Ｈ（配）ｌ ｈ（戈，Ｙ）＝配｝，（戈，Ｙ）∈Ｒ （５）
得到的后投影图表示图像中像素点属于被跟随目标
的概率，对投影图进行简单的滤波，滤去概率低的点，最
终目标位置的估计通过计算区域内投影图的质心获得，
并被作为目标的观测值名五＝（戈五，Ｙ五）：
日（配）＝∑６（无（戈，Ｙ）一ｕ）／ｌ Ｒ ｌ，配＝１，２，…，ｍ
（石，ｙ）∈Ｒ
（４）
式中：配为颜色向量，被量化成ｍ级，ｈ（戈，Ｙ）为像素点
（戈，Ｙ）色度分量日量化后的值，６为Ｋｒｏｎｅｃｋｅｒ Ｄｅｌｔａ函
数，ｌ Ｒ ｌ为区域Ｒ内像素点的个数，用于直方图的归
一化。
为了定位目标，把直方图投影到选定的区域内，即依
夹角之间的对应关系Ｏｌ石＝（戈一戈Ｂ／２）ｙ戈／ｘＢ，其中ｙ戈表 示水平方向的视场角，戈８表示像平面横向拥有的像素个 数，戈是目标位置，对应投影线和光轴夹角为Ｏｌ％，假设ｋ
时刻分别用戈五和Ｏｌ三表示，ｋ＋１时刻用戈Ｍ和仪三“表示， 可以得到像平面目标偏移量与机器人一个周期内旋转角 度目的对应关系式：
在均值漂移算法的推导过程中，对描述目标模型与 目标候选之间相似程度的Ｂｈａｔｔａｃｈａｒｙｙａ系数进行了泰勒 展开，而泰勒展开是通过在分析点的领域内展开来逼近 原函数的 万，方所数以 据 算法假设了一个目标点在连续两帧中偏
移量不大的前提，即偏移量不能超过核函数的带宽，本系 统所对应的任务决定了目标在图像平面移动快速，无法 满足这一前提条件，传统算法的跟踪很可能失败，引入卡 尔曼滤波器能很好的解决这个问题。卡尔曼滤波器ｕ纠 用于估计线性系统的状态，它能利用测量值修正估计的 状态，提供可靠的状态估计，使用卡尔曼滤波器作为预测 器，需要建立系统的状态方程，不同于以往单纯对目标点 的运动进行建模ｕ６｜，必须把机器人自身的运动一起加以 考虑，本文提出了室外环境下移动机器人对目标跟随时， 目标在摄像机像平面运动的状态方程，描述如下：
收稿日期 万：方２０数０９－据０３
Ｒｅｃｅｉｖｅｄ Ｄａｔｅ：２００９－０３
主性，扩展了应用范围，例如：交通警察、军用机器人、服 务机器人等，但这样改变的结果是目标检测变得极具挑 战，因为机器人的移动使得目标在像平面不连续，而且相 对应的背景不可预知，针对静止视频序列的目标跟踪方 法显然不适用，要实现图像平面上目标跟踪有两种思路 一种是跟踪模板的建立独立于背景，Ｃｈｒｉｓｔｉａｎ Ｓｃｈｌｅｇｅｌ等 提出了结合颜色和边缘的跟踪算法‘４｜，要求被跟随的人 衣服从预设的４种颜色中选择，在背景复杂的情况下，边 缘匹配容易失败；另外一种是先补偿视觉传感器运动造
移，输出为目标点在像平面上的位置，丁为采样周期，职
为处理噪声，％为测量噪声，均为零均值高斯白噪声，相
应的方差记作盯训和盯舯 摄像机的旋转运动引起目标在像平面水平方向的偏
移，摄像机在与目标连线方向上的移动则引起垂直方向 的偏移。对于第一个运动，假设摄像机与机器人重心所 在纵轴线重合，即摄像机旋转角度等同于机器人的旋转 角度，文献［４］给出了像平面目标位置与投影线和光轴
述子和形状直方图的间接景深计算方法。室外实验表明该算法具有很好的实时性和鲁棒性，能有效实现复杂室外环境下对人
的跟随。
关键词：卡尔曼滤波器；均值漂移；景深；主颜色描述子；形状直方图
中图分类号：ＴＰ２４２．６
文献标识码：Ａ
国家标准学科分类代码：５１０．４０５０
Ｐｅｒｓｏｎ ｆｏｌｌｏｗｉｎｇ ｏｆ ｍｏｂｉｌｅ ｒｏｂｏｔ ｕｓｉｎｇ ｍｏｎｏｃｕｌａｒ ｃａｍｅｒａ
ｔｈｅ ｉｍａｇｅ ｐｌａｎｅ．Ｔｏ ｃｏｍｐｅｎｓａｔｅ ｔｈｅ ｏｆｆｓｅｔ ｏｆ ｔｈｅ ｔａｒｇｅｔ ａｐｐｅａｒｉｎｇ ｉｎ ｔｈｅ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ ｃａｕｓｅｄ ｂｙ ｔｈｅ ｍｏｔｉｏｎ ｏｆ ｔｈｅ
‘１
１‘
１‘＾
‘１
１一一１
… ●
‘１
●
●
ｃａｍｅｒａ．ａｎ ａｌｇｏｒｉｔｈｍ ｔｈａｔ ｃｏｍｂｉｎｅｓ ｔｈｅ ｍｅａｎ ｓｈｉｔｔ ａｌｇｏｒｉｔｈｍ ａｎｄ Ｋａｌｍａｎ ｆｉｌｔｅｒ ＩＳ ｐｒｏｐｏｓｅｄ．ｗｉｔｈ ｔｈｅ ｓｔａｔｅ ｅｓｔｉｍａｔｉｏｎ
பைடு நூலகம்
摘 要：针对室外环境下移动机器人基于单目视觉对目标人实时跟随问题进行了研究，提出通过均值漂移算法对像平面目标
的跟踪来实现目标定位。为了补偿摄像机运动造成目标在像平面的偏移，提出了以卡尔曼滤波器的估计值作为均值漂移算法
的启动点，然后利用均值漂移算法获得最终位置；为了估计单目视觉下目标与机器人之间的距离，提出了一种借助于主颜色描
此位移转移到目标上，距离ｓ引起目标在像平面纵向的
偏移，如图１所示，ｋ时刻目标距机器人ｄ玉，相应的投影
线与水平线夹角为仪孟，在图像上的投影点是Ｙ孟，ｋ＋１时
刻分别用ｄＭ，仪Ｍ和ＹⅢ表示，ＹＢ表示像平面纵向拥有
的像素个数，垂直方向的视场角用ｙｖ表示，则由距离ｓ引 起目标在像平面纵向偏移的计算方法同式（２），如下：
Ｙｕ Ｄａｎｌ”，Ｗｅｉ Ｗｅｉ２，Ｚｈａｎｇ Ｙｕａｎｈｕｉ２ （Ｊ Ｃｏｌｌｅｇｅ ｏｆ Ｌｏｇｉｓｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ Ｍａｒｉｔｉｍｅ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２０１３０６，Ｃｈｉｎａ；
２ Ｃｏｌｌｅｇｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｚｈｅｆｉａｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ ３１００２７，Ｃｈｉｎａ）
＾，
仪仪戈ｋ戈＋ｌ一三＝（戈Ｍ一下ＸＢ一戈一五＋％）ｙ戈／ｘＯｌ 戈＝Ｌ戈五＋１一■■一戈五十
－Ｋ－ ／Ｊ
ｙ戈
＝ ／ＸＢ＝
（戈五＋１一戈五）ｙ戈／ｘＢ＝臼
（２）
对于第二个运动，假设在一个周期内机器人前后移
动的距离是ｓ，为了便于分析，以机器人作为参照物，把
第３期
虞旦等：基于单目视觉的移动机器人跟随
６６１
１‘
ｒｅｓｕｌｔｓ ｉｎ ｃｕｒｒｅｎｔ ｔｒａｍｅ． １ｎ ｏｒｄｅｒ ｔｏ ｅｓｔｉｍａｔｅ ｔｈｅ ｄｉｓｔａｎｃｅ ｂｅｔｗｅｅｎ ｔｈｅ ｏｂｊ ｅｃｔ ａｎｄ ｒｏｂｏｔ．ａｎ ｉｎｄｉｒｅｃｔ ｄｅｐｔｈ ｃｏｍｐｕｔａ一
●
ｔｌｏｎ
ａｐｐｒｏａｃｈ
ｔｈａｔ
ａｄｏｐｔｓ
‘
ｄｏｍｉｎａｎｔ
‘
１‘
●
ｃｏｌｏｒ ｄｅｓｃｒｉｐｔｏｒ ａｎｄ ｓｈａｐｅ ｈｉｓｔｏｇｒａｍ ＩＳ
１’一
‘
‘
１‘
ｐｒｏｐｏｓｅｄ．Ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｉｎｄｉｃａｔｅ ｔｈａｔ
ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｉｓ ｒｏｂｕｓｔ，ａｎｄ ｈａｓ ｇｏｏｄ ｔｒａｃｋｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｒｅａｌ—ｔｉｍｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｏｎ ｐｅｒｓｏｎ ｆｏｌｌｏｗｉｎｇ
（Ｌ仪 仪ｖｖｋ¨一一仪仪ｖ／ｖｋＪ）Ｙ８
Ｙｋ＋１一ｙ五＝ １ｙ
（Ｌ仪仪五Ｍ＋一１一仪仪五五／）Ｊ ｙｙＢＢ
１ｙ
鱼畋一
ｙＢ １，ｙ后
／七＋１
ＹＢ／２
／’ Ｉｍａｇｅ
图１摄像头透视模型的侧面图 Ｆｉｇ．１ Ｔｈｅ ｓｉｄｅ ｅｌｅｖａｔｉｏｎ ｏｆ ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ
为了获取观测值，需建立系统的观测模型，以一步预 测的结果为中心，在２倍于目标大小的区域Ｒ内，利用直 方图后投影计算概率图Ｍ ｏ来估计目标的位置，具体就是 在初始化目标模型时，建立目标传统的颜色直方图：
通过在概率密度空间中求解概率密度极值的均值漂 移（Ｍｅａｎ ｓｈｉｆｔ）算法属于第一种思路，Ｄ Ｃｏｍａｎｉｃｉｎ等 人ｕ２ ｏ把非刚性物体的跟踪问题近似为最优化问题后，均 值漂移在目标跟踪领域内得到了很好的应用，特征分布 标识了目标，通过对目标点赋大权值，对背景点赋小权 值，使目标区域成为密度极值区，从而将目标跟踪同均值 漂移算法联系起来，算法实时性好，对于目标的旋转、部 分阻挡、变形以及背景运动都不敏感，但是在跟踪连续性 上存在很大问题，如果目标在连续的两帧种偏移较大，传 统算法使得跟踪不能得以继续，本文提出了将卡尔曼滤 波器融于均值漂移算法，把滤波器对于目标点在像平面 位置的最优估计作为每一帧中均值漂移的起始点，相当 于对目标位置进行全局的预估计，最终位置由均值漂移 算法在起始点的领域内迭代得到，并以最终位置替代滤 波器中的后验估计值，用于下一帧的滤波估计，两种算法 交替使用，相互补充。另外为了恢复单目视觉下的景深 信息，用于保持机器人与目标之间的距离，本文提出了基 于先验知识约束的景深计算方法，其中目标在像平面高 度信息的获取借助了主颜色描述子ｕ３。１４ ｏ和形状直方图等 方法，主颜色描述子能有效的概括目标躯干部分，形状直 方图通过投影把离散的前景目标点映射到目标直方图 中，从而获取目标的高度信息，最后依据像平面透视模型 估计目标的实际景深。
＾… ‘
●
●●
＾１
１‘＾
‘１
‘
＾１
１‘＾
１‘
ｏｔ ｆｉｌｔｅｒｉｎｇ ａｓ ｔｈｅ ｓｔａｒｔｉｎｇ ｐｏｓｉｔｉｏｎ ｏｔ ｔｈｅ ｍｅａｎ ｓｈｉｔｔ ａｎｄ ｗｉｔｈ ｔｈｅ ｃｏｎｖｅｒｇｅ ｌｏｃａｔｉｏｎ ｏｔ ｔｈｅ ｍｅａｎ ｓｈｉｔｔ ａｓ ｔｈｅ ｔｒａｃｋｉｎｇ
●
“
Ｔ
●
１‘
‘
‘
第３ １卷第３期 ２０１０年３月
仪器仪 表学 报
Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｉｎｓｔｒｕｍｅｎｔ
ＶｏＬ ３１ Ｎｏ．３ Ｍａｒ．２０１０
基于单目视觉的移动机器人跟随
虞 旦１’，韦 巍２，张远辉２
（１ 上海海事大学物流工程学院上海２０１３０６；２浙江大学电气工程学院杭州３１００２７）
戈玉＝垃型Ｌ— ｙ玉＝垃型Ｌ一 ∑ｘＩ（ｘ，ｙ）
６６０
仪器仪表学报
第３ １卷
成的偏移，再用针对背景静止的方法进行目标检测，文献 ［５］提到利用特征点匹配获取偏移信息来补偿摄像机的 造成的背景偏移，再利用粒子滤波器检测目标，但是粒子 滤波器计算复杂度降低了算法的实时｝生。
除此之外，也有较多关于移动机器人跟随的文章发 表，方法主要是基于测距传感器∞。７ ｏ和视觉传感器∞。１ ０｜， 其中的大部分都假设了一个前提：人脸面向机器人，这就 使得大量人脸检测和肤色检测的方法能够在这里得到应 用，另外这些方法对实时性的要求都不是很高，其中的文 献［８］采用的方法是两步式的：先锁定目标，再驱动机器 人至目标处。文献［１ １］采用的是另外一类目前研究较 热的红外视觉传感器，它能够有效的解决可见光传感器 上经常会遇到的一些问题：光照变化、目标的非刚性及可 变性等，但是如果不借助于其他传感器，基于红外的系统 不能区分被跟踪目标和周围行人，因为两者在红外图像 中没有显著区别。
Ａｂｓｔｒａｃｔ：Ｔｈｅ ｍｅｔｈｏｄ ｆｏｒ ｐｅｒｓｏｎ ｆｏｌｌｏｗｉｎｇ ｏｆ ｍｏｂｉｌｅ ｒｏｂｏｔ ｕｓｉｎｇ ｍｏｎｏｃｕｌａｒ ｃａｍｅｒａ ｉｎ ｏｕｔｄｏｏｒ ｅｎｖｉｒｏｎｍｅｎｔ ｉＳ ｒｅ—
ｓｅａｒｃｈｅｄ，ｔｈｅ ｌｏｃａｔｉｏｎ ｏｆ ｏｂｊｅｃｔ ｉｓ ａｃｈｉｅｖｅｄ ｔｈｒｏｕｇｈ ｕｓｉｎｇ ｔｈｅ ｍｅａｎ ｓｈｉｆｔ ａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈ ｒｅａｌｉｚｅｓ ｏｂｊｅｃｔ ｔｒａｃｋｉｎｇ ｉｎ
戈五＋１
Ｙｋ＋１
戈五＋１
Ｙｋ＋１
０ Ｔ ０］ 戈五
１ ０ Ｔ Ｙｋ
＋
●
０１
０
戈五
００
１Ｊ
●
Ｙｋ
厂
戈Ｂ臼
百
ｌ（ａｒｃｔａｎ万ｈｉ－ａｒｃｔａｎ瓦ｈ）ｙＢ 手砺÷
ｙｙ
０
Ｌ
０
玩＝［三 ？ 言 言］ｘ五＋Ｋ
其中状态变量Ｘ孟＝［戈五Ｙ五戈五克］１。，分别表示目
标在像平面上的位置和速度，输入配孟＝［臼ｓ］１。为机器 人在前一个周期中旋转的角度和在目标连线方向上的位
ｕｎｄｅｒ ｃｏｍｐｌｅｘ ｏｕｔｄｏｏｒ ｅｎｖｉｒｏｎｍｅｎｔ．
Ｋｅｙ ｗｏｒｄｓ：Ｋａｌｍａｎ ｆｉｌｔｅｒ；ｍｅａｎ ｓｈｉｆｔ；ｄｅｐｔｈ；ｄｏｍｉｎａｎｔ ｃｏｌｏｒ ｄｅｓｃｒｉｐｔｏｒ；ｓｈａｐｅ ｈｉｓｔｏｇｒａｍ
１引
＿＿＿ｊＬ＿ 仁ｊ
传统的基于视觉对行人跟踪的研究是为了安全监 控ｕ Ｊ、人体运动分析心。等，静止的摄像头使得动态目标的 检测易于实现，比如背景剪除方法旧。就可以取得很好的 效果，如果将人体运动视觉分析的研究结合到移动机器 人平台上，基于视觉实现对人的全自主智能跟随，这被认 为是移动机器人的未来，利用移动机器人的灵活性和自
据颜色值的索引把像素点的值替换成相应的直方图概
率值：
，（戈，Ｙ）＝｛Ｈ（配）ｌ ｈ（戈，Ｙ）＝配｝，（戈，Ｙ）∈Ｒ （５）
得到的后投影图表示图像中像素点属于被跟随目标
的概率，对投影图进行简单的滤波，滤去概率低的点，最
终目标位置的估计通过计算区域内投影图的质心获得，
并被作为目标的观测值名五＝（戈五，Ｙ五）：
日（配）＝∑６（无（戈，Ｙ）一ｕ）／ｌ Ｒ ｌ，配＝１，２，…，ｍ
（石，ｙ）∈Ｒ
（４）
式中：配为颜色向量，被量化成ｍ级，ｈ（戈，Ｙ）为像素点
（戈，Ｙ）色度分量日量化后的值，６为Ｋｒｏｎｅｃｋｅｒ Ｄｅｌｔａ函
数，ｌ Ｒ ｌ为区域Ｒ内像素点的个数，用于直方图的归
一化。
为了定位目标，把直方图投影到选定的区域内，即依
夹角之间的对应关系Ｏｌ石＝（戈一戈Ｂ／２）ｙ戈／ｘＢ，其中ｙ戈表 示水平方向的视场角，戈８表示像平面横向拥有的像素个 数，戈是目标位置，对应投影线和光轴夹角为Ｏｌ％，假设ｋ
时刻分别用戈五和Ｏｌ三表示，ｋ＋１时刻用戈Ｍ和仪三“表示， 可以得到像平面目标偏移量与机器人一个周期内旋转角 度目的对应关系式：