基于视觉SLAM的实例地图构建方法

西安工程大学学报
J o u r n a l o fX i a nP o l y t e c h n i cU n i v e r s i t y
第35卷第6期(总172期)2021年12月
V o l .35,N o .6(S u m.N o .172)
引文格式:王晓华,李耀光,王文杰,等.基于视觉S L AM 的实例地图构建方法[J ].西安工程大学学报,2021,35(6):54-61.
WA N G X i a o h u a ,L IY a o g u a n g ,WA N G W e n j i e ,e t a l .A ne x a m p l em a p p i n g m
e t h o db a s e do nv i s u a l S L AM [J ].J o u r n a l o fX i a nP o l y t e c h n i cU n i v e r s i t y
,2021,35(6):54-61. 收稿日期:2021-04-07
基金项目:教育部工程科技人才培养研究项目(18J D G C 029);陕西省重点研发计划项目(2021G Y -338)
;西安市碑林区应用技术研发类项目(G X 1904
) 通信作者:王晓华(1972 )
,女,西安工程大学教授,研究方向为机器人智能装备㊁模式识别㊁图像识别㊁语音识别㊂E -m a i l :w _x i a o h u a @126.c o m
基于视觉S L AM 的实例地图构建方法
王晓华,李耀光,王文杰,张 蕾
(西安工程大学电子信息学院,陕西西安710048
)摘要:由于机器人在利用视觉传感器进行同步定位与建图(s i m u l t a n e o u s l o c a l i z a t i o n a n dm a p p i n g
,S L AM )的过程中未使用实例信息,对环境感知不充分,构建的地图精度低,因此,给出了一种融合目标检测和点云分割的视觉S L AM 实例建图方法㊂首先,
利用改进的轻量级目标检测算法Y O L O V 4-t i n y 提取环境二维图像的实例信息;其次,给出一种点云分割的方法,将二维图像信息对应的三维点云进行物体实例分割,提升分割精度;最后,将分割后的实例导入O R B -S L AM 2框架中,构建出具有实例信息的高精度点云地图㊂实验结果表明:改进后的Y O L O V 4-t i n y 目标检测算法在构建的数据集上检测的准确率提升8.1%,改进的点云分割方法与L C C P 算法相比,物体平均分割率提升12.5%,真实环境下构建的实例地图精度优于O R B -S L AM 2算法构建的地图㊂关键词:同步定位与建图(S L AM );目标检测;点云分割;实例地图;Y O L O V 4-t i n
y 开放科学(资源服务)标识码(O S I D )
中图分类号:T P391 文章编号:1674-649X (2021)06-054-08文献标志码:A D O I :10.13338/j
.i s s n .1674-649x .2021.06.008A n e x a m p l em a p p i n g m
e t h o db a s e d o nv i s u a l S L A M WA N G X i a o h u a ,L IY a o g u a n g ,WA N G W e n j
i e ,Z HA N GL e i (S c h o o l o fE l e c t r o n i c s a n d I n f o r m a t i o n ,X i a nP o l y t e c h n i cU n i v e r s i t y
,X i a n710048,C h i n a )A b s t r a c t :I n t h e p r o c e s so f s i m u l t a n e o u s l o c a l i z a t i o na n d m a p p i n g (
S L AM )w i t hv i s i o ns e n s o r s ,t h e r o b o t d o e s n o t u s e t h e i n s t a n c e i n f o r m a t i o n ,w h i c h l e a d s t o i n s u f f i c i e n t e n v i r o n m e n t a l p e r c e p -t i o na n d l o wa c c u r a c y o fm a p c o n s t r u c t i o n .I nt h i s p a p e r ,a ne x a m p l em a p p i n g m
e t h o d
f o rv i s u a l S L AM b a s e d o n t a r
g e t d e t e c t i o n a n d p o i n t c l o u d s e g m e n t a t i o nw a s p r o p o s e d .F i r s t l y ,t
h e
i m p
r o v e d l i g h t w e i g h t t a r g e t d e t e c t i o n a l g o r i t h m Y O L O V 4-t i n y w
a s u s e d t o e x t r a c t t h e i n s t a n c e i n f o r m a t i o n Copyright©博看网 . All Rights Reserved.
o f t w o-d i m e n s i o n a l e n v i r o n m e n t a l i m a g e s.S e c o n d l y,a p o i n t c l o u d s e g m e n t a t i o nm e t h o dw a s p r e s-e n t e d.T h e t h r e e-d i m e n s i o n a l p o i n t c l o u d c o r r e s p o n d i n g t o t h e t w o-d i m e n s i o n a l i m a g e i n f o r m a t i o n
w a s s e g m e n t e d i n t o o b j e c t i n s t a n c e s t o i m p r o v e t h e s e g m e n t a t i o n a c c u r a c y.F i n a l l y,t h e s e g m e n t e d i n s t a n c ew a s i m p o r t e di n t o O R B-S L AM2f r a m e w o r kt ob u i l dah i g h-p r e c i s i o n p o i n tc l o u d m a p
w i t h i n s t a n c e i n f o r m a t i o n.T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t t h e i m p r o v e dY O L O V4-t i n y t a r g e t d e t e c t i o na l g o r i t h mi m p r o v e s t h e d e t e c t i o n a c c u r a c y b y8.1%o n t h e c o n s t r u c t e dd a t a s e t,a n d t h e
i m p r o v e d p o i n tc l o u ds e g m e n t a t i o n m e t h o di m p r o v e st h ea v e r a g eo b j e c ts e g m e n t a t i o nr a t eb y
12.5%c o m p a r e dw i t h t h a t o f t h eL C C Pa l g o r i t h m.T h e a c c u r a c y o f t h e i n s t a n c em a p c o n s t r u c t e d
i n r e a l e n v i r o n m e n t i s b e t t e r t h a n t h a t o fO R B-S L AM2a l g o r i t h m.
K e y w o r d s:s i m u l t a n e o u s l o c a l i z a t i o na n d m a p p i n g;t a r g e td e t e c t i o n;p o i n tc l o u ds e g m e n t a t i o n;
i n s t a n c em a p;Y O L O V4-t i n y
0引言
基于视觉的机器人S L AM[1-2]在很多领域得到了广泛应用㊂为了能在地图中对环境中的物体进行直观的表示[3],研究者做了大量的工作㊂文献[4]将离线提取的物体实例信息存储在识别码中,机器人通过对识别码的解读,完成物体实例信息的获取而建图;文献[5-6]将目标识别线程并行加入到S L AM 框架,物体被成功识别后被插入地图,但其需要事先生成目标模型㊂为了能实时构建环境中的物体模型,文献[7]设计了一种稠密S L AM建图系统,使机器人能够以物体级别描述地图场景㊂但地图精度低,地图中的物体实例不能很好地体现㊂
深度学习方法可以对环境中的物体实例进行有效检测和分割[8]而被引入视觉S L AM领域㊂文献[9]将视觉S L AM算法与目标检测框架S S D[10]结合,生成带有语义信息的地图;文献[11]利用目标检测网络提取二维图像标签,结合三维几何信息构建出稠密语义地图;文献[12]提出的M a s kF u s i o n系统不需要已知的对象模型实现地图构建,但语义分割网络不能实时运行;文献[13]利用深度卷积神经网络对图像进行像素级分割,采用并行线程,实时提取实例信息㊂但是上述方法所使用的深度学习网络结构复杂,对硬件要求高㊂综上所述,利用轻量级网络对物体实例信息进行提取,构建高精度的S L AM 点云地图是研究者们要继续探讨的问题㊂
本文给出了一种融合目标检测和点云分割的视觉S L AM实例建图方法㊂该方法以O R B-S L AM2算法[14]为框架,通过改进的轻量级目标检测算法Y O L O V4-t i n y[15]来提升目标实例的检测精度;随后将含有目标检测框的关键帧图像进行二维分割,分
割结果与三维点云分割结果融合,快速实现对物体的实例分割;最后建立存储物体实例信息的物体库,设置相应的匹配机制对物体库进行更新,构建出高精度的实例级点云地图㊂
1 Y O L O V4-t i n y算法改进
机器人在现实场景下构建地图,需要快速对环境实例进行检测识别,轻量级的检测模型具有更大的优势㊂本文使用的Y O L O V4-t i n y是一种轻量级检测网络,利用2个不同尺度的Y O L O H e a d输出层,分别负责检测大目标物体和小目标物体,具有更快的处理速度㊂但是其检测精度相对于大型检测网络会有所下降,尤其是对小目标物体的检测㊂基于此,通过调整网络结构,运用优化策略,对Y O L O V4-t i n y算法进行改进,提高检测精度的同时兼顾实时性㊂
1.1模型改进
相比Y O L O V4[16]的深层次结构和巨大参数量,Y O L O V4-t i n y轻量级网络结构简单,网络参数少,具有更快的检测速度㊂由于Y O L O V4-t i n y在特征加强层只采用了1个特征金字塔结构[17],没有像Y O L O V4那样再进行下采样,导致特征信息提取不足;网络深度不足也会导致高维空间中的冗余信息被过度利用,降低目标检测的准确性㊂因此,为了保持精度和速度的平衡,设计2个相同的残差网络模块[18]作为辅助模块,提取更多的物体特征信息,增强模型对目标的特征提取能力,降低检测的误差㊂残差网络模块结构如图1所示㊂
55
第6期王晓华,等:基于视觉S L AM的实例地图构建方法
Copyright©博看网 . All Rights Reserved.
图1 残差网络模块结构
F i g
.1 R e s i d u a l n e t w o r km o d u l e s t r u c t u r e 图1中,残差网络模块首先利用2个3ˑ3卷积提取全局特征,增加网络深度,学习输入图像中更深层次的信息㊂原始的高维空间中含有冗余信息,会对目标检测造成影响,降低准确率㊂随后通过引入
1ˑ1的卷积层对其实现降维,加快网络学习速度,减少冗余信息所造成的误差,提高识别的精度㊂同时为了获取更多目标的细节信息,抑制无关物体所
对应的信息,使用通道注意力和空间注意力机制[
19]提取更有效特征㊂由于浅层特征到深层特征的传递路径较长,其边缘信息特征容易丢失,导致数据利用
率低㊁检测精度不理想,为充分利用特征信息,采用级联操作将第1个卷积网络的输出特征与空间注意力机制的输出特征进行特征融合,作为残差网络模块的输出特征,这样保留了特征重复使用的特点,提升数据利用效率㊂最后,将最终的残差网络输出特征与骨干网络中剩余网络的输出特征相结合,作为下一个骨干网络的输入特征,使改进后的骨干网络能够提取出检测对象的全局和局部特征,摒弃与检测目标无关的信息,进一步提高检测的准确性㊂图2为改进后的网络结构㊂
图2 改进后的网络结构
F i g .2 I m p
r o v e dn e t w o r ks t r u c t u r e 1.2 检测优化
目标检测算法会输出多个检测边框,原有的
Y O L O V 4-t i n y 算法利用非极大值抑制(
n o n -m a x i -m u ms u p p r e s s i o n ,NM S )算法[20
]去除重复的检测边框,达到每个物体只有1个检测结果的目的㊂若当前检测框和最高得分检测框的交并比大于阈值时,会直接将该检测框的得分置零,这将导致重叠区
域较大的目标被漏检,降低算法的平均检测率㊂针
对上述问题,采用S o f t -NM S 抑制算法[2
1]
来提升性能㊂S o f t -NM S 抑制算法可将当前检测框得分乘以一个权重函数,该函数会衰减与最高得分检测框M 有重叠的相邻检测框分数,越是与M 框高度重叠的检测框,其得分衰减越严重,但并不会将检测框直接删除㊂为此,本文选择高斯函数为权重函数,从而修
65
西安工程大学学报
第35卷
Copyright©博看网 . All Rights Reserved.
改其删除检测框的规则,解决物体重叠时的检测问题㊂所使用的高斯权重函数为
S i +
1=S i e x p (I (M ,b i )2
)/σ)(1)式中:b i 为当前检测框;S i 为当前检测框得分;σ为高斯函数的方差;I 为交并比㊂
2 点云分割方法
采用R G B -D 相机作为视觉传感器,
可以获取环境的二维彩色图像和相应像素的深度图构建出三维点云㊂而大多数三维点云分割算法仅仅利用环境中的三维点云信息进行分割,忽略了对应的二维图像信息㊂为优化实例层次的分割效果,得到准确率
更高的物体分割结果,设计一种融合二维图像信息的三维点云分割方法㊂
1)二维实例模型分割㊂采用G r a b C u t 算法[2
2]
对目标检测后的关键帧图像进行二维实例模型分
割㊂用R G B 三通道混合高斯模型(G a u s s i a n m i x -
t u r em o d e l ,GMM )
描述目标模型和背景模型的像素分布,通过迭代学习获取物体和无关背景的混合高斯模型参数,评估分割的优劣程度,得到最优的物体分割结果㊂
2
)三维点云实例分割㊂物体的实例分割通过三维点云分割实现,分割流程如图3所示
㊂
图3 三维点云分割
F i g .3 3D p o i n t c l o u d s e g
m e n t a t i o n 将每帧三维点云用V C C S 算法[23]
进行超体素聚类处理,得到用曲面块集合V ={v i }N
i =1表示的物体㊂物体各部分之间的连接关系用邻接图G ={V ,
E }表示,其中,E 代表相邻v i 和v j 曲面块连接边
e i 的集合㊂将同一目标的连接边保留,剔除不同目标的连接边,提取出整个物体轮廓边的集合,完成目标实例的分割㊂
3)二维与三维信息融合㊂前述G r a b C u t 算法
的分割结果为L ={l 1,l 2, ,l n },l i 为目标物体像素时取1,为无关背景像素时取0;三维点云分割算法的分割结果记为Γ,把两者的分割结果进行融合,优化之后的算法可表示为
L (l i )
=l i ,Γ(d i )
ɤμ0,Γ(d i )
>μ{
(2
)式中:d 为物体的类别;μ为两者融合时的筛选条件㊂融合后的改进算法实现2种分割结果的性能互补,使三维点云分割结果精度更高,提升目标实例分割效果㊂
3 实例地图构建
3.1 系统框架
在原始O R B -S L AM 2框架的跟踪㊁建图和回环检测三线程结构中加入Y O L O V 4-t i n y 目标检测线程㊁点云分割线程和物体库构建模块,构建本文建图
方法的整体框架,如图4所示㊂
图4 系统整体框架
F i g .4 O v e r a l l s y
s t e mf r a m e w o r k 7
5第6期 王晓华,等:基于视觉S L AM 的实例地图构建方法Copyright©博看网 . All Rights Reserved.
图4中,跟踪线程对R G B-D相机采集的环境信息进行二维特征提取㊁匹配以及机器人位姿初始化;本文新建的目标检测线程对跟踪线程中检索的关键帧进行物体实例检测识别,得到环境中的实例信息;建图线程利用关键帧生成点云,采用B A优化删除冗余的地图点和关键帧,构建出初始的点云地图;新增加的点云分割线程将含有目标检测框的关键帧图像进行二维分割,融合三维点云分割结果,实现对物体实例的点云分割;最后通过物体库进行数据关联和模型更新,实现面向物体实例的三维点云地图构建㊂而为了消除跟踪过程中产生的累积误差,回环检测线程通过对回环位置和关键帧的检测,将匹配到的所有点云进行对齐并融合重复的点,采用图优化的方式来得到全局一致的地图㊂
3.2地图维护
依前文所述方法构建实例地图的过程中,需要建立地图物体库存储采集到的实例物体信息,该物体库包含物体的属性信息㊁类别与概率㊁中心坐标㊁对应的关键帧和目标物体的三维点云模型㊂
为了提高建图的效率,本文在S L AM建图的数据关联环节设置了筛选机制,在新目标物体加入地图中时进行判定㊂对于新检测到的物体,首先根据物体类别进行筛选,然后计算新点云模型与物体库中候选点云模型的点云重合度,如果重合度大于设定阈值,则认为是同一个目标,完成物体实例与物品库中对象的目标关联,共同维护物体模型,否则添加新的物体模型,并更新物品库中对象的属性信息㊂4实验与分析
本文实验运行平台为U b u n t u16.04的操作系统,处理器型号为G T X2080T i I n t e l i7-6800k㊂在自己构造的数据集和T UM数据集[24]上进行了实验,验证本文建图方法的可行性㊂
4.1目标检测实验与分析
4.1.1数据集及评价指标在C O C O数据集[25]的基础上,结合实际的实验室环境,采集几种常见的物体数据一起作为样本数据,构建样本数据集㊂将构造的样本数据集分成独立的训练集㊁测试集和验证集3个部分,并在训练之前对数据集进行了预处理㊂预处理的方式主要有使用原始图片㊁对输入图像采用随机尺度㊁图片镜像㊁随机调整曝光和饱和度等㊂物体类别的选择应同实验场景的检测相符合,主要完成6种室内常见物体的目标检测,分别为显示器㊁键盘㊁鼠标㊁椅子㊁杯子和书本㊂在检测结果中会显示为:T v-m o n i t o r㊁K e y b o a r d㊁M o u s e㊁C h a i r㊁C u p和B o o k㊂在构建的数据集上测试目标检测算法的检测精度和运行效率,以平均精度均值(m e a na v e r a g e p r e c i-s i o n,M A P)和每秒处理帧率(f r a m e s p e r s e c o n d,F P S)作为衡量标准,并与M o b i l e N e t-S S D,M o b i l e N e t V3, Y O L O V3-t i n y,Y O L O V4-t i n y等算法进行比较㊂4.1.2实验结果与分析本文算法与主流的轻量级目标检测算法的测试结果如表1所示㊂
表1不同算法测试结果
T a b.1 T e s t r e s u l t s o f d i f f e r e n t a l g o r i t h m s
检测算法MA P/%F P S
M o b i l e N e t-S S D64.5127
M o b i l e N e t V363.7108
Y O L O V3-t i n y61.2120
Y O L O V4-t i n y67.398
本文75.493
从表1可以看出,在模型体积相差不大的同等轻量级网络Y O L O V3-t i n y和Y O L O V4-t i n y中,改进的Y O L O V4-t i n y算法在精度方面分别提升了14.2%和8.1%,具有更好的检测效果㊂这是由于增加的残差模块能提取更多的细节特征,网络利用的特征信息更加丰富,使得检测精度更高㊂为了更直观地体现检测效果,利用测试集和实验室场景图像进行可视化分析,测试结果如图5所示㊂
(a)正常场景测试(b)昏暗场景测试(c)实验室场景测试
图5目标检测结果
F i g.5 R e s u l t s o f t a r g e t d e t e c t i o n
85西安工程大学学报第35卷Copyright©博看网 . All Rights Reserved.
从图5(a )㊁(b
)可以看出,改进的目标检测算法对所训练的物体均能检测识别,在光线昏暗和背景复杂的情况下也能保证识别精度㊂图5(c )中的现实场景测试显示,通过改进的Y O L O V 4-t i n y 能有效识别环境中的显示器㊁键盘㊁鼠标㊁椅子㊁杯子以及书本,每个类别的物体对应的颜色各不相同㊂4.2 点云分割实验与分析4.2.1 数据集及评价指标 实验场景的选取为T UM 数据集r g b d _d a t a s e t _f r e i b u r g 1_d e s k ,其中包含了600对R G B 彩色图像和深度图像㊂为了评价分割方法的有效性,选取P C L 点云库中的区域增长分割(r e g i o n a l g r o w t hs e g m e n t a t i o n ,R G S )算法和基于凹凸性的分割(l o c a l l y c
o n v e xc o n n e c t e d p a t -c h e s ,L C C P )
算法与所提方法进行对比,从运行时间和物体平均分割率两个方面进行分析,物体平均分割率表示对每一物体分割的正确率,衡量物体精准分割的性能㊂
4.2.2 实验结果与分析 表2给出了不同点云分
割算法在T UM 数据集上的实验结果对比㊂
表2 实验结果对比
T a b .2 C o m p a r i s o no f e x p e r i m e n t a l r e s u l t s 算法物体平均分割率/%
运行时间/s
R G S
42.714.073L C C P 53.39.682
本文65.8
10.251从表2可以看出,所提分割方法在物体平均分
割率上有明显优势㊂与R G S 算法和L C C P 算法相比分别提升了23%和12%㊂利用本文方法能够对环境细节进行分割,并且分割出更多的环境目标,在
相同时间下有更好的分割精度㊂图6为不同算法的点云分割结果图
㊂
(a )R G S 算法 (b )L C C P 算法 (c
)本文算法图6 不同算法的点云分割结果比较
F i g .6 C o m p a r i s o no f p o i n t c l o u d s e g m e n t a t i o n r e s u l t sw i t hd i f f e r e n t a l g
o r i t h m s 从图6可知,R G S 算法的点云分割结果噪声数
据过多,L C C P 算法对于环境中的小物体如水杯,鼠标等目标的提取不准确,导致分割精度降低㊂由于本文方法先利用二维图像分割算法进行预处理,提升图像中的目标分割精度,再结合超体素聚类的方法进行分割,不仅降低了时间成本,而且对环境中大部分小物体也能实现分割,有利于实例地图构建㊂4.3 建图实验与分析
将上述目标检测和点云分割的方法作为单独的线程加入O R B -S L AM 2框架当中,利用实验室环境对本文建图方法的有效性进行验证,并且在建图精度和方法性能方面进行评价㊂
通过图7的地图对比可以看出,图7(a
)所示原始O R B -S L AM 2系统构建的地图精度较低,地图中的物体实例轮廓不完整且重影大,鼠标等小物体很难在地图中被识别㊂图7(b )则显示本文方法构建的点云地图能够更加直观地表现出实例信息,地图中物体轮廓表现的更加完整,地图精度有明显提升㊂
(a )O R B -S L AM 2
构建的原始地图
(b
)本文方法构建的实例地图图7 不同方法构建的地图比较F i g .7 M a p c o m p
a r i s o no f d i f f e r e n tm e t h o d s 9
5第6期 王晓华,等:基于视觉S L AM 的实例地图构建方法Copyright©博看网 . All Rights Reserved.
完成原始地图与实例地图的比较后,对真实环境构建的地图信息进行时间分析,并添加与系统相似的主流方法作为参考,具体对比结果如表3所示㊂
表3不同建图方法的对比
T a b.3 C o m p a r i s o no f d i f f e r e n tm a p p i n g m e t h o d s
方法点云数量时间/s O R B-S L AM220157360.0863 O R B-S L AM2+Y O L O V340195250.1752本文42050810.0975
由于对物体实例进行了目标检测和点云分割处理,本文构建的实例地图中所包含的点云数量大约为O R B-S L AM2构建地图的2倍,能够提升物体点云的分割率,点云地图中的物体实例轮廓更完整㊂同时,检测线程的增加,使得建图过程的时间增加,结合Y O L O V3的建图方法由于检测算法结构复杂,虽然地图中的点云数量增多,但对场景的单帧平均处理时间相较本文方法慢了0.08s左右,本文对轻量级检测算法Y O L O V4-t i n y的改进,有效提高了计算效率㊂总体来说,本文建图方法在保证运行时间的同时能够生成更精确的实例级点云地图,验证了本文方法的可行性㊂
5结语
传统视觉S L AM不能对周围环境进行实例信息感知,导致建图精度不高,本文提出了一种基于视觉S L AM的实例建图方法㊂在O R B-S L AM2系统框架下,首先采用改进的Y O L O V4-t i n y轻量级目标检测网络识别物体实例,兼顾实例信息提取的准确性和实时性,相对于原检测网络,检测准确率提升8.1%;其次,利用改进的点云分割方法,将二维图像信息与三维点云信息的分割结果进行融合,提高对地图中实例物体的分割精度;最后,通过构建物体库来进行地图维护,实现三维物体实例的数据关联与模型更新,构建出精确的实例级点云地图㊂实验结果表明,相较于原始的O R B-S L AM2建图系统,本文方法构建的点云地图能够保留物体的实例信息,小物体也能很好的在地图中被识别,地图精度提升显著㊂但本文方法的运行时间有所增加,下一步的研究重点在于保证建图精度的同时提升运行效果㊂参考文献(R e f e r e n c e s):
[1]王霞,左一凡.视觉S L AM研究进展[J].智能系统学
报,2020,15(5):825-834.
WA N G X,Z U O Y F.A d v a n c e si nv i s u a lS L AM r e-
s e a r c h[J].C A A IT r a n s a c t i o n so nI n t e l l i g e n tS y s t e m s,
2020,15(5):825-834.(i nC h i n e s e)[2]程禹,王晓华,王文杰,等.基于改进A K A Z E算法的图
像特征匹配方法[J].西安工程大学学报,2020,34(4): 51-56.
C H E N G Y,WA N G X H,WA N G WJ,e t a l.I m a g e f e a-
t u r em a t c h i n g m e t h o db a s e do n i m p r o v e d A K A Z Ea l-
g o r i t h m[J].J o u r n a lo fX i a nP o l y t e c h n i c U n i v e r s i t y,
2020,34(4):51-56.(i nC h i n e s e)
[3]D A V I S O N A J,R E I D I D,MO L T O N N D,e ta l.
M o n o S L AM:r e a l-t i m es i n g l ec a m e r aS L AM[J].I E E E
T r a n s a c t i o n so nP a t t e r nA n a l y s i sa n d M a c h i n e I n t e l l i-
g e n c e,2007,29(6):1052-1067.
[4]吴皓,田国会,段朋,等.基于R F I D技术的大范围未知
环境信息表征[J].中南大学学报(自然科学版),2013, 44(增刊1):166-170.
WU H,T I A N G H,D U A N P,e ta l.N a v i g a t i o ni n f o r-
m a t i o n d e s c r i p t i o n o f l a r g e u n k n o w n e n v i r o n m e n t
b a s e do nR F I Dt e
c h n o l o g y[J].J o u r n a l o fC e n t r a l S o u t h
U n i v e r s i t y(S c i e n c ea n d T e c h n o l o g y),2013,44(S1): 166-170.(i nC h i n e s e)
[5] C I V E R AJ,GÁL V E Z-LÓP E ZD,R I A Z U E L O L,e t a l.
T o w a r d ss e m a n t i cS L AM u s i n g a m o n o c u l a rc a m e r a
[C]//2011I E E E/R S J I n t e r n a t i o n a lC o n f e r e n c eo nI n-
t e l l i g e n tR o b o t sa n dS y s t e m s.N e w Y o r k:I E E E,2011: 1277-1284.
[6] S A L A S-MO R E N O R F,N E W C OM B E R A,S T R A S-
D A T H,e ta l.S L AM++:S i m u l t a n e o u sl o c a l i s a t i o n
a n d m a p p i n g a tt h el e v e lo fo
b j e
c t s[C]//2013I E E E
C o n f e r e n c e o nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i-
t i o n.N e w Y o r k:I E E E,2013:1352-1359.
[7] RÜN Z M,A G A P I T O L.C o-f u s i o n:R e a l-t i m es e g m e n-
t a t i o n,t r a c k i n g a n df u s i o no f m u l t i p l eo b j e c t s[C]//
2017I E E EI n t e r n a t i o n a lC o n f e r e n c eo n R o b o t i c sa n d
A u t o m a t i o n(I C R A).N e w Y o r k:I E E E,2017:4471-
4478.
[8]刘志宏,旦增巴桑,夏强,等.基于深度学习的多能互补
供需自适应调度方法[J].电子设计工程,2020,28
(24):108-111.
L I U Z H,D A N Z E N G BS,X I A Q,e ta l.M u l t i-e n e r g y
c o m p l e m e n t a r y s u p p l y a n
d d
e m a n d a d a p t i v e s c h e d u l i n g
m e t h o db a s e do nd e e p l e a r n i n g[J].E l e c t r o n i cD e s i g n
E n g i n e e r i n g,2020,28(24):108-111.(i nC h i n e s e)
[9] SÜN D E R H A U FN,P H A M T T,L A T I F Y,e t a l.M e a n-
i n g f u lm a p sw i t ho b j e c t-o r i e n t e ds e m a n t i cm a p p i n g[C]//
2017I E E E/R S JI n t e r n a t i o n a lC o n f e r e n c eo nI n t e l l i g e n t
R o b o t sa n d S y s t e m s(I R O S).N e w Y o r k:I E E E,2017: 5079-5085.
[10] L I U W,A N G U E L O V D,E R HA N D,e t a l.S S D:S i n-
g l e s h o tM u l t i B o xd e t e c t o r[M]//C o m p u t e rV i s i o n–
E C C V2016.C h a m:S p r i n g e r I n t e r n a t i o n a l P u b l i s h i n g,
2016:21-37.
[11] Q IX X,Y A N GS W,Y A N YJ.D e e p l e a r n i n g b a s e d
06西安工程大学学报第35卷Copyright©博看网 . All Rights Reserved.
s e m a n t i c l a b e l l i n g o f3D p o i n t c l o u d i nv i s u a lS L AM
[J].I O PC o n f e r e n c eS e r i e s:M a t e r i a l sS c i e n c e a n dE n-
g i n e e r i n g,2018,428:012023.
[12] R U N Z M,B U F F I E R M,A G A P I T O L.M a s k F u s i o n:
R e a l-t i m er e c o g n i t i o n,t r a c k i n g a n dr e c o n s t r u c t i o no f
m u l t i p l em o v i n g o b j e c t s[C]//2018I E E EI n t e r n a t i o n-
a l S y m p o s i u mo n M i x e da n dA u g m e n t e dR e a l i t y(I S-
MA R).N e w Y o r k:I E E E,2018:10-20. [13]胡美玉,张云洲,秦操,等.基于深度卷积神经网络的
语义地图构建[J].机器人,2019,41(4):452-463. HU M Y,Z HA N G Y Z,Q I N C,e t a l.S e m a n t i cm a p
c o n s t r u c t i o nb a s e do n
d
e e p c o n v o l u t i o n a ln e u r a ln e t-
w o r k[J].R o b o t,2019,41(4):452-463.(i nC h i n e s e) [14]MU R-A R T A L R,T A R DÓSJD.O R B-S L AM2:A n
o p e n-s o u r c eS L AMs y s t e mf o rm o n o c u l a r,s t e r e o,a n d
R G B-Dc a m e r a s[J].I E E E T r a n s a c t i o n so nR o b o t i c s,
2017,33(5):1255-1262.
[15]卢迪,马文强.基于改进Y O L O V4-t i n y算法的手势识
别[J].电子与信息学报,2021:1-9[2021-03-20].h t-
t p://j e i t.i e.a c.c n/a r t i c l e/d o i/10.11999/J E I T201047. L U D,MA W Q.G e s t u r er e c o g n i t i o nb a s e do ni m-
p r o v e dY O L O V4-t i n y a l g o r i t h m[J].J o u r n a lo fE l e c-
t r o n i c s&I n f o r m a t i o n T e c h n o l o g y,2021:1-9[2021-
03-20].h t t p://j e i t.i e.a c.c n/a r t i c l e/d o i/10.11999/
J E I T201047.(i nC h i n e s e)
[16] B O C H K O V S K I Y A,W A N G C Y,L I A O H Y M A R K.
Y O L O v4:O p t i m a l s p e e d a n d a c c u r a c y o f o b j e c t d e t e c t i o n
[E B/O L].(2004-10-09)[2021-03-20].h t t p://a r x i v.o r g/
a b s/2004.10934.
[17] L I N T Y,D O L LÁR P,G I R S H I C K R,e ta l.F e a t u r e
p y r a m i d n e t w o r k s f o r o b j e c t d e t e c t i o n[C]//2017
I E E E C o n f e r e n c eo n C o m p u t e r V i s i o n a n d P a t t e r n
R e c o g n i t i o n(C V P R).N e w Y o r k:I E E E,2017:936-
944.
[18]包晓安,易芮,徐璐,等.改进残差网络的指静脉识别
[J].西安工程大学学报,2020,34(3):67-74.
B A O X A,Y IR,X U L,e t a l.F i n g e rv e i nr e c o g n i t i o n
b a s e do ni m p r o v e dr e s i d u a ln e t w o r k[J].J o u r n a lo f
X i a nP o l y t e c h n i cU n i v e r s i t y,2020,34(3):67-74.(i n
C h i n e s e)
[19] Z HU XZ,C H E N GDZ,Z HA N GZ,e t a l.A ne m p i r i-
c a l s t u
d y o f s p a t i a l a t t
e n t i o nm e c h a n i s m s i nd e e p n e t-
w o r k s[C]//2019I E E E/C V F I n t e r n a t i o n a l C o n f e r-
e n c e o nC o m p u t e rV i s i o n(I C C V).N e w Y o r k:I E E E,
2019:6687-6696.
[20] GÄH L E R T N,HA N S E L MA N N N,F R A N K E U,e t
a l.V i s i
b i l i t y g u i d e dNM S:E f f i
c i e n t b o o s t i n g o f a m o
d a l
o b j e c td e t e c t i o ni nc r o w d e dt r a f f i cs c e n e s[E B/O L].
(2006-08-05)[2021-03-20].h t t p s://a r x i v.o r g/a b s/
2006.08547v1.
[21]董海青,林宝军,刘迎春.一种有效抑制运动目标周围
空洞 的算法[J].电子设计工程,2018,26(18):25-
29.
D O N G H Q,L I N BJ,L I U Y C.A na l g o r i t h mt oe f-
f e c t i v e l y s u p p r e s s h o l e a r o u n d m o v i n
g o b j e c t s[J].
E l e c t r o n i cD e s i g n E n g i n e e r i n g,2018,26(18):25-29.
(i nC h i n e s e)
[22] H EK,WA N GD,T O N G M,e t a l.A n i m p r o v e dG r a b-
C u to n m u l t i s c a l ef e a t u r e s[J].P a t t e r n R e c o g n i t i o n,
2020,103:107292.
[23] V E R D O J A F,T HOMA SD,S U G I MO T O A.F a s t3D
p o i n t c l o u ds e g m e n t a t i o nu s i n g s u p e r v o x e l sw i t h g e-
o m e t r y a n dc o l o rf o r3Ds c e n eu n d e r s t a n d i n g[C]//
2017I E E E I n t e r n a t i o n a lC o n f e r e n c eo n M u l t i m e d i a
a n d E x p o(I C M E).N e w Y o r k:I E E E,2017:1285-
1290.
[24] S T U R M J,E N G E L HA R D N,E N D R E S F,e ta l.A
b e n
c h m a r k f o r t h ee v a l u a t i o no fR G B-D S L AM s y s-
t e m s[C]//2012I E E E/R S JI n t e r n a t i o n a lC o n f e r e n c e
o n I n t e l l i g e n tR o b o t s a n dS y s t e m s.N e w Y o r k:I E E E,
2012:573-580.
[25] L I N T Y,MA I R E M,B E L O N G I ES,e t a l.M i c r o s o f t
C O C O:C o mm o no b j e c t si nc o n t e x t[M]//C o m p u t e r
V i s i o n-E C C V2014.C h a m:S p r i n g e r I n t e r n a t i o n a l
P u b l i s h i n g,2014:740-755.
责任编辑:孟超
16
第6期王晓华,等:基于视觉S L AM的实例地图构建方法
Copyright©博看网 . All Rights Reserved.。