ORB-SLAM2框架下基于算术编码的CVSLAM_高效数据压缩

第54卷 第5期
2023年9月
太
原理
工大学学
报
J O U R N A L O F T A I Y U A N U N I V E R S I T Y O F T E C HN O L O G Y
V o l .54N o .5
S e p
.2023 引文格式:王迎港,程兰,尹家琪,等.O R B -S L AM 2框架下基于算术编码的C V S L AM 高效数据压缩[J ].
太原理工大学学报,2023,54(5):869-876.
WA N G Y i n g g a n g ,C H E N G L a n ,Y I N J i a q i ,e t a l .E f f i c i e n t d a t a c o m p
r e s s i o n f o r C V S L AM b a s e d o n a r i t h m e t i c c o d i n g i n O R B -S L AM 2f r a m e w o r k [J ].J o u r n a l o f T a i y u a n U n i v e r s i t y o f T e c h n o l o g y
,2023,54(5):869-876.
收稿日期:2022-08-31;修回日期:2022-10-13
基金项目:国家自然科学基金资助项目(62073232),山西省自然科学基金资助项目(201901D 211079,202104041101030
) 第一作者:王迎港(1997-),硕士,(E -m a i l )690360742@q q
.c o m 通信作者:程兰(1983-),博士,副教授,主要从事状态估计㊁滤波理论㊁导航系统高精度定位的研究,(E -m a i l )t a o l a n _1983@126.c o m
O R B -S L A M 2框架下基于算术编码的
C V S L A M 高效数据压缩
王迎港,程 兰,尹家琪,续欣莹,张 喆
(太原理工大学电气与动力工程学院,太原030024
)摘 要:ʌ目的ɔ协同视觉同时定位与建图(C V S L AM )
因其所需传感器成本低㊁可以获取丰富的环境信息,且具有快速性和灵活性的特点,在机器人领域引起了越来越多的研究者关注㊂而实现对图像信息的高效传输是提高C V S L AM 建图效率需要解决的关键问题之一㊂在多机协同作业中,机器人之间的数据传输是其工作的重中之重,数据共享往往受到通信带宽的影响,所以研究高效的数据处理方法成为至关重要的环节㊂ʌ方法ɔ基于中心式协同O R B -S L AM 2框架,
研究个体机器人向中心站进行数据传输问题,探索一种基于特征压缩的高效数据传输一般方法㊂特别地,研究了一种基于算术编码对O R B 特征进行差分编码并进行压缩传输的方法㊂该方法根据特征不同的编码模式评价其压缩后所需传输的数据量,并选择数据传输量最小的模式对特征进行编码㊂ʌ结果ɔ在不影响整体建图效果的前提下,所采用的方法明显降低了C V S L AM 系统中数据传输过程
中的数据量,同时缩短了数据传输时间㊂ʌ结论ɔ基于K I T T I 数据集的实验结果表明,
基于压缩编码的通信方式可以有效降低数据传输量㊁提高传输速度,是提高C V S L AM 通信效率的有效手段㊂
关键词:同时定位与地图构建;特征编码;O R B -S L AM 2;算术编码中图分类号:T P 242 文献标识码:A
D O I :10.16355/j .t y
u t .1007-9432.2023.05.015 文章编号:1007-9432(2023)05-0869-08E f f i c i e n t D a t a C o m p r e s s i o n f o r C V S L A M B a s e d o n A r i t h m e t i c C o d i n g
i n O R B -S L A M 2F r a m e w o r k W A N G Y i n g g a n g ,C H E N G L a n ,Y I N J i a q i ,X U X i n y i n g
,Z H A N G Z h e (C o l l e g e o f E l e c t r i c a l a n d P o w e r E n g i n e e r i n g ,T a i y u a n U n i v e r s i t y o f T e c h n o l o g y ,T a i y
u a n 030024,C h i n a )A b s t r a c t :ʌP u r p
o s e s ɔC o l l a b o r a t i v e V i s u a l S i m u l t a n e o u s L o c a l i z a t i o n a n d M a p p i n g (C V S -L AM )h a s a t t r a c t e d m o r e a n d m o r e r e s e a r c h e r s a t t e n t i o n i n t h e f i e l d o f r o b o t i c s o w i n g
t o i t s l o w c o s t o f r e q u i r e d s e n s o r s ,t h e a b i l i t y t o a c q u i r e r i c h e n v i r o n m e n t a l i n f o r m a t i o n ,a n d i t s r a p i d i t y
a n d f l e x i
b i l i t y .R e a l i z i n g t h e e f f i
c i e n t t r a n s m i s s i o n o f i m a g e i n f o r m a t i o n i s o n e o f t h e k e y p
r o b -l e m s t h a t n e e d t o b e s o l v e d t o i m p r o v e t h e e f f i c i e n c y o f C V S L AM m a p b u i l d i n g .I n m u l t i -m a -c h i n e c o o p e r a t i v e o p e r a t i o n ,d a t a t r a n s m i s s i o n b e t w e e n r o b o t s i s t h e m o s t i m p
o r t a n t p a r t o f t h e i r w o r k ,a n d d a t a s h a r i n g i s o f t e n a f f e c t e d b y t h e c o mm u n i c a t i o n b a n d w i d t h ,s o t h e s t u d y o
f e f f i -c i e n t d a t a p r o c e s s i n
g m
e t h o d s h a s b e c o m e a c r u c i a l p a r t .ʌM e t h o d s ɔO n t h e b a s i s o
f t h e c e n t r a l -Copyright ©博看网. All Rights Reserved.
i z e d c o l l a b o r a t i v e O R B-S L AM2f r a m e w o r k,t h e p r o b l e m o f d a t a t r a n s m i s s i o n f r o m i n d i v i d u a l r o-b o t s t o t h e c e n t r a l s t a t i o n i s s t u d i e d,a n d a g e n e r a l m e t h o d o f e f f i c i e n t d a t a t r a n s m i s s i o n b a s e d o n f e a t u r e c o m p r e s s i o n i s e x p l o r e d.I n p a r t i c u l a r,a m e t h o d b a s e d o n a r i t h m e t i c c o d i n g f o r d i f f e r e n-t i a l c o d i n g o f O R B f e a t u r e s a n d c o m p r e s s e d t r a n s m i s s i o n i s i n v e s t i g a t e d.T h e m e t h o d e v a l u a t e s t h e a m o u n t o f d a t a t o b e t r a n s m i t t e d a f t e r c o m p r e s s i o n a c c o r d i n g t o d i f f e r e n t c o d i n g m o d e s o f t h e f e a t u r e s a n d s e l e c t s t h e m o d e t h a t m i n i m i z e s t h e a m o u n t o f d a t a t r a n s m i s s i o n t o e n c o d e t h e f e a-t u r e s.ʌF i n d i n g sɔW i t h o u t a f f e c t i n g t h e o v e r a l l m a p b u i l d i n g e f f e c t,t h e a d o p t e d m e t h o d s i g n i f i-c a n t l y r e d u c e s t h e a m o u n t o f d a t a d u r i n g d a t a t r a n s m i s s i o n i n t h e C V S L AM s y s t e m,a n d a t t h e s a m e t i m e s h o r t e n s t h e d a t a t r a n s m i s s i o n t i m e.ʌC o n c l u s i o n sɔT h e e x p e r i m e n t a l r e s u l t s b a s e d o n t h e K I T T I d a t a s e t s h o w t h a t t h e c o mm u n i c a t i o n m e t h o d w i t h c o m p r e s s i o n c o d i n g c a n e f f e c t i v e l y r e d u c e t h e a m o u n t o f d a t a t r a n s m i s s i o n a n d i n c r e a s e t h e t r a n s m i s s i o n s p e e d,w h i c h i s a n e f f e c t i v e m e a n s t o i m p r o v e t h e e f f i c i e n c y o f C V S L AM c o mm u n i c a t i o n.
K e y w o r d s:c o l l a b o r a t i v e v i s u a l s i m u l t a n e o u s l o c a l i z a t i o n a n d m a p p i n g(C V S L AM);f e a t u r e
c o
d i n g;O R B-S L AM2;a r i t h m
e t i c c o d i n g
多机器人协同视觉定位与建图(C V S L AM)在军事和民用领域具有巨大的应用潜力,可在大型复杂㊁危险和人类难以到达的环境中执行情报收集㊁灾难救援㊁资源探测等特殊任务[1]㊂C V S L AM系统中所有个体机器人携带相机作为传感器采集环境信息,并将采集的信息传输给中心站或者其他机器人实现协同建图㊂为了实现协同建图,机器人需要进行信息传输,如个体机器人传输视觉信息给中心站或者其他机器人㊂而在实际应用中,信息传输往往受到通信带宽限制,不能满足多机器人大范围协同建图和自主定位时对数据处理的灵活性和较少的传输数据量的要求㊂因此,研究C V S L AM系统中的高效数据传输策略对提高协同建图的速度和效率具有重要意义㊂
为了在有限带宽下在C V S L AM中实现机器人间或机器人与中心站之间的高效数据传输,研究者提出了多种降低数据传输量的方法㊂主要可分为两类:只传输个体机器人建立的局部地图[2]和传输部分图像信息㊂只传输局部地图的方法的优点是需要传输的数据量小,但丢失了丰富的图像信息,导致后续数据处理不够灵活,无法实现重定位㊂而传输部分图像信息的方法[3]主要是指传输图像中的显著特征,这种方法的优点是利用图像中的关键特征表示图像,既能保留关键图像信息,又能降低数据传输量,对后续数据处理提供了较大的灵活性㊂当所传递的特征为图像的全局特征时,如V L A D特征[4],用一个全局特征向量表示一帧图像,更适合于S L AM的回环检测或位置识别的粗匹配㊂当传递的特征为局部特征时,用多个局部特征,如O R B特
征表征一帧图像㊂传递局部特征的方式既能保留图像的大部分信息又能去除图像中冗余的信息,是目前C V S L AM中常用的数据传输方法㊂然而,即使基于局部特征的方法可以有效降低数据传输量,但当传输的特征数目较多时,所需传输的数据量仍然较大,所以需要对所提取的特征信息进一步进行压缩处理,以提高传输效率㊂
本研究拟借鉴视频压缩理论的相关技术,对特征进行无损压缩,特别地,研究了一种基于算术编码对特征进行差分编码并进行压缩传输的方法㊂该方法根据特征在不同的编码模式下所需传输的数据量选择编码成本最小的模式对特征进行编码,实现图像特征的压缩传输㊂
1相关工作
S L AM即同时定位与地图构建,它是指搭载特定传感器的主体,在没有先验环境信息的情况下,于运动过程中建立环境的模型,同时估计自己的运动[5]㊂O R B-S L AM2是当前使用最多㊁公认度最高的纯视觉S L AM系统,O R B-S L AM2是一个基于特征点的实时S L AM系统,该系统对剧烈运动也具有较高的鲁棒性,支持闭环检测和重定位㊂本文也将基于O R B-S L AM2搭建C V S L AM系统㊂
如前所述,为了实现在有限带宽下C V S L AM 系统中的高效数据传输,需要选择合适的数据传输策略㊂在C V S L AM中,Z O U e t a l[6]提出的C o S L-AM,将所有相机采集的图像信息都交给中心站处理,相机只充当传感器的作用,但此种方式没有考虑通信约束,需要在协作场景中进行大量数据交换;基
078太原理工大学学报第54卷
Copyright©博看网. All Rights Reserved.
于地图信息,B R E S S O N e t a l [7]提出了基于C V S -L AM 的全地图信息交换,
此种协同方式对通信带宽和个体处理能力要求过高㊂在此基础上,为了降
低通信负担,C HO U D H A R Y e t a l [8]
提出了基于目
标检测的C V S L AM 方案,利用神经网络对环境中出现的目标进行训练,利用不同机器人个体观测到的共同目标进行建图,可实现只进行少数的信息交换㊂上述研究主要从降低特征点或者地图点数量出发降低数据传输量㊂
最近,一种M P E G C D V A (
视频分析紧凑描述符)标准[9
]的视频压缩处理高效描述符引起了研究
者关注㊂该方法利用图像的时间相关性和特征描述
符特点提高图像传递效率㊂基于C V S L AM 的现有数据传输策略,本研究借鉴视频压缩技术,研究特征编码的特点,并围绕特征压缩展开高效数据传输研究,以实现对C V S L AM 中特征的压缩传输㊂本文采用中心式C V S L AM 系统,对个体采集到的信息进行编码处理,将编码后的信息使用算术编码进行特征压缩处理,以期进一步降低数据传输量,减少数据传输时间,实现C V S L AM 的高效数据传输㊂
2 整体系统框架
本文以O R B -S L AM 2搭建C V S L AM 系统,
如图1所示㊂
提取图像特征
提取图像特征
机器人n
机器人1
特征编码
特征编码
网络
特征编码
特征编码
地图1
地图n
地图融合
ORB SLAM2图1 系统整体框架
F i g .1 O v e r a l l f r a m e w o r k o f t h e s y
s t e m 系统主要由个体机器人和中心站组成㊂个体机器人采用双目相机负责图像信息的采集和O R B 特征的提取和压缩;中心站接收为个体机器人发来的压缩O R B 特征并解码,并根据解码后的特征为对应的机器人运行O R B -S L AM 2例程,当检测到不同机器人建立的地图出现重叠,则进行地图融合㊂
2.1 压缩方式
个体机器人主要完成图像信息的采集和O R B 特征的提取和压缩,其关键在于特征压缩㊂根据传输的图像信息的不同可以分为压缩然后分析
(C T A )和先分析后压缩(A T C )
两种㊂C T A [10]
结构,如图2所示,在客户端使用传统的图像和视频压缩技术将视觉内容传输到服务器,
再由服务器执行所需的计算机视觉任务,并将结果发送回客户端㊂这种结构的优点是传输图像数据包含较多的细节信息,可以在服务器进行灵活处理㊂但图像质量受到可用传输容量的限制㊂同时,对于特定的任务,只需部分图像信息就可满足应用需求,
网络
图像编码
相机结果
客户端
服务器
图像编码
特征提取
后续
处理
图2 C T A 结构示意图
F i g
.2 O v e r a l l f r a m e w o r k o f C T A 但却分配了相当多的资源用于传输可能无用的视觉信息,造成了传输率低的问题㊂
而在A T C 结构中,
在机器人个体端提取图像特征,然后进行压缩并发送到服务器,服务器进行解码得到视觉信息,执行视觉处理任务,并将信息发送回客户端,系统架构如图3所示㊂通常机器人个体端发送的是局部图像特征,这些特征随后被传输到中心站以完成视觉分析任务,这种结构解决了C T A 带来的计算资源浪费问题,应用更加广泛,所以本设计选用A T C 结构㊂
网络
图像编码
相机结果
客户端
服务器
特征提取
特征解码
后续处理
图3 A T C 结构示意图
F i g
.3 O v e r a l l f r a m e w o r k o f A T C 2.2 协同方式
对协同方式而言,C V S L AM 可采用中心式协
同和分布式协同㊂在分布式协同中,每个机器人都可以跟另外的任何一个机器人进行通信,不需要中心服务器进行调度㊂此种方式的优点在于当系统中某个机器人出现故障时,仅仅影响与本机器人相关的通信,而不至于影响全局㊂但分布式协同需要每个个体都有处理其他个体发送来的信息的能力,因
1
78 第5期 王迎港,等:O R B -S L AM 2框架下基于算术编码的C V S L AM 高效数据压缩
Copyright ©博看网. All Rights Reserved.
而对个体机器人的算力要求较高,即要求机器人个
体可以单独完成S L AM 功能㊂且由于通信范围和
通信能力受限,个体机器人通常无法获取全局信息㊂
而中心式协同系统中存在着一个统一调度的节点,即中心站,机器人之间想要进行通信必须要经过中心站,由服务器进行统一调度,此结构的优点在于对个体机器人的算力要求相对较低,机器人可只负
责采集图像信息[11]
,也可进一步完成特征提取㊂对
于信息处理能力强的个体还可以完成视觉前端
[12]
㊂
本文采用中心式协同,在个体端完成图像信息的采集和特征提取,并进行特征压缩㊂而中心站完成个体的局部建图和全局地图融合㊂
3 基于算术编码的特征压缩
目前,已有文献对基于O R B -S L AM 2的C V S -L AM 开展研究,其中文献[13]
的研究与本文相近㊂该文献中将个体机器人采集到的图像信息进行特征提取并发送给中心站进行局部建图并融合得到全局地图㊂该研究中,个体机器人对提取到的特征信息全部发送给中心站用于特征提取,虽然相比于传输整帧图像信息,传输数据量已大大减少,但当提取的特征点数较多时,传输数据量仍然较大㊂
鉴于此,本文采用基于算术编码的特征压缩,将算术编码与O R B -S L AM 2算法结合,将待传递的特征信息进行编码并压缩,以降低数据传输量㊁提高数
据传输速率㊂算术编码[14]常用于压缩图像数据和
视频数据,属于无损压缩,是目前广泛使用的一种视频压缩算法㊂
3.1 编码框架
特征编码系统结构图如图4所示㊂其中个体机
帧内编码
特征选择
视觉词汇
帧间编码
帧间跳跃立体视图编码
深度编码缓冲区
深度量化编码
关键点编码
残余编码参考编码
参考编码关键点编码残余编码参考编码关键点编码残余编码词袋索引编码
解码
模式决策
左目相机特征提取右目相机
特征提取
图4 编码框架
F i g .4 C o d i n g f
r a m e w o r k 器人采用双目相机采集图像信息,然后从图像中提取O R B 特征㊂
所提取的O R B 特征可采用帧内编码㊁
帧间编码㊁帧间跳跃㊁立体视图编码㊁深度编码模式,编码模式示意图如图5所示㊂对每个O R B 特征,都会计算所有编码模式下的算术编码代价,并选择代价最小的方式进行编码压缩并传输㊂
视觉词袋
右视图
左视图
帧内编码
帧间编码
深度信息
立体编码
图5 编码模式示意图
F i g .5 S c h e m a t i c d i a g r a m o f c o d i n g m
o d e 帧内编码主要是借助视觉词汇表进行的编码,包括词袋索引编码㊁关键点编码和残余编码三部分㊂帧间编码方式利用了连续帧之间的时间相关性,在前一帧中找到与当前帧将要传输的特征匹配最佳的特征,只需要传输两个特征点的描述符之间二进制差异的残余向量,和关键点属性的差异,包括位置㊁方向和尺度空间级别即可㊂帧间跳跃模式适用于相机静止且时间冗余的情况,当特征之间的汉明距离小于阈值,且相机为静止状态,则复制参考特征㊂深度编码对左视图单目特征流的每个特征的附加深度信息进行编码以增强视觉信息㊂
首先,机器人采集到信息后对每帧图像进行特征提取㊂接着,对每个特征在不同的编码模式下进行算术编码㊂然后,评估不同编码模式下传输特征所需要的数据量,并根据模式决策选择编码数据量最小的编码模式对特征进行算术编码和传输㊂3.2 算术编码
确定编码模式后即可对各个编码模式中要传输的信息进行编码㊂本文采用算术编码对特征进行编
码[
15]
㊂算术编码比霍夫曼编码更接近于香农编码的极限值,其压缩效果优于多数视频压缩算法㊂由于O R B 特征采用二进制描述子,本文对于关键点位置和深度也采用二进制编码㊂因此本文采用二进
制算术编码对特征进行压缩编码㊂
二进制算术的基本思想是:统计传输数据中0㊁
1出现的次数,确定0㊁1出现的概率,
据此概率为待传输的二进制特征进行压缩编码㊂二进制算术编码与普通算术编码有如下区别㊂
1
)普通算术编码是从全序列出发,将输入的符278太原理工大学学报 第54卷
Copyright ©博看网. All Rights Reserved.
号概率对应映射至[0,1
)区间上,而二进制算术编码输入的符号只有0㊁1.
2)当输入符号串时,其共有两种类型:M ㊁L ,分别代表0或1出现的概率大小㊂若输入的二进制串
中 0 为多数, 1 为少数,则M = 0 ,L = 1 ;若 1 为多数, 0 为少数则,M = 1 ,L = 0 .
3)编码过程中,记M ㊁L 出现的概率为p M ㊁
p L .
两种符号出现的概率和为1,即p M +p L =1.4
)编码时,计算新的区间大小,记为R i +1.存在两种情况:当编码L 时,R i +1=R L =R i ˑp L ;当编码M 时,R i +1=R M =R i -R L =R i -(R i ˑp L ).
5)继续进行编码需要计算新的区间起点时,记为I i +1,存在两种情况:当前编码为L 时,I i +1=
I i +R M ;当前编码为M 时,I i +1=I i ,
其过程如图6所示㊂
M
L
M
L
R i R i +1
I i +1
I i
I
图6 计算区间起点
F i g .6 S t a r t i n g p
o i n t o f t h e c a l c u l a t e i n t e r v a l 3.3 特征编码成本分析
图像n 中特征i 编码所占用的字节中,包含对
参考特征索引进行编码的单个编码成本R r e f
n ,i ㊁匹配描述符之间差异的残差向量的编码成本R d e s n ,i ,以及编码关键点的成本R k p t n ,i .
帧内编码的成本为:
R I n ,i =R I ,r e f
n ,i +R
I ,d e s
n ,i
+R
I ,k p
t n ,i
.
(1)帧间编码的成本为:
R P
n ,i =R P ,r e f
n ,i +R P ,d e s n ,i +R P ,k p
t
n ,i .(2)立体编码的成本为:
R M
n ,i =
R M ,r e f
n ,i
+R
M ,d e s
n ,i
(j *
)+R M ,k p
t n ,i
.
(3
)j 为参考特征,计算特征j *
需计算出当前描述符d n ,i 与参考描述符d M
j 之间最小的汉明距离H .
j *
=a r g m i n (H (d n ,i ,
d M
j )).(4
)1
)参考特征索引编码假设均匀概率,对参考特征索引进行编码的成
本为:
R
M ,r e f
n ,i
=l o g 2(N l ,n ).
(5
)式中:N l ,n 代表左视图中特征的数量㊂
2
)描述符编码对于残差向量编码,根据二进制异或操作r M
n ,i =
d n ,i
d M
j .计算当前描述符与参考描述符之间的差分向量㊂h M
n ,i (
j )表示当前描述符与参考描述符之间的汉明距离,实际上表示的两个描述符中不同元素的个数㊂
h M n ,i (j *)=H (d n ,i ,
d M
j ).(6)占用最小比特数可用二元熵函数计算如下:
R M ,d e s n ,i (j *)=-(D -h M n ,i (j *))㊃l o g 2(
p M
0)-h M n ,i (j *)㊃l o g 2(
1-p M
0).(7)D 是描述符的长度;p M
0是对于视图间编码模式,残差向量为零的概率㊂
3
)关键点编码对于关键点,需传输量化的关键点位置信息和
方向信息㊂由于O R B -S L AM 2在前端采用金字塔
模型提取特征[16]
,需要确定特征所在的金字塔层级,进而确定其尺度㊂假设特征匹配到相同的尺度
σn ,i ,
即直接使用参考特征的尺度信息㊂确定了特征所在层级之后就可以对其所在位置进行编码㊂对特征的x 坐标进行编码,类似于帧内编码方法,在该方法中,将关键点位置缩放到尺度空间对应的图层,即可确定在该图层中关键点的位置㊂此种表示方式中,关键点坐标位于整数位置,因此允许对关键点位置进行无损编码㊂对于y 坐标,只传输参考关键点在公共尺度空间中的位置的差值㊂考虑特征点位置偏差,允许特征点与极线偏离ʃ2像素,因此需要
l o g 2(
5)位表示该偏差㊂假设方向信息均匀分布,并将方向量化为N θ,对应需要的编码位数为l o g 2(N θ).
因此,关键点位置的总编码成本为:R
M ,k p
t n ,i
=l o g 2(w i d t h (σn ,i ))+l o g 2(5)+l o g 2(
N θ).(8)其中w i d t h (σn ,i )表示图像在相应尺度级别上的宽度㊂
4 实验结果分析
本节将基于公开数据集分析压缩方法在协同O R B -S L AM 2特征压缩中的性能㊂对于数据集的
选择,常用的有T UM ㊁E U R O C ㊁K I T T I 数据集[17]
,其中T UM 作为小型室内环境数据集,主要场景为房屋和办公室内部环境,更适合作为单机S L AM 性能分析的测试数据集;E U R O C 作为大型室内环境数据集,主要场景为机房和普通房间内部环境,更适合作为单机作业性能分析的测试数据集;K I T T I 作
为室外城市环境[18]
,主要场景为户外城市露天环
境,包含市区与城郊,更适合作为多机协同作业的测试数据集㊂本实验采取K I T T I 数据集对所提出的
3
78 第5期 王迎港,等:O R B -S L AM 2框架下基于算术编码的C V S L AM 高效数据压缩Copyright ©博看网. All Rights Reserved.
数据压缩方法进行性能分析
㊂为验证协同数据压缩的效果,选择K I T T I 中具有轨迹重叠部分的00㊁07进行验证㊂实验在I n t e l X e o n S i l v e r 4210R 服务器
上进行,G P U 为G T X 3090,C U D A 11.4,
仿真环境为U b u n t u 18.04L T S .将基于数据压缩的协同O R B -S L AM 2与无压缩的协同O R B -S L AM 2在数据传输量㊁传输时间㊁建图精度三方面进行对比㊂
为了演示协同建图,我们使用两个机器人个体对K I T T I 00和07序列进行操作,如图7所示㊂同时运行两个序列,并评估结果的数据压缩量和数据传输时间㊂
KITTI00KITTI07
6005004003002001000y / m
-400
-200
200400
x / m
图7 用于实验评估的K I T T I 数据集子序列
F i g .7 K I T T I d a t a s e t s u b s e q u e n c e f o r e x p
e r i m e n t 首先对两个子序列分别进行实验,即单机建图㊂两个客户端分别在K I T T I 00和K I T T I 07序列上
进行操作,并用中心站为每个个体创建一个O R B -S L AM 2线程,
建图结果如图8所示㊂其中机器人0运行K I T T I 00,机器人1运行K I T T I 07
,如图8所示
㊂（a ）机器人0
（b ）机器人1
图8 单机建图结果
F i g .8 M a p p i n g r e s u l t s o f d i f f e r e n t s i n g
l e r o b o t s 当系统检测到重叠区域时,使用地图融合模块,允许合并来自两个机器人的建图结果㊂运行一段时间后,当服务器检测到地图之间存在明显的重叠,服务器会为两个客户端都传输点云地图,并将地图合并为一个全局地图,最后进行全局B A 优化操作,最终使两个机器人上有相同的地图,如图9所示
㊂
（a ）机器人0
（b ）机器人1
图9 协同建图结果
F i g .9 M a p p i n g r
e s u l t s o
f a c o l l a b o r a t i v e r o b o t 4.1 数据传输量对比
图10显示了运行K I T T I 00序列,个体机器人向服务器传输的数据量,比较了压缩前后传输数据量的大小,将传输的比特率降低70.8%,传输量显著减小,本实验方法实现了高效的数据传输㊂
350300250200150100500数据传输/ M B
200
帧下标n
400
600
8001 0001 2001 4001 600
没有压缩
压缩之后
图10 压缩前后数据量对比
F i g .10 C o m p a r i s o n o f d a t a b e f o r e a n d a f t e r c o m p
r e s s i o n 4.2 建图精度对比
为验证本文算法的建图效果,将本文算法在
K I T T I 00与K I T T I 07上的运行轨迹分别与其对应真实值作对比,使用e v o 对轨迹进行评估㊂实验结
478太原理工大学学报 第54卷
Copyright ©博看网. All Rights Reserved.
果显示压缩前后轨迹基本重合,结果如图11所示㊂
数据压缩前后,并未导致运行轨迹出现偏差,且未影响建图精度㊂在进行绝对轨迹误差评估时,估计位姿与真实值通常不在同一坐标系中,需要将两者坐标对齐,本文算法降低了尺度不确定性;此外,相比于单机建图,多机建图在工作中实现了约束增强,且多机工作较单机工作减少了个体承载信息负
担,降低了累计误差,从而降低了绝对轨迹误差㊂根据5次运行得到的绝对轨迹误差,对K I T T I 00和
K I T T I 07序列进行了协同S L AM 测试,K I T T I 00
序列误差降低了5.6%,K I T T I 07序列误差降低了
13.9%,在这种场景中,协作方法始终优于单机方法,结果如表1所示㊂
00ct
00gt
5004003002001000300200100
-100-200-300
y /
m
z / m
-300
-200
-100
100200
300
x / m （a ）轨迹对比
（b ）坐标对比
200
0-200
x / m 0-10y / m 4002000
z / m
1 000
2 000
3 000
4 000
00ct
00gt
（c ）轨迹对比
（d ）坐标对比
-100
x / m 20
y / m 1000
z / m
200
400
600800
07ct 07gt
07ct
07gt
1007550250-2510075500y /
m
z / m
-175
-150
-125
-100
-75-25
0x / m
-50-7525
-25-50-75
-100
1 000
时间/ s 时间/ s
图11 K I T T I 建图精度分析
F i g .11 A n a l y s i s o f m a p p i n g a c c u r a c y
表1 采用单机、协同方法在K I T T I 00和07序列上
的绝对轨迹误差性能比较
T a b l e 1 C o m p a r i s o n s i n g l e r o b o t a n d c o l l a b o r a t i v e r o b o t s r e g a r d i n g a b s o l u t e t r a j e c t o r y e
r r o r o n K I T T I 00a n d 07系列绝对轨迹误差
单机
m i n /m a x /m e d i a n 协同
m i n /m a x /m e d i a n K I T T I 001.23/1.26/1.241.10/1.26/1.16K I T T I 07
0.60/0.70/0.65
0.48/0.66/0.54
4.3 传输时间对比
为了分析数据压缩后带来的建图速度提升,本节考虑两个机器人和一个中心站的情况,完成对K I T T I 00和07序列进行建图需要的总时间分析,如表2所示㊂
协同建图则是使用两个机器人个体同时分别运
行K I T T I 00㊁07序列,当运行结束后,中心服务站检测两个机器人个体是否存在轨迹重叠区域,通过地图融合最终得到一个全局地图,同时记录其传输时间㊂从表2可知,采用压缩算法后协同建图时间减
少了49s .表明对特征进行压缩后,可以提高协同建图速度㊂
5 结语
本文提出了一种适用于多机协同建图环境的基于算术编码的特征压缩算法,提高了多机协同过程中数据共享的高效性㊂本文主要的贡献:1
)在协同5
78 第5期 王迎港,等:O R B -S L AM 2框架下基于算术编码的C V S L AM 高效数据压缩Copyright ©博看网. All Rights Reserved.
表2 数据传输时间对比
T a b l e 2 C o m p
a r i s o n o f d a t a t r a n s m i s s i o n t i m e 方法数据传输时间/s
K I T T I 00K I T T I 07信息传输总时间
未进行数据压缩的协同建图565134705本文方法数据压缩后
的协同建图
523
130
656
O R B -S L AM 2框架下,
结合算术编码,将图像的特征信息进行压缩传输,提升了多机协同工作中的数据传输效率;2
)对不同编码模式下需要传输的信息量进行了分析;3)基于K I T T I 数据集从压缩率㊁
压缩后的传输时间以及压缩后的S L AM 建图精度3个方面对所提出的方法进行了分析㊂实验结果表明,采用特征压缩编码后,可以有效提高个体向中心站的数据传输效率㊂目前工作只提供了一种基于数据压缩的协同S L AM 数据传输思路,验证了数据压缩对提高协同S L AM 通信效率的可行性㊂后续工作将考虑更加高效的数据压缩方法,如基于有限状态熵的特征压缩㊂
参考文献:
[1] 张国良,汤文俊,曾静,等.考虑通信状况的多机器人C S L AM 问题综述[J ].自动化学报,2014,40(10):2073-2088.
Z HA N G G L ,T A N G W J ,Z E N G J ,e t a l .A r e v i e w o f m u l t i r o b o t C S L AM p r o b l e m c o n s i d e r i n g C
o mm u n i c a t i o n [J ].J o u r n a l o f A u t o m a t i o n ,2014,40(10):2073-2088.
[2] A N D E R S O N E I .H e t e r o g e n e o u s m a p m e r g i n g
:s t a t e o f t h e a r t [J ].R o b o t i c s .D o i :.10.3390/r o b o t i c s 8030074,2019.[3] O P D E N B O S C H D V ,O E L S C H M ,G A R C E A A ,e t a l .A j o i n t c o m p r e s s i o n s c h e m e f o r l o c a l b i n a r y f e a t u r e d e s c r i p
t o r s a n d t h e i r c o r r e s p o n d i n g b a g -o f -w o r d s r e p r e s e n t a t i o n [C ]ʊ2017I E E E V i s u a l C o mm u n i c a t i o n s a n d I m a g e P r o c e s s i n g (V C I P ).I E E E ,2017.
[4] 阮晓钢,李昂,黄静,等.基于卷积神经网络与V L A D 的视觉S L AM 闭环检测方法:C N 110781790A [P ].2020.
[5] MU R -A R T A L R ,J D T A R D S .O R B -S L AM 2:A n O p e n -S o u r c e S L AM S y
s t e m f o r M o n o c u l a r ,S t e r e o ,a n d R G B -D C a m e r a s [J ].I E E E T r a n s a c t i o n s o n R o b o t i c s ,2017,33(5):1255-1262.
[6] Z O U D P ,T A N P ,Y U W X.C o l l a b o r a t i v e v i s u a l S L AM f o r m u l t i p l e a g e n t s :a b r i e f s u r v e y [J ].V i r t u a l R e a l i t y &I n t e l l i g
e n t H a r d w a r e ,2019,1(5):461-482.
[7] B R E S S O N G ,A U F R E 'R E R ,C HA P U I S R.C o n s i s t e n t m u l t i -r o b o t d e c e n t r a l i z e d S L AM w i t h u n k n o w n i n i t i a l p
o s i t i o n s [C ]ʊI n t e r n a t i o n a l C o n f e r e n c e o n I n f o r m a t i o n F u s i o n .I E E E ,2016.
[8] C H O U D HA R Y S ,C A R L O N E L ,N I E T O C ,e t a l .D i s t r i b u t e d m a p p i n g w i t h p r i v a c y a n d c o mm u n i c a t i o n c o n s t r a i n t s :l i g
h t -w e i g h t a l g o r i t h m s a n d o b j
e c t -b a s e d m o d e l s [J ].I n t e r n a t i o n a l J o u r n a l o
f R o b o t i c s R e s e a r c h ,2017,36(12):1286-1311.[9] L E G A L L D .M P E G :A v i d e o c o m p r e s s i o n s t a n d a r d f o r m u l t i m e d i a a p p
l i c a t i o n s [J ].C o mm u n .A C M ,1991,34(4):46-58.[10] 马树军,杨磊,白昕晖,等.多机器人同步定位与地图构建的地图融合算法的改进[J ].控制理论与应用,2019,36(8):1345-1350.
MA S J ,Y A N G L ,B A I X H ,e t a l I m p r o v e m e n t o f m a p f u s i o n a l g o r i t h m f o r m u l t i r o b o t s y n c h r o n o u s p o s i t i o n i n g a n d m a p
c o n s t r u c t i o n [J ].C o n t r o l T h e o r y a n
d A p p
l i c a t i o n ,2019,36(8):1345-1350.[11] F O R S T E R C ,P I Z Z O L I M ,S C A R AMU Z Z A D .S v o :F a s t s e m i -d i r e c t m o n o c u l a r v i s u a l o d o m e t r y [
C ]ʊ2014I E E E I n t e r n a -t i o n a l C o n f e r e n c e o n R o b o t i c s a n d A u t o m a t i o n ,2014:15-22.
[12] MU R -A R T A L R ,MO N T I E L J M M ,T A R D O S J D.O R B -S L AM :a v e r s a t i l e a n d a c c u r a t e m o n o c u l a r S L AM s y
s t e m [J ].I E E E T r a n s a c t i o n s o n R o b o t i c s ,2017,31(5):1147-1163.[13] O P D E N B O S C H D V ,S T E I N B A C H E .C o l l a b o r a t i v e v i s u a l S L AM u s i n g c o m p r e s s e d f e a t u r e e x c h a n g
e [J ].I E E E R o b o t i c s a n d A u t o m a t i o n L e t t e r s ,2018,4(1):57-64.
[14] H OWA R D P G ,V I T T E R J S .A n a l y s i s o f a r i t h m e t i c c o d i n g f o r d a t a c o m p r e s s i o n [J ].I n f o r m a t i o n P r o c e s s i n g &M a n a g
e -m e n t ,1992,28(6):749-763.
[15] 董洁,楼剑,陆亮,等.基于上下文的自适应二进制算术编码-一种适用于视频压缩的新型熵编码[J ].电视技术,2003(8)
:9-11.
D O N G J ,L O U J ,L U L ,e t a l C o n t e x t b a s e d a d a p t i v e b i n a r y a r i t h m e t i c c o d i n g -a n e w e n t r o p y c o d i n g s
u i t a b l e f o r v i d e o c o m -p r e s s i o n [J ].T V T e c h n o l o g y
,2003(8):9-11.[16] 饶尊煜.基于O R B -S L AM 2的特征提取与建图技术研究[D ].
银川:宁夏大学.[17] L I U P ,Y U A N X ,Z H A N G C ,e t a l .R e a l -t i m e p h o t o m e t r i c c a l i b r a t e d m o n o c u l a r d i r e c t v i s u a l S L AM [J ].S e n s o r s ,2019,19
(16):3604.
[18] G E I G E R A ,L E N Z P ,S T I L L E R C ,e t a l .V i s i o n m e e t s r o b o t i c s :t h e K I T T I d a t a s e t [J ].I n t e r n a t i o n a l J o u r n a l o f R o b o t i c s R e -s e a r c h ,2013,32(11):1231-1237.
(编辑:杨 鹏)
678太原理工大学学报 第54卷
Copyright ©博看网. All Rights Reserved.。