基于深度学习的车辆前方障碍物距离估测

㊀收稿日期:２０２２－１１－０８基金项目:安徽省教育厅高等学校科学研究项目(自然科学类)(２０２２ＡＨ０５２９２０)
作者简介:王玉堂(１９８３－)ꎬ男ꎬ安徽涡阳人ꎬ硕士ꎬ副教授ꎬ研究方向:大数据及人工智能.
㊀㊀辽宁大学学报㊀㊀㊀自然科学版第５０卷㊀第３期㊀２０２３年ＪＯＵＲＮＡＬＯＦＬＩＡＯＮＩＮＧＵＮＩＶＥＲＳＩＴＹＮａｔｕｒａｌＳｃｉｅｎｃｅｓＥｄｉｔｉｏｎＶｏｌ.５０㊀Ｎｏ.３㊀２０２３
基于深度学习的车辆前方障碍物距离估测
王玉堂
(安徽信息工程学院大数据与人工智能学院ꎬ安徽芜湖２４１１９９)
摘㊀要:随着科技进步ꎬ自动驾驶系统的应用在未来必形成一种趋势ꎬ而车辆与障碍物之间的距离估测是自动驾驶系统中一个非常重要的技术.为了达到距离估测的目的ꎬ目前开发的自动驾驶系统大都需要依靠各式各样的距离传感器ꎬ例如激光雷达㊁雷达及超音波等ꎬ这些传感器在距离量测上通常具有高精度ꎬ但同时也伴随着高昂价格ꎬ这使自动驾驶系统的推广及普及变得越来越困难.本文提出了一个结合语义分割与深度估测的深度神经网络模型ꎬ其包含有相同卷积层数的编码器与解码器网络ꎬ将本文所提之网络架构在ＫＩＴＴＩ及Ｃｉｔｙｓｃａｐｅｓ资料集上进行训练ꎬ并在最后结合语义分割与深度估测等方法进行距离估测ꎬ实验结果证实ꎬ本文所提方法具有可行性.
关键词:人工智能ꎻ深度估测ꎻ语义分割ꎻ深度学习
中图分类号:ＴＰ３１１㊀㊀㊀文献标志码:Ａ㊀㊀㊀文章编号:１０００－５８４６(２０２３)０３－０２４８－１０
ＤｉｓｔａｎｃｅＥｓｔｉｍａｔｉｏｎｏｆＯｂｓｔａｃｌｅｓｉｎＦｒｏｎｔｏｆＶｅｈｉｃｌｅｓ
ＢａｓｅｄｏｎＤｅｅｐＬｅａｒｎｉｎｇ
ＷＡＮＧＹｕ￣ｔａｎｇ
(ＤｅｐａｒｔｍｅｎｔｏｆＢｉｇＤａｔａａｎｄＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅꎬＡｎｈｕｉＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙꎬＷｕｈｕ２４１１９９ꎬＣｈｉｎａ)
Ａｂｓｔｒａｃｔ:㊀Ａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇｓｙｓｔｅｍｓａｒｅｔｈｅｗａｖｅｏｆｔｈｅｆｕｔｕｒｅꎻｆｏｒｓｕｃｈｓｙｓｔｅｍｓꎬｔｈｅｅｓｔｉｍａｔｉｏｎｏｆｔｈｅｄｉｓｔａｎｃｅｂｅｔｗｅｅｎｔｈｅｖｅｈｉｃｌｅａｎｄｓｕｒｒｏｕｎｄｉｎｇｏｂｓｔａｃｌｅｓｉｓｋｅｙ.ＭｏｓｔｃｕｒｒｅｎｔｄｉｓｔａｎｃｅｅｓｔｉｍａｔｉｏｎｍｅｔｈｏｄｓｒｅｌｙｏｎａｖａｒｉｅｔｙｏｆｄｉｓｔａｎｃｅｓｅｎｓｏｒｓꎬｓｕｃｈａｓＬｉＤＡＲꎬｒａｄａｒꎬｏｒｕｌｔｒａｓｏｎｉｃｓｅｎｓｏｒｓ.Ａｌｔｈｏｕｇｈｔｈｅｓｅｓｅｎｓｏｒｓｍｅａｓｕｒｅｄｉｓｔａｎｃｅａｃｃｕｒａｔｅｌｙꎬｔｈｅｉｒｈｉｇｈｃｏｓｔｈｉｎｄｅｒｓｔｈｅｐｏｐｕｌａｒｉｚａｔｉｏｎｏｆａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇｓｙｓｔｅｍｓ.Ｔｏｒｅｍｅｄｙｔｈｉｓｐｒｏｂｌｅｍꎬｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ(ＤＮＮ)ｔｈａｔｃｏｍｂｉｎｅｓｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎａｎｄｄｅｐｔｈｅｓｔｉｍａｔｉｏｎ.ＴｈｅＤＮＮｉｎｃｌｕｄｅｓａｎｅｎｃｏｄｅｒａｎｄａｄｅｃｏｄｅｒꎬｂｏｔｈｏｆｗｈｉｃｈｈａｖｅｔｈｅｓａｍｅｎｕｍｂｅｒｏｆｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒｓ.ＴｈｅｐｒｏｐｏｓｅｄｎｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｗａｓｔｒａｉｎｅｄｏｎｂｏｔｈｔｈｅＫＩＴＴＩａｎｄＣｉｔｙｓｃａｐｅｓｄａｔａｓｅｔｓ.Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｐｒｏｖｉｄｅｄａｃｃｕｒａｔｅｄｉｓｔａｎｃｅｅｓｔｉｍａｔｉｏｎｉｎｅｖａｌｕａｔｉｏｎｔｅｓｔｓꎬｄｅｍｏｎｓｔｒａｔｉｎｇｉｔｓ
㊀㊀
ｆｅａｓｉｂｉｌｉｔｙ.
Ｋｅｙｗｏｒｄｓ:㊀ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅꎻｄｅｐｔｈｅｓｔｉｍａｔｉｏｎꎻｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎꎻｄｅｅｐｌｅａｒｎｉｎｇ
０㊀引言
人工智能一直是人类向往的终极目标ꎬ而深度学习则是大家公认最接近人工智能的一种技术.近年来ꎬ深度学习在影像辨识㊁语音识别㊁医疗诊断和自动机器翻译等领域都有出色的表现ꎬ这都要归因于类神经网络的深度结构[１].
计算机视觉常见的应用有:影像分类[２－３]㊁物体侦测[４－６]以及语义分割[７－１０]等.其中语义分割的任务是在像素等级上对整个影像进行实例分类ꎬ每个实例(或是类别)对应于影像中的物体或表示影像的一部分ꎬ例如人㊁车㊁道路及天空等.该任务也称为密集预测ꎬ该任务目标是用影像中的相应类别标记影像中的每个像素.语义分割对于场景理解非常的关键ꎬ可让深度学习模型更好地学习到环境中的全域视觉背景.
对于机器人[１１]㊁自动驾驶[１２]㊁３Ｄ环境重建及增强现实[１３]等ꎬ深度感测是必要的技术.传统上ꎬ有关于道路前方障碍物的侦测与距离的判断ꎬ为了达到更可靠的感知能力ꎬ除了摄影机外ꎬ还需仰赖大量的传感器ꎬ其中包含超音波㊁雷达及激光雷达等.本文认为在这些传感器中ꎬ基于视觉感知的摄影机可提供车辆周遭环境最丰富的信息ꎬ其中包含颜色㊁纹理㊁物体形状以及外观等.这些都是其他形态的传感器所无法提供的.基于这个原因ꎬ本文提出一种基于行车记录仪摄影机的影像感知系统ꎬ利用摄影机所获取的影像来进行车辆前方的障碍物侦测与距离估算.
由Ｌｏｎｇ等[１４]所提出的全卷积网络是第一个端到端(Ｅｎｄ￣ｔｏ￣ｅｎｄ)语义分割的网络架构.全卷积神经网络(ＦＣＮ)可使用任何大小的影像作为输入ꎬ并输出具有相同大小的分割影像.Ｌｏｎｇ等首先修改了当前流行的卷积神经网络(ＣＮＮ)架构ꎬ例如ＡｌｅｘＮｅｔ㊁ＶＧＧ１６和ＧｏｏｇＬｅＮｅｔ[１５]等.在文献[１４]中ꎬ他们采用卷积层替换所有的完全链接层ꎬ借以产生多个特征映射图ꎬ因此需要上采样(Ｕｐｓａｍｐｌｉｎｇ)来让输入的特征图产生与输入相同大小的输出.通常上采样是由具有大于１的行跨度(Ｓｔｒｉｄｅ)的卷积层所组成.这种方式通常又称为反卷积或转置卷积ꎬ因为它产生的特征图大小大于输入.在ＦＣＮ中ꎬ为了优化训练器ꎬ文中采用逐像素交叉熵损失来训练网络.此外ꎬ他们还在网络中添加了跳跃式连接的结构以产生更好的输出结果.在文献[１４]中ꎬ他们使用ＩｍａｇｅＮｅｔ资料集来训练语义分割模型ꎬ在２０１１年ＰａｓｃａｌＶＯＣ分类挑战中获得６２.２％平均交并比(ＭｅａｎｉｎｔｅｒｓｅｃｔｉｏｎｏｖｅｒｕｎｉｏｎꎬｍＩｏＵ)的评分.ＦＣＮ虽然具有较高的ｍＩｏＵꎬ但同时伴随着庞大的计算量.
近年来ꎬ语义分割任务的成功有赖于大型标记资料集的开源ꎬ其中较知名的有Ｃａｍｖｉｄ资料集[１６]㊁Ｃｉｔｙｓｃａｐｅｓ资料集[１７]㊁ＭＳＣＯＣＯ资料集与ＰａｓｃａｌＶＯＣ２０１２资料集[１８]等.在国内ꎬ百度独创的资料集训练方法ꎬ被广泛应用在自动驾驶系统中ꎬ在一定程度上弥补了数据里程不足的问题.９
４２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测
㊀㊀语义分割研究基本上可分成以下几个类型.
１)基于编码器－解码器的结构ꎬ其中比较著名的语义分割网络有ＦＣＮ㊁ＳｅｇＮｅｔ与Ｆａｓｔ－ＳＣＮＮ[１９]等ꎬ其在ＰａｐｅｒＷｉｔｈＣｏｄｅＢｅｎｃｈｍａｒｋｓ上有关Ｃｉｔｙｓｃａｐｅｓ资料集的ｍＩｏＵ分别为６５.３％㊁５７.０％与６８.０％等.２)基于注意力机制的结构ꎬ比较著名的方法有ＰＳＡＮｅｔ[２０]㊁ＣＡＡ(Ｃｈａｎｎｅｌｉｚｅｄａｘｉａｌａｔｔｅｎｔｉｏｎ)[２１]与ＭｕｌｔｉＳｃａｌｅＳｐａｔｉａｌＡｔｔｅｎｔｉｏｎ[２２]等ꎬ其在前述Ｂｅｎｃｈｍａｒｋｓ上有关Ｃｉｔｙｓｃａｐｅｓ数据库ｍＩｏＵ分别为８１.４％㊁８２.６％与８６.２％ꎬ其中文献[２２]结合多尺度架构ꎬ目前取得第一的佳绩.由此可见ꎬ基于注意力机制与多尺度架构成为未来语义分割研究的趋势.
在单目深度估计(Ｍｏｎｏｃｕｌａｒｄｅｐｔｈｅｓｔｉｍａｔｉｏｎ)的研究上ꎬ比较重要的数据集包含有ＫＩＴＴＩ[２３－２４]㊁Ｍａｋｅ３Ｄ[２５]与ＮＹＵ－ＤｅｐｔｈＶ２[２６]等.近年来ꎬ有关深度估计方法ꎬ如运动结构恢复(ＳｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎꎬＳｆＭ)[２７]以及立体视觉匹配(Ｓｔｅｒｅｏｖｉｓｉｏｎｍａｔｃｈｉｎｇ)[２８]ꎬ都是建立在多视点的特征对应
(Ｆｅａｔｕｒｅｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ)上.深度估测方法基本上可分成以下几类:
１)基于几何的方法:通过几何约束ꎬ从几幅影像中恢复场景３Ｄ结构ꎬ代表的方法有ＳｆＭ[２９]ꎬ可通过影像序列间的特征对应及几何约束来处理稀疏特征的深度估测问题.因此ꎬ前述方法在深度估测的准确性方面ꎬ很大程度上与精确的特征匹配和高质量的影像序列有关.
２)基于传感器的方法:关于深度传感器ꎬ如ＲＧＢ－Ｄ相机和激光雷达ꎬ能够直接撷取影像的深度信息.ＲＧＢ－Ｄ相机能够直接撷取ＲＧＢ影像的像素级密集深度图ꎬ其缺点为有限的测量范围与光照敏感性.在自动驾驶应用上ꎬ激光雷达是比较常用的方法ꎬ但仅能产生稀疏的三维地图.
３)基于深度学习的方法:这是目前最流行的深度估测方法ꎬ在ＫＩＴＴＩＢｅｎｃｈｍａｒｋｓ的评分排行榜
上ꎬＶｉＰ－ＤｅｅｐＬａｂ[３０]在ＳＩＬｏｇ的评分指标上排行第２.ＶｉＰ－ＤｅｅｐＬａｂ是一个深度模型ꎬ其提出主要用来解决视觉中长期存在且具挑战性的反投影问题(Ｉｎｖｅｒｓｅｐｒｏｊｅｃｔｉｖｅｐｒｏｂｌｅｍ)ꎬ透过建模可从透视影像序列中恢复点云ꎬ同时为每个点提供深度信息.１㊀研究方法
本文所提的深度神经网络如图１所示ꎬ在所提的网络架构中总共包含有６个主要的卷积区块ꎬ文中用Ｓｔａｇｅ来表示.对于同一个Ｓｔａｇｅꎬ每个卷积层输出的特征图具有相同的大小和通道数.在１－６的Ｓｔａｇｅ中ꎬ它们包含２－２－２－２－２－１层的卷积区块(Ｃｏｎｖ２Ｄｂｌｏｃｋ)ꎬ输出通道的数量分别是３２－６４－１２８－２５６－５１２－１０２４.在本文中ꎬ所有卷积层都使用带有可学习加权参数的卷积核.池化层使用ＭａｘＰｏｏｌｉｎｇ来缩小输出特征图的大小.在卷积层之后ꎬ应用批次正规化(ＢａｔｃｈｎｏｒｍａｌｉｚａｔｉｏｎꎬＢＮ)来归一化卷积层输出的数据ꎬ以避免在反向传播中出现梯度消失的现象ꎬ然后再使用ＲｅＬＵ(Ｒｅｃｔｉｆｉｅｄｌｉｎｅａｒｕｎｉｔ)活化函数ꎬ其可以保持正值不变ꎬ但会将负值设为０.
现在ꎬ将注意力转向Ｄｅｃｏｄｅｒ网络的细节ꎬ其中每个Ｓｔａｇｅ对应于Ｅｎｃｏｄｅｒ网络的相同Ｓｔａｇｅ.在
０５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀
㊀㊀Ｄｅｃｏｄｅｒ网络中ꎬ每个卷积层表示为ＤＣ－Ｃｏｎｖ－ｍ－ｎꎬ其中ＤＣꎬｍ和ｎ分别表示Ｄｅｃｏｄｅｒ㊁Ｓｔａｇｅ和Ｌａｙｅｒ.对于语义分割结构的设计ꎬ大多数编码器网络都是相同的.唯一的区别在于解码器网络架构.在本文中ꎬ修改ＳｅｇＮｅｔ的Ｄｅｃｏｄｅｒ网络ꎬ同时引入跳跃连接的构架.这个想法的灵感主要来自Ｌｉｎ等[３１]提出的特征金字塔网络ꎬ该文确认了使用跳跃式连接结构时像素准确度(Ｐｉｘｅｌａｃｃｕｒａｃｙ)ꎬ具有较好的结果.
为了更清楚描述本文所提跳跃连接的细部结构ꎬ以第４个Ｓｔａｇｅ为例来进行说明.首先ꎬ在Ｅｎｃｏｄｅｒ网络中选择第４个Ｓｔａｇｅ的最后一个卷积层ꎬ亦即ＥＣ－Ｃｏｎｖ－４－３ꎬ因为在同一个Ｓｔａｇｅ中最深的卷积层可以提取最具辨识度的特征ꎻ然后ꎬ在Ｄｅｃｏｄｅｒ网络中选择相应的卷积层ꎬ亦即ＤＣ－Ｃｏｎｖ－４－３ꎻ最后ꎬ再将这两个层进行跳跃连接ꎬ如图２所示.最后ꎬ再进行特征图放大以产生Ｕｐｓａｍｐｌｉｎｇ－３层
.
图１㊀本文所提具有对称Ｅｎｃｏｄｅｒ和Ｄｅｃｏｄｅｒ语义分割的网络构架
１５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测
㊀图２㊀本文解码器跳跃连接结构示意图(ａ)串接方法ꎻ(ｂ)相加方法.
㊀㊀本文在语义分割解码器的跳跃连接处加入注意力机制ꎬ如图３所示.在图中ꎬ特征图影像Ｘ(维度:ＢＳꎬＨꎬＷꎬＣ)为主干网络Ｓｔａｇｅ－３Ｌａｙｅｒ－３或Ｓｔａｇｅ－４Ｌａｙｅｒ－３的输出特征图.Ｙ(维度:ＢＳꎬＨꎬＷꎬＣ)为经注意力机制区块转换后之输出图ꎬ其大小与Ｘ相同ꎬ其中ＢＳ为批次量大小ꎬＨ与Ｗ分别为特征图的高与宽ꎬＣ为特征图之通道数量.注意力机制的设计理念:变异数与共变异数是统计学与机器学习中常用的统计量ꎬ其中变异数用来衡量随机变量与平均值间的平方偏差量ꎬ然而共变异数则是用来衡量两个随机变量间的相似性.基于此ꎬ随机变量间的分布愈相似ꎬ共变异数就愈大ꎻ相反ꎬ两者间的相似性愈低ꎬ共变异数就愈小.在本文中ꎬ可将特征图中的每一个像素点视为一个随机变量.因此ꎬ针对任一像素点(令为目标点)与所有其他像素点可计算其配对共变异数ꎬ如(ｘ１ꎬｘ２)的配对共变异数为(ｘ１－μ)(ｘ２－μ)
.
图３㊀本文在编㊁解码器的跳跃连接中加入注意力机制内存块
㊀㊀设Ｘ为输入特征图ꎬ先将ＸɪＲＨˑＷ的形状重新调整为ａɪＲＮˑ１ꎬ其中Ｎ＝ＨˑＷꎬＨ与Ｗ分别表示特征图的高与宽.
令ａ＝ｂ＝ｃ＝[ｘ１ꎬｘ２ꎬ ꎬｘｎ]Ｔꎬ并令μ为平均值ꎬ因此共异变数ＣｏｖＮˑ１＝(ａ－μ)(ｂ－μ)Ｔꎬ进一步可计算注意力机制特征图为ｄＮˑ１＝ＣｏｖＮˑＮ ｃＮˑ１⇒ＹＨˑＷꎬ最终特征图为原特征图与注意力机制特征图相加.
２５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀
㊀
㊀㊀２㊀结果与讨论
本文实验系统采用ＬｉｎｕｘＵｂｕｎｔｕ１８.０４ꎬ开发环境为Ｐｙｔｈｏｎ３.７.０ꎬ安装的函数库ＴｅｎｓｏｒＦｌｏｗ２.３.０和Ｏｐｅｎｃｖ－ｐｙｔｈｏｎ３.２.０.８.本文在Ｃｉｔｙｓｃａｐｅｓ资料集上进行所提深度神经网络在语义分割上的性能评估.而深度估测方面则在ＫＩＴＴＩ资料集上进行训练及评估.本数据集有大量的道路行车记录数据且包含大量的传感器记录的真实数据.在语义分割方面ꎬ本文采用ｍＩｏＵ指标评估影像中各个类别的分割效能.而深度估测评估度量则是采用ＲＭＳＥ(Ｒｏｏｔｍｅａｎｓｑｕａｒｅｅｒｒｏｒ)及准确性.
在本文中ꎬ使用ＴｅｎｓｏｒＦｌｏｗ来实现本文所提的深度神经网络架构.本文所提架构在Ｃｉｔｙｓｃａｐｅｓ资料集上进行及ｍＩｏＵ评分分别定义如公式(１)和(２)所示.
ＰＡ＝ðＣ
ｉ＝０ＰｉｉðＣｉ＝０ðＣｊ＝０Ｐｉｊ(１)ｍＩｏＵ＝１Ｃ＋１ðＣｉ＝０ＰｉｉðＣｊ＝０Ｐｉｊ＋ðＣｊ＝０Ｐｊｉ－Ｐｉｉ(２)
式中:Ｃ是要预测的总类别数ꎬ由于背景也需要考虑进来ꎬ因此总类别数将增加为Ｃ＋１ꎻＰｉｉ表示该像素属于第ｉ个类别ꎬ且被识别为第ｉ类ꎬ因此它是真阳性ꎻＰｉｊ表示像素属于第ｉ个类别ꎬ但却被错误地辨识为第ｊ个类别ꎬ故其属于伪阴性ꎻＰｊｉ则是将第ｊ个类别错误地标示为第ｉ个类别ꎬ故其属于伪阳性.
为了评价深度估测网络的性能ꎬ本文采用ＣＮＮ估计单目图像深度[３２]的评价方法ꎬ该评价方法有以下５个评价指标:ＲＭＳＥ㊁ＲＭＳＥｌｏｇ㊁ＡｂｓＲｅｌ㊁ＳｑＲｅｌ及Ａｃｃｕｒａｃｙꎬ其定义分别如下:
ＲＭＳＥ＝１ＮðｉɪＩ ｄｉ－ｄ∗ｉ ２(３)
ＲＭＳＥｌｏｇ＝１ＮðｉɪＩ ｌｏｇ(ｄｉ＋１)－ｌｏｇ(ｄ∗ｉ－１) ２(４)
ＡｂｓＲｅｌ＝１ＮðｉɪＩ｜ｄｉ－ｄ∗ｉ｜ｄ∗ｉ(５)
ＳｑＲｅｌ＝１ＮðｉɪＩ ｄｉ－ｄ∗ｉ ２ｄ∗ｉ(６)
Ａｃｃｕｒａｃｙ＝％ｏｆｄｉｓ.ｔｍａｘｄｉｄ∗ｉꎬｄ∗ｉｄｉæèçöø
÷＝δ<ｔｈｒ(７)式中:ｄｉ与ｄ∗ｉ分别表示图像深度的预测值与真值ꎻＩ为图像ꎻＮ是图像的总点数ꎻｔｈｒ分别采用１.２５㊁１.２５２及１.２５３.以上指标主要用于评价图像深度真实值(Ｇｒｏｕｎｄｔｒｕｔｈ)与预测值(Ｐｒｅｄｉｃｔｅｄｖａｌｕｅｓ)间接近的程度ꎬ其中ＲＭＳＥ㊁ＲＭＳＥｌｏｇ㊁ＡｂｓＲｅｌ及ＳｑＲｅｌ等指标的值愈小代表深度网络的估
测性能愈好ꎻ反之ꎬＡｃｃｕｒａｃｙ指标是愈大愈好.表１为在深度神经网络是否加入注意力机制对于语义分割性能的影响.由表可知ꎬ加入一层注３５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测
㊀㊀意力机制内存块优于不加入注意力机制的内存块.同样ꎬ从图４(ｂ)与图４(ｃ)中看出ꎬ加入注意力机制内存块的语义分割性能是优于没有加入注意力内存块的.同时ꎬ由表１中亦可看出ꎬ当加入更多层的注意力机制内存块反而会劣化语义分割性能.
表１㊀针对深度神经网络构架中跳跃连接层是否加入注意力机制在Ｃｉｔｙｓｃａｐｅｓ数据集的
ｍＩｏＵ和Ｐｉｘｅｌａｃｃｕｒａｃｙ的评分结果
Ｍｅｔｈｏｄ
ｍＩｏＵＰｉｘｅｌａｃｃｕｒａｃｙＮｏａｔｔｅｎｔｉｏｎ
０.７９５８０.８８５６Ａｔｔｅｎｔｉｏｎ/Ｓｔａｇｅ４
０.７９６１０.８８８４Ａｔｔｅｎｔｉｏｎ/Ｓｔａｇｅ３＆４０.６８５７０.８１１
５
图４㊀本文所提构架在解码器增加注意力机制在语义分割方面的视觉结果比较
(ａ)原图ꎻ(ｂ)加入注意力机制之语义分割图ꎻ(ｃ)无注意力机制之语义分割图.
㊀㊀在语义分割方面ꎬ本文所提出的构架在Ｃｉｔｙｓｃａｐｅｓ数据集上进行了训练与测试ꎬ并对本文提出的深度网络估测结果与文献[７]㊁[１４]和[１９]中相应的数据进行了比较.从表２中可以看出ꎬ本方法的ｍＩｏＵ值为７９.６ꎬ优于ＳｅｇＮｅｔ的５７.０ꎬＦＮＣ的６５.３以及Ｆａｓｔ－ＳＣＮＮ的６８.０.
表２㊀本文所提方法与现代语义分割方法的ｍＩｏＵ评分比较
Ａｐｐｒｏａｃｈ
ｍｌｏＵ/％Ｆａｓｔ－ＳＣＮＮ[１９]
６８.０ＦＣＮ[１４]
６５.３ＳｅｇＮｅｔ[７]
５７.０Ｐｒｏｐｏｓｅｄ(Ａｔｔｅｎｔｉｏｎ/Ｓｔａｇｅ４)７９.６
㊀㊀在深度估测方面ꎬ本文所提出的构架在ＫＩＴＴＩ数据集上进行了训练与测试ꎬ评价图像深度真实值(Ｇｒｏｕｎｄｔｒｕｔｈ)与预测值(Ｐｒｅｄｉｃｔｅｄｖａｌｕｅｓ)间接近的程度.
将本文提出的深度网络估测结果与相关文献进行了比较ꎬ其中ꎬ在选用相同Ｄｅｐｔｈ的基础上ꎬ
４５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀
㊀㊀
ＲＭＳＥꎬＲＭＳＥｌｏｇ指标小于参考文献[３１－３２]中的数据ꎬＡＲＤ(Ａｖｅｒａｇｅｒｅｌａｔｉｖｅｄｅｖｉａｔｉｏｎｓ)ꎬＲＳＤ(Ｒｅｌａｔｉｖｅｓｔａｎｄａｒｄｄｅｖｉａｔｉｏｎｓ)等指标均高于参考文献[３１－３２]中的数据.由表３可看出本文所提出的深度神经网络架构在深度估测的各项评价结果都优于参考文献[３１－３２].
表３㊀本文所提方法与相关文献在深度估测性能方面比较
Ｌｏｗｅｒｉｓｂｅｔｔｅｒ
ＨｉｇｈｅｒｉｓｂｅｔｔｅｒＡｐｐｒｏａｃｈ
Ｄｅｐｔｈ/ｍＲＭＳＥＲＭＳＥｌｏｇＡＲＤＲＳＤδ<１.２５δ<１.２５２δ<１.２５３Ｃｏａｒｓｅ[３２]
０~８０７.２１６０.２７３０.１９４１.５３１０.６７９０.８９７０.９６７Ｃｏａｒｓ＋Ｆｉｎｅ[３２]０~８０７.１５６０.２７００.１９０１.５１５０.６９２０.８９９０.９６７ＤＣＮＦ－ＦＣＳＰ[３１]
０~８０７.０４６ ０.２１７ ０.６５６０.８８１０.９５８Ｐｒｏｐｏｓｅｄ
０~８０４.８７９０.２３１０.１５８１.１０１０.７８４０.９３３０.９７３㊀㊀注:测试的数据集为ＫＩＴＴＩＤａｔａｓｅｔ㊀㊀最后本文在车辆与前方障碍物距离估测方面ꎬ从语义分割图像中取得分割目标物ꎬ再对深度图像中取得相应位置的深度数值由小到大进行排序ꎬ取得前２０％深度数值作为该物体的距离估测数值ꎬ如图５所示ꎬ从图５(ａ)中可以看到本文所提方法能有效地估测出本车与前方障碍物间的距离
.
图５㊀车辆与前方目标物间的距离估测图
(ａ)原图ꎻ(ｂ)深度图像图ꎻ(ｃ)目标分割二值图像图.
３㊀结论
本文提出了一种对称式Ｅｎｃｏｄｅｒ和Ｄｅｃｏｄｅｒ的深度神经网络架构ꎬ并在深度估测方面采用ＫＩＴＴＩ资料集进行训练ꎬ在语义分割方面则是采用Ｃｉｔｙｓｃａｐｅｓ资料集[３３]来进行训练.
实验结果显示ꎬ本文所提障碍物距离估测方法具有可行性.本文所提出的网络架构与其他相似的深度估测网络架构ꎬ在相同的训练及测试条件下ꎬ前者在准确率方面也有不错的表现.在未来的工作中ꎬ将研究不同的解码器架构以及更强健的障碍物侦测方法ꎬ以达成目标物的距离估测ꎬ同时持续改善本文所提深度估测网络的准确度.
５５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测
㊀㊀参考文献:
[１]㊀ＨｏｃｈｒｅｉｔｅｒＳꎬＳｃｈｍｉｄｈｕｂｅｒＪ.Ｌｏｎｇｓｈｏｒｔ￣ｔｅｒｍｍｅｍｏｒｙ[Ｊ].ＮｅｕｒａｌＣｏｍｐｕｔａｔｉｏｎꎬ１９９７ꎬ９(８):１７３５－１７８０.[２]㊀ＫｒｉｚｈｅｖｓｋｙＡꎬＳｕｔｓｋｅｖｅｒＩꎬＨｉｎｔｏｎＧＥ.ＩｍａｇｅＮｅｔｃｌａｓｓｉｆｉｃａｔｉｏｎｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ[Ｃ]//
ＮＩＰＳᶄ１２:Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２５ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ.ＮｅｗＹｏｒｋ:ＣｕｒｒａｎＡｓｓｏｃｉａｔｅｓＩｎｃ.ꎬ２０１２:１０９７－１１０５.
[３]㊀ＳｉｍｏｎｙａｎＫꎬＺｉｓｓｅｒｍａｎＡ.Ｖｅｒｙｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｌａｒｇｅ￣ｓｃａｌｅｉｍａｇｅｒｅｃｏｇｎｉｔｉｏｎ[ＥＢ/ＯＬ].(２０１４－０９－０４)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１４０９.１５５６.[４]㊀ＲｅｄｍｏｎＪꎬＤｉｖｖａｌａＳꎬＧｉｒｓｈｉｃｋＲꎬｅｔａｌ.Ｙｏｕｏｎｌｙｌｏｏｋｏｎｃｅ:Ｕｎｉｆｉｅｄꎬｒｅａｌ￣ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ[Ｃ]//２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.ＬａｓＶｅｇａｓ:ＩＥＥＥꎬ２０１６:７７９－７８８.
[５]㊀ＲｅｎＳＱꎬＨｅＫＭꎬＧｉｒｓｈｉｃｋＲꎬｅｔａｌ.ＦａｓｔｅｒＲ￣ＣＮＮ:Ｔｏｗａｒｄｓｒｅａｌ￣ｔｉｍｅｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎｗｉｔｈｒｅｇｉｏｎｐｒｏｐｏｓａｌｎｅｔｗｏｒｋｓ[ＥＢ/ＯＬ].(２０１５－０６－０４)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１５０６.０１４９７.
[６]㊀ＳｅｒｍａｎｅｔＰꎬＥｉｇｅｎＤꎬＺｈａｎｇＸꎬｅｔａｌ.ＯｖｅｒＦｅａｔ:Ｉｎｔｅｇｒａｔｅｄｒｅｃｏｇｎｉｔｉｏｎꎬｌｏｃａｌｉｚａｔｉｏｎａｎｄｄｅｔｅｃｔｉｏｎｕｓｉｎｇｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｔｗｏｒｋｓ[ＥＢ/ＯＬ].(２０１３－１２－２１)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１３１２.６２２９.[７]㊀ＢａｄｒｉｎａｒａｙａｎａｎＶꎬＫｅｎｄａｌｌＡꎬＣｉｐｏｌｌａＲ.ＳｅｇＮｅｔ:Ａｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｅｎｃｏｄｅｒ￣ｄｅｃｏｄｅｒａｒｃｈｉｔｅｃｔｕｒｅｆｏｒｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２０１７ꎬ３９(１２):２４８１－２４９５.
[８]㊀ＨａｒｉｈａｒａｎＢꎬＡｒｂｅｌａｅｚＰꎬＧｉｒｓｈｉｃｋＲꎬｅｔａｌ.Ｈｙｐｅｒｃｏｌｕｍｎｓｆｏｒｏｂｊｅｃｔｓｅｇｍｅｎｔａｔｉｏｎａｎｄｆｉｎｅ￣ｇｒａｉｎｅｄｌｏｃａｌｉｚａｔｉｏｎ
[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.Ｂｏｓｔｏｎ:ＩＥＥＥꎬ２０１５:
４４７－４５６.[９]㊀ＨｅＫＭꎬＧｋｉｏｘａｒｉＧꎬＤｏｌｌáｒＰꎬｅｔａｌ.ＭａｓｋＲ￣ＣＮＮ[Ｃ]//２０１７ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ
(ＩＣＣＶ).Ｖｅｎｉｃｅ:ＩＥＥＥꎬ２０１７:２９８０－２９８８.[１０]㊀ＫｕｈｎｅｒｔＫＤꎬＳｔｏｍｍｅｌＭ.Ｆｕｓｉｏｎｏｆｓｔｅｒｅｏ￣ｃａｍｅｒａａｎｄＰＭＤ￣ｃａｍｅｒａｄａｔａｆｏｒｒｅａｌ￣ｔｉｍｅｓｕｉｔｅｄｐｒｅｃｉｓｅ３Ｄｅｎｖｉｒｏｎｍｅｎｔｒｅｃｏｎｓｔｒｕｃｔｉｏｎ[Ｃ]//２００６ＩＥＥＥ/ＲＳＪＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｌｌｉｇｅｎｔＲｏｂｏｔｓａｎｄＳｙｓｔｅｍｓ.
Ｂｅｉｊｉｎｇ:ＩＥＥＥꎬ２００６:４７８０－４７８５.
[１１]㊀ＨｏｒｎＢＫＰ.Ｒｏｂｏｔｖｉｓｉｏｎ[Ｍ].Ｂｏｓｔｏｎ:ＴｈｅＭＩＴＰｒｅｓｓꎬ１９８６.[１２]㊀ＲｉｂｌｅｒＲＬꎬＶｅｔｔｅｒＪＳꎬＳｉｍｉｔｃｉＨꎬｅｔａｌ.Ａｕｔｏｐｉｌｏｔ:Ａｄａｐｔｉｖｅｃｏｎｔｒｏｌｏｆｄｉｓｔｒｉｂｕｔｅｄａｐｐｌｉｃａｔｉｏｎｓ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳｅｖｅｎｔｈＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＨｉｇｈＰｅｒｆｏｒｍａｎｃｅＤｉｓｔｒｉｂｕｔｅｄＣｏｍｐｕｔｉｎｇ(Ｃａｔ.Ｎｏ.９８ＴＢ１００２４４).
Ｃｈｉｃａｇｏ:ＩＥＥＥꎬ１９９８:１７２－１７９.
[１３]㊀ＭｉｌｇｒａｍＰꎬＴａｋｅｍｕｒａＨꎬＵｔｓｕｍｉＡꎬｅｔａｌ.Ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ:Ａｃｌａｓｓｏｆｄｉｓｐｌａｙｓｏｎｔｈｅｒｅａｌｉｔｙ￣ｖｉｒｔｕａｌｉｔｙｃｏｎｔｉｎｕｕｍ
[Ｃ]//ＰｒｏｃＳＰＩＥ２３５１ꎬＴｅｌｅｍａｎｉｐｕｌａｔｏｒａｎｄＴｅｌｅｐｒｅｓｅｎｃｅＴｅｃｈｎｏｌｏｇｉｅｓ.Ｂｏｓｔｏｎ:ＳＰＩＥꎬ１９９５ꎬ２３５１:２８２－２９２.[１４]㊀ＬｏｎｇＪꎬＳｈｅｌｈａｍｅｒＥꎬＤａｒｒｅｌｌＴꎬｅｔａｌ.Ｆｕｌｌｙｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔｗｏｒｋｓｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ[Ｃ]//２０１５ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).Ｂｏｓｔｏｎ:ＩＥＥＥꎬ２０１５:３４３１－３４４０.
[１５]㊀ＳｚｅｇｅｄｙＣꎬＬｉｕＷꎬＪｉａＹＱꎬｅｔａｌ.Ｇｏｉｎｇｄｅｅｐｅｒｗｉｔｈｃｏｎｖｏｌｕｔｉｏｎｓ[Ｃ]//２０１５ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).Ｂｏｓｔｏｎ:ＩＥＥＥꎬ２０１５:１－９.
[１６]㊀ＢｒｏｓｔｏｗＧꎬＦａｕｑｕｅｕｒＪꎬＣｉｐｏｌｌａＲ.Ｓｅｍａｎｔｉｃｏｂｊｅｃｔｃｌａｓｓｅｓｉｎｖｉｄｅｏ:Ａｈｉｇｈ￣ｄｅｆｉｎｉｔｉｏｎｇｒｏｕｎｄｔｒｕｔｈｄａｔａｂａｓｅ[Ｊ].
ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓꎬ２００９ꎬ３０(２):８８－９７.[１７]㊀ＬｉｎＴＹꎬＭａｉｒｅＭꎬＢｅｌｏｎｇｉｅＳꎬｅｔａｌ.ＭｉｃｒｏｓｏｆｔＣＯＣＯ:Ｃｏｍｍｏｎｏｂｊｅｃｔｓｉｎｃｏｎｔｅｘｔ[Ｃ]//ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ–ＥＣＣＶ２０１４.Ｚｕｒｉｃｈ:ＳｐｒｉｎｇｅｒꎬＣｈａｍꎬ２０１４:７４０－７５５.
[１８]㊀ＥｖｅｒｉｎｇｈａｍＭ.ＴｈｅＰａｓｃａｌＶｉｓｕａｌＯｂｊｅｃｔＣｌａｓｓｅｓＣｈａｌｌｅｎｇｅ２０１２(ＶＯＣ２０１２)[Ｒ/ＯＬ].(２０１２－０４－０１)[２０２２－１２－１５].ｈｔｔｐｓ://ｐｊｒｅｄｄｉｅ.ｃｏｍ/ｍｅｄｉａ/ｆｉｌｅｓ/ＶＯＣ２０１２＿ｄｏｃ.ｐｄｆ.
６５２㊀㊀㊀辽宁大学学报㊀㊀自然科学版２０２３年㊀㊀
㊀㊀
[１９]㊀ＰｏｕｄｅｌＲＰＫꎬＬｉｗｉｃｋｉＳꎬＣｉｐｏｌｌａＲ.Ｆａｓｔ￣ＳＣＮＮ:Ｆａｓｔｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｎｅｔｗｏｒｋ[ＥＢ/ＯＬ].(２０１９－０２－１２)
[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１９０２.０４５０２.[２０]㊀ＺｈａｏＨＳꎬＺｈａｎｇＹꎬＬｉｕＳꎬｅｔａｌ.ＰＳＡＮｅｔ:Ｐｏｉｎｔ￣ｗｉｓｅｓｐａｔｉａｌａｔｔｅｎｔｉｏｎｎｅｔｗｏｒｋｆｏｒｓｃｅｎｅｐａｒｓｉｎｇ[Ｃ]//ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ.Ｍｕｎｉｃｈ:Ｃｈａｍꎬ２０１８:２７０－２８６.
[２１]㊀ＨｕａｎｇＹꎬＫａｎｇＤꎬＪｉａＷＪꎬｅｔａｌ.Ｃｈａｎｎｅｌｉｚｅｄａｘｉａｌａｔｔｅｎｔｉｏｎ￣ｃｏｎｓｉｄｅｒｉｎｇｃｈａｎｎｅｌｒｅｌａｔｉｏｎｗｉｔｈｉｎｓｐａｔｉａｌａｔｔｅｎｔｉｏｎｆｏｒｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ[ＥＢ/ＯＬ].(２０２１－０１－１９)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/２１０１.０７４３４.
[２２]㊀ＳａｇａｒꎬＡꎬＳｏｕｎｄｒａｐａｎｄｉｙａｎＲＫ.Ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｗｉｔｈｍｕｌｔｉｓｃａｌｅｓｐａｔｉａｌａｔｔｅｎｔｉｏｎｆｏｒｓｅｌｆｄｒｉｖｉｎｇｃａｒｓ[ＥＢ/
ＯＬ].(２０２０－０６－３０)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/２００７.１２６８５.[２３]㊀ＧｅｉｇｅｒＡꎬＬｅｎｚＰ.Ａｒｅｗｅｒｅａｄｙｆｏｒａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇ?ＴｈｅＫＩＴＴＩｖｉｓｉｏｎｂｅｎｃｈｍａｒｋｓｕｉｔｅ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.ＮｅｗＹｏｒｋ:ＩＥＥＥꎬ２０１２:３３５４－３３６１.
[２４]㊀ＧｅｉｇｅｒＡꎬＬｅｎｚＰꎬＳｔｉｌｌｅｒＣꎬｅｔａｌ.Ｖｉｓｉｏｎｍｅｅｔｓｒｏｂｏｔｉｃｓ:ＴｈｅＫＩＴＴＩｄａｔａｓｅｔ[Ｊ].ＴｈｅＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆ
ＲｏｂｏｔｉｃｓＲｅｓｅａｒｃｈꎬ２０１３ꎬ３２(１１):１２３１－１２３７.[２５]㊀ＳａｘｅｎａＡꎬＳｕｎＭꎬＮｇＡＹ.Ｍａｋｅ３Ｄ:Ｌｅａｒｎｉｎｇ３Ｄｓｃｅｎｅｓｔｒｕｃｔｕｒｅｆｒｏｍａｓｉｎｇｌｅｓｔｉｌｌｉｍａｇｅ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２００９ꎬ３１(５):８２４－８４０.
[２６]㊀ＳｉｌｂｅｒｍａｎＮꎬＨｏｉｅｍＤꎬＫｏｈｌｉＰꎬｅｔａｌ.ＩｎｄｏｏｒｓｅｇｍｅｎｔａｔｉｏｎａｎｄｓｕｐｐｏｒｔｉｎｆｅｒｅｎｃｅｆｒｏｍＲＧＢＤｉｍａｇｅｓ[Ｃ]//ＥＣＣＶᶄ
１２:Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１２ｔｈＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ.Ｆｌｏｒｅｎｃｅ:Ｓｐｒｉｎｇｅｒꎬ２０１２:７４６－７６０.
[２７]㊀ＬｉｕＦＹꎬＳｈｅｎＣＨꎬＬｉｎＧＳꎬｅｔａｌ.Ｌｅａｒｎｉｎｇｄｅｐｔｈｆｒｏｍｓｉｎｇｌｅｍｏｎｏｃｕｌａｒｉｍａｇｅｓｕｓｉｎｇｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｆｉｅｌｄｓ[Ｊ].ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅꎬ２０１６ꎬ３８(１０):２０２４－２０３９.
[２８]㊀ＹｏｎｅｄａＫꎬＴｅｈｒａｎｉＨꎬＯｇａｗａＴꎬｅｔａｌ.Ｌｉｄａｒｓｃａｎｆｅａｔｕｒｅｆｏｒｌｏｃａｌｉｚａｔｉｏｎｗｉｔｈｈｉｇｈｌｙｐｒｅｃｉｓｅ３￣Ｄｍａｐ[Ｃ]//２０１４ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍＰｒｏｃｅｅｄｉｎｇｓ.Ｄｅａｒｂｏｒｎ:ＩＥＥＥꎬ２０１４:１３４５－１３５０.
[２９]㊀ＶｉｊａｙａｎａｒａｓｉｍｈａｎＳꎬＲｉｃｃｏＳꎬＳｃｈｍｉｄＣꎬｅｔａｌ.ＳｆＭ￣ｎｅｔ:Ｌｅａｒｎｉｎｇｏｆｓｔｒｕｃｔｕｒｅａｎｄｍｏｔｉｏｎｆｒｏｍｖｉｄｅｏ[ＥＢ/ＯＬ].
(２０１７－０４－２５)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１７０４.０７８０４.[３０]㊀ＱｉａｏＳＹꎬＺｈｕＹＫꎬＡｄａｍＨꎬｅｔａｌ.ＶｉＰ￣ＤｅｅｐＬａｂ:Ｌｅａｒｎｉｎｇｖｉｓｕａｌｐｅｒｃｅｐｔｉｏｎｗｉｔｈｄｅｐｔｈ￣ａｗａｒｅｖｉｄｅｏｐａｎｏｐｔｉｃｓｅｇｍｅｎｔａｔｉｏｎ[ＥＢ/ＯＬ].(２０２０－１２－０９)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/２０１２.０５２５８.
[３１]㊀ＬｉｎＴＹꎬＤｏｌｌáｒＰꎬＳｅｒｇｅＪ.ｅｔａｌ.ＦｅａｔｕｒｅｐｙｒａｍｉｄＮｅｔｗｏｒｋｓｆｏｒｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ[Ｃ]//２０１７ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ(ＣＶＰＲ).Ｈｏｎｏｌｕｌｕ:ＩＥＥＥꎬ２０１６:９３６－９４４.
[３２]㊀ＥｉｇｅｎＤꎬＰｕｈｒｓｃｈＣꎬＦｅｒｇｕｓＲ.Ｄｅｐｔｈｍａｐｐｒｅｄｉｃｔｉｏｎｆｒｏｍａｓｉｎｇｌｅｉｍａｇｅｕｓｉｎｇａｍｕｌｔｉ￣ｓｃａｌｅｄｅｅｐｎｅｔｗｏｒｋ[ＥＢ/
ＯＬ].(２０１４－０７－０９)[２０２２－１２－１５].ｈｔｔｐｓ://ａｒｘｉｖ.ｏｒｇ/ａｂｓ/１４０６.２２８３.[３３]㊀ＣｏｒｄｔｓＭꎬＯｍｒａｎＭꎬＲａｍｏｓＳꎬｅｔａｌ.Ｔｈｅｃｉｔｙｓｃａｐｅｓｄａｔａｓｅｔｆｏｒｓｅｍａｎｔｉｃｕｒｂａｎｓｃｅｎｅｕｎｄｅｒｓｔａｎｄｉｎｇ[Ｃ]//２０１６ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ.ＬａｓＶｅｇａｓ:ＩＥＥＥꎬ２０１６:３２１３－３２２３.(责任编辑㊀郭兴华)
７５２㊀第３期㊀㊀㊀㊀㊀㊀王玉堂:基于深度学习的车辆前方障碍物距离估测。