基于深度学习的多分辨率海洋目标检测方法

电光与控制Electronics Optics&Control Vol.27No.11 Nov.2020
第27卷第11期
2020年n月
引用格式:杨天天,陈志明，吕颖，等.基于深度学习的多分辨率海洋目标检测方法[J]•电光与控制,2020,27(ll)：81-85.YANGTT,CHEN Z M,LYU Y,et al.Deep learning based multi-resolution ocean target detection[J].Electronics Optics&Control,2020,27(11)：81-85.
基于深度学习的多分辨率海洋目标检测方法
杨天天，陈志明，吕颖，吴云华，华冰
（南京航空航天大学，南京210016）
摘要：随着航天遥感技术的发展，对海洋船舶快速检测识别需求E)益增长。

基于深度学习提出了一种结合高低分辨率遥感图像的船舶目标检测方法。

该方法首先使用YOLO v3模型对宽幅、低分辨率卫星遥感图像中的目标船舶进行快速筛查，然后针对高分辨率卫星遥感图像信息，提出了一种基于注意力机制的RetinaNet模型对目标船舶进行精确匹配与分类。

仿真实验结果表明，这种改进的RetinaNet模型在目标检测中具有很好的效果，使用两种分辨率的卫星进行协同工作能够有效提升工作效率。

关键词：遥感图像；目标检测；船舶检测；YOLO v3；RetinaNet；注意力机制
中图分类号：V19文献标志码：A dot:10.3969/j.issn.1671-637X.2020.11.016
Deep Learning Based Multi-resolution Ocean
Target Detection
YANG Tiantian,CHEN Zhiming,LYU Ying,WU Yunhua,HUA Bing
(Nanjing University o£Aeronautics and Astronautics,Nanjing210016,China) Abstract:With the development of space remote sensing technology,the need for rapid detection and identification of marine vessels is growing.This paper proposes a ship target detection method combined with high-and low-resolution remote sensing images based on deep learning・Firstly,the YOLO v3model is used to quickly screen out the target ships in wide-range,low-resolution satell让e remote sensing images.To the high-resolution satellite remote sensing image information,a RetinaNet model based on attention mechanism is proposed for exact matching and classification of the target ship.Simulation experiments show that the improved RetinaNet model has a good effect in target detection,and the use of the satellites with two kinds of resolution for collaborative work can greatly improve the working efficiency.
Key words：remote sensing image；target detection；ship detection；YOLO v3；RetinaNet；attention mechanism
0引言
随着现代航天遥感技术的发展，遥感卫星的对地观测能力大幅提升，卫星时刻对地观测会产生大量的遥感数据,而此遥感数据如果被善加利用就可以发挥巨大的作用。

现如今，国际上对海洋目标快速检测的需求也日益增长,海洋目标的快速检测能够为海上救援、船只出入境监控、海外贸易统计、渔船监控等提供重要的技术支持。

收稿日期=2019-09-23修回日期：2019-11-14
基金项目:微小型航天器技术国防重点学科实验室开放基金（HIT. KLOF.MST.201705）
作者简介:杨天天（1994—），男，江苏南通人，硕士，研究方向为卫星遥感图像处理。

随着分辨率高、重访周期短的光学卫星大批量升空，遥感图像数据量呈指数级增长，并且搭载的探测设备性能也不断提升,针对可见光遥感的研究也逐渐发展起来，由理论阶段走向应用阶段。

目前各国均在可见光遥感上加紧研发，为遥感图像的目标检测带来大量的原始图像数据。

目前的光学卫星具有较强的针对性，有幅宽大、分辨率低的（如中国的高分一号,多光谱分辨率为8m,16m,幅宽为800km），也有幅宽小、分辨率高的（如美国的WorldView-2卫星,全色分辨率为0.46叫多光谱分辨率为1.84叫幅宽16.4km）。

光学遥感在技术上朝着大幅宽、高分辨率、多谱段的方向发展。

如何合理利用不同类型的数据，进行快速、高精度的目标检测成为目前研究的大方向⑴O
相对于SAR,虽然光学遥感图像的舰船目标检测
82电光与控制第27卷
起步晚、技术滞后，但随着图像空间分辨率的提升，光学遥感在海上目标检测的研究也不断增多。

目前，在图像识别与检测过程中，汪闽等⑵率先提出了基于直方图阈值分割法,该方法首先根据灰度值提取出图像上的水体部分,再利用形态学和形状指示进一步筛选; ZHU等⑶根据目标边缘信息，先对原始灰度和边缘强度图像线性组合成的图像进行OTSU自适应阈值分割得到候选区域，再结合人造舰船刚体显著性特性,使用SVM分类器进行舰船目标确认。

这两种方法对海平面水体要求高,需要满足水体平静、质感均匀、颜色差异较小等条件。

张东晓等⑷提出了一种多尺度分形方法进行舰船目标的检测。

相较于传统图像识别检测技术，采用深度学习方法可有效区分目标与复杂海平面的干扰。

当前深度学习用于目标检测领域主要分为两大派系:一个是基于建议框的方法（Proposal-based;Two-stage），其中代表性的有R-CNN凶,SPP-Net[6],Faster R-CNN[7],FPN[8];另一个是基于免建议框的方法（Proposal-free;One-stage;Single-Shot）,其中代表性的有YOLO p-10],SSD[11],RetinaNet凹。

基于建议框的方法一般速度较慢、精度较高,而基于免建议框的方法一般速度较快、精度较低,但是随着新型网络的提出，很多免建议框的方法也借鉴了基于建议框方法的一些思路，能够在保证速度的同时有较高的检测精度。

另外,黄洁等问提出了一种Alexnet+SVM的卷积神经网络检测方法,对全色遥感图像进行检测,相对于传统算法取得了良好的效果。

本文设计了一种基于深度学习的多分辨率海洋遥感图像的目标检测方法，目标以船舶为例。

首先使用低分辨率、大幅宽的光学卫星进行大范围搜察，初步搜索出船舶目标,然后使用高分辨率光学卫星进行有针对性的搜索，将识别到的船舶目标进行分类。

多分辨率卫星协同工作能够有效提升海上目标检测的工作效率。

1基于低分辨率图像的船舶快速检测技术由于相对于辽阔的海面，船舶的密度并不高，所以为了提高效率，首先使用大幅宽、低分辨率的卫星对船舶进行快速筛查，这就需要一个速度快、精准度相对较高的目标检测方案进行检测。

本章在YOLO v3的基础上，采用K-means聚类将标注的锚定框进行聚类，从而加速训练时深度学习网络的收敛并且提高精度。

1.1YOLO v3检测模型
YOLO v3网络结构由Darknet-53基础网络结构和多尺度预测结构组成。

Darknet-53网络主要由一系列1X1和3x3卷积层组成,每一个卷积层后面都跟随一个Batch Nonnalization层和一■个LeakyReLU层。

Darknet-53借鉴了Resnet网络中的跳连结构，在前端网络中每一个1X1和3x3的卷积层加上了跳连结构，有效解决了网络加深后的梯度消失问题。

YOLO v3将Darknet-53网络去掉全连接层的部分作为其特征提取网络,特征提取完成后,进入多尺度预测结构。

YOLO v3结构如图1所示。

1X
2x
4x
32
64
416x416
208x208
3x3
3x3/2
Convolutional
Convolulional
Output
Curivfjlulii.Kial
Convolutional
Residual
32
64
1X1
3X3
208x20
*
Convolutional1283x3/2104x104
Uonvolutional64lx|
Convolutional
Residual
1283x3
104x104
Convolutional2563x3/252x52
Convolutional1281x1
Convolutional
Residual
2563x3
52x52
Convolulional5123x3/226x26
Convolutional2561x1
Convolutional
Residual
5123x3
26x26
Convolutional10243x3/213x13
Convolutional512Ixl
Convolutional
Residual
10243x3
13x13
$czle3
Swde2
Scale l
O O V
Predict
图1YOLO v3结构
Fig.1YOLO v3structure
YOLO v3中最后是多尺度预测结构，分为3个尺度,分别是13x13,26x26,52x52。

每个尺度内，通过卷积的形式实现当前尺度的特征交互。

最小尺度的预测层,也就是Scalel层,Feature Map的尺度为13X13,一共有1024个通道，通过一系列卷积操作后,通道数减小为3x（class数量+5）,然后在此基础上进行分类和位置回归。

中型尺度的预测层是由上一层的13x 13,1024个通道的特征图，进行上采样得到26x26, 1024个通道的特征图，同时与Scale2层上的52x52, 512个通道的中型尺度特征图合并，通过一系列卷积操作后通道数也减小为3x（class数量+5），然后在此基础上进行分类和位置回归。

以此类推，与Scale2相同，在与Scale3层合并后得到特征图尺寸为52X52,数量为3X（class数量+5）个通道的大尺度预测层,然后在此基础上进行分类和位置回归。

特别是针对本文所研究的海洋船舶目标具有大小分布不均的特点,YOLO v3这样一个多尺度的预测层设置,对于这种特点的船舶目标具有很好的检测性能。

搭建好模型的框架后,使用制作好的模拟普查卫星搜查特定的数据集对其训练,然后进行目标检测的研究。

1.2数据集构建和特征提取
为了验证算法的有效性，本文自建模拟低分辨率卫星搜查特点的数据集,图像从Google Earth上获取。

由于低分辨率卫星获取的图像数据量巨大、海洋面积辽阔，因此数据集构建时考虑到了各种海面背景,包括云雾、海岛、海岸、港口、海面颜色、海杂波干扰等,还有在
第11期杨天天等：基于深度学习的多分辨率海洋目标检测方法83
有船舶的图片中，船舶的大小、型号、颜色不一,这样训 练出来的模型具有充分的泛化能力，能适应各种条件下 的目标检测任务。

针对这样的数据集要求，本文自建数
据集总共有1000张图像，通过随机抽取的方式抽取800 张图片为训练集,200张图片为测试集。

数据集图片如 图2所示(抽取6张有代表性的图片作为展示，包括港 口、不同海面背景、陆地、海杂波干扰等)O
图2数据集样本
Fig. 2 Data set sample
为了加速目标筛选，同时更好地获取anchor boxes
特征，本节采用K-means 聚类的方法，对于标注数据的 boxes 进行聚类,计算出9组anchors,能有效提高boun ­ding box 的检出率。

所有boxes 与聚类产生的9组an ­
chor 的平均交并比(Intersection over Union , IoU )从原
来的67.2%提升到了 75. 8% ,得出的9组anchora 分 别为：32,44；81,27 ；42,89 ； 82,50 ； 117,36 ；71,77； 135,
58 ；62,⑶;113,93。

模型网络参数如表1所示。

表1模型网络参数
Table 1 Model network parameters
参数值参数值
leaming_rate 0.001max_batches
50 000
scales
0.1,0.1
momentum 0.9steps 16 000,25 000
decay
0.000 5
batch
32
subdivisions 8
训练过程中,每间隔1000次生成一次权重文件。

完成训练后，将batch 和subdivisions 改为1,后续使用 训练好的模型在测试集上进行测试。

本文方法与文献［9］方法进行对比。

本文方法 IoU 值为0.5时AP 值为81.5% ；文献［9］方法IoU 值为 0.45时,AP 值为64%。

其性能明显改善。

通常在性能
指标中,IoU 值越大,AP 值就会越低。

本文方法IoU 值
设置为大于0.5 ,AP 值已经远远超过了文献［9］方法。

2基于高分辨率图像的船舶目标精确分类 技术
在对已提取的目标进行精确识别的过程中，由于 船舶目标时刻在航行，如果单纯使用提供的目标经纬
度信息，可能无法及时地进行分类，导致船舶航行后离 开了第1章所获取的边界框,进而无法精确识别。

因此，本文选用的框架为改进的RetinaNet 检测模
型(A-RetinaNet),该框架使用一种新型的损失函数
(焦点损失)，可以作为处理类不平衡的一种有效替代 方案。

焦点损失是在损失函数的角度上，让网络能够
更多地去关注困难、错误分类的例子。

对RetinaNet 的 改进方案为在分类子网部分加入注意力机制,该机制
采用了一种待征重标定的策略,通过学习的方式自动 获取每个待征通道的重要程度，重点关注有用的特征， 并抑制对当前任务用处不大的特征。

2.1 A-RetinaNet 检测模型
本节设计的A-RetinaNet 的网络架构是以ResNet-
101作为网络的基础待征提取网络的。

去除了 ResNet- 101的全连接层，只保留其卷积层,再加上FPN 自上而
下的多尺度待征检测器,馈送每个独立的特征图以进 行目标检测。

网络架构如图3所示。

图3 A-RetinaNet 网络架构
Fig. 3 A-RetinaNet architecture
本文通过Resnet 的待征提取和FPN 的上采样相 尺度anchor 特征。

预测层通过一个卷积后分为分类子 加相结合，得到了 P3,P4,P5,P6和P7这5个维度的多
网和回归框子网。

这里使用平移不变锚定框，
每个尺度
84电光与控制第27卷
等级都是用3个宽高比和3种相对原始尺寸大小的锚
定框。

每个特征A为9个anchor。

分类子网对每4个anchor和K个目标类别在每个
空间位置处预测目标存在的概率。

使用来自金字塔等
级的C个通道的输入待征图，子网应用4个3X3卷积
层，每个卷积层都有C个通道，每个卷积层后都连有Re-
LU激活函数。

改进方案是在最后一个3x3卷积层前
加入SEModule[M]0首先是Squeeze操作,它是一^全局
平均池化层,其次是Excitation操作，它是一个类似于
RNN中门的机制,通过可被学习的参数”来对每个通道生成权重，最后是一个Reweight的操作，将Excitation 操作输出的权重看作是待征选择后的每个通道的重要性，与先前的待征通道进行乘法加权,以便完成待征重标定。

网络的最后是M个通道的3x3卷积层，默认采用C=256和4=9。

所有金字塔等级共享分类子网的参数。

回归框子网与分类子网并行，但是参数不共享。

回归框子网的设计与分类子网相同，只是最后的输出为44个通道的卷积层。

每个值预测了anchor与GT 框之间的相对偏移量，本文使用的是与类别无关的an­chor回归。

RetinaNet仅解码每个金字塔级别最多1000个最高得分的预测框，合并左右金字塔级别的做高预测,并应用0.5的非极大值抑制产生最终检测结果。

采样图像中所有的anchor皆滲与焦点损失的计算，为这些anchor 焦点损失的总和。

使用分配给每个GT框的anchor来进行归一化处理，在绝大多数anchor都是容易分类的负样本的情况下,焦点损失所获得的损失值基本可以忽略,这样系统就能集中训练难分类的样本了。

2.2数据集的构建
为验证所选算法的有效性，本文再建立一个数据集来进行验证。

数据集来源于Google Earth和HRSC2016数据集。

一共有5类船舶，数据集共包含500张图片，由于船舶类型较多，而每个类别的船舶数量较少,所以为了使得训练集和验证集都有同样类别的船舶,采用训练集和验证集以4：1的分配形式来进行训练和预测。

2.3检测结果及性能评估
将训练好的模型在测试集下进行测试，将5类船舶的检测精确度取平均值得到mAP值，由于数据量不大,YOLO v3算法和RetinaNet训练到第30代训练时，mAP值均趋于稳定，所以本文多取10个即总共取40个(epoch)值绘制mAP图，将A-RetinaNet的结果与原始RetinaNet,YOLO v3进行实验数据的对比，结果如图4所示。

Fig.4mAP curves
从图4可以看出，RetinaNet模型对于船舶目标的分类任务有着良好的效果，不管是收敛速度和检测精度都远远高于YOLO v3模型。

而且加入注意力机制后的A-RetinaNet在检测精度方面与RetinaNet相比又有小幅度的提升，最大值达到76.89%，相对于原始Reti-naNet有1.56%的性能提升。

由于本次实验数据量不足,A-RetinaNet的检测精度或许并不理想，今后数据集的扩充和数据增强可能会带来更好的检测效果。

3具体场景运用
为了验证本文提出算法在具体场景中船舶目标检测的有效性,搭建了相应的算法验证平台，平台架构如图5所示。

图5验证平台架构
Fig.5Architecture of the verification platform
图5中,物理层面提供算法所需的训练样本和检测样本。

算法层面通过物理层面提供的训练样本训练出模型，再使用训练好的模型对海洋遥感图像进行检测。

根据搭建的平台框架，本文从Google Earth上获取同一经纬度下的不同分辨率的目标图像，模拟低分辨率卫星和高分辨率卫星的协同工作。

首先使用训练好的YOLO v3框架对低分辨率卫星图片进行测试。

输入遥感图像后，使用模型对船舶进行目标检测，检测结果中，真实的船舶目标被标记出来,并在标记框中显示其类别名“ship”，标注结果如图6所示。

第11期杨天天等：基于深度学习的多分辨率海洋目标检测方法85
图6选择了一个图像中有多目标的图片作为案例，每一张图的检测时间为0.0288s,能够很好地满足船舶快速检测的要求。

接下来将获取到的船舶位置信息发送给高分辨率卫星，高分辨率卫星开始针对船舶目标进行识别。

以图6中的船舶为例，使用A-RetinaNet框架对其进行精确识别，检测结果中，船舶目标被标记出来,并在标记框中显示其类别名“Containership”，其单张图片的检测速度为0.2126s。

检测结果如图7所示。

图6基于YOLO v3模型的低分辨率图像检测结果Fig.6Low・resolution image detection result
based on YOLO v3model
图7基于A-RetinaNet模型的高分辨率图像检测结果Fig.7High-resolution image detection result based
on A-RetinaNet model
YOLO v3检测宽幅、低分辨率海洋图片时,往往存在许多无船舶的纯海面和海陆背景情况，因此,YOLO v3需要较快的检测速率进行图像信息快速筛査。

A-Reti­naNet只筛査YOLO v3处理过的存在船舶的图片，所以更关注精度而非速度。

YOLO v3模型的检测速率是A-RetinaNet的7.38倍，满足宽幅、低分辨率卫星海量筛查与高分辨率卫星精确识别协同工作的需求，能够有效地提升卫星检测船舶目标的工作效率。

4结论
本文提出了将宽幅、低分辨率图像与高分辨率图像相结合的检测方法以及改进的RetinaNet精确匹配算法。

该算法在RetinaNet的分类子网中加入了注意力机制以提高整个图像的匹配精度。

仿真实验结果表明本文算法具备有效性。

本文算法基于自建遥感数据集，自建数据集样本量少,且手动标注时船舶类型容易被误判，从而对深度学习框架的训练造成很大影响，对某些类别的检测效果不理想。

后续工作需要对分类数据集进行扩充,并且进一步优化算法。

参考文献
[1]王彦情，马雷，田原•光学遥感图像舰船目标检测与识
别综述[Jh自动化学报,2011,37(9)：1029-1039. [2]汪闽，骆剑承,明冬萍.高分辨率遥感影像上基于形状
特征的船舶提取[J].武汉大学学报(信息科学版)，
2005,30(8)：685-688.
[3]ZHU C R,ZHOU H,WANG R S,et al.A novel hierarchical
method of ship detection from spacebome optical image
based on shape and texture features[J].IEEE Transactions
on Geoscience and Remote Sensing2010,48(9)：3446-3456.
[4]张东晓，何四华，杨绍清.一种多尺度分形的舰船目标
检测方法[J].激光与红外,2009,39(3):315-31& [5]GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich fea-
ture hierarchies for accurate object detection and semantic
segmentation[C]//IEEE Conference on Coiqjuter Vision
and Pattern Recognition,2014：580-587.
[6]HE K M,ZHANG X Y,REN S Q,et al.Spatial pyramid
pooling in deep convolutional networks for visual recogni­
tion[J].IEEE Transactions on Partem Analysis and Ma­
chine Intelligence,2015,37(9)：1904-1916.
[7]REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN：
towards real-time object detection with region proposal
networks]J].IEEE Transactions on Pattern Analysis and
Machine Intelligence,2017,39(6)：1137-1149.
[8]UN T Y,DOLLAR P,GIRSHICK R,et al.Feature pyramid
networks for object detection[C]//LEEE Conference on
Computer Vision and Pattern Recognition(CVPR),2017:
2117-2125.
[9]徐芳.可见光遥感图像海面目标自动检测关键技术研
究[D].北京:中国科学院大学,2018.
[10]REDMON J,DIWALA S,GIRSfflCK R,et al.You only
look once：unified,real-time detection[C]//IEEE Con­
ference on Computer Vision and Pattern Recognition,
2016：779-788.
[11]LIU W,ANGUELOV D,ERHAN D,et al.SSD：single shot
multibox detector[C]//European Conference on Conqjut-
er Vision(CVPR),2016:21-37.
[12]LIN T Y,GOYAL P,GIRSHICK R,et al.Focal loss for
dense object detection[C J//IEEE International Confer­
ence on Computer Vision(ICCV),2017：2980-2988. [13]黄洁，姜志国,张浩鹏，等.基于卷积神经网络的遥感
图像舰船目标检测[J]•北京航空航天大学学报，
2017,43(9):1841-1848.
[14]HU J,SHEN L,SUN G.Scjueeze-and-excitation networks
[CJ//IEEE Conference on Computer Vision and Pattern
Recognition(CVPR),2018：
7132-7141.。