基于RHTC网络的飞机目标检测与精细识别

第４３卷　第１２期系统工程与电子技术
Ｖｏｌ．４３　Ｎｏ．１２
２０２１年１２月ＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇ ａ
ｎｄＥｌｅｃｔｒｏｎｉｃｓＤｅｃｅｍｂｅｒ２０２１
文章编号：１００１ ５０６Ｘ（２０２１）１２ ３４３９ １３　网址：ｗｗｗ．ｓｙ
ｓ ｅｌｅ．ｃｏｍ收稿日期：２０２０１２０９；修回日期：２０２１０２０１；网络优先出版日期：２０２１０３２３。

网络优先出版地址：ｈｔｔｐ
ｓ：∥ｋｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．２４２２．ＴＮ．２０２１０３２３．１１３２．０２０．ｈｔｍ基金项目：国家自然科学基金（６２０７１４７４）资助课题 通讯作者．
引用格式：曹旭，邹焕新，成飞，等．基于ＲＨＴＣ网络的飞机目标检测与精细识别［Ｊ］．系统工程与电子技术，２０２１，４３（１２）：３４３９ ３４５１．犚犲犳犲狉犲狀犮犲犳狅狉犿犪狋：ＣＡＯＸ，ＺＯＵＨＸ，ＣＨＥＮＧＦ，ｅｔａｌ．Ａｉｒｃｒａｆｔｔａｒｇｅｔｄｅｔｅｃｔｉｏｎａｎｄｆｉｎｅ ｇｒａｉｎｅｄｒｅｃｏｇ
ｎｉｔｉｏｎｂａｓｅｄｏｎＲＨＴＣｎｅｔｗｏｒｋ［Ｊ］．ＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇａ
ｎｄＥｌｅｃｔｒｏｎｉｃｓ，２０２１，４３（１２）：３４３９ ３４５１．基于犚犎犜犆网络的飞机目标检测与精细识别
曹　旭，邹焕新 ，成　飞，李润林，贺诗甜
（国防科技大学电子科学学院，湖南长沙４１００７３）
摘　要：飞机目标的方向检测和精细识别是高分辨率光学遥感图像解译领域的一个重要任务。

针对遥感图
像中多方向密集排布飞机的方向检测和识别困难问题，提出一种基于旋转混合任务级联（ｒｏｔａｔｅｄｈｙ
ｂｒｉｄｔａｓｋｃａｓ ｃａｄｅ，ＲＨＴＣ）网络的飞机检测识别方法。

首先，基于混合任务级联（ｈｙ
ｂｒｉｄｔａｓｋｃａｓｃａｄｅ，ＨＴＣ）网络，扩展分割分支数量，并将分割分支与包围框分支多层级联以不断加强语义特征。

其次，设计了一个新的斜框回归器，将其添加在掩膜分支的最后一层以完成目标方向预测。

最后，增加一个新的方向损失函数以优化训练过程，从而完成
ＲＨＴＣ网络构建。

在数据预处理阶段，
构建了每类型号飞机目标的精细掩膜以增强目标细节和提高掩膜预测精度。

基于ＤＯＴＡ和公开Ｇｏｏｇ
ｌｅ图像构建的飞机数据集开展了多组实验。

结果表明，与其他多种先进的方法相比，
所提方法在飞机检测方向精准度和类别平均精准度上性能更优。

此外，所设计的斜框回归器和方向损失函数在嵌入到其他分割网络时也具有良好的性能。

关键词：高分辨率遥感图像；飞机目标；旋转混合任务级联网络；方向检测；精细识别
中图分类号：ＴＮ９５７ 文献标志码：Ａ 犇犗犐：１０．１２３０５／ｊ．
ｉｓｓｎ．１００１ ５０６Ｘ．２０２１．１２．０４犃犻狉犮狉犪犳狋狋犪狉犵犲狋犱犲狋犲犮狋犻狅狀犪狀犱犳犻狀犲 犵狉犪犻狀犲犱狉犲犮狅犵
狀犻狋犻狅狀犫犪狊犲犱狅狀犚犎犜犆狀犲狋狑狅狉犽ＣＡＯＸｕ，ＺＯＵＨｕａｎｘｉｎ ，ＣＨＥＮＧＦｅｉ，ＬＩＲｕｎｌｉｎ，ＨＥＳｈｉｔｉａｎ
（犆狅犾犾犲犵犲狅犳犈犾犲犮狋狉狅狀犻犮犛犮犻犲狀犮犲犪狀犱犜犲犮犺狀狅犾狅犵狔，犖犪狋犻狅狀犪犾犝狀犻狏犲狉狊犻狋狔狅犳犇犲犳犲狀狊犲犜犲犮犺狀狅犾狅犵狔，犆犺
犪狀犵狊犺犪４１００７３，犆犺犻狀犪） 犃犫狊狋狉犪犮狋：Ｄｉｒｅｃｔｉｏｎｄｅｔｅｃｔｉｏｎａｎｄｆｉｎｅ ｇａｉｎｅｄｒｅｃｏｇｎｉｔｉｏｎｏｆａｉｒｃｒａｆｔｔａｒｇ
ｅｔｓｉｓａｎｉｍｐｏｒｔａｎｔｔａｓｋｉｎｔｈｅｆｉｅｌｄｏｆｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎｏｐｔｉｃａｌｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅｉｎｔｅｒｐｒｅｔａｔｉｏｎ．Ａｉｍｉｎｇａｔｔｈｅｄｉｆｆｉｃｕｌｔｙｏ
ｆｄｉｒｅｃｔｉｏｎｄｅｔｅｃｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎｏｆｍｕｌｔｉ ｄｉｒｅｃｔｉｏｎａｌｄｅｎｓｅｌｙａｒｒａｎｇｅｄａｉｒｃｒａｆｔｉｎｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇ
ｅｓ，ａｎａｉｒｃｒａｆｔｄｅｔｅｃｔｉｏｎａｎｄｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｒｏｔａｔｉｎｇｈｙ
ｂｒｉｄｔａｓｋｃａｓｃａｄｅ（ＲＨＴＣ）ｎｅｔｗｏｒｋｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｂａｓｅｄｏｎｈｙ
ｂｒｉｄｔａｓｋｃａｓｃａｄｅ（ＨＴＣ）ｎｅｔｗｏｒｋ，ｔｈｅｎｕｍｂｅｒｏｆｓｅｇｍｅｎｔｅｄｂｒａｎｃｈｅｓｉｓｅｘｐａｎｄｅｄ，ａｎｄｔｈｅｓｅｇｍｅｎｔｅｄｂｒａｎｃｈｅｓａｎｄｂｏｕｎｄｉｎｇｂｏｘｂｒａｎｃｈｅｓａｒｅｃａｓｃａｄｅｄａｔｍｕｌｔｉｐｌｅｌｅｖｅｌｓｔｏｃｏｎｔｉｎｕｏｕｓｌｙｓｔｒｅｎｇ
ｔｈｅｎｓｅｍａｎｔｉｃｆｅａｔｕｒｅｓ．Ｓｅｃｏｎｄｌｙ，ａｎ
ｅｗｓｌａｎｔｆｒａｍｅｒｅｇｒｅｓｓｏｒｉｓｄｅｓｉｇｎｅｄａｎｄａｄｄｅｄｔｏｔｈｅｌａｓｔｌａｙｅｒｏｆｔｈｅｍａｓｋｂｒａｎｃｈｔｏｃｏｍｐｌｅｔｅｔｈｅｔａｒｇｅｔｄｉｒｅｃｔｉｏｎｐｒｅｄｉｃｔｉｏｎ．Ｆｉｎａｌｌｙ，ａｎｅｗｄｉｒｅｃｔｉｏｎａｌｌｏｓｓｆｕｎｃｔｉｏｎｉｓａｄｄｅｄｔｏｏｐｔｉｍｉｚｅｔｈｅｔｒａｉｎｉｎｇｐｒｏｃｅｓｓ，ｓｏａｓｔｏｃｏｍｐｌｅｔｅｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆＲＨＴＣｎｅｔｗｏｒｋ．Ｉｎｔｈｅｄａｔａｐｒｅｐｒｏｃｅｓｓｉｎｇｓｔａｇｅ，ｔｈｅｆｉｎｅｍａｓｋｏｆｅａｃｈｔｙｐｅｏｆａｉｒｃｒａｆｔｔａｒｇｅｔｉｓｃｏｎｓｔｒｕｃｔｅｄｔｏｅｎｈａｎｃｅｔｈｅｔａｒｇｅｔｄｅｔａｉｌａｎｄｉｍｐｒｏｖｅｔｈｅｍａｓｋｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙ．Ｓｅｖｅｒａｌｇｒｏｕｐｓｏｆｅｘｐ
ｅｒｉｍｅｎｔｓｗｅｒｅｃａｒｒｉｅｄｏｕｔｏｎａｉｒｃｒａｆｔｄａｔａｓｅｔｓｃｏｎｓｔｒｕｃｔｅｄｂａｓｅｄｏｎＤＯＴＡａｎｄｐｕｂｌｉｃＧｏｏｇｌｅｉｍａｇ
ｅｓ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｃｏｍｐａｒｅｄｗｉｔｈｏｔｈｅｒａｄｖａｎｃｅｄｍｅｔｈｏｄｓ，ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｈａｓｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅｉｎａｉｒｃｒａｆｔｄｅｔｅｃｔｉｏｎｄｉｒｅｃｔｉｏｎａｃｃｕｒａｃｙａｎｄｃａｔｅｇｏｒｙａｖｅｒａｇｅａｃｃｕｒａｃｙ．Ｉｎａｄｄｉｔｉｏｎ，ｔｈｅｄｅｓｉｇｎｅｄｓｋｅｗｆｒａｍｅｒｅｇｒｅｓｓｏｒａｎｄｄｉｒｅｃｔｉｏｎａｌｌｏｓｓｆｕｎｃｔｉｏｎａｌｓｏｈａｖｅｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｗｈｅｎｅｍｂｅｄｄｅｄｉｎｔｏｏｔｈｅｒｓｅｇｍｅｎｔｅｄｎｅｔｗｏｒｋｓ．犓犲狔狑狅狉犱狊：ｈｉｇｈｒｅｓｏｌｕｔｉｏｎｒｅｍｏｔｅｓｅｎｓｉｎｇｉｍａｇｅ；ａｉｒｃｒａｆｔｔａｒｇｅｔ；ｒｏｔａｔｅｄｈｙｂｒｉｄｔａｓｋｃａｓｃａｄｅｎｅｔｗｏｒｋ；ｄｉｒｅｃｔｉｏｎｄｅｔｅｃｔｉｏｎ；ｆｉｎｅ ｇｒａｉｎｅｄｒｅｃｏｇ
ｎｉｔｉｏｎ（ＲＨＴＣ）Copyright©博看网 . All Rights Reserved.
　·３
４４０　·系统工程与电子技术
第４３卷
０　引　言
在战场态势瞬息万变的情况下，快速精确识别目标是现代战争制胜的关键，因此开展光学遥感图像上的飞机目
标检测与识别，
对国防事业具有极其重要的意义。

该技术在侦查监视对方机场军力部署、有效打击重点空战目标、提
高防空预警能力等方面有着广泛的应用前景外［１］。

此外，
在民用领域中，如民航机场流量管控、航班识别等也具有重要作用。

但是，因为机场背景复杂，利用光学卫星遥感图像对地面上的飞机目标进行自动检测与识别一直以来都是非常具有挑战性的任务［２］。

在光学遥感图像中，飞机目标检测识别具有以下两个主要难点。

（１）方向检测困难：飞机目标尺度小、细节不清晰，在图像中通常比较密集且方向多变，容易造成误检和漏检；相比较于遥感图像舰船方向检测，飞机目标机长、翼展尺寸比
较接近，难以有效利用飞机的长宽比信息准确估计其主轴方向。

（２）精细识别困难：不同型号飞机目标之间尺寸接近、形状类似，类间特征差别较小，难以精细识别；同型号飞机之间受可变掠翼张角不同、自身阴影等影响，容易产生错误分类。

传统飞机目标检测方法通常基于手工提取的特征而设计。

Ｚｈａｎｇ等人［３］提出了一种通过提取闭合轮廓来识别飞机的方法。

Ｌｉｕ等人［４］提出了一种通过拐角特征识别飞机的方法。

Ｑｉｕ等人［５］在拐角特征基础上，进一步提出使用边缘信息来检测飞机。

Ｚｈａｎｇ等人［６］提出将哈里斯拉普拉斯拐角检测器与仿射不变矩结合起来构建特征以检测飞机目标。

此外，还有很多传统检测方法［７１０］。

然而，由于需要大量参数优化，使得这些传统飞机检测方法泛化性能较差，在利用这些传统方法处理新的数据集时，需要人工经验对参数进行大量调整。

得益于深度学习和区域卷积神经网络（ｒｅｇ
ｉｏｎｃｏｎｖｏｌｕ ｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，
ＲＣＮＮ）的发展，许多方法将目标检测视为根据深度特征提取的感兴趣区域（ｒｅｇ
ｉｏｎｏｆｉｎｔｅｒｅｓｔ，ＲＯＩ）
的分类问题，并在多个领域都表现出优异的检测性能［１１１６］。

上述方法都是为检测自然场景或舰船目标而设计的，针对遥感图像中飞机多方向密集排布问题，通常无法获得较好的检测结果。

此外，在利用深度学习进行光学遥感图像中飞机目标检测方面，近年来也涌现出较多方案。

Ｙｕ等人［１７］提出了一种基于全卷积神经网络的飞机检测方法，通过最小化多任务损失直接定位飞机。

Ｗａｎｇ等人［１８］进一步提出了一种基于ＲＣＮＮ的飞机检测方法，通过Ｋ ｍｅａｎｓ对不同尺寸的目标进行聚类分析，以聚类中心作为候选锚框尺寸，提高了锚框生成质量。

其后，Ｌｉ等人［１９］提出了一种基于增强学习和卷积神经网络的飞机检测框架，通过增强学习实现对候选区域的动态约简，并限制边缘框范围以提高候选框质量。

除此之外，还有很多其他优秀的遥感飞
机目标检测方法［２０２４］。

虽然上述方法在遥感图像中飞机目标定位方面取得了很大进展，但当飞机目标方向检测与精
细识别任务同时进行时，
飞机检测与识别结果并不理想。

２０１９年，Ｃｈｅｎ等人［２５］提出了混合任务级联（ｈｙｂｒｉｄｔａｓｋｃａｓｃａｄｅ，ＨＴＣ）网络，用于自然图像中的实例分割。

ＨＴＣ网络包含３个结构分支：目标检测分支、掩膜分支与分割分支，可以精准定位、分类和分割目标。

受ＨＴＣ网络能够同时完成多种任务的思路启发，本文提出了一种基于旋转ＨＴＣ（ｒｏｔａｔｅｄＨＴＣ，ＲＨＴＣ）网络的多方向飞机目标检测与精细识别方法。

主要思路为：首先，在数据预处理阶段，构建每类型号飞机目标的精细掩膜，以形成目标的轮廓编码作为网络输入；其次，ＲＨＴＣ将分割分支与包围框分支多层级联，以不断加强语义特征，并将语义特征与其他特征进行融合，从而提高包围框和掩膜预测精度；最后，在掩膜
预测的最后一层，
设计并增加一个方向损失函数，同时引入一个新的斜框回归器以便从掩膜预测结果中准确预测目标的机头正方向。

本文方法可以准确快速地实现光学遥感图像中飞机目标的定位、分类和掩膜预测，并回归出飞机目标的斜框和机头正方向。

利用ＤＯＴＡ数据集中的飞机目标和自建的Ｇｏｏｇ
ｌｅ图像典型军用飞机目标数据集开展了多组飞机目标方向检测和精细识别实验，并将本文方法与其他多种先进算法，包括带有方向性边框Ｆ ＲＣＮＮ（ｆａｓｔｅｒ
ＲＣＮＮｏＢＢ，ＦＲＯ）［２６］、
ＲＯＩｔｒａｎｓｆｏｒｍｅｒ［１６］、旋转区域建议网络（ｒｏｔａｔｅｄｒｅｇｉｏｎｐｒｏｐｏｓａｌｎｅｔｗｏｒｋ，ＲＲＰＮ）［２７］、旋转ＲＣＮＮ（ｒｏｔａｔｉｏｎａｌＲＣＮＮ，Ｒ２ＣＮＮ）
［２８］、旋转密集特征金字塔网络（ｒｏｔａｔｉｏｎａｌｄｅｎｓｅｆｅａｔｕｒｅｐｙ
ｒａｍｉｄｎｅｔｗｏｒｋｓ，ＲＤＦＰＮ）［２９］进行了算法性能比较和评估分析。

实验结果表明，本文方法在飞机目标检测的方向精准度和精细识别的类别平均精准度上性能更优。

此外，为了评估本文方法中提出的斜框回归器在作为一个单独的模块嵌入到其他分割网络时的性能，将本文设计的斜框回归器和方向损失函数应用于掩膜
ＲＣＮＮ（ｍａｓｋＲＣＮＮ，Ｍ ＲＣＮＮ）［３０］和级联Ｍ ＲＣＮＮ（ｃａｓｃａｄｅＭ ＲＣＮＮ，ＣＭ ＲＣＮＮ）［３１］，并基于自建的Ｇｏｏｇ
ｌｅ图像典型军用飞机目标数据集进行了训练和测试。

实验结果验证了本文方法设计的斜框回归器和方向损失函数在嵌入到其他分割网络时也具有良好的性能。

１　算法介绍
本文提出的算法框架主要包含３个部分：①分割级联结构：ＲＨＴＣ网络通过分割分支与包围框分支多层级联，增强语义特征，以实现更精确的目标水平框定位、精细分类和掩膜预测；②在预处理阶段，构建每类型号飞机目标精细掩膜和图像的语义分割图，以构建完整的网络训练输入；
③在网络掩膜预测最后一层（
犕３）后，设计并增加一个新的方向损失函数，同时引入一个新的斜框回归器，以优化训练过程和实现飞机目标的方向检测。

本文方法流程图如图１所示。

Copyright©博看网 . All Rights Reserved.
　第１２期曹旭等：基于ＲＨＴＣ网络的飞机目标检测与精细识别·３４４１　·
图１　本文算法流程图
Ｆｉｇ．１　Ｆｌｏｗｃｈａｒｔｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄ
１．１　犎犜犆网络
为了更好地理解本文ＲＨＴＣ网络结构，下面首先对
ＣＭ ＲＣＮＮ的网络结构、无分割分支的ＨＴＣ网络结构以及
带分割分支的ＨＴＣ网络结构进行简单的介绍。

１．１．１　ＣＭ ＲＣＮＮ网络
ＣａｓｃａｄｅＲＣＮＮ［３２］开创了级联检测网络的经典结构，
Ｍ ＲＣＮＮ则是优秀的通用实例分割架构，Ｃａｉ等人［３１］尝试
将ＣａｓｃａｄｅＲＣＮＮ和Ｍ ＲＣＮＮ两个网络结构简单组合为
ＣＭ ＲＣＮＮ应用于实例分割任务，通过不断优化预测框的
回归以获得更好的检测结果，但其掩膜分支与预测框分支
在每个阶段均独立运算，二者之间没有信息流通，导致网络
分割能力整体较弱，这是因为掩膜预测精度仅通过预测框
精度的不断提升而获得少量提升。

图２展示了ＣＭ ＲＣＮＮ
的网络结构，其中，代表掩膜预测部分，犅代表包围框
（ｂｏｕｎｄｉｎｇｂｏｘ，ｂｂｏｘ）预测部分，犕和犅后面的数字表示
级联网络阶段数。

图２　ＣＭ ＲＣＮＮ结构
Ｆｉｇ．２　ＡｒｃｈｉｔｅｃｔｕｒｅｏｆＣＭ ＲＣＮＮ
１．１．２　无分割分支的ＨＴＣ网络
ＨＴＣ网络是在ＣａｓｃａｄｅＲＣＮＮ和Ｍ ＲＣＮＮ的基础上
进行融合改进的结果。

为了加强掩膜与预测框之间、掩膜
与掩膜之间的信息流通，ＨＴＣ网络取消了第一阶段上的掩
膜分支，使其与第一阶段的预测框相关联，以提高第一阶段
的掩膜预测精度，同时套用级联优化思想，在掩膜分支之间
添加信息流（见图３中的红色箭头），实现掩膜级联，掩膜特
征从前一阶段流通到后一阶段，大大提高了掩膜的预测精
度。

无分割分支的ＨＴＣ网络结构如图３所示。

图３　无分割分支的混合任务级联网络结构
Ｆｉｇ．３　Ａｒｃｈｉｔｅｃｔｕｒｅｏｆｈｙｂｒｉｄｔａｓｋｃａｓｃａｄｅ（ＨＴＣ）ｗｉｔｈｏｕｔ
ｓｅｇｍｅｎｔａｔｉｏｎｂｒａｎｃｈ
１．１．３　带分割分支的ＨＴＣ网络
为增强网络区分前景和背景的能力，ＨＴＣ网络额外使
用了上下文信息，将语义特征与掩膜分支、包围框分支特征
进行融合。

其中，语义特征通过分割分支来提取。

分割分
支以特征金字塔网络（ｆｅａｔｕｒｅｐｙｒａｍｉｄｎｅｔｗｏｒｋ，ＦＰＮ）［３３］
输出的组合特征作为输入，通过全卷积结构得到分割预测
和语义特征。

分割分支结构如图４所示，添加了分割分支
的ＨＴＣ网络结构如图５所示。

４　
Ｆｉｇ．４　ＡｒｃｈｉｔｅｃｔｕｒｅｏｆｓｅｇｍｅｎｔａｔｉｏｎｂｒａｎｃｈCopyright©博看网 . All Rights Reserved.
　·３
４４２　·系统工程与电子技术
第４３卷
图５　带分割分支的混合任务级联网络Ｆｉｇ．５　ＡｒｃｈｉｔｅｃｔｕｒｅｏｆＨＴＣｗｉｔｈｓｅｇｍｅ
ｎｔａｔｉｏｎｂｒａｎｃｈＨＴＣ网络的语义特征仅由分割分支提取一次，且区域建议网络（ｒｅｇｉｏｎｐｒｏｐ
ｏｓａｌｎｅｔｗｏｒｋ，ＲＰＮ）及ｂｂｏｘ预测分支未与分割分支形成有效连接，致使语义特征无法充分利用，且分割预测精度较低。

针对上述问题，本文在带有分割分支的ＨＴＣ网络基础上，充分级联分割分支、ＲＰＮ和ｂｂｏｘ分支（见图１），实现预测框信息与语义信息有效融合，级联过程中不同分支相互促进，提高最终预测效果。

此外，为实现斜框预测功能，本文在掩膜分支最后一层之后引入一个新的斜框回归器，以回归目标斜框和机头正方向。

同时，设计并增加一个方向损失函数，提高方向预测精度，优化整个训练过程。

此外，在数据预处理过程中，构建每类型号飞机目标的精细掩膜，以增强目标掩膜特征细节，辅助提升精细识别精度。

在本文中，改进后的ＨＴＣ网络称为ＲＨＴＣ网络。

１．２　飞机目标精细掩膜和语义分割图生成
在引言中介绍的其他基于深度学习的飞机目标检测方法中，除了Ｚｕｏ等人［２３］提出的基于深度卷积神经网络分割结果的飞机型号识别方法利用掩膜信息提高了识别精度之外，
其他方法均没有考虑目标掩膜信息和上下文信息的利用。

实际上，精细的目标掩膜含有丰富的目标细节信息，这些特征信息有助于ＲＨＴＣ网络中的斜框回归器更准确地预
测目标斜框及其方向，并辅助提升精细识别精度。

同时，含
有上下文信息的语义分割图可以帮助网络更好地区分前景和背景。

ＲＨＴＣ网络包含３个输入，具体为：飞机目标斜框标注、
飞机目标掩膜信息和训练图像的语义分割图。

本文基于公开的Ｇｏｏｇｌｅ图像构建了一个飞机目标数据集，包含了２７类型号飞机目标的斜框标注。

此外，为了获得飞机目标的掩膜信息和语义分割图，本文利用图像形态学相关算法处理得到每类型号飞机目标的精细掩膜和每幅训练图像的语义分割图。

１．２．１　飞机目标精细掩膜生成
图像形态学主要用于从图像中提取对描述区域形状有
意义的图像分量，
使后续识别工作能够抓住目标对象最具有区分能力的形状特征，如边界、连通区域等，同时像细化、像素化、修剪毛刺等也常应用于预处理和后处理中，成为深度学习中图像增强新的选择［３４］。

本文方法对真实收集的Ｇｏｏｇ
ｌｅ图像中的每类型号飞机目标，采用灰度化、阈值分割、连通域处理、中值滤波、剪裁、轮廓提取等操作，获得目标轮廓和形状特征，在此基础上构建每一类型号飞机目标的精细掩膜。

飞机目标精细掩膜生成步骤如下。

步骤１　灰度化。

将目标切片图像转换为灰度图像。

步骤２　阈值分割。

利用ＯＴＳＵ方法［３５］计算分割阈值，
或根据灰度直方图统计，设计双阈值分割。

步骤３　区域处理。

查询图像中４连通区域，并对每
个区域进行标记，
计算每个区域面积，设置合适的阈值滤除小尺寸非目标区域和孔洞。

步骤４　中值滤波。

使用３×３滤波窗口对图像进行中值滤波，
以去除目标边缘毛刺。

步骤５　剪裁和轮廓提取。

以目标边缘为界剪裁图像，得到目标精细掩膜，并提取轮廓分割点集。

目标精细掩膜的构建过程如图６所示。

图６　精细掩膜构建过程
Ｆｉｇ．
６　Ｃｏｎｓｔｒｕｃｔｉｏｎｐｒｏｃｅｓｓｏｆｆｉｎｅｍａｓｋ 本文使用上述方法共构建２
７类型号飞机目标的精细掩膜，包含了战斗机、轰炸机、加油机、侦察机、运输机等多个大类中的具体型号（包含“其他”型号），
每类目标型号的精细掩膜如图７所示。

为展示效果，图７中部分型号飞机
目标的尺寸和长宽比略有调整，而在ＲＨＴＣ网络训练中均采用各类型号飞机目标精细掩膜的真实尺寸和形状。

Copyright©博看网 . All Rights Reserved.
　第１
２期曹旭等：基于ＲＨＴＣ网络的飞机目标检测与精细识别
·３４４３　·
　图７　不同型号飞机目标的精细掩膜Ｆｉｇ．７　Ｆｉｎｅｍａｓｋｓｆｏｒｄｉｆｆｅｒｅｎｔｔｙｐｅｓｏｆａｉｒｃｒａｆｔｔａｒｇ
ｅｔ１．２．２　飞机目标语义分割图生成
在已经斜框标注的训练图像数据中，根据每个飞机目标标注好的型号和尺寸信息，将生成的精细掩膜自动进行旋转和缩放以贴合相应的飞机目标，从而生成该幅图像的语义分割图。

图８（ａ）展示了某幅机场图像及其斜框标注，包含了Ｂ １Ｂ、ＫＣ １３５、Ｃ １３０这３种型号的飞机目标；图８（ｂ）展示了目标精细掩膜与目标的贴合结果；图８（ｃ）展示了该图像的语义分割结果。

图８　语义分割图生成过程
Ｆｉｇ．８　Ｓｅｍａｎｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｍａｐｇ
ｅｎｅｒａｔｉｏｎｐｒｏｃｅｓｓ１．３　犚犎犜犆
ＲＨＴＣ网络，充分级联分割分支、ＲＰＮ和ｂｂｏｘ分支，
以实现预测框信息与语义信息的有效融合。

级联过程中不同分支相互促进，从而综合提升ｂｂｏｘ、掩膜和分割的预测效果。

ＲＨＴＣ为实现斜框预测功能，在掩膜分支最后一层之后引入一个新的斜框回归器，以回归目标斜框和机头正方向，并设计和增加一个新的方向损失函数，提高方向预测精度，优化整个训练过程。

１．３．１　分割级联结构
与ＨＴＣ仅利用分割分支犛提取一次语义特征不同，ＲＨＴＣ将分割分支扩展至４个，犛０、犛１、犛２、犛３，逐级精炼语义特征，并输出更准确的分割预测，具体步骤如下。

首先，训练输入经由骨干网络和ＦＰＮ提取原始特征，并输入ＲＰＮ进行建议区域的生成。

此时建议区域经过分配标签和采样后，已经具备粗糙的目标空间位置信息，将建议区域的所有正例（即目标可能存在区域）按置信分数排序，并挑选前５０％保留，如图９（ａ）所示。

然后，制作单个建议区域掩模（ｓｉｎｇｌｅｐｒｏｐｏｓａｌｍａｓｋ，ＳＰＭ）。

按训练图像８倍下采样的尺寸生成全０矩阵，以单个建议区域的坐标中心为二维高斯函数的中心，建议区域的边界作为取值边界，在全０矩阵中，从中心开始以标准二
维高斯分布向取值边界赋值，
生成ＳＰＭ。

最后，将该训练图像的全部ＳＰＭ按像素位置加和，除以像素最大值进行归一化，乘以权重因子θ并加１，生成最终的建议区域掩膜（ｐｒｏｐｏｓａｌｍａｓｋ，ＰＭ），该过程可表示为
ＰＭ＝∑狀犻＝１ＳＰＭ／ｍａｘ（∑狀
犻＝１
ＳＰＭ）θ＋１（１） ＰＭ结果如图９（
ｂ）所示，亮度可反映出ＲＰＮ认为该区域的重要程度，亮度越高说明该区域是目标的几率越大。

θ可以控制语义特征权重，本文设置为０．５。

Copyright©博看网 . All Rights Reserved.
　·３４４４　·系统工程与电子技术第４３卷
图９　利用ＲＰＮ提取的建议区域生成建议区域掩膜
Ｆｉｇ．９　ＵｓｅｐｒｏｐｏｓａｌｅｘｔｒａｃｔｅｄｂｙＲＰＮｇｅｎｅｒａｔｅＰＭ
ＰＭ制作完成后，与骨干网络和ＦＰＮ提取的原始特征相乘，得到包含目标空间信息增强后的原始特征，输入犛０进行分割预测，并提取第一次语义特征。

此时，犛０输出的语义特征，与ＲＰＮ提取的建议区域，和原始特征共同进行ＲＯＩ池化，并输入犅１生成第一次候选框预测。

同理，犅１生成的ＰＭ会与犛０输出的语义特征进行融合，作为犛１的输入。

犛１输出的语义特征将与犅１输出的预测框和原始特征一同ＲＯＩ池化，作为犅２和犕１的输入。

级联过程中语义特征不断加强，并指导其他分支更精确地预测，经过三次级联后，犛３将输出最终的分割预测，犕３将输出最终的掩膜预测，犅３将输出最终的水平框定位和分类。

图１０和图１１展示了不同阶段分割分支输出的语义特征和分割预测对比，可以看出经过逐级加强的语义特征具有更强的目标位置信息，而图１１（ａ）难以区分前景背景，到图１１（ｅ）分割预测比较精准。

图１０　不同阶段分割分支输出的对比
Ｆｉｇ．１０　Ｃｏｍｐａｒｉｓｏｎｏｆｓｅｍａｎｔｉｃｆｅａｔｕｒｅｓｏｆｓｅｇｍｅｎｔａｔｉｏｎｂｒａｎｃｈｏｕｔｐｕｔａｔｄｉｆｆｅｒｅｎｔｓｔａｇｅｓ
图１１　不同阶段分割分支输出的分割预测对比
Ｆｉｇ．１１　Ｃｏｍｐａｒｉｓｏｎｏｆｓｅｇｍｅｎｔａｔｉｏｎｐｒｅｄｉｃｔｉｏｎｏｆｓｅｇｍｅｎｔａｔｉｏｎｂｒａｎｃｈｏｕｔｐｕｔａｔｄｉｆｆｅｒｅｎｔｓｔａｇｅｓ
１．３．２　斜框回归器设计
斜框回归器利用最小矩形框拟合方法，提取网络最后一级掩膜预测犕３结果中的目标，该矩形框即为目标斜框预测，且目标斜框中包含了飞机目标的掩膜，但此时斜框中飞机目标的正方向是未知的。

众所周知，在光学遥感图像中的飞机目标具有明显的关于主轴的左右对称特性，估计目标的斜框方向可以通过寻找飞机目标主轴的方式来实现。

本文中设计了一种简单有效的飞机目标主轴提取方法，具体步骤如下。

首先，从图像的分割结果（见图１２（ａ））中按照斜框方式（见图１２（ａ）中红色矩形框）提取出每一个飞机目标掩膜切片，如图１２（ｂ）所示。

其次，假定飞机目标包括水平和垂直两个主轴方向，呈十字交叉排布，如图１２（ｃ）所示；两条主轴将切片平均划分为４份，水平主轴１（红色）将飞机目标划分为部分１和部分２，垂直主轴２（蓝色）将飞机目标划分为部分３和部分４，如图１２（ｄ）所示。

Copyright©博看网 . All Rights Reserved.
　第１
２期曹旭等：基于ＲＨＴＣ网络的飞机目标检测与精细识别
·３４４５　·
　图１２　不同方向的主轴对飞机目标掩膜的划分示意图Ｆｉｇ．１２　Ｅｘｔｒａｃｔｔｈｅｍａｉｎａｘｉｓｄｉｒｅｃｔｉｏｎｆｒｏｍｔｈｅｓｅｇｍｅ
ｎｔａｔｉｏｎｒｅｓｕｌｔ 最后，
令通过不同方向的主轴对飞机目标掩膜进行划分得到的部分１、
部分２、部分３和部分４的面积分别为犛１、犛２、犛３和犛４，
根据飞机目标物理结构的左右对称特性，定义犛１２＝｜犛１－犛２｜，犛３４＝｜犛３－犛４｜，
若犛１２＞犛３４，则可认为部分３和部分４为目标机翼两侧部分，确定垂直主轴２（蓝色）为目标的真实主轴；相反的，若犛１２＜犛３４，则认为部分１和部分２为目标机翼两侧部分，确定水平主轴１（红色）为目标的真
实主轴。

为了说明本文设计的飞机目标主轴提取方法的有效性，对本文考虑的所有２７类型号飞机目标精细掩膜均利用假定的水平和垂直主轴进行了划分。

表１列出了所有２７类型号飞机目标精细掩膜的划分结果。

由表１可知，所有飞机目标的犛３４皆远小于犛１２，验证了本文方法可以提取出正确的主轴。

表１　２７类飞机目标精细掩膜划分结果
犜犪犫犾犲１　犉犻狀犲犿犪狊犽犱犻狏犻狊犻狅狀狉犲狊狌犾狋狊狅犳２７狋狔狆犲狊狅犳犪犻狉犮狉犪犳狋狋犪狉犵
犲狋狊参数型号
Ａ ５０
Ａｎ １２Ａｎ ２４Ｂ １ＢＢ ２Ｂ ５２Ｃ ５Ｃ １７Ｃ １３０
犛１２３９８４３５２１６８７９７７２１５６１０２６１００５１６３犛３４３１１５４０２１１４１６４４
６３１３参数型号
Ｅ ３ＥＰ ３Ｆ １５Ｆ １６Ｉｌ ７６ＫＣ １０ＫＣ １３５ＭｉＧ ３１Ｐ ８Ａ犛１２８６５３１１２５６１２３４９４１３０３２４４２８７１６４犛３４２５４５４２７２２１１４
１２参数型号
ＲＣ １３５ＳＲＱ ４Ｓｕ ２４Ｓｕ ２７Ｔｕ ２２ＭＴｕ ９５Ｔｕ １６０Ｔｙｐｈｏｏｎ其他犛１２４６０２６７２０５３５３６７５２１８８６３１８９３２７２犛３４
３６
４１３７３６９６７
３７
３４
通过上述方法得到目标主轴后，进一步采用以下３个步骤判断飞机机头正方向：首先，按照如图１３（ａ）中所示的蓝色箭头方向，统计主轴（即蓝色箭头所在的线段）两侧目标轮廓线上对应的最外侧两个像素点（见图１３（ａ）中的狆犔
和狆犚像素点）与主轴之间的平均距离犱＝（犱犔＋犱犚）／２（根
据对称特性），绘制出目标凸轮廓剖面曲线，如图１３（ｂ）所示；其次，根据飞机的飞行动力学设计特点，机头通常呈现锥形，机尾则带有尾翼结构。

因此，在判断机头正方向时，只利用飞机目标凸轮廓剖面曲线的前２０％（大致对应于机
头）和后２０％（大致对应于机尾）
，以消除机翼形状、发动机
、
机载雷达等对机头正方向估计的影响；最后，定义犖犉２０表示飞机目标凸轮廓剖面曲线前２０％对应的值的和，犖犔２０表示飞机目标凸轮廓剖面曲线后２０％对应的值的和。

若犖犉２０＜犖犔２０，则判断前２０％部分对应机头；反之，犖犉２０＞
犖犔２０，
则判断后２０％部分对应机头。

对２７类型号飞机目标进行测试的结果表明，利用此方法可以准确判断出飞机机头正方向。

Copyright©博看网 . All Rights Reserved.
　·３
４４６　·系统工程与电子技术
第４３卷
图１３　利用主轴和轮廓剖面估计机头正方向
Ｆｉｇ．
１３　ＵｓｅｍａｉｎａｘｉｓａｎｄｃｏｎｖｅｘｐｒｏｆｉｌｅｔｏｅｓｔｉｍａｔｅａｉｒｃｒａｆｔｈｅａｄＰｏｓｉｔｉｖｅｄｉｒｅｃｔｉｏｎ
１．３．３　方向损失函数设计
损失函数的定义和设计通常与学习准则、优化问题等相关，
即通过最小化损失函数来求解和评估模型。

本文方法通过斜框回归器得到目标方向预测，通过设计并增加一个新的方向损失函数，用于评估预测方向与真值方向的差值，以进一步优化网络参数，提升方向预测性能。

因此，在本文中，ＲＨＴＣ网络的损失函数如下：
犔＝∑犜
狋＝１
α狋（犔狋ｂｂｏｘ＋犔狋ｍａｓｋ）＋β犔ｓｅｇ＋γ犔ｄｉｒ（２）式中：犔狋ｂｂｏｘ表示预测框损失；犔狋ｍａｓｋ表示掩膜损失；犔ｓｅｇ表示分割损失；犔ｄｉｒ表示方向损失；犜为网络总阶段数（网络通常设
置为三阶段网络，即犜＝３）；狋为当前所处阶段；α、β和γ均
表示损失权重（在本文实验中，α、β
和γ均设置为１）。

其中，预测框损失犔狋ｂｂｏｘ为
犔狋ｂｂｏｘ（犮，狉狋，犮＾狋，狉＾狋）＝犔ｃｌｓ（犮狋，犮＾狋）＋犔ｒｅｇ（狉狋，
狉＾狋）（３）预测框损失用于评估预测框位置回归和分类效果，由两部分组成，即分类损失犔ｃｌｓ和定位损失犔ｒｅｇ。

其中，犮狋表示真实标签，犮＾狋表示预测标签，狉狋表示真实定位，狉＾狋表示预测定位。

掩膜损失构成如下：
犔狋ｍａｓｋ（犿狋，犿＾狋）＝ＢＣＥ（犿狋，犿＾狋）（４）
式中：犿狋表示真实掩膜，犿＾狋表示预测掩膜。

掩膜损失采用二值交叉熵损失（ｂｉｎａｒｙｃｒｏｓｓｅｎｔｒｏｐｙｌｏｓｓ，ＢＣＥＬｏｓｓ）的方式，ＢＣＥ是交叉熵损失（ｃｒｏｓｓｅｎｔｒｏｐｙｌｏｓｓ，ＣＥＬｏｓｓ）的一个特例，在数学中广泛应用于二分类问题。

分割损失构成如下：
犔ｓｅｇ＝ＣＥ（狊，狊＾）（５）
式中：狊表示真实分割结果，狊＾表示预测分割结果。

分割损失采用ＣＥＬｏｓｓ的方式，其本质上也是实例分割中的多分类问题。

方向损失函数构成如下：
犔ｄｉｒ＝Ｓｍｏｏｔｈ犔１（θ，θ
＾）（６）式中：θ表示真实标注中的方向；θ
＾表示斜框回归后的预测方向。

方向损失本质上是一个预测数值与一个真实数值之间差异性的度量。

因此，在本文中，方向损失采用平滑犔１（Ｓｍｏｏｔｈ犔１）
损失函数的方式。

平滑犔１是犔１损失的改进，相比于犔１损失和犔２损失，平滑犔１损失更加稳定，更有利于网络训练。

在计算方向损失之前，需要规范目标预测角度θ＾与真实角度θ之间的差值衡量问题。

首先，通过预测角度θ＾、真实角度θ始终对３６０°进行取余操作（ｍｏｄ）
，以保证本文所有角度均在［０°，３６０°）区间，避免角度周期问题。

定义角度差值狓，如下所示：
狓＝［ｍｏｄ（θ＾－θ，１８０°）－１８０°］／１０，（θ
＾－θ）＞１８０°ｍｏｄ（θ＾－θ，１８０°）／１０，（θ
＾－θ）＜－１８０°（
θ＾－θ）／１０，烅烄烆其他（７）Ｓｍｏｏｔｈ犔１（狓）＝０．５狓２，｜狓｜＜１｜狓｜－０．５，烅烄烆其他（８） Ｓｍｏｏｔｈ犔１（狓） 狓＝狓，｜狓｜＜１±１，烅烄烆其他（９）平滑犔１损失的计算如式（８）所示。

当方向偏离较大
时，即狓＞１，如式（９）所示，
损失函数对狓梯度恒为正负１，而不会像犔２损失导数随损失增大而增大，从而导致在前期训练时因为损失过大出现梯度爆炸问题。

在训练后期，损
失趋于平稳且较小，
损失函数对狓的梯度随狓减小而减小，使用梯度下降法更新参数时更加平滑，而不会出现模型在稳定值附近波动的情况。

图１４（ａ）展示了θ分别取０°、９０°、１８０°、２７０°时，θ
＾由０°～３６０°取值，角度差值狓的曲线。

结合图１４（ｂ）损失函数曲线分析，当狓＞０时，损失函数梯度恒大于０，此时减小预测角度θ
＾以趋近真实角度θ，当狓＜０时，损失函数梯度恒小于０，
增大预测角度θ＾以趋近真实角度θ。

上述两种情况不存在矛盾，均满足损失函数要求，可以较好地解决角度周期回归问题。

Copyright©博看网 . All Rights Reserved.。