基于TBD策略的船舶交通流视觉图像统计方法

行船舶
，可
出船舶，但该
方法存在重 数的问题。由于
比陆
,行期、
船舶跟踪
有
〔7*。近年来,有学者将YOLOv2[8*
YOLOv3〔 9*
船舶
，解决
重 数等问题，但对于目标距离远或能见 :
等情况，这两
处理
不理想。
针对 问题，本文提出
目标检测
CeotsNct、多目标跟踪算法DeepSORT和凸包算法
中优化逆时针(couotcr clockwise，CCW )判断的单线
关克平，韩笑，蒋宇
(上海海事大学商船学院，上海201306)
摘要：为提高在天气恶劣、目标密集、目标被遮挡及其他复杂海况下船舶交通流统计的准确率，提出
一种将目标检测算法CenterNet、多目标跟踪算法DeepSORT与凸包算法中优化逆时针(counter
clockwise, CCW)判断的单线法相结合的船舶交通流视觉图像统计方法。使用Python对所选的数
合AIS
了相关
于视 提供很 时图像 ，有学者提
出
于
圈的船舶
系统。
CHEN等[5* 此
增加了核化相关 器
(keroelized correlatioo filter, KCF)算法对船舶进行
，较好地解决了
重 数的问题。ZOU
等〔6* 用深度学习 SSD ( siogic shot multiboa detector )
阶
心点生成阶段。在下采样阶段,执行全
卷积网络 DLA-4 或 Resoet-18、Hourglass-104 等对
图像进行下采样，同时提取图像特征，
4
征图。基于下采
征图生成目标中心
(
心生成阶段， 3 分支网络(热图
生成分支网络、中心移回归分支网络和目标边界
框尺 归分支网络)预测目标边界框。
热图生成 分支网络 128x128x1
)14* ,
是可 整个视
时
出 新目标，但前提是要有
目标 算
法。本文就是在DeepSORT前用CeoteNct检测出
目标，从而
于目标
目标跟踪。
DeepSORT分
马氏距离和余弦距离作为
征
内深 征的相似
标准,
过对两种相似 权平均 总体相似度来进
行最近
，通过归
级
出近期活
高的目标，以提高目标
追 鲁棒性。
2船舶交通流统计方法
h) YOLOv3-DeepSORT 输出
图 9 CenterNet-DeepSORT 算法流程
制为：已知近期某时刻历史轨迹点/、当前轨迹点B
和虚拟检测线端点C、D,若点/、B分别位于检测线
CO的两边，分
时针 时针方向分布，则线
AB与CO相交，可视作船舶正跨
，触
计数，见图3（
a）向上移动跨越检测线
h）向下移动跨越检测线
图3线段+B与CD的相对位置
2.2 TBD策略
联合目标检测的多目标跟踪策略〔⑸，也称为
CenterNet-DeepSORT算法，其流程见图9 °
h^tp ://www. smujournal. 0
hyxh@ shmtu. edu. 0
2
关克平，等：基于TBD策略的船舶交通流视觉图像统计方法
43
a) CenterNet检测输出
h) YOLOv3检测输出
图5俯视角船舶目标检测
a) CenterNet检测输出
42
2
2021 6
DOI：10.13340/j. jsmu. 2021.02. 007
上海海事大学学报 JouanaiooShanghaoMaaotomeUnoeeasoty
Vol. 42 No. 2 Jun.2021
文章编号：1672 - 9498(2021 )02-0040-05
基于TBD策略的船舶交通流视觉图像统计方法
大;当船舶过近、
、 或心重叠时
有 情况°
由不同情况下的检测结果对比可看出，YOLOi
对相似船型
存
，而CenterNet对局部特
征
°整 看，CenterNet在多场 :
比YOLOi
，有
、分割、识
，能够 船舶目标
要 【实
时需 °
3.3联调实验效果对比
文船舶
是 合船舶目 标
与多目标
，采
CenterNet
的
htp :/</w//. smojooIoal. 0
hyxh@ simto. edu. 0
2
关克平，等：基于TBD策略的船舶交通流视觉图像统计方法
41
统计方法是基于船舶
系统：1-* ( automatic
ideotificatioo system, AIS)的统计方法，如 KIM 等〔4*
估
船舶
船舶信息 (
Hy
引5 随着近年来水路运输业的发展,水上交通状况
逐渐变得复杂。交通管理人员全面掌握船舶航行动 态、及时统计船舶交通流，可降低航运事故的发生概 率,减少事故损失(目前使用最广泛的船舶交通流
收稿日期：2020-08-23 修回日期：2021-03-09
基金项目：国家0Z科学基全(51909155)
作者简介：关克平(1978—)，男，福建宁德人，副教授，硕士，研究方向为航海仿真技术，(E-mail) kpguay@ shmto. edu. c-
相结合的方法， 对船舶
。
其中：CeoterNc-负责对目标进行分类
；Deep-
SORT负责对目标
视
的目标
行
提取，
过时域关联分配
， 目标
信息 ； 包
CCW
成船舶数
。
方 乎不
资源，高、可且兼容
不同
部署。通过 3
合,
可有 善 船舶
出
、错
重 数等问题。
1 船舶检测与跟踪
1・ 1 CecterNei
CeoterNc-是无锚框类 借鉴了 CoToeTNef10*整
采用远距离摄影，这 船舶在整个视
移
（ 船舶反复跨
重复计数的
问题尤为明显，见图2h（
A c
B
B' r (
a）正常跨越检测线
h）反复跨越检测线
图2船舶跨越检测线仞 时出现的情况
基于上述情况和多种交通流统计方法源自虚拟线、目标链 ） 试 ，采 包
CCW
成船舶数 1
（
CCW
可
间的
关系，本文对该方 行
船舶
时
相 情况。该方 数触
中图分类号：U692
文献标志码：A
A visual image statistics method for ship traffic flow based on TBD strategy
, , GUAN Keping HAN Xiao JIANG Yu
(Merchant Marine College, Shanghai Maritime University, Shanghai 201306, China)
公共船舶数据 海黄浦江、吴淞口、港 航拍视
数据。
3.2效果对比
为检测目标检测算法CenterNet的可靠性，选取
部分数据
试数据， 取部分典型场 行
船舶目标 ，见图5〜8°
与YOLOv3的检测结果对比可以看出：Centes-
Nct对远距离小船舶目标
；平、俯视
且
；对
、光
见度不良
情况鲁棒 &能有捕捉船舶
局部特征,当船舶处于图片边缘、进出视觉范围时检
TBD （ tracking-hy-detection）策略，是当前业界研究
热点。本文采
TBD策
CenterNet进行
目标 ， DeepSORT进行多目标跟踪。其实
过程分2步:① 目标
每帧图像中感
目标 出来， 目标
标、分类和
可信度，这里 目标
目标数
=;② 一 目标（假设
目标数 0） 一一关起来（
说,就是在=t0 对 出最相似的一
2.1优化CCW判断的单线法
一般航道内呈现2种交通流向，即驶出流向和
驶入流向，见图2ao船舶 有:船舶(如观光船、 船)重
存在的问题 造成重复
数;由各方面因素(如
、
)引起的
征
生抖动;水
h^tp ://www. smujourvat. d
hyxh@ shmtu. efu. d
42
上海海事大学学报
42
对组合。
海
系统包含 子模块，各
子模
不同
且相互协调，整系 现
如图4所，
数模块处于目标检
模
目标 模块之后， 于这两个模块
的处理结果进行交通流计数处理。
|视频输入|
|视频输出|
|视频解码|
|帧同步处理|
去雾修正| I图气叠加I
目标检r测模块|
I目标川目标2〔 r^~i |目标m
I特征Mi特征2〔 nn |特征m
I~~ I
I
|多目标跟踪揍珂
|监控面板更新| |日志持久化|
I交通流计数模块卜
卩艮制区检测
图4智能海事监控系统工作流程
3 实验与结果分析
3.1模型数据构成
前
研究都是
COCO等数据集
行的。由于深度学习模型
依赖大量数
据，模型具有更大的适 ，需要 规模
数据支持。本文研究主要面向内河或沿海水
真实船舶，数据
络图片 要 ，辅以
多目标跟踪是对视频序列中多个感兴趣的目标
行
提取， 过时域关联分
, 目标
信息。当前
目
标
〔11*可分为2类：(1 )基于相关
目标 〔12呵，
。其代
于KCF | 目标
成
目标。算
对第 图像进行采样，由目标 形成循环矩
阵，通过
里叶
行 ，可
时间
&引入 归和核技巧,可有效提高跟
踪速度和精度。(2) DeepSORT。它是基于SORT的
络，在 损失函数，并对
行了 ， 了
权衡。
思想是:构模型时，将对象视
心而
边界
，通过关键点估
心点，并
归其他 (如边界框宽 高度)来生成预测
框。 过引用热力图构建CeoterNc-模型，根据预测
高斯分布
真实预测值。
预
标注信息从输入图像被映射 出特征图时
取整 所
标误差。Ceoteict的网络
如图1所，
过分为2个阶：下采
据和场景进行测试，结果表明：CenterNet在多场景检测中比YOLOv3更优秀;基于目标检测的多目 标跟踪算法具有良好实时性，能够有效对抗因目标抖动、密集、被遮挡等所导致的目标丢失，继而减
少船舶交通流统计时常出现的漏检、错检和重复统计等问题。
关键词：CenterNet； DeepSORT；凸包检测；船舶交通流统计；目标检测
Abstract: In order to impmo the accumcy ot ship traffic flow statistics under severe weather, dense targ6ts, o00iud6d taag6tsand oth6a0ompi3s6a0ondotoons, aeosuaiomag6statosto0sm6thod ooashop taaoo0 Cow is proposed, where the target detection algorithm CenterNet and the multi-target tracking algorithm DeepSORT are comhined with the single-line method for the counter clockwise ( CCW) judgment optimi­ zation in the convex hull algorithm. Python is adopted to test the selected data and scenes. The resuTs show that： CenterNet is hater than YOLOv3 in the multi-scene detection; the multi-target tracking algo­ rithm hased on target detection is of good real-time peNoonanco, and on Vfectivoly comhot target loss 0us— hy target jitter, density and occlusion, etc.. and then reduce the pmhlems such os missed detec­ tion, false detection, and repeated sOOsPcs in traffic Cow statistics. Key words: CenterNet; DeepSORT； convex hull detection; ship traffic flow statistics; target detection
h) YOLOv3检测输出
图6能见度较低条件下的船舶目标检测
a) CenterNet检测输出
图7复杂背景下的船舶目标检测
h) YOLOv3检测输出
a) CenterNet检测输出
|视频输入|
|帧处理卜
图8远距离小船舶目标的检测
h) YOLOv3检测输出
a) CenterNet-DeepSORT 输出
中心偏移回归 分支网络 128x128x2
512x512x3
128x128x256
图像输入 特征提取基础网络
(DLA-34)
目标边界框:
尺寸回归 J__ _
分支网络 :
128x128x2 :
512x512x3 推理结果输出
下采样阶段 中心点生成阶段
图1 CenterNet的网络框架
1.2 DeepSORT