一种目标检测方法、目标跟踪方法、装置及可读存储介质[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010373510.9
(22)申请日 2020.05.06
(66)本国优先权数据
201911028303.3 2019.10.28 CN
(71)申请人 北京大学
地址 100871 北京市海淀区颐和园路5号
(72)发明人 黄铁军　郑雅菁　余肇飞　田永鸿　
(74)专利代理机构 北京辰权知识产权代理有限
公司 11619
代理人 付婧
(51)Int.Cl.
G06T 7/20(2017.01)
G06N 3/04(2006.01)
H04N 5/14(2006.01)
(54)发明名称
一种目标检测方法、目标跟踪方法、装置及
可读存储介质
(57)摘要
本发明公开了一种目标检测方法、目标跟踪
方法、装置及可读存储介质。

目标检测方法包括：
生成被监测区域的第一脉冲阵列，将第一脉冲阵
列送入输入层，输出层的每个神经元接受输入层
的多个神经元的输入，当收到的脉冲累积达到预
设条件时产生输出脉冲，以生成第二脉冲阵列，
利用第二脉冲阵列进行目标检测；目标跟踪方法
包括确定在不同时刻的同一运动目标的步骤；目
标检测装置包括脉冲阵列生成模块、脉冲阵列输
入模块、脉冲阵列输出模块及目标信息检测模
块；目标跟踪装置包括目标检测装置和目标跟踪
模块；可读存储介质在被处理器执行时用于实现
上述的方法或装置。

本发明能够实现对高速目标
的检测与跟踪，
实时性好且成本低。

权利要求书2页 说明书7页 附图2页CN 111709967 A 2020.09.25
C N 111709967
A
1.一种目标检测方法，其特征在于，该检测方法包括：
生成被监测区域的第一脉冲阵列；
将所述第一脉冲阵列送入脉冲神经网络中的输入层，所述脉冲神经网络包括相连接的输入层和输出层，所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接；
输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列；
利用所述第二脉冲阵列进行目标检测。

2.根据权利要求1所述的目标检测方法，其特征在于，所述输入层的神经元和所述输出层的神经元均为脉冲神经元。

3.根据权利要求1或2所述的目标检测方法，其特征在于，所述当收到的脉冲累积达到预设条件时产生输出脉冲、以生成第二脉冲阵列步骤包括：
在输出层中对与所述第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理；
对与所述第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理；
当输出层的神经元的电位达到预设电位值时产生输出脉冲，以生成第二脉冲阵列。

4.根据权利要求3所述的目标检测方法，其特征在于，在对输出层神经元的电位进行衰减处理后，还包括：
在当前所述电位小于或等于下限值时，将当前所述电位设置为下限值。

5.根据权利要求1或2所述的目标检测方法，其特征在于，生成被监测区域的第一脉冲阵列的步骤包括：
采集被监测区域内的各个局部空间位置的光信号，按照时间顺序分别对各个局部空间位置的光信号强度进行累积，以得到各个局部空间位置的信号累积强度值；
在任一局部空间位置的信号累积强度值达到阈值时，输出该局部空间位置的一个脉冲信号；
然后将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列；利用所有局部空间位置对应的二值序列按照空间位置相互关系形成所述原始脉冲阵列；
去除所述原始脉冲阵列中的噪声，以生成所述第一脉冲阵列。

6.根据权利要求1或2所述的目标检测方法，其特征在于，生成被监测区域的第一脉冲阵列的步骤包括：
通过动态视觉传感器获取所述被监测区域的地址事件表示信号，然后将所述地址事件表示信号转化为所述第一脉冲阵列。

7.一种目标跟踪方法，其特征在于，包括权利要求1-6中任一权利要求所述的目标检测方法；
该跟踪方法还包括：在检测出目标后，将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配，以将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。

8.一种目标检测装置，其特征在于，该检测装置包括：
脉冲阵列生成模块，用于生成被监测区域的第一脉冲阵列；
脉冲阵列输入模块，用于将所述第一脉冲阵列送入脉冲神经网络中的输入层，所述脉冲神经网络包括相连接的输入层和输出层，所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接；
脉冲阵列输出模块，用于在输出层的每个神经元接受输入层的多个神经元的输入后、当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列；
目标信息检测模块，用于利用所述第二脉冲阵列进行目标检测。

9.一种目标跟踪装置，其特征在于，该跟踪装置包括权利要求8中所述的目标检测装置；该目标跟踪装置还包括：
运动目标跟踪模块，用于在检测出目标后将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配，以及用于将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现如权利要求1-6中任一权利要求所述的目标检测方法，或者实现如权利要求7所述的目标跟踪方法，或者实现如权利要求8所述的目标检测装置，或者实现如权利要求9所述的目标跟踪装置。

一种目标检测方法、目标跟踪方法、装置及可读存储介质
技术领域
[0001]本发明涉及目标检测与跟踪技术领域，更为具体来说，本发明为一种目标检测方法、目标跟踪方法、装置及可读存储介质。

背景技术
[0002]传统的目标检测跟踪方法一般使用以帧为单位的视频。

但是这种基于各帧视频的方案丢失了帧间精细的时域信息，效果往往不好。

如果为提高检测跟踪效果而简单地提高帧率，则会导致数据量和计算量的线性增长，导致难以实现高速目标的检测与跟踪等目的，而且还存在实时性差、硬件成本高等问题。

[0003]因此，如何能够有效地实现对高速目标的检测、跟踪，成为了本领域技术人员亟待解决的技术问题和始终研究的重点。

发明内容
[0004]为解决现有目标检测跟踪方法难以实现对高速目标进行检测与跟踪等问题，本发明创新地提供了一种目标检测方法、目标跟踪方法、装置及可读存储介质，能够基于时空脉冲阵列信号对高速运动物体进行有效检测与跟踪，而且能够达到检测与跟踪速度较快、实时性较好、有效降低硬件成本等目的。

[0005]为实现上述的技术目的，本发明公开了一种目标检测方法，该检测方法包括：生成被监测区域的第一脉冲阵列；将所述第一脉冲阵列送入脉冲神经网络中的输入层，所述脉冲神经网络包括相连接的输入层和输出层，所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接；输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列；利用所述第二脉冲阵列进行目标检测。

[0006]进一步地，所述输入层的神经元和所述输出层的神经元均为脉冲神经元。

[0007]进一步地，所述当收到的脉冲累积达到预设条件时产生输出脉冲、以生成第二脉冲阵列步骤包括：在输出层中对与所述第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理；对与所述第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理；当输出层的神经元的电位达到预设电位值时产生输出脉冲，以生成第二脉冲阵列。

[0008]进一步地，在对输出层神经元的电位进行衰减处理后，还包括：在当前所述电位小于或等于下限值时，将当前所述电位设置为下限值。

[0009]进一步地，生成被监测区域的第一脉冲阵列的步骤包括：采集被监测区域内的各个局部空间位置的光信号，按照时间顺序分别对各个局部空间位置的光信号强度进行累积，以得到各个局部空间位置的信号累积强度值；在任一局部空间位置的信号累积强度值达到阈值时，输出该局部空间位置的一个脉冲信号；然后将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列；利用所有局部空间位置对应的二值序列按照空间位置
相互关系形成所述原始脉冲阵列；去除所述原始脉冲阵列中的噪声，以生成所述第一脉冲阵列。

[0010]进一步地，生成被监测区域的第一脉冲阵列的步骤包括：
[0011]通过动态视觉传感器获取所述被监测区域的地址事件表示信号，然后将所述地址事件表示信号转化为所述第一脉冲阵列。

[0012]为实现上述技术目的，本发明公开了一种目标跟踪方法，该跟踪方法包括本发明任一实施例所述的目标检测方法；该跟踪方法还包括：在检测出目标后，将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配，以将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。

[0013]为实现上述技术目的，本发明公开了一种目标检测装置，该检测装置包括：脉冲阵列生成模块，用于生成被监测区域的第一脉冲阵列；脉冲阵列输入模块，用于将所述第一脉冲阵列送入脉冲神经网络中的输入层，所述脉冲神经网络包括相连接的输入层和输出层，所述输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接；脉冲阵列输出模块，用于在输出层的每个神经元接受输入层的多个神经元的输入后、当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列；目标信息检测模块，用于利用所述第二脉冲阵列进行目标检测。

[0014]为实现上述技术目的，本发明公开了一种目标跟踪装置，该跟踪装置包括本发明任一实施例所述的目标检测装置；该目标跟踪装置还包括运动目标跟踪模块。

运动目标跟踪模块，用于在检测出目标后将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配，以及用于将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标。

[0015]为实现上述技术目的，本发明公开了一种可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行，以实现本发明任一实施例所述的目标检测方法，或实现本发明任一实施例所述的目标跟踪方法，或实现本发明任一实施例所述的目标检测装置，或实现本发明任一实施例所述的目标跟踪装置。

[0016]本发明的有益效果为：与现有目标检测追踪方法相比，本发明创新地以能够表征物体时空信息的脉冲阵列作为目标检测基础，从而能够准确、快速地实现对高速目标进行检测与跟踪，有效地提升了检测与跟踪的实时性、极大地降低了硬件投入成本，所以本发明能够彻底解决现有技术存在的至少一个问题。

本发明能够基于脉冲神经网络精细地刻画高速运动物体的脉冲阵列详细的变化过程，提供了一种兼具时间信息和空间信息的高速运动目标的在线检测与跟踪方法，所以本发明具有准确性高、适用范围广等突出优点。

附图说明
[0017]图1为本发明实施例的目标检测方法的工作原理示意图。

[0018]图2为本发明实施例的目标检测与跟踪装置的组成示意图。

[0019]图3为本发明实施例的输入层与输出层的局部连接示意图。

具体实施方式
[0020]下面结合说明书附图对本发明各实施例所提供的一种目标检测方法、目标跟踪方
法、装置及可读存储介质进行详细的解释和说明。

[0021]实施例一：
[0022]如图1所示，本实施例提供了一种目标检测方法，该方法是一种高速视觉对象检测方法，可对高速运动目标进行有效地检测。

该检测方法包括但不限于下述的步骤。

[0023]首先，本实施例创新地通过脉冲阵列表示视觉可见图像，实现方式为生成被监测区域的第一脉冲阵列。

本实施例至少可以采用下述两种方式中的一种得到第一脉冲阵列。

[0024]方式一：可以通过仿视网膜芯片产生多个原始脉冲阵列，利用具有仿视网膜芯片的高频率视网膜相机获得具有时空特性的原始脉冲阵列。

生成被监测区域的原始脉冲阵列的步骤包括但不限于如下的步骤：采集被监测区域内的各个局部空间位置的光信号，光信号用于表示被监测区域的时空信息，按照时间顺序分别对各个局部空间位置的光信号强度进行累积，以得到各个局部空间位置的信号累积强度值；并在任一局部空间位置的信号累积强度值达到设定阈值时，输出该局部空间位置的一个脉冲信号，然后重新进行光信号强度累积；本实施例具体应用时可通过滤波器对信号累积强度值进行变换，并判断变换后的结果是否达到其对应的设定阈值，一旦某个局部空间位置的信号累积强度值达到或超过预设的发放阈值时输出一个脉冲信号；然后可将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列，得到表达局部空间位置信号及其变化过程的脉冲序列，使本发明能够最大程度地利用时序信息；再利用所有局部空间位置对应的二值序列按照空间位置相互关系形成原始脉冲阵列，从而使本发明还能够利用空间信息，即本发明实现了将所有局部空间位置的脉冲序列按照空间位置相互关系排列成三维时空脉冲序列阵列(可简称脉冲阵列)，作为对被监控区域的动态时空信号表达。

由于脉冲阵列中的脉冲是通过光强累计产生的原理，除了运动物体(目标)外的背景也会按照一定频率产生脉冲，为了解决这个问题，本实施例在输入层中去除原始脉冲阵列中的背景噪声，以得到无背景产生的脉冲的第一脉冲阵列，本实施例可以通过设置于输入层中的时域滤波器将背景中的冗余的噪声去除，保留运动区域的脉冲阵列并输出。

因此，本实施例能够通过去除原始脉冲阵列中的噪声的方式生成第一脉冲阵列。

[0025]一个二维原始脉冲阵列示例如下。

其中，“1”表示该时刻在对应位置有运动目标产生的脉冲信号，“0”表示该时刻在对应位置无脉冲信号，而倾斜状“1”可表示静止/背景区域产生的脉冲信号。

[0026]
[0027]对上述示例的二维原始脉冲阵列经背景噪声去除后输出的第一脉冲阵列示意如下。

[0028]
[0029]方式二：生成被监测区域的第一脉冲阵列的步骤包括：通过动态视觉传感器(DVS，Dynamic Vision Sensor)获取被监测区域的地址事件表示(AER，Address Event Representation)信号，然后再将地址事件表示信号转化为第一脉冲阵列。

动态视觉传感器是模仿视网膜外周细胞对亮度变化敏感机理的视觉传感器，以通过判断亮度变化是否超过一定阈值产生On事件或者Off事件，其中，On事件表示阈值变化超过一定正值，Off事件表示低于一定的负值。

DVS产生的脉冲以(x,y,t,p)四元组的地址事件表示形式，其中，(x,y)是脉冲发放的二维空间位置，t可为此脉冲事件产生的时间戳，p表示事件极性(On或者OFF，分别用“1”和“-1”表示)。

在使用DVS产生的脉冲事件时，本实施例可将地址表示事件按照固定时间间隔或固定事件长度或脉冲事件存活时长的方式转换为脉冲阵列平面，再按照后续的步骤进行运动物体的检测与跟踪。

[0030]其次，将第一脉冲阵列送入脉冲神经网络中的输入层，脉冲神经网络包括相连接的输入层和输出层，如图3所示，本发明一些较佳的实施例中，输入层与输出层之间采用局部连接的方式，即输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内(比如8邻域)的神经元相连接，本实施例中的输入层的神经元和输出层的神经元均优选为脉冲神经元。

[0031]再次，输出层的每个神经元接受输入层的多个神经元的输入，当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列。

具体在本实施例中，可通过如下的方式实现：在输出层中对与第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理，本实施例中的输出层采用漏电积分发放(LIF，Leaky Integrate-and-Fire)脉冲神经元产生脉冲，LIF脉冲神经元可在每个时间步做一个漏电衰减的处理，实现对第一脉冲阵列中的各电位对应的输出层神经元的电位进行衰减，本实施例在对输出层神经元的电位进行衰减处理后，还包括：在当前电位小于或等于下限值时，将当前电位设置为下限值，作为一种进一步改进的方案，本发明能够防止无发放脉冲对应区域衰减到很小的值，以能够避免运动物体移动到该区域时很难使其达到阈值而无法产生脉冲的问题，具体下限值可根据实际需要进行设定，例如下限值为-3；然后对与第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理，本实施例能够将输入的兴奋型动作电位累加至后突触动作电位值(PSP，postsynaptic potential)，以通过该方式实现对输出层神经元的电位增加；当输出层的神经元的电位达到预设电位值时产生输出脉冲，以生成第二脉冲阵列。

本发明实施例中，预设电位值可以为2，换言之，在PSP值大于等于2时令输出层产生脉冲信号，即输出第二脉冲阵列，以及在输出第二脉冲阵列后令输出层产生有第二脉冲阵列中脉冲信号的各神经元的电位复位，从而继续接收输入层的多个神经元的输入而使相应的电位增加，本实施例可将输出层各神经元的电位复位至0。

[0032]如果输出层各神经元会在每个时间步衰减“1”，输入层输出的兴奋型动作电位会给对应的输出层神经元的电位增加“1”，则上述第一脉冲阵列对应的输出层上的后突触动
作电位PSP示意如下。

[0033]
[0034]如果后突触动作电位值达到设定的阈值2，则根据上述PSP计算结果，大于等于阈值2的部分可输出，则输出层输出的第二脉冲阵列如下所示。

[0035]
[0036]最后，利用第二脉冲阵列进行目标检测。

如图1所示，本实施例创新在t时刻确定值为1的脉冲，在t+1时刻利用第二脉冲阵列中多个脉冲相连通的区域检测出目标P。

如上示出的第二脉冲阵列，输出层输出的第二脉冲阵列中运动物体对应的区域对应着脉冲发放区域。

在第二脉冲阵列中，本发明实施例能够通过脉冲发放位置8邻域联通方式判断阵列中有多少个连通区域，并且以连通区域的位置信息表示运动物体的位置信息，位置信息通过四元组表示，即(x,y,w,h)，(x,y)表示运动物体的左下角坐标，以矩阵左下角为原点坐标(0, 0)，w表示物体所在区域的宽，h表示物体所在区域的高；则在上述示意的第二脉冲阵列的位置信息为(0,0,5,5)，宽和高均为5。

在对目标的其他信息作进一步识别时，本发明包括但不限于使用深度卷积网络、传统机器学习方法支持向量机等对物体进行模式识别。

[0037]实施例二：
[0038]在实施例一的基础上，本实施例能够在利用第二脉冲阵列中多个脉冲相连通的区域检测出目标后，可以对高速运动目标进行跟踪。

具体地，本实施例的一种目标跟踪方法包括实施例一中的目标检测方法，检测方案的具体过程如实施例一所示、本实施例不再赘述；在目标为高速运动目标时，本实施例可以对其进行跟踪。

在遇到同时有多个运动物体时，本发明能够区分这些不同物体的运动轨迹，具体可通过如下方式实现，本实施例中的跟踪方法还包括：在检测出目标后，将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配，以将匹配度最高且处于不同时刻的两个目标(运动物体)作为被跟踪的同一运动目标。

所以本发明能够提供一种高速视觉对象追踪方法。

在使用二分匹配确定最大匹配度的过程中，可包括但不限于使用贪心算法、匈牙利算法等；而在确定物体位置距离的方式包括但不限于使用曼哈顿距离、欧几里得距离等。

[0039]实施例三：
[0040]如图2所示，与实施例一基于相同的发明构思，本实施例具体提供了一种目标检测装置，该检测装置与实施例一的检测方法对应、是一种高速视觉对象检测装置，可对高速运动目标进行有效地检测；该检测装置包括但不限于脉冲阵列生成模块、脉冲阵列输入模块、脉冲阵列输出模块以及目标信息检测模块。

[0041]脉冲阵列生成模块，能够用于生成被监测区域的第一脉冲阵列。

脉冲阵列生成模块可以集成在仿视网膜芯片上。

更为具体来说，脉冲阵列生成模块可包括局部信号累积子模块、脉冲信号输出子模块及脉冲阵列形成子模块。

局部信号累积子模块用于在采集被监测区域内的各个局部空间位置的光信号之后按照时间顺序分别对各个局部空间位置的光信号强度进行累积，以得到各个局部空间位置的信号累积强度值；脉冲信号输出子模块用于在任一局部空间位置的信号累积强度值达到阈值时输出该局部空间位置的一个脉冲信号；脉冲阵列形成子模块用于将各个局部空间位置对应的脉冲信号按照时间顺序排列成二值序列，并用于利用所有局部空间位置对应的二值序列按照空间位置相互关系形成原始脉冲阵列。

作为一种较佳的技术方案，本实施例通过背景噪声去除模块去掉原始脉冲阵列中的背景噪声以得到无背景噪声产生的脉冲的第一脉冲阵列。

[0042]脉冲阵列输入模块，用于将第一脉冲阵列送入脉冲神经网络中的输入层，如图3所示，脉冲神经网络包括相连接的输入层和输出层，输入层的每个神经元分别与输出层中对应位置及其周边设定邻域范围内的神经元相连接，即输入层与输出层之间优选局部连接方式，具体实现时可在输入层与输出层之间设置有局部连接层。

[0043]脉冲阵列输出模块，用于在输出层的每个神经元接受输入层的多个神经元的输入后、当收到的脉冲累积达到预设条件时产生输出脉冲，以生成第二脉冲阵列。

本发明实施例的脉冲阵列输出模块，该模块可用于：在输出层中对与第一脉冲阵列中的各电位对应的输出层的神经元的电位进行衰减处理，对与第一脉冲阵列中的兴奋型动作电位对应的输出层的神经元的电位进行增加处理，当输出层的神经元的电位达到预设电位值时产生输出脉冲，以生成第二脉冲阵列；以及用于在输出第二脉冲阵列后令输出层输出有第二脉冲阵列中的脉冲的神经元复位。

脉冲阵列输出模块可包括电位下限设置子模块，电位下限设置子模块用于在被衰减处理后的输出层神经元的电位小于或等于下限值时将该电位设置为预设的下限值，
[0044]目标信息检测模块，用于利用得到的第二脉冲阵列进行目标检测，可通过在神经元模型中设置物体检测层实现。

本发明在具体应用时，用于目标检测的物体检测层中采用的脉冲神经元包括但不限于LIF(Leaky Integrate-and-Fire)脉冲神经元模型以及脉冲响应模型(Spike Response Model)等。

[0045]实施例四：
[0046]本实施例与实施例二基于相同的发明构思，在实施例三的基础上，本实施例能够在目标信息检测模块检测出目标后对目标进行跟踪。

具体地，本实施例的一种目标跟踪装置，包括实施例三中的目标检测装置。

特别在目标为高速运动目标时，本实施例能够对高速运动目标进行跟踪，该目标跟踪装置还包括运动目标跟踪模块。

运动目标跟踪模块，可通过在神经元模型中设置物体跟踪层实现。

且运动目标跟踪模块用于在检测出目标后将当前时刻检测出的所有目标与上一时刻检测出的所有目标进行二分匹配，并用于将匹配度最高且处于不同时刻的两个目标作为被跟踪的同一运动目标(物体)，本实施例还能够在物体关联完成后对每个目标跟踪模块(即跟踪器)进行更新，并可对每个目标跟踪模块跟踪的物体进行后续的识别。

所以本实施例能够提供一种高速视觉对象追踪装置。

[0047]实施例五：
[0048]本实施例能够提供一种计算机可读存储介质，可读存储介质上存储有计算机程。