一种基于深度学习和雷达检测的无人机救灾系统及方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202111359934.0
(22)申请日 2021.11.17
(71)申请人 杭州电子科技大学
地址 310018 浙江省杭州市下沙高教园区2
号大街
(72)发明人 赵金铎　李文钧　岳克强　李懿霖　
李瑞雪　梁嘉铠　甘智高　许雨婷　
(74)专利代理机构 杭州浙科专利事务所(普通
合伙) 33213
代理人 杨小凡
(51)Int.Cl.
G05D 1/08(2006.01)
G05D 1/10(2006.01)
(54)发明名称
一种基于深度学习和雷达检测的无人机救
灾系统及方法
(57)摘要
本发明公开了一种基于深度学习和雷达检
测的无人机救灾系统及方法，使用微波雷达发射
一定频率的电磁波信号并使用接收天线来接收
人体回波信号；采集人体处于多种不同环境下的
雷达回波信号，增加信号波形的多样性；将接收
到的回波信号进行选取与处理得到所需的信号
波形；将采集到的有效信号波段按照合适的比例
分成训练集和测试集；将所有训练集的数据输入
到卷积神经网络中，并在云端服务器上完成模型
训练，之后使用训练好的模型来检测是否有人员
被困；使用无人机来搭载测试好的雷达检测装置
来做到实时检测环境中的活体存在信息；检测装
置利用WiFi模块把采集到的环境回波信号传送
至服务器，
并得到活体检测结果。

权利要求书2页 说明书6页 附图2页CN 114063628 A 2022.02.18
C N 114063628
A
1.一种基于深度学习和雷达检测的无人机救灾系统，包括：雷达检测装置、处理模块、神经网络模型和无人机，其特征在于所述无人机搭载雷达检测装置，获取人体回波信号，经处理模块获取有效信号波段，并输入训练好的神经网络模型进行人员被困的检测，将检测结果反馈无人机，指导无人机调整搜救轨迹。

2.根据权利要求1所述的一种基于深度学习和雷达检测的无人机救灾系统，其特征在于所述雷达检测装置的发射信号为步进信号：
表示步进频雷达的起始频其中，N表示信号的工作频率的个数，Re表示取函数的虚部，f
率，Δf表示频率间隔，t表示时间；
雷达检测装置的回波信号为：
其中，τ＝2R/c表示回波信号的延迟时间，R表示雷达与被测物体之间的距离，c表示光传播的速度。

3.根据权利要求1所述的一种基于深度学习和雷达检测的无人机救灾系统，其特征在于所述处理模块，将回波信号与发射信号进行正交解调，然后进行滤波处理，将信号的高频分量滤除使其固定在基带，之后得到基带回波信号：
表其中，N表示信号的工作频率的个数，j为虚数的单位，τ表示回波信号的延迟时间，f
示步进频雷达的起始频率，Δf表示频率间隔，t表示时间。

4.根据权利要求1所述的一种基于深度学习和雷达检测的无人机救灾系统，其特征在于所述无人机检测到生命体征活动后，悬停至该位置上方并报警，以此来告诉救援队被困人员的具体位置，无人机在轨迹上运行的过程中会进行短暂悬停。

5.根据权利要求1所述的一种基于深度学习和雷达检测的无人机救灾系统，其特征在于所述无人机根据具有生命体征活动的反馈信息，记录并预测搜救路径，根据检测到生命体征活动位置的连续性，单位区域生命体征活动数量的多少，调整路径进行搜救。

6.根据权利要求1所述的一种基于深度学习和雷达检测的无人机救灾系统，其特征在于所述神经网络的分类标签包括静止、生命体征活动，生命体征活动包括身体移动、身体局部活动和人体微小动作，无人机获取的生命体征活动为身体移动时，拉近无人机与人体的距离，进一步检测身体局部活动的类别，通过肢体活动的分类判断人体的状态，作为后续救援的参考信息；无人机获取的生命体征活动为人体微小动作时，通过获取人体微小动作的细分类别，判断人体姿态，作为后续救援的参考信息。

7.一种根据权利要求1所述的基于深度学习和雷达检测的无人机救灾系统的救灾方法，其特征在于包括如下步骤：
S1，通过雷达检测装置发射电磁波信号，采集人体处于不同环境下的回波信号；
S2，根据回波信号，得到有效信号波段；
S3，将有效信号波段按比例分成训练集和测试集；
S4，将训练集输入神经网络模型，并完成模型训练；
S5，通过无人机搭载雷达检测装置；
S6，雷达检测装置将采集到的环境回波信号传送至训练好的神经网络模型，并得到人体存活检测结果；
S7，无人机根据反馈的检测结果，实时调整搜救轨迹。

8.根据权利要求7所述的救灾方法，其特征在于所述S1中，雷达检测装置发射电磁波，照射到处于墙体废墟下不同动作的人体，采集人体回波信号，从回波信号的多普勒频率信息中，提取人体特征信息。

9.根据权利要求7所述的救灾方法，其特征在于所述S3中，先将采集到的人体回波信号进行有效波段的提取，再将有效的信号波形，按照相同的时间间隔进行随机分割，然后将分割好的信号波段进行随机选取，最后把选取好的信号波形作为深度学习的数据集，分为训练数据集和测试数据集。

10.根据权利要求7所述的救灾方法，其特征在于所述S4中，将训练集输入卷积神经网络，使用训练集中的波形数据对模型进行训练，并得出相应的损失函数及各权重指标的大小，再使用测试数据集，对训练好的模型进行模型测试，得出测试集的损失函数及模型准确率，然后根据测试集的测试效果，对模型进行调整与优化，最后得到训练好的。

一种基于深度学习和雷达检测的无人机救灾系统及方法
技术领域
[0001]本发明涉及穿墙雷达人体检测领域和无人机技术领域，尤其是涉及一种基于深度学习和雷达检测的无人机救灾系统及方法。

背景技术
[0002]现如今，无人机在灾后的救援工作中扮演着越来越重要的角色，开始应用于各种复杂的环境中，并且有着传统救援手段所无法替代的作用。

虽然现在有了一些救灾无人机，并且已经投放于灾后的救援工作中了，但这些无人机大多是以摄像头、红外热释电等设备来检测被困人员位置的，这就会产生一些局限性。

当遇到一些高温、寒冷或是地形、地势复杂的环境时，这些救援设备的搜救效率就会大大降低，同时，复杂多变的环境会影响这些设备的检测结果。

[0003]综合以上考虑，传统的无人机搜救设备对环境的要求较为苛刻，在一些特殊环境中难以达到预想的效果，很难适应于复杂多变的环境。

发明内容
[0004]为解决现有技术的不足，通过微波雷达进行人体的活体检测，加入深度学习的算法，能够穿墙人体探测，快速、准确的识别出被困人员的位置，不受复杂的地形、地势以及多变的自然环境的影响，实现精准救援，提高搜救人员的救援效率的目的，本发明采用如下的技术方案：
[0005]一种基于深度学习和雷达检测的无人机救灾系统，包括：雷达检测装置、处理模块、神经网络模型和无人机，无人机搭载雷达检测装置，获取人体回波信号，经处理模块获取有效信号波段，并输入架设在云端服务器上训练好的卷积神经网络模型进行人员被困的检测，将检测结果反馈无人机，指导无人机调整搜救轨迹。

[0006]进一步地，雷达检测装置的发射信号为步进信号：
[0007]
[0008]其中，N表示信号的工作频率的个数，Re表示取函数的虚部，f
表示步进频雷达的
起始频率，Δf表示频率间隔，t表示时间；
[0009]雷达检测装置的回波信号为：
[0010]
[0011]其中，τ＝2R/c表示回波信号的延迟时间，R表示雷达与被测物体之间的距离，c表示光传播的速度。

[0012]进一步地，处理模块，当雷达检测装置发射的电磁波遇到静止不动的物体时，其反射波的频率是不发生改变的，若物体发生微弱的运动或产生微小的动作时，雷达检测装置所接收到的物体回波信号的频率都会发生改变，因此，为了得到有用的信号波段，需要将回
波信号与发射信号进行正交解调，然后进行滤波处理，将信号的高频分量滤除使其固定在基带，之后得到基带I,Q两路回波信号：
[0013]
[0014]其中，N表示信号的工作频率的个数，j为虚数的单位，τ表示回波信号的延迟时间，f
表示步进频雷达的起始频率，Δf表示频率间隔，t表示时间。

[0015]进一步地，无人机检测到生命体征活动后，悬停至该位置上方并报警，以此来告诉救援队被困人员的具体位置，若没有检测到有人员被困，那么无人机将会按照预先设定好的轨迹继续运动，无人机在预设轨迹上运行的过程中会进行短暂悬停，此时安装在无人机下方的微波雷达模块会不断地发射电磁波信号，同时，接收天线会对回波信号进行实时的接收，由此来判断无人机下方的掩体物中是否有人员被困。

[0016]进一步地，无人机根据具有生命体征活动的反馈信息，记录并预测搜救路径，根据检测到生命体征活动位置的连续性，单位区域生命体征活动数量的多少，调整路径进行搜救，例如无人机根据之前搜救位置呈之字形或环形等，说明这里受灾前可能是一个楼梯或走廊，则无人机沿之字形或环形继续进行正向或逆向的移动；无人机检测到单位区域在递增或递减的，说明受灾时可能有很多人沿着这条路径在奔逃，则沿递增最大的区域方向进行正向或逆向的移动。

[0017]进一步地，神经网络的分类标签包括静止、生命体征活动，生命体征活动包括：身体移动、肢体活动，以及胸腔起伏、面部活动、头部活动和指尖活动等人体微小动作，生命体征活动包括身体移动、身体局部活动和人体微小动作，无人机通常在距离较远处进行活动，首先获取的生命体征活动通常为身体移动，当获取到该生命体征活动时，拉近无人机与人体的距离，进一步检测身体局部活动的类别，通过肢体活动的分类判断人体的状态，例如手部带动身体移动，腿部未移动等，根据各局部活动的位置，一定程度上还能判断人体的受伤程度，例如通过活动的肢体与躯干，躯干与头部的相对位置判断人体是否遭受骨折等床上，以此作为后续救援的参考信息；无人机获取的生命体征活动为人体微小动作时，通常表明人体存活但受到一定的创伤，例如，胸腔起伏时，表明人体有生命迹象，通过获取人体微小动作的细分类别，判断人体姿态，作为后续救援的参考信息，例如检测到脚腕活动、胸腔起伏、面部活动，则能判断人体是躺着还是坐立，如果人体被掩埋，则能判断出头部朝上或朝下。

[0018]一种基于深度学习和雷达检测的无人机救灾方法，包括如下步骤：
[0019]S1，通过雷达检测装置发射电磁波信号，采集人体处于不同环境下的回波信号，增加信号波形的多样性；
[0020]S2，根据回波信号进行选取与处理，得到有效信号波段；
[0021]S3，将有效信号波段按比例分成训练集和测试集；
[0022]S4，将训练集输入神经网络模型，并完成模型训练，使用训练好的模型检测回波信号，判断是否有人员被困；
[0023]S5，通过无人机搭载雷达检测装置，以此来做到实时检测环境中的活体存在信息；[0024]S6，雷达检测装置利用WiFi模块，将采集到的环境回波信号传送至云端服务器上训练好的神经网络模型，并得到人体存活检测结果；
[0025]S7，无人机根据反馈的检测结果，实时调整搜救轨迹。

[0026]进一步地，S1中的雷达检测装置发射电磁波，照射到处于墙体废墟下不同动作的人体，采集人体回波信号，从回波信号的多普勒频率信息中，提取人体特征信息，以此来增加接收到的人体回波信号的多样性，可实现对人体目标的探测与识别。

[0027]进一步地，S3中先将采集到的人体回波信号进行有效波段的提取，再将有效的信号波形，按照相同的时间间隔进行随机分割，然后将分割好的信号波段进行随机选取，最后把所有选取好的信号波形作为深度学习的数据集，并按照7：3的比例将数据集分为训练数据集和测试数据集。

[0028]进一步地，S4中将训练集输入卷积神经网络，使用训练集中的波形数据对模型进行训练，并得出相应的损失函数及各权重指标的大小，再使用测试数据集，对训练好的模型进行模型测试，得出测试集的损失函数及模型准确率的大小，然后根据测试集的测试效果，对模型进行调整与优化，最后得到训练好的一个准确率较高的神经网络模型。

在之后进行的人体的活体检测过程中，都是把实时采集的环境回波信号输入到该模型中进行测试，并将最终的检测结果进行输出。

[0029]本发明的优势和有益效果在于：
[0030]1、采用了微波雷达来实现对掩埋人员的穿墙活体检测，避免像摄像头或是红外热释电那样受制于环境的影响。

使用微波雷达来探测可以不惧复杂环境与恶劣天气的影响，更好的实现多环境的人体活体探测。

[0031]2、采用深度学习的相关算法，来对雷达模块接收到的回波信号进行处理以及模型的训练，提高了检测设备对人体活体信号识别的准确性。

[0032]3、采用无人机与人体检测设备相结合的方式来进行被困人员的搜救工作，可以不受复杂的地形、地势的影响，随意的穿行在灾后的场景中进行工作。

既降低了搜救人员的救援难度，也提高了救援人员的搜救效率。

附图说明
[0033]图1是本发明系统运行的流程图。

[0034]图2是本发明中对雷达回波信号做信号处理的原理图。

[0035]图3是本发明中监测设备检测人体是否存在的流程图。

具体实施方式
[0036]以下结合附图对本发明的具体实施方式进行详细说明。

应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

[0037]如图1所示，一种基于深度学习和雷达检测的无人机救灾系统及方法，系统包括：微波雷达、处理模块、云端服务器、无人机，无人机搭载微波雷达，云端服务器上训练卷积神经网络，将微波雷达获取的回波信号，通过处理模块进行滤波，选取有效的信号波段，再通过训练好的卷积神经网络识别是否有人员被困，无人机根据识别的反馈信息，实时调整运动轨迹。

[0038]其方法包括以下步骤：
[0039] 1.使用微波雷达的发射天线来发射一定频率的电磁波信号，并使用接收天线来接
收人体回波信号；采集人体处于多种不同环境下的雷达回波信号，增加信号波形的多样性；[0040] 2.把接收到的回波信号进行选取与处理得到所需的信号波段；
[0041] 3.将采集到的有效信号波段按照合适的比例分成训练集和测试集；
[0042] 4.将所有训练集的数据输入到卷积神经网络中，并且在云端服务器上完成模型训练，之后使用训练好的模型来检测是否有人员被困；
[0043] 5.使用无人机来搭载测试好的雷达检测装置，以此来做到实时检测环境中的活体存在信息；
[0044] 6.检测装置利用WiFi模块把采集到的环境回波信号传送至服务器，并得到活体检测结果；
[0045]7.无人机根据反馈信息实时调整运动轨迹；
[0046]在本实施例中，关于使用微波雷达的发射天线来发射电磁波信号，使用接收天线来接收人体回波信号，是指雷达发射机产生符合要求的雷达波形(Radar Waveform)，然后经过馈线和收发开关再由发射天线辐射出去，发射的电磁波信号遇到人体目标后，一部分电磁波发生反射，经接收天线和收发开关后再由接收机进行接收。

雷达回波人体特征提取是雷达人体探测的关键环节，在人体探测时，雷达发射电磁波照射到人体，从雷达回波的多普勒频率信息中提取人体特征信息，则可实现对人体目标的探测与识别。

[0047]在本实施例中，关于通过采集人体处于多种不同环境下的雷达回波信号，来增加信号波形的多样性，是指根据实际应用的环境来搭建模拟出多种不同的灾后场景，并使用微波雷达来采集处于墙体废墟下的人体回波信号，同时人体在墙体下要做出不同的动作或者进行不同幅度大小的活动，来模拟被困人员在废墟下的各种动作，以此来增加接收到的人体回波信号的多样性。

回波信号的波形采集不是一成不变的，会根据实际情况不断地增加新的波形数据，并随着之后应用场景的增多而不断壮大。

[0048]在本实施例中，关于把接收到的回波信号进行选取与处理得到所需的信号波形，是指当雷达发射的电磁波遇到静止不动的物体时，其反射波的频率是不发生改变的。

若物体发生微弱的运动或产生微小的动作时(如人的身体进行移动，或是人的手指、胳膊的活动等)，雷达所接收到的物体回波信号的频率都会发生改变。

因此，为了得到有用的信号波段，需要将雷达回波信号进行解调处理然并对信号进行滤波，波形处理完后将有用波段进行选取，并将此信号波段作为所需信号波形，之后再进行进一步的操作。

[0049]雷达回波人体特征提取的目的，主要就是从雷达回波中提取这些丰富的多普勒信息，并以这些特征为参考，达到人体探测和人体状态识别的目的。

微波雷达模块的发射信号为步进频信号，设步进频信号为x(t)，则雷达的发射信号的公式如下：
[0050]
[0051]其中x(t)表示雷达的发射信号，N表示信号的工作频率的个数，Re表示取函数的虚表示步进频雷达的起始频率，Δf表示频率间隔，t表示时间。

部，f
[0052]设雷达回波信号的延迟时间为τ，则回波信号的公式如下：
[0053]
[0054]其中s(t)表示雷达回波信号，τ表示回波信号的延迟时间。

[0055]雷达回波信号的延迟时间为τ的表达式为：
[0056]τ＝2R/c
[0057]其中R表示雷达与被测物体之间的距离，c表示光传播的速度。

[0058]将回波信号与发射信号进行正交解调，然后进行滤波处理，将信号的高频分量滤除使其固定在基带，之后得到基带I,Q两路回波信号z(t),处理后的回波信号公式为：
[0059]
[0060]其中z(t)表示滤波处理后的回波信号，j为虚数的单位。

[0061]雷达回波信号进行信号处理的过程如图2所示。

[0062]在本实施例中，关于将采集到的有效信号波段按照合适的比例分成训练集和测试集，是指先将采集到的人体回波信号进行有效波段的提取，再把有效的信号波形按照相同的时间间隔进行随机分割，然后将分割好的信号波段进行随机选取，最后把所有选取好的信号波形作为深度学习的数据集，并按照7：3的比例将数据集分为训练数据集和测试数据集，即用70％的数据对网络进行训练，用其余的30％对网络进行测试。

[0063]在本实施例中，关于将所有训练集的数据输入到卷积神经网络中，并完成模型训练，并使用训练好的模型来检测是否有人员被困，是指把截取得到的训练数据集输入到卷积神经网络中，使用训练集中的波形数据对模型进行训练，并得出相应的损失函数及各权重指标的大小，然后使用测试数据集来对训练好的模型进行模型测试，得出测试集的损失函数及模型准确率的大小，之后根据测试集的测试效果来对模型进行调整与优化，最后得到一个准确率较高的神经网络模型。

在之后进行的人体的活体检测过程中，都是把实时采集的环境回波信号输入到该模型中进行测试，并将最终的检测结果进行输出。

[0064]在本实施例中，关于使用无人机来搭载测试好的雷达检测装置，以此来做到实时检测环境中的活体存在信息，是指使用无人机来搭载测试好的雷达检测装置，并将其固定到无人机的中下方。

同时，要把雷达模块的发射和接收天线的方向调整为垂直向下，以此来更好的发射和接收雷达信号。

通过将无人机与雷达检测装置结合的方式来实现对环境中活体物体的实时检测。

[0065]在本实施例中，关于雷达检测装置的基本构成，选用了ESP32芯片作为主控芯片，雷达模块作为外设来使用，并且设备还配有报警电路，当装置接收到人体活体信号的反馈后会发出报警提示音，以此来告诉搜救队被困人员的位置信息。

[0066]在本实施例中，关于检测装置利用WiFi模块把采集到的环境回波信号传送至服务器，并得到活体检测结果，是指无人机上的检测设备通过雷达模块来接收反射回来的物体回波信号，回波信号经过信号处理后通过串口传送至ESP32芯片中，之后再由ESP32通过WiFi信号传送至云端的服务器进行波形的分析，之后服务器将这些收集到的回波信号数据输入到预先训练好的模型中进行波形检测，最后云端服务器将输入信号的分析结果进行输出。

由此来得出在废墟中是否有人员被掩埋。

[0067]在本实施例中，关于无人机会根据反馈信息实时的调整运动轨迹，是指雷达检测设备接收来自于云端服务器返回的人体活体检测的结果，无人机根据反馈的结果来实时调整运动轨迹。

当检测到废墟中存在人体的活体信号后，无人机会停止运动，并悬停至该位置
的上方，同时雷达检测设备会发出报警提示，以此来告诉救援队被困人员的具体位置。

若没有检测到有人员被困，那么无人机将会按照预先设定好的轨迹继续运动。

无人机在预设轨迹上运行的过程中会多次进行短暂的悬停，此时安装在无人机下方的微波雷达模块会不断地发射电磁波信号，同时，接收天线会对回波信号进行实时的接收，由此来判断无人机下方的掩体物中是否有人员被困。

目标检测流程如图3所示。

[0068]以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。