一种基于无人机的毒品原植物识别方法、系统及存储介质[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010303295.5
(22)申请日 2020.04.17
(71)申请人 五邑大学
地址 529000 广东省江门市蓬江区东成村
22号
(72)发明人 翟懿奎　郑磊　周文略　柯琪锐　
余翠琳　应自炉　甘俊英　秦传波　
曾军英　
(74)专利代理机构 广州嘉权专利商标事务所有
限公司 44205
代理人 孙浩
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称一种基于无人机的毒品原植物识别方法、系统及存储介质(57)摘要本发明公开了一种基于无人机的毒品原植物识别方法、系统及存储介质，包括：无人机进行图像采集；对所述图像进行区分选择出大麻近红外图像和大麻伪彩色图像；对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取；将所述大麻近红外图像和所述大麻伪彩色图像提取出来的特征量进行融合并用于训练分类网络，得到大麻判别模型；基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，然后利用毒品原植物判别模型进行识别处理，从而能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时
间。

权利要求书2页 说明书11页 附图5页CN 111582051 A 2020.08.25
C N 111582051
A
1.一种基于无人机的毒品原植物识别方法，其特征在于，包括：
利用无人机进行图像采集；
对所述图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，得到特征量；
对所述特征量进行融合并用于训练分类网络，得到大麻判别模型；
基于所述大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型；
利用所述毒品原植物判别模型进行毒品原植物识别。

2.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述利用无人机进行图像采集，包括：
无人机依据A*算法规划飞行路线；
无人机依据所述飞行路线，到达待侦查区域；
无人机对所述待侦查区域进行图像采集。

3.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，包括：
利用第一轻量化子网络对所述大麻近红外图像进行特征提取；
利用第二轻量化子网络对所述大麻伪彩色图像进行特征提取。

4.根据权利要求3所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述第一轻量化子网络包括深度分离卷积层、全连接层和若干个辅助层，所述辅助层包括池化层、drop-out层、激活层和数据压平层。

5.根据权利要求3所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述第二轻量化子网络包括卷积层、全连接层、批量归一化层、激活层和池化层。

6.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述对所述特征量进行融合并用于训练分类网络，得到大麻判别模型，包括：
通过所述大麻近红外图像得到近红外特征量，通过所述大麻伪彩色图像得到伪彩色特征量；将所述近红外特征量和所述伪彩色特征量进行结合，得到特征张量；
使用最小最大归一化算法对所述特征张量进行归一化预处理；
利用经过归一化预处理的特征张量对分类网络进行训练，得到大麻判别模型。

7.根据权利要求1所述的一种基于无人机的毒品原植物识别方法，其特征在于：
所述基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，包括：保持大麻判别模型的大麻分类网络和大麻特征映射不变，用所述大麻特征映射初始化毒品原植物特征映射；
优化生成对抗网络函数，获得目标域分类器和毒品原植物特征映射，生成毒品原植物判别模型。

8.根据权利要求6所述的一种基于无人机的毒品原植物识别方法，其特征在于：所述使用最小最大归一化算法对所述特征张量进行归一化预处理，其中，所述最小最大归一化算法可表示为：
其中f'是最终归一化张量，f是原始张量，min(f i)和max(f i)分别是张量f的最小值和最大值。

9.一种基于无人机的毒品原植物识别系统，其特征在于：还包括：
选择单元，用于对无人机采集的图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
特征提取单元，用于对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取；
处理单元，用于将所述大麻近红外图像和所述大麻伪彩色图像提取出来的特征量进行融合；
训练单元，用于将融合后特征量训练分类网络，从而得到大麻判别模型；
对抗迁移学习单元，能够基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型。

10.一种基于无人机的毒品原植物识别存储介质，其特征在于：所述基于无人机的毒品原植物识别存储介质存储有基于无人机的毒品原植物识别系统可执行指令，基于无人机的毒品原植物识别系统可执行指令用于使基于无人机的毒品原植物识别系统执行如权利要求1至8任一所述的基于无人机的毒品原植物识别方法。

一种基于无人机的毒品原植物识别方法、系统及存储介质
技术领域
[0001]本发明涉及毒品侦查领域，特别涉及一种基于无人机的毒品原植物识别方法、系统及存储介质。

背景技术
[0002]多项研究表明，使用诸如海洛因和大麻之类的非法毒品会严重影响人体。

以大麻为例，这种毒品作物的易加工性使其成为全世界消费最多的毒品。

与其他作物不同，它不需要特殊的天气条件即可种植。

这使得禁止大麻的种植很困难，任何地方都可能成为潜在的种植地。

[0003]传统的非法毒品原植物勘查依赖人工踏查，通过组织大量的人力，由公安人员依据掌握的知识与经验对疑似毒品原植物在植物形态上进行辨认。

然而随着近些年打击毒品力度的加大，非法种植呈现隐秘化趋势，多在人迹罕至的丛林山区，很多区域地形复杂险峻、崇山密林，盲点死角多。

[0004]近年来，随着遥感技术的发展，基于卫星遥感数据的植物检测已经获得广泛地应用。

但是卫星遥感技术存在图像分辨率低，噪声干扰因素多，无云天气和地表覆盖物遮挡等限制。

[0005]此外，在实际过程中，很难得到大量带有标签的毒品原植物训练数据。

在以往毒品原植物识别方法中，大多数依赖像素的光谱特征，图像可能非常嘈杂、容易出错，且从测试图像中的数百万个像素进行分类对设备的计算能力要求高。

发明内容
[0006]本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明提出一种基于无人机的毒品原植物识别方法，能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。

[0007]本发明还提出一种应用上述基于无人机的毒品原植物识别方法的基于无人机的毒品原植物识别系统。

[0008]本发明还提出一种应用上述基于无人机的毒品原植物识别方法的基于无人机的毒品原植物识别存储介质。

[0009]根据本发明第一方面实施例的基于无人机的毒品原植物识别方法，包括：[0010]利用无人机进行图像采集；
[0011]对所述图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
[0012]对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，得到特征量；[0013]对所述特征量进行融合并用于训练分类网络，得到大麻判别模型；
[0014]基于所述大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型；[0015]利用所述毒品原植物判别模型进行毒品原植物识别。

[0016]根据本发明实施例的基于无人机的毒品原植物识别方法，至少具有如下有益效
果：利用无人机采集图像，然后从采集的图像中选择大麻近红外图像、大麻伪彩色图像作为输入数据，经过特征提取网络获取不同图像特征，再由融合特征分类网络识别大麻；以大麻识别网络为源域，通过弱监督对抗性域适应训练，获得其它毒品原植物判别模型；上述毒品原植物识别系统的网络参数量少，计算效率高，可由无人机本地处理；不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。

[0017]根据本发明的一些实施例，所述无人机飞抵侦查区域，包括：
[0018]无人机依据A*算法规划飞行路线；
[0019]无人机依据所述飞行路线，到达待侦查区域；
[0020]无人机对所述待侦查区域进行图像采集。

[0021]根据本发明的一些实施例，所述对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取，包括：
[0022]利用第一轻量化子网络对所述大麻近红外图像进行特征提取；
[0023]利用第二轻量化子网络对所述大麻伪彩色图像进行特征提取。

[0024]根据本发明的一些实施例，所述第一轻量化子网络包括深度分离卷积层、全连接层和若干个辅助层，所述辅助层包括池化层、drop-out层、激活层和数据压平层。

[0025]根据本发明的一些实施例，所述第二轻量化子网络包括卷积层、全连接层、批量归一化层、激活层和池化层。

[0026]根据本发明的一些实施例，所述利用所述特征量进行融合并用于训练分类网络，得到大麻判别模型，包括：
[0027]通过所述大麻近红外图像得到近红外特征量，通过所述大麻伪彩色图像得到伪彩色特征量；
[0028]将所述近红外特征量和所述伪彩色特征量进行结合，得到特征张量；
[0029]使用最小最大归一化算法对所述特征张量进行归一化预处理；
[0030]将经过归一化预处理的特征张量对分类网络进行训练，得到大麻判别模型。

[0031]根据本发明的一些实施例，所述基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，包括：
[0032]保持大麻判别模型的大麻分类网络和大麻特征映射不变，用所述大麻特征映射初始化毒品原植物特征映射；
[0033]优化生成对抗网络函数，获得目标域分类器和毒品原植物特征映射，生成毒品原植物判别模型。

[0034]根据本发明的一些实施例，所述使用最小最大归一化算法对所述特征张量进行归一化预处理，其中，所述最小最大归一化算法可表示为：
[0035]
[0036]其中f'是最终归一化张量，f是原始张量，min(f i)和max(f i)分别是张量f的最小值和最大值。

[0037]根据本发明第二方面实施例的基于无人机的毒品原植物识别系统，还包括：
[0038]选择单元，用于对无人机采集的图像进行区分选择出大麻近红外图像和大麻伪彩色图像；
[0039]特征提取单元，用于对所述大麻近红外图像和所述大麻伪彩色图像进行特征提取；
[0040]处理单元，用于将所述大麻近红外图像和所述大麻伪彩色图像提取出来的特征量进行融合；
[0041]训练单元，用于将融合后特征量训练分类网络，从而得到大麻判别模型；[0042]对抗迁移学习单元，能够基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型。

[0043]根据本发明实施例的基于无人机的毒品原植物识别系统，至少具有如下有益效果：通过上述的基于无人机的毒品原植物识别方法，能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。

[0044]根据本发明第三方面实施例的基于无人机的毒品原植物识别存储介质，能够应用根据本发明上述第一方面实施例的基于无人机的毒品原植物识别方法。

[0045]根据本发明实施例的基于无人机的毒品原植物识别存储介质，至少具有如下有益效果：基于无人机的毒品原植物识别存储介质存储有基于无人机的毒品原植物识别系统的基于无人机的毒品原植物识别方法指令，能够快速灵活地识别出毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。

[0046]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明
[0047]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0048]图1为本发明实施例一的基于无人机的毒品原植物识别方法的流程图；[0049]图2为本发明实施例一的基于无人机的毒品原植物识别方法中的特征提取的工作流程图；
[0050]图3为本发明实施例一的基于无人机的毒品原植物识别方法中的融合训练的工作流程图；
[0051]图4为本发明实施例一的基于无人机的毒品原植物识别方法中的对抗迁移学习的工作流程图；
[0052]图5为本发明实施例二的基于无人机的毒品原植物识别系统的结构示意图。

具体实施方式
[0053]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0054]本发明的描述中，除非另有明确的限定，设置、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

[0055]实施例一
[0056]参照图1，本发明实施例一提供了一种基于无人机的毒品原植物方法，其中的一种实施例包括但不限于以下步骤：
[0057]步骤S100，利用无人机进行图像采集。

[0058]在本实施例中，本步骤无人机飞到待侦查的区域，然后利用设置在无人机上的多光谱成像模块进行图像信息的采集，为了后续的毒品原植物识别做好准备。

其中，多光谱成像模块主要包括多维运动控制器、光谱相机和成像光谱仪。

多光谱图像不仅能反映毒品原植物的光谱特性，而且能够反映其细节特征。

每个波段的像素值都是毒品原植物光谱特征的表现，理想情况下与周围植物的光谱特性不相关。

使用此模块进行扫描，可以获得数百甚至上千波段的光谱信息。

无人机遥感虽然在检测范围上不如卫星遥感，但无人机遥感的数据分辨率更高，对毒品原植物的判断更为准确，而且不受天气的干扰。

无人机选择飞行噪声相对较小的无人机，增强侦查的隐蔽化程度，降低被非法分子发现风险。

[0059]步骤S200，对图像进行区分选择出大麻近红外图像和大麻伪彩色图像。

[0060]在本实施例中，本步骤主要将多光谱成像模块采集的图像进行区分，选择出大麻近红外图像和大麻伪彩色图像；在近红外波段，大麻作物的平均值高于地球其他物质的平均值，该项特征可用于遥感图像中识别大麻作物；选择数据驱动集成方法，重点放在突出显示绿色区域的不同表示形式上。

然后将不同波段应用于相互补充的不同数据驱动方法，以避免单独的分类错误。

选择以下两种图像表示。

近红外图像的的捕获的光波长在0.75至1.4μm之间。

伪彩色图像与正常的真彩色图像相比，伪彩色图像牺牲自然的颜色配置，以便于检测不容易辨别的特征。

根据大麻的物理特性，通过选择和重新排列光谱带。

使用以下映射选择伪彩色图像表示形式：BGRN→NRG，其中N、R和G分别是近红外，红色和绿色图像通道。

[0061]步骤S300，对大麻近红外图像和大麻伪彩色图像进行特征提取，得到特征量。

[0062]在本实施例中，本步骤对大麻近红外图像和大麻伪彩色图像进行特征提取，得到特征量，为了大麻分类网络的训练提供数据准备。

[0063]步骤S400，对特征量进行融合并用于训练分类网络，得到大麻判别模型。

[0064]在本实施例中，本步骤由于对大麻近红外图像和大麻伪彩色图像提取出来的特征量来自于不同图像表示的不同特征提取器，因此所有特征的范围应归一化，使每个特征对特征张量的贡献大致成比例，因此需要将大麻近红外图像特征量和大麻伪彩色图像特征量进行融合，然后将融合后的特征量对分类网络和特征映射，从而得到大麻判别模型。

[0065]步骤S500，基于大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型。

[0066]在本实施例中，毒品原植物并不只大麻一种，还包括罂粟、古柯等其它毒品原植物。

为了能在小量标注数据的情况下，将模型泛化至对毒品原植物种类的识别，并降低其他毒品原植物的标注图像需求，使用弱监督深度对抗迁移学习框架；基于得到的大麻判别模型，利用对抗迁移学习技术，生成毒品原植物判别模型，通过有限的数据获得泛化性能高的检测模型；上述毒品原植物识别系统的网络参数量少，计算效率高，可由无人机本地处理；不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。

[0067]步骤S600，利用毒品原植物判别模型进行毒品原植物识别。

[0068]在本实施例中，利用生成的毒品原植物判别模型进行毒品原植物识别，从而能够实现利用无人机采集图像，然后将采集到的图像数据输入毒品原植物判别模型进行识别，进而能够达到对毒品原植物的识别处理，不受地形、天气等限制，可针对居民区和偏远山区等种植地，实时识别多种毒品原植物，帮助公安机关打击非法毒品交易者，减少不必要的人工巡查时间。

[0069]本实施例的步骤S100中，可以包括但不限于以下步骤：
[0070]无人机依据A*算法规划飞行路线。

[0071]在本实施例中，无人机侦查平台采用A*算法运用启发式搜索运用启发信息进行路径规划，由启发式函数来排列OPEN表中节点的顺序，使搜索沿着某个被认为最有希望的前沿区段扩展，其中OPEN表保存所有已生成而未考察的节点。

用符号f(n)表示节点n的估价函数值，f是从起始节点n到达目标节点的最小代价路径上的估算代价。

估价值f越小，意味着节点位于最优解路径上的“希望”越大，最后找到的最优路径即平均综合指标为最小的路径。

估价函数为f(n)＝h(n)+g(n)，启发函数h(n)＝节点n到目标节点的最小代价路径的代价估计值，利用h(n)来决定节点的扩展顺序，h(n)的值是对当前状态n的一个估计。

g(n)＝从起始节点S到任一节点n的路径代价。

[0072]无人机依据所述飞行路线，到达待侦查区域。

[0073]在本实施例中，无人机依据A*算法得出的最佳路径，然后驱动到达待侦查区域处，为了图像采集扫描做好准备。

[0074]无人机对待侦查区域进行图像采集。

[0075]在本实施例中，无人机到达待侦查区域之后，然后利用设置在无人机上的多光谱成像模块进行图像信息的采集，为了后续的毒品原植物识别做好准备。

其中，多光谱成像模块主要包括多维运动控制器、光谱相机和成像光谱仪。

多光谱图像不仅能反映毒品原植物的光谱特性，而且能够反映其细节特征。

每个波段的像素值都是毒品原植物光谱特征的表现，理想情况下与周围植物的光谱特性不相关。

使用此模块进行扫描，可以获得数百甚至上千波段的光谱信息。

[0076]参照图2，本实施例的步骤S300中，可以包括但不限于以下步骤：
[0077]步骤S310，利用第一轻量化子网络对所述大麻近红外图像进行特征提取。

[0078]在本实施例中，本步骤的具体实施方式可以为如下所述：
[0079]第一轻量化子网络引入深度分离卷积，减少网络计算量。

将传统卷积两步分离开进行，分别是深度卷积和逐点卷积。

首先按照通道按位相乘计算；然后依据上一步得到的结
果，使用1*1的卷积核进行卷积运算。

通过深度分离卷积，计算量下降N为输
出通道数，D K为卷积核尺寸。

[0080]第一轻量化子网络处理近红外图像，输入数据为28×28的图像patches。

第一轻量化子网络结构：第一轻量化子网络包括深度分离卷积层、一个全连接层和多个辅助层。

辅助层包括池化层、drop-out层、激活层、Flatten层。

该网络主要功能为特征提取器，并用于鉴别近红外图像表示的正样本和负样本。

损失函数为加法角余量损失函数，将角度边缘t置于cos(θ)函数内部，使公式cos(θ+t)在θ∈[0,π-t]范围内小于cos(θ)，并且对分类不同植物的要求严苛。

该函数中的cos(θ+t)不仅形式简单，并且动态依赖于sinθ，避免因无人机扫描
角度造成的分类错误。

公式如下所示：
[0081]
[0082]s为植物特征分布的超球面半径。

在特征向量x i和权重W yi之间添加角余量罚分m，以增强不同类内部的紧凑性和类间的差异。

最后的soft-max层标识两个类别，分别是近红外图像表示的正样本与负样本。

[0083]第一轻量化子网络训练步骤：
[0084]1、以28×28的patches为输入数据，将90％的训练数据作为训练集，10％的训练数据作为验证集。

0/1分别作为标签代表负样本与正样本。

[0085]2、学习率设置为0.01。

权重使用Xavier初始化进行初始化，Xavier初始化公式如下所示
[0086]
[0087]3、选择ADAMAX优化算法，使用20个Epoch的32张图像训练。

[0088]4、训练至模型拟合，将最后的全连接层与softmax函数摘除，此时网络从判别二分类任务转换成输出128维张量，代表近红外图像提取的特征。

[0089]步骤S320，利用第二轻量化子网络对所述大麻伪彩色图像进行特征提取。

[0090]在本实施例中，本步骤的具体实施方式可以为如下所述：
[0091]第二轻量化子网络处理伪彩色图像的数据，输入层接受32×32的图像patches。

patches划分方法同第一轻量化子网络相同。

[0092]第二轻量化子网络结构：由41个主要层(39个卷积层和2个全连接层)组成，并且包含批量归一化层，激活层和全连接层以及3个池化层。

为了降低网络参数量和计算量，降低无人机本地处理的时间延迟，引入两个超参数：宽度乘数和分辨率乘数，前者按比例减少通道数，取值范围为(0，1]。

后者按比例降低特征图的大小。

用h-swish激活函数替代relu函数，在减小卷积通道数的情况下采用该函数可以保持精度，并且减少计算量。

[0093]
[0094]该网络结构包含一组密集块，每个密集块由批量归一化层，激活层和卷积层以及输出组成。

最后一层与softmax激活函数一起用于分类，判别伪彩色图像表示的正样本与负样本。

损失函数为加法角余量损失函数。

[0095]第二轻量化子网络训练步骤：
[0096]1、采用组合增强方式对大麻图像进行增强，包括随机旋转和随机裁剪，为网络提供更多的正样本。

为了保证随机裁剪后得到的patch大小保持一致，使用Resize的方法对裁剪后的patch进行缩放。

其中Resize采用双线性插值法。

[0097]2、给定批处理大小batchsize＝32，从数据增强的正样本和原始负样本中分别随机选取batchsize/2个patches，保证在训练过程中正负样本均衡。