一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010945718.3
(22)申请日 2020.09.10
(71)申请人 北京信息科技大学
地址 100192 北京市海淀区清河小营东路
12号
(72)发明人 刘国忠　李萍　
(51)Int.Cl.
G05D 1/02(2020.01)
A61L 2/24(2006.01)
A61L 9/00(2006.01)
G06K 9/00(2006.01)
(54)发明名称一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统(57)摘要本发明涉及一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，包括：固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；其中消毒机器人包含机器人运动平台、双目移动相机和自动消毒器；固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；识别计算机采用深度学习方法自动识别和区分室内场景中打喷嚏和咳嗽行为，并利用立体视觉原理定位人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用优化方法分配多机器人消毒任务，精准消杀有
害物质。

权利要求书2页 说明书7页 附图2页CN 112034857 A 2020.12.04
C N 112034857
A
1.一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，所述系统包括：
固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；
消毒机器人包含机器人运动平台、双目移动相机和自动消毒器三部分，双目移动相机和自动消毒器随机器人运动平台在公共场所内移动；
固定相机中具有公共视场区域的两个相机、消毒机器人的双目移动相机分别组成立体视觉系统；
固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；
识别计算机采用深度学习方法自动识别和区分公共场所打喷嚏和咳嗽行为，并利用双目立体视觉原理定位打喷嚏或咳嗽人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；
控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用进化算法、遗传算法等优化方法分配多机器人消毒任务，无线控制消毒机器人快速出击，精准消杀飞沫和气溶胶中的有害物质。

2.根据权利要求1所述的系统，其特征在于，所述固定相机由M台固定在公共场所的相机组成，相邻具有公共区域的两个相机组成立体视觉系统。

3.根据权利要求1所述的系统，其特征在于，所述消毒机器人由N台消毒机器人组成，包含N台机器人运动平台、N对双目移动相机和N台自动消毒器，双目移动相机和自动消毒器随所固定的机器人运动平台在公共场所内移动，双目移动相机实时获取双目图像，并通过无线方式发送到打喷嚏和咳嗽识别计算机，机器人运动平台和控制计算机之间通过无线方式通信，发送路径规划、接收消毒有关指令和控制自动消毒器消毒。

4.一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，包含：
步骤a、对M台固定相机、N对双目移动相机进行立体标定；
步骤b、M台固定相机、N对双目移动相机图像采集与传输；
步骤c、打喷嚏、咳嗽行为自动识别；
步骤d、人员室内定位与打喷嚏方向确定；
步骤e、飞沫、气溶胶空间分布实时预测；
步骤f、机器人运动平台定位、路径规划；
步骤g、多机器人消毒任务分配。

5.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤c具体包括：
步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
步骤c2、数据集格式转换与行为标注，具体包括：获取视频中RGB图片文件，获取光流信息文件，对RGB图片文件和光流信息文件进行行为标注；
步骤c3、基于深度学习的打喷嚏和咳嗽行为识别模型训练，具体包括：采用双路卷积模型分类算法用于打喷嚏和咳嗽视频动作分类，其中一路接收RGB输入的训练，而另一个接收
光流信息输入，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；
步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为RGB图片文件和光流信息文件，将RGB图片文件和光流信息文件输入已经完成的模型进行行为预测。

6.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤d具体包括：
步骤d1、基于双目立体视觉原理确定打喷嚏或咳嗽行为人员的空间位置，具体包括：利用固定相机中相邻两个相机组成的双目立体视觉系统确定人员的在公共场所的空间位置坐标，利用双目移动相机所确定的人员相对于消毒机器人的坐标与消毒机器人在空间定位坐标相结合确定人员在公共场所的空间位置坐标；
步骤d2、基于双目立体视觉原理确定打喷嚏的朝向，具体包括：获取打喷嚏过程中双目立体相机左相机前后两帧图像中人头中心的坐标，获取打喷嚏过程中双目立体相机右相机前后两帧图像中人头中心的坐标，利用立体视觉原理求取前后两帧图像中人头中心的三维坐标，根据前后两帧图像中人头中心的三维坐标的变化确定打喷嚏的朝向。

7.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤e具体包括：
步骤e1、飞沫、气溶胶空间分布初始预测，具体包括：根据人员的位置、身高和打喷嚏朝向预测打喷嚏产生的飞沫、气溶胶空间分布范围，根据人员的位置预测咳嗽产生的飞沫、气溶胶空间位置和分布范围；
步骤e2、气溶胶空间分布实时预测，具体包括：根据人员打喷嚏或咳嗽行为预测的飞沫、气溶胶空间位置和分布范围得到飞沫、气溶胶水平面二维分布图像，基于图像形态学膨胀方法、根据气溶胶扩散的速度实时预测气溶胶空间分布。

8.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤g具体包括：
步骤g1、确定目标函数，多机器人消毒任务分配的问题可以抽象为将W个消毒任务分配给N个机器人，目标是用较少的机器人在较短的时间内完成消毒任务，目标函数为：min f＝T+K1N实际+K2S剩下
其中，T为分配出去的消毒面积完成时间，N实际为工作机器人数目，S剩下为未安排消毒的剩余面积，K1、K2为调节系数；
步骤g2、目标函数优化，具体包括：初始化多机器人消毒任务分配方案，迭代分配方案、优化目标函数，确定最优分配方案。

一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和
系统
技术领域
[0001]本发明涉及动作识别和多任务分配技术领域，具体涉及一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统。

背景技术
[0002]新冠肺炎短时间内在全球范围迅速传播，已成为受国际关注的大流行病。

我国明确指出健全公共卫生服务联防联控、防治结合、群防群治工作机制，夯实公共卫生体系基础，要做到常态化防疫，并提高公共卫生管理的精准水平。

[0003]公共场所防护意识较为薄弱，存在较高感染风险。

国内外都有报道超市聚集性感染新冠病毒的案例。

一项病毒传播模拟显示，如果有新冠肺炎患者在超市咳嗽，病毒瞬间会沿着过道扩散开来，1分钟后蔓延到整个过道，并且穿过货架，2分钟后病毒就扩散到旁边的过道。

研究模型观察到小于20微米的气溶胶颗粒不会下沉到地面，而是随气流悬浮在空气中。

公共场所存在飞沫传播感染病毒的重大风险。

[0004]据专家推测新冠病毒将与人相伴很长时期，室内公共场所的防护和消毒是抗疫工作的重中之重。

目前采取的措施是对公共场所实施定时或不定时全面的人工消毒，需大量人力，而且会造成消毒剂用量过度，产生不必要的浪费，并影响周围环境和人体健康。

而往往人员感染病毒是在病毒携带者打喷嚏、咳嗽时将病毒以飞沫形式扩散，引起周围人员在不经意间感染。

这种集中消杀的方式不能做到及时防治的作用。

为及时发现咳嗽和打喷嚏等传播病毒的可疑行为，杜绝病毒随飞沫和气溶胶不断扩散，可以将深度学习技术用于识别在公共场所打喷嚏、咳嗽行为，锁定发生位置后派遣消毒机器人前往污染位置和区域，并对污染区域进行协作消毒作业。

可及时有效地防止因人打喷嚏、咳嗽而污染某个区域，切断了疾病由飞沫、气溶胶传播的可能性，并可对聚集性疫情发出预警。

[0005]经调研，目前国内外还没有打喷嚏、咳嗽行为自动识别的实时定点消毒类似设备。

美国康涅狄格州韦斯特波特市的警方正在测试一种“流行病无人机”，可以在疫情大流行期间监测并发现公共场所有传染性呼吸系统疾病的人。

在190英尺外监测人们的体温，并能通过传感器和电脑视觉探测到打喷嚏、咳嗽、心率和呼吸频率。

国外利用无人机检测识别感染病毒的疑似人员，而没有及时有效阻断疑似人员通过打喷嚏、咳嗽扩散病毒的传播，存在感染到其他人员的危险。

此外，其方法是检测是否出现利用胳膊肘挡住口鼻的图像，而中国人打喷嚏、咳嗽的习惯大多数还没有这种行为特征，需要通过捕获其他特征动作实现打喷嚏、咳嗽识别功能。

[0006]该系统可用于办公室、超市、购物中心、机场、游轮、医院和其他人群工作或聚集的地方，遏制打喷嚏和咳嗽人群可能携带的新冠病毒以及其它传染病有害病毒的进一步传播，最大限度提高公共场所的安全性，具有重大的社会效益和经济效益。

发明内容
[0007]本发明解决的技术问题是提出一种能够克服自动识别公共场所打喷嚏和咳嗽行为，并实现快速、定点消毒的方法。

[0008]为了解决上述问题，本发明实施例提出了一种基于视觉传感和深度学习技术自动识别、定位室内公共场所打喷嚏和咳嗽行为，预测飞沫和气溶胶的传播范围，多台消毒机器人快速出击，协作消杀飞沫、气溶胶中的致病物质，并对聚集性传染病感染现象发出预警的方法，包括：
[0009]系统组成：固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；[0010]消毒机器人包含机器人运动平台、双目移动相机和自动消毒器三部分，双目移动相机和自动消毒器随机器人运动平台在公共场所内移动；
[0011]固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；
[0012]识别计算机采用深度学习方法自动识别和区分公共场所打喷嚏和咳嗽行为，并利用双目立体视觉原理定位打喷嚏或咳嗽人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；
[0013]控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用进化算法、遗传算法等优化方法分配多机器人消毒任务，无线控制消毒机器人快速出击，精准消杀飞沫和气溶胶中的有害物质。

[0014]其中，固定相机由M台固定在公共场所的相机组成，相邻的两个相机组成立体视觉系统。

[0015]其中，消毒机器人由N台消毒机器人组成，包含N台机器人运动平台、N对双目移动相机和N台自动消毒器，双目移动相机和自动消毒器随所固定的机器人运动平台在公共场所内移动，双目移动相机实时获取双目图像，并通过无线方式发送到打喷嚏和咳嗽识别计算机，机器人运动平台和控制计算机之间通过无线方式通信，发送路径规划、接收消毒有关指令和控制自动消毒器消毒。

[0016]信号处理步骤包含：
[0017]步骤a、对M台固定相机、N对双目移动相机进行立体标定；
[0018]步骤b、M台固定相机、N对双目移动相机图像采集与传输；
[0019]步骤c、打喷嚏、咳嗽行为自动识别；
[0020]步骤d、人员室内定位与打喷嚏方向确定；
[0021]步骤e、飞沫、气溶胶空间分布实时预测；
[0022]步骤f、机器人运动平台定位、路径规划；
[0023]步骤g、多机器人消毒任务分配。

[0024]其中，步骤c具体包括：
[0025]步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
[0026]步骤c2、数据集格式转换与行为标注，具体包括：获取视频中RGB图片文件，获取光流信息文件，对RGB图片文件和光流信息文件进行行为标注；
[0027]步骤c3、基于深度学习的打喷嚏和咳嗽行为识别模型训练，具体包括：采用双路卷积模型分类算法用于打喷嚏和咳嗽视频动作分类，其中一路接收RGB输入的训练，而另一个接收光流信息输入，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；
[0028]步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为RGB图片文件和光流信息文件，将RGB图片文件和光流信息文件输入已经完成的模型进行行为预测。

[0029]其中，步骤d具体包括：
[0030]步骤d1、基于双目立体视觉原理确定打喷嚏或咳嗽行为人员的空间位置，具体包括：利用固定相机中相邻两个相机组成的双目立体视觉系统确定人员的在公共场所的空间位置坐标，利用双目移动相机所确定的人员相对于消毒机器人的坐标与消毒机器人在空间定位坐标相结合确定人员在公共场所的空间位置坐标；
[0031]步骤d2、基于双目立体视觉原理确定打喷嚏的朝向，具体包括：获取打喷嚏过程中双目立体相机左相机前后两帧图像中人头中心的坐标，获取打喷嚏过程中双目立体相机右相机前后两帧图像中人头中心的坐标，利用立体视觉原理求取前后两帧图像中人头中心的三维坐标，根据前后两帧图像中人头中心的三维坐标的变化确定打喷嚏的朝向。

[0032]其中，步骤e具体包括：
[0033]步骤e1、飞沫、气溶胶空间分布初始预测，具体包括：根据人员的位置、身高和打喷嚏朝向预测打喷嚏产生的飞沫、气溶胶空间分布范围，根据人员的位置预测咳嗽产生的飞沫、气溶胶空间位置和分布范围；
[0034]步骤e2、气溶胶空间分布实时预测，具体包括：根据人员打喷嚏或咳嗽行为预测的飞沫、气溶胶空间位置和分布范围得到飞沫、气溶胶水平面二维分布图像，基于图像形态学膨胀方法、根据气溶胶扩散的速度实时预测气溶胶空间分布。

[0035]其中，步骤g具体包括：
[0036]步骤g1、确定目标函数，多机器人消毒任务分配的问题可以抽象为将W个消毒任务分配给N个机器人，目标是用较少的机器人在较短的时间内完成消毒任务，目标函数为：[0037]min f＝T+K1N实际+K2S剩下
[0038]其中，T为分配出去的消毒面积完成时间，N实际为工作机器人数目，S剩下为未安排消毒的剩余面积，K1、K2为调节系数；
[0039]步骤g2、目标函数优化，具体包括：初始化多机器人消毒任务分配方案，迭代分配方案、优化目标函数，确定最优分配方案。

附图说明
[0040]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0041]图1为本发明实施例提供的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统的基本组成与原理框图；
[0042]图2为本发明实施例中提供的一种公共场所打喷嚏、咳嗽行为自动识别与自动消
毒系统的实际组成框图；
[0043]图3为本发明实施例中的信号处理步骤；
[0044]图4为本发明实施例中的典型信号处理算法。

具体实施方式
[0045]为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

[0046]本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法及系统，其基本组成与原理如图1所示，包括：固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；消毒机器人包含机器人运动平台、双目移动相机和自动消毒器三部分，双目移动相机和自动消毒器随机器人运动平台在公共场所内移动；固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；识别计算机采用深度学习方法自动识别和区分公共场所打喷嚏和咳嗽行为，并利用双目立体视觉原理定位打喷嚏或咳嗽人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用进化算法、遗传算法等优化方法分配多机器人消毒任务，无线控制消毒机器人快速出击，精准消杀飞沫和气溶胶中的有害物质。

[0047]本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统，其实际组成框图如图2所示，其中，固定相机由M台固定在公共场所的相机组成，相邻的两个相机组成立体视觉系统。

其中，消毒机器人由N台消毒机器人组成，包含N台机器人运动平台、N对双目移动相机和N台自动消毒器，双目移动相机和自动消毒器随所固定的机器人运动平台在公共场所内移动，双目移动相机实时获取双目图像，并通过无线方式发送到打喷嚏和咳嗽识别计算机，机器人运动平台和控制计算机之间通过无线方式通信，发送路径规划、接收消毒有关指令和控制自动消毒器消毒。

[0048]本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统，其信号处理步骤如图3所示，包含：
[0049]步骤a(S1)、对M台固定相机、N对双目移动相机进行立体标定；
[0050]步骤b(S2)、M台固定相机、N对双目移动相机图像采集与传输；
[0051]步骤c(S3)、打喷嚏、咳嗽行为自动识别；
[0052]步骤d(S4)、人员室内定位与打喷嚏方向确定；
[0053]步骤e(S5)、飞沫、气溶胶空间分布实时预测；
[0054]步骤f(S6)、机器人运动平台定位、路径规划；
[0055]步骤g(S7)、多机器人消毒任务分配。

[0056]其中，步骤c具体包括：
[0057]步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
[0058]步骤c2、数据集格式转换与行为标注，具体包括：获取视频中有关文件，对文件进行行为标注；
[0059]步骤c3、打喷嚏和咳嗽行为识别模型训练，具体包括：采用分类算法用于打喷嚏和
咳嗽视频动作分类，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；
[0060]步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为模型所需文件，将模型所需文件输入已经完成的模型进行行为预测。

[0061]其中，步骤d具体包括：
[0062]步骤d1、基于双目立体视觉原理确定打喷嚏或咳嗽行为人员的空间位置，具体包括：利用固定相机中相邻两个相机组成的双目立体视觉系统确定人员的在公共场所的空间位置坐标，利用双目移动相机所确定的人员相对于消毒机器人的坐标与消毒机器人在空间定位坐标相结合确定人员在公共场所的空间位置坐标；
[0063]步骤d2、基于双目立体视觉原理确定打喷嚏的朝向，具体包括：获取打喷嚏过程中双目立体相机左相机前后两帧图像中人头中心的坐标，获取打喷嚏过程中双目立体相机右相机前后两帧图像中人头中心的坐标，利用立体视觉原理求取前后两帧图像中人头中心的三维坐标，根据前后两帧图像中人头中心的三维坐标的变化确定打喷嚏的朝向。

[0064]其中，步骤e具体包括：
[0065]步骤e1、飞沫、气溶胶空间分布初始预测，具体包括：根据人员的位置、身高和打喷嚏朝向预测打喷嚏产生的飞沫、气溶胶空间分布范围，根据人员的位置预测咳嗽产生的飞沫、气溶胶空间位置和分布范围；
[0066]步骤e2、气溶胶空间分布实时预测，具体包括：根据人员打喷嚏或咳嗽行为预测的飞沫、气溶胶空间位置和分布范围得到飞沫、气溶胶水平面二维分布图像，基于图像形态学膨胀方法、根据气溶胶扩散的速度实时预测气溶胶空间分布。

[0067]其中，步骤g具体包括：
[0068]步骤g1、确定目标函数，多机器人消毒任务分配的问题可以抽象为将W个消毒任务分配给N个机器人，目标是用较少的机器人在较短的时间内完成消毒任务，目标函数为：[0069]min f＝T+K1N实际+K2S剩下
[0070]其中，T为分配出去的消毒面积完成时间，N实际为工作机器人数目，S剩下为未安排消毒的剩余面积，K1、K2为调节系数；
[0071]步骤g2、目标函数优化，具体包括：初始化多机器人消毒任务分配方案，迭代分配方案、优化目标函数，确定最优分配方案。

[0072]本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统，其典型信号处理算法如图4所示，
[0073]其中，基于深度学习的打喷嚏、咳嗽行为自动识算法(步骤c)具体包括：
[0074]步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
[0075]步骤c2、数据集格式转换与行为标注，具体包括：获取视频中RGB图片文件，获取光流信息文件，对RGB图片文件和光流信息文件进行行为标注；
[0076]步骤c3、基于深度学习的打喷嚏和咳嗽行为识别模型训练，具体包括：采用双路卷积模型分类算法用于打喷嚏和咳嗽视频动作分类，其中一路接收RGB输入的训练，而另一个接收光流信息输入，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；。