基于SSVEP脑机接口的单兵作战无人武器控制系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910796388.3
(22)申请日 2019.08.27
(71)申请人 北京航空航天大学
地址 100191 北京市海淀区学院路37号
(72)发明人 郑德智　那睿　孙颖　尹文含　
邢惠钧　
(74)专利代理机构 北京航智知识产权代理事务
所(普通合伙) 11668
代理人 黄川　史继颖
(51)Int.Cl.
G05D 1/02(2006.01)
G05D 1/12(2006.01)
(54)发明名称
基于SSVEP脑机接口的单兵作战无人武器控
制系统
(57)摘要
本发明公开了一种基于SSVEP脑机接口的单
兵作战无人武器控制系统，其特征在于，包括光
源刺激与画面接收模块、脑电信号采集模块、脑
电信号分析处理模块与无人武器操控模块。

本发
明将SSVEP脑机接口与单兵作战无人武器控制系
统相结合，使士兵无需双手就能遥控无人武器执
行任务，在操作无人武器的同时依旧能够保持必
要的战术动作，完全无需依赖遥控器，最大程度
地减少了控制无人武器对士兵行动上的负担，大
幅度增强了单兵作战的综合感知能力，提高了作
战能力。

权利要求书2页 说明书5页 附图3页CN 110658810 A 2020.01.07
C N 110658810
A
1.一种基于SSVEP脑机接口的单兵作战无人武器控制系统，其特征在于，包括光源刺激与画面接收模块、脑电信号采集模块、脑电信号分析处理模块与无人武器操控模块，所述光源刺激与画面接收模块包括移动终端和环绕分布在所述移动终端的屏幕四周的多个LED光源，各LED光源通过FPGA控制器控制和驱动产生不同的闪烁频率，不同的闪烁频率对应不同的指令；
所述脑电信号采集模块包括可穿戴式干电极传感器和蓝牙收发单元，可穿戴式干电极传感器包括适于与使用者的头皮充分接触的多个干电极，目标LED光源刺激使用者的大脑皮层产生SSVEP脑电信号，可穿戴式干电极传感器检测所产生的SSVEP脑电信号并将其数字化，通过蓝牙收发单元传输至所述脑电信号分析处理模块；
所述脑电信号分析处理模块用于对接收到的数字化脑电信号进行识别，获得对应的指令并将其发送至所述无人武器操控模块，所述无人武器操控模块对所接收到的指令进行解析，获得相应的电平信号，控制无人武器执行相应指令；
无人武器执行完成相应指令后，所述无人武器操控模块向所述光源刺激与画面接收模块发送反馈信号。

2.根据权利要求1所述的系统，其特征在于，所述脑电信号分析处理模块预设生成与具有不同闪烁频率的LED光源对应的不同频率的标准信号，所述脑电信号分析处理模块对接收到的数字化脑电信号进行识别的具体过程如下：
S1：对数字化脑电信号进行预处理：
以接收到的数字化脑电信号的相邻两采样点的平均值作为降采样后的采样点，再使用有限冲激响应滤波器滤除降采样后的数字化脑电信号中的直流分量与50Hz处的工频干扰分量，得到预处理后的数字化脑电信号；
S2：使用一组通频带特定分布的带通滤波器对预处理后的数字化脑电信号进行滤波处理，得到多个子带信号，将各个子带信号与目标LED光源的闪烁频率对应的标准信号进行CCA，对分别得到的相关系数进行加权求和，得到数字化脑电信号与标准信号的等效相关系数；
S3：选择等效相关系数最大的频率对应的标准信号作为识别结果。

3.根据权利要求2所述的系统，其特征在于，标准信号包括目标LED光源的闪烁频率的基频和高次谐波对应的标准信号，所述频率包括15Hz以下的低频段、15～30Hz的中频段以及30Hz以上的高频段。

4.根据权利要求1所述的系统，其特征在于，各LED光源通过FPGA控制器控制和驱动产生不同的亮度、颜色和闪烁波形，所述颜色为RGB三基色组合出来的全彩色中的任一种，所述闪烁波形为三角波、方波、正弦或锯齿波。

5.根据权利要求1所述的系统，其特征在于，所述指令包括前进、后退、向左和向右、一键起飞/降落、一键避障、紧急停止和速度切换。

6.根据权利要求5所述的系统，其特征在于，所述前进设置为前进一定时间距离后悬停；所述后退设置为后退一定时间距离后悬停；所述向左和向右设置为向左和向右一定时间距离后悬停。

7.根据权利要求1所述的系统，其特征在于，所述光源刺激与画面接收模块安装在枪支上，多个LED光源等距环绕分布在所述移动终端的屏幕四周。

8.根据权利要求1所述的系统，其特征在于，所述光源刺激与画面接收模块的FPGA控制器接收到所述无人武器操作模块的反馈信号后，控制目标LED光源显示完成指令状态，反馈识别和完成指令信息。

9.根据权利要求8所述的系统，其特征在于，控制目标LED光源显示完成指令状态包括控制控制目标LED光源改变颜色。

10.根据权利要求1所述的系统，其特征在于，所述脑电信号采集模块包括用于供电的锂电池以及集成有FPGA处理器和陷波器的电路板，陷波器用于在可穿戴式干电极传感器检测到的SSVEP脑电信号进入FPGA处理器前，滤除其50Hz处的工频。

基于SSVEP脑机接口的单兵作战无人武器控制系统
技术领域
[0001]本发明属于无人武器控制领域，特别涉及一种基于稳态视觉诱发电位(Steady-state visual evoked potentials，SSVEP)脑机接口的单兵作战无人武器控制系统。

背景技术
[0002]世界各国包括我国都在研制新型的单兵作战系统。

“单兵作战系统”包括先进武器系统、通讯系统和单兵计算机等作战子系统，是用高科技加强步兵战斗力、机动性和防护性的整体系统。

在各个子系统中，单兵配备的无人武器系统被视为能够改变未来战争形势的关键系统之一。

[0003]单兵无人武器系统一般由小型无人机或者无人车和其控制系统组成，该系统主要特点是易携带性与易操作性，以便于士兵在单人情况下也能操作无人武器进行侦察甚至打击任务。

目前各国已经在该方面展开了广泛的研究。

俄罗斯技术国家集团表示正在开发微型无人机，可配备第三代“勇士”单兵作战装备。

而美军已经装备了微型无人机——“黑蜂”，具有全天候的侦查能力，能够大幅提高士兵战场感知能力。

国内的鹰眼科技研发了新型控制方式的单兵无人机，通过给士兵的战术手套添加传感器并配备单目AR眼镜，实现了仅用单手手势就可以遥控无人机，同时能够获取无人机拍摄的实时画面。

[0004]综上，目前的单兵作战系统都需要士兵双手或单手操作无人武器，这将导致士兵无法持枪或者做出其他战术动作，关键时刻有可能贻误战机。

发明内容
[0005]为了进一步提高单兵作战的能力，减少控制无人武器对单兵作战的动作限制，本发明提出了一种基于SSVEP脑机接口的单兵作战无人武器控制系统，将SSVEP脑机接口与单兵作战无人武器控制系统相结合，使士兵无需双手就能遥控无人机或者无人车执行任务，在操作无人机或者无人车的同时依旧能够保持必要的战术动作，完全无需依赖遥控器，最大程度地减少了控制无人武器对士兵行动上的负担，大幅度增强了单兵作战的综合感知能力，提高了作战能力。

[0006]根据本发明的一方面，提供了一种基于SSVEP脑机接口的单兵作战无人武器控制系统，其特征在于，包括光源刺激与画面接收模块、脑电信号采集模块、脑电信号分析处理模块与无人武器操控模块，
[0007]所述光源刺激与画面接收模块包括移动终端和环绕分布在所述移动终端的屏幕四周的多个LED光源，各LED光源通过FPGA控制器控制和驱动产生不同的闪烁频率，不同的闪烁频率对应不同的指令；
[0008]所述脑电信号采集模块包括可穿戴式干电极传感器和蓝牙收发单元，可穿戴式干电极传感器包括适于与使用者的头皮充分接触的多个干电极，目标LED光源刺激使用者的大脑皮层产生SSVEP脑电信号，可穿戴式干电极传感器检测所产生的SSVEP脑电信号并将其数字化，通过蓝牙收发单元传输至所述脑电信号分析处理模块；
[0009]所述脑电信号分析处理模块用于对接收到的数字化脑电信号进行识别，获得对应的指令并将其发送至所述无人武器操控模块，所述无人武器操控模块对所接收到的指令进行解析，获得相应的电平信号，控制操控无人武器执行相应指令；
[0010]无人武器执行完成相应指令后，所述无人武器操控模块向所述光源刺激与画面接收模块发送反馈信号。

[0011]在一些实施方式中，所述脑电信号分析处理模块预设生成与具有不同闪烁频率的LED光源对应的不同频率的标准信号，所述脑电信号分析处理模块对接收到的数字化脑电信号进行识别的具体过程如下：
[0012]S1：对数字化脑电信号进行预处理：
[0013]以接收到的数字化脑电信号的相邻两采样点的平均值作为降采样后的采样点，再使用有限冲激响应滤波器滤除降采样后的数字化脑电信号中的直流分量与50Hz处的工频干扰分量，得到预处理后的数字化脑电信号；
[0014]S2：使用一组通频带特定分布的带通滤波器对预处理后的数字化脑电信号进行滤波处理，得到多个子带信号，将各个子带信号与目标LED光源的闪烁频率对应的标准信号进行CCA，对分别得到的相关系数进行加权求和，得到数字化脑电信号与标准信号的等效相关系数；
[0015]S3：选择等效相关系数最大的频率对应的标准信号作为识别结果。

[0016]在一些实施方式中，标准信号可以包括目标LED光源的闪烁频率的基频和高次谐波对应的标准信号，所述频率可以包括15Hz以下的低频段、15～30Hz的中频段以及30Hz以上的高频段。

[0017]在一些实施方式中，各LED光源通过FPGA控制器控制和驱动可以产生不同的亮度、颜色和闪烁波形，所述颜色可以为RGB三基色组合出来的全彩色中的任一种，所述闪烁波形可以为三角波、方波、正弦或锯齿波。

[0018]在一些实施方式中，所述指令可以包括前进、后退、向左和向右、一键起飞/降落、一键避障、紧急停止和速度切换。

[0019]进一步，所述前进可以设置为前进一定时间距离后悬停；所述后退可以设置为后退一定时间距离后悬停；所述向左和向右可以设置为向左和向右一定时间距离后悬停。

[0020]在一些实施方式中，所述光源刺激与画面接收模块可以安装在枪支上。

[0021]在一些实施方式中，多个LED光源可以等距环绕分布在所述移动终端的屏幕四周。

[0022]在一些实施方式中，所述光源刺激与画面接收模块的FPGA控制器接收到所述无人武器操作模块的反馈信号后，可以控制目标LED光源显示完成指令状态，反馈识别和完成指令信息。

[0023]在一些实施方式中，控制目标LED光源显示完成指令状态可以包括控制控制目标LED光源改变颜色。

[0024]在一些实施方式中，所述脑电信号采集模块可以包括用于供电的锂电池以及集成有FPGA处理器和陷波器的电路板，陷波器用于在可穿戴式干电极传感器检测到的SSVEP脑电信号进入FPGA处理器前，滤除其50Hz处的工频。

[0025]本发明的有益效果：
[0026]1)本发明以LED作为刺激光源，利用SSVEP脑机接口对单兵作战的无人武器(包括
无人机、无人车等)进行控制，使士兵在保持持枪姿势的同时可以利用LED作刺激光源诱发的稳态视觉电位控制无人武器，完全无需依赖遥控器，最大程度地减少了控制无人武器对士兵行动上的负担，大幅度增强了单兵作战的综合感知能力，提高了作战能力；同时无人机/车将获取的视频画面实时传回，可以实现远程侦察打击等任务；
[0027]2)本发明利用脑机接口人机交互的特点，为单兵无人武器的操控提供了全新的发展方向，其中，脑机接口不依赖于常规的外围神经和肌肉输出通道，而是将中枢神经系统反射活动的电生理信号转化为信息和命令并作用于外部设备，进而实现用户的意愿，其中，SSVEP脑机接口具有无需训练、设备简单、响应效果好等优点；
[0028]3)本发明采用干电极传感器，相比于湿电极不需要打电极膏，可以即戴即用，具有穿戴简单、便于携带、体积小、空间分辨率高等优点，大大简化了脑机接口的设备，使得本系统更加适用于作战环境；
[0029]4)本发明可以根据使用需求对每个LED光源设置一系列的指令，简化无人武器的操控；
[0030]5)本发明中的LED光源的闪烁频率可以根据需求设定为不同的低、中、高频率，与LCD光源相比具有不受频率限制的优势，可适用于更多的人群，应用范围更加广阔；[0031]6)每个LED光源通过FPGA控制器进行独立控制，FPGA控制器采用PWM(脉冲宽度调制)或者D/A(数/模转换)控制方式控制每个LED光源的闪烁频率、亮度、颜色和闪烁波形(如方波、正弦波、锯齿波、三角波等任意波形)，LED光源的特定闪烁波形、亮度以及颜色可以为每个使用者寻找到其SSVEP响应最强的刺激形式；
[0032]7)本发明可以预设无人武器的控制指令，根据需求更改LED光源对应的功能，实现更多的作战场景应用，在满足无人武器操作的机动性和灵活性的同时也使得操作变得简单。

附图说明
[0033]图1为本发明实施方式提供的基于SSVEP脑机接口的单兵作战无人武器控制系统的结构示意图；
[0034]图2为本发明实施方式提供的光源刺激与画面接收模块的示意图；
[0035]图3是本发明实施方式提供的脑电信号采集模块的干电池传感器的结构示意图；[0036]图4是本发明实施方式提供的脑电信号采集模块的FPGA处理器的程序框图；[0037]图5是本发明实施方式提供的脑电信号分析处理模块分析处理脑电信号的流程图。

[0038]图6为本发明实施方式提供的基于SSVEP脑机接口的单兵作战无人武器控制系统的控制原理图。

具体实施方式
[0039]下面结合附图和实施方式进一步描述本发明，应该理解，以下所述实施方式旨在便于对本发明的理解，而对其不起任何限定作用。

[0040]本发明实施方式提供的一种基于SSVEP脑机接口的单兵作战无人武器控制系统，如图1所示(为便于说明，本实施方式中无人武器以无人机为例，移动设备以手机为例)，包
括光源刺激与画面接收模块、脑电信号采集模块、脑电信号分析处理模块与无人武器操控模块。

[0041]其中，光源刺激与画面接收模块包括移动终端和近乎等距环绕分布在移动终端的屏幕四周的多个LED光源。

在具体实施时，将光源刺激与画面接收模块安装在枪支上，保证士兵在执行战术动作的时候能够注视LED刺激光源，发出指令控制无人机，同时通过无人机的摄像头传输的实时画面实现远程侦察。

[0042]LED光源是光源刺激与画面接收模块的电路板上的固定元件，利用集成在电路板上的FPGA控制器独立控制和驱动各LED光源，FPGA控制器采用PWM或者D/A控制方式实现LED 光源的闪烁频率、亮度、颜色(RGB三基色组合出来的全彩色中的任一种)和波形(如方波、正弦波、锯齿波、三角波等任意波形)等的设置。

其中，LED光源不同的闪烁频率对应不同的指令，如图2所示，指令包括前进、后退、向左和向右、一键起飞/降落、一键避障、紧急停止和速度切换等。

在具体实施时，还可以根据使用需求对每个LED光源设置一系列的指令，以简化无人机的操控，例如，“前进”可以设定前进一定时间距离后悬停、“一键避障”命令无人机安装预先设定的特定路径前进，一键完成躲避障碍的操作等。

[0043]特别地，本发明提供的脑电信号采集模块包括可穿戴式干电极传感器、蓝牙收发单元、锂电池、电路板以及集成在电路板上的FPGA处理器和陷波器，目标LED光源刺激使用者的大脑皮层产生SSVEP脑电信号，可穿戴式干电极传感器检测所产生的SSVEP脑电信号并将其数字化，通过蓝牙收发单元传输至所述脑电信号分析处理模块。

可穿戴式干电极传感器包括适于与使用者的头皮充分接触的多个干电极，如图3所示，各干电极包括固定部分和多个垂直设置于固定部分下部的探头，固定部分与电路板电连接，各探头和固定部分之间设置有弹簧结构，使得各探头是可伸缩的，从而可以适应地调节干电极的有效长度。

在一些实施方式中，探头表面可以镀金。

在一些实施方式中，还可以利用气囊调节干电极的有效长度，来保证干电极与使用者的头皮的充分接触。

[0044]特别地，选择锂电池作为供电电源，一方面可以增加系统的实用性和便携性，另一方面可以隔离工频噪声。

电路板采用FPGA作为核心处理器，可以在同一时刻使用流水线的方式执行多通道的数据采集，图4示出了本发明实施方式提供的上述脑电信号采集模块的FPGA处理器的程序框图。

此外，为了降低工频噪声，在转化脑电信号进入FPGA处理前，首先让信号通过50Hz的陷波器滤除工频信号，可以提高所采集的脑电信号的信噪比。

[0045]本发明提供的脑电信号分析处理模块用于对从脑电信号采集模块接收到的数字化脑电信号进行识别，获得对应的指令并将其发送至所述无人武器操控模块，所述无人武器操控模块对所接收到的指令进行解析，获得相应的电平信号，控制操控无人武器执行指令。

特别地，在给定视觉刺激目标LED光源的闪烁频率后，在脑电信号分析处理模块预设生成与具有不同闪烁频率的LED光源对应的不同频率的标准信号。

特别地，为了利用高次谐波，可以不仅生成目标LED光源频率基频的标准信号，还可以生成其高次谐波的标准信号。

[0046]在具体实施中，如图5所示，本发明的提供的脑电信号分析处理模块对接收到的数字化脑电信号进行识别的具体过程如下：
[0047]S1：对接收到的数字化脑电数字信号进行预处理：
[0048]以接收到的数字化脑电信号的相邻两采样点的平均值作为降采样后的采样点，再使用有限冲激响应滤波器滤除降采样后的数字化脑电信号中的直流分量与50Hz处的工频
干扰分量，得到预处理后的数字化脑电信号；
[0049]S2：使用一组通频带特定分布的带通滤波器对预处理后的数字化脑电信号进行滤波处理，得到多个子带信号，将各个子带信号与目标LED光源的闪烁频率对应的标准信号进行CCA，对分别得到的相关系数进行加权求和，得到数字化脑电信号与标准信号的等效相关系数；
[0050]S3：选择等效相关系数最大的频率对应的标准信号作为识别结果。

[0051]在具体实施时，如图5所示，首先由安装于枪支上的LED光源显示刺激信号，各个LED光源按照互不相同的固定频率进行闪烁，当士兵需要控制无人机执行某种指令时，仅需将视线集中于对应的目标LED光源，接着会在士兵的大脑皮层产生相对应的稳态视觉诱发电位。

通过脑电信号采集模块对该脑电信号进行采集、转化为数字信号并进行预处理，得到处理后的脑电信号通过蓝牙传输给脑电信号分析处理模块进行分析。

脑电信号分析处理模块中的上位机(例如计算机)对接收到的脑电信号进行识别，得到相对应的指令，按照一定的编码格式通过串口传递给下位机(例如单片机)。

下位机收到指令后，按照相应的方法进行解析，得到需完成的指令，通过I/O口输出相应的电平信号，从而控制无人机执行相应指令。

最后，无人机执行完成相应指令后，无人武器操控模块将所执行的指令按照相应的编码方式回传给光源刺激与画面接收模块的刺激界面，刺激界面将相应的目标LED光源置为例如绿色，以提供良好的操作反馈。

同时无人机获取的视频画面可以实时传回，实现远程侦察打击等任务。

[0052]本系统可以很好的与现有的武器系统相整合，构成一套更加完善的单兵作战系统，能够被广泛应用到地质勘探、高空作业等民用领域，具有广阔的发展前景和应用价值。

[0053]对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施方式做出若干变型和改进，这些都属于本发明的保护范围。

图1
图2
图3
图4
图5
图6
说　明　书　附　图3/3页CN 110658810 A 11。