一种基于生成对抗网络的脑卒中康复系统脑机接口方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011056408.2
(22)申请日 2020.09.30
(71)申请人 北京工业大学
地址 100124 北京市朝阳区平乐园100号
(72)发明人 王卓峥　马卓　
(74)专利代理机构 北京思海天达知识产权代理
有限公司 11203
代理人 沈波
(51)Int.Cl.
A61B 5/369(2021.01)
A61B 5/372(2021.01)
A61B 5/374(2021.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种基于生成对抗网络的脑卒中康复系统
脑机接口方法
(57)摘要
本发明公开了一种基于生成对抗网络的脑
卒中康复系统脑机接口方法。

在信号采集与预处
理阶段，使用快速独立分量分析和小波包变换消
除眼电和肌电。

在特征提取阶段，多次重复选取
样本数据，划分为多个小的数据片段，在计算被
试者的协方差矩阵时引入一部分其他人的脑电
数据样本，然后利用协方差矩阵提取RCSP特征，
以保证小样本特征稳定性。

在运动想象分类阶
段，设计一种EEGGANs学习模型，其生成器包含四
层转置卷积CNN，判别器也包含四层CNN，输出层
为Softmax。

在精准量化指标评定阶段，康复医师
根据由运动想象类别控制的机械运动位置、角度
等，对患者进行治疗指导。

本发明可代替脑卒中
患者受损的外周神经和肌肉通路，实现对运动功
能障碍患者的主动康复治疗。

权利要求书2页 说明书4页 附图2页CN 112370066 A 2021.02.19
C N 112370066
A
1.一种基于生成对抗网络的脑卒中康复系统脑机接口方法，其特征在于：包括以下步骤：
步骤1：脑电信号预处理，得到滤除噪声后的脑电信号；
步骤2：借助分块思想，利用协方差矩阵提取RCSP特征；
步骤3：将卷积神经网络加入到生成对抗网络，得到EEGGANs网络模型，对脑电信号进行分类。

2.根据权利要求1所述的一种基于生成对抗网络的脑卒中康复系统脑机接口方法，其特征在于：脑电信号预处理，包括小波包变换、快速独立分量分析和快速傅里叶变换三个过程：首先对原始的EEG进行WPT，确定WPT的分解层数，根据EEG和噪声的特点选择合适的小波基函数，最后确定要滤除高频噪声所在的频带，并对相应的频带置零；再对己经滤除高频噪声后的信号进行FastICA变换和FastICA逆变换，得到滤除噪声后的脑电信号；最后对去噪的脑电信号进行FFT，得到其频谱并求出功率谱密度。

3.根据权利要求1所述的一种基于生成对抗网络的脑卒中康复系统脑机接口方法，其特征在于：利用协方差矩阵提取RCSP特征；将单次训练提取的脑电信号用矩阵D N×T表示，其中N代表通道数量，T代表每个通道的一段时间的采样点数；通过归一化后的协方差矩阵C N×N 计算平均协方差；
其中M表示训练次数，Δ为运动想象信号类别；引入控制训练样本协方差矩阵权重的偏差参数β(β≥0)以及调节多个单位矩阵权重的偏差参数γ(γ≤1)，通过偏置估计项使分类结果不依赖于采样样本，计算正则化平均空间协方差矩阵；
其中I表示单位矩阵，XΔ(β)表示当前受试者及引入的其他受试者样本协方差矩阵，定义如下：
将正则化平均空间协方差矩阵之和∑SΔ(β,γ)分解为特征值矩阵E与特征向量矩阵V 的形式EVE T，进而构造白化矩阵P，使得每一类的SΔ(β,γ)具有相同的特征向量，且对应的特征值之和为固定常数c，
P·∑SΔ(β,γ)·P T＝c·I
根据不同类SΔ(β,γ)的相同特征值矩阵U，则可得投影矩阵W＝U T P；通过选择投影矩阵W 的前后各r列映射某一训练样本，Z＝W·D N×T；则最终提取的分类特征向量y为：
4.根据权利要求1所述的一种基于生成对抗网络的脑卒中康复系统脑机接口方法，其特征在于将卷积神经网络加入到生成对抗网络，提高模型鲁棒性和分类精度；EEGGANs的生
成网络G为四层结构，使用微步幅转置卷积层即Deconv对随机噪声向量(1×100)进行四维重塑后，将其送入生成器逐步上采样至伪样本X fake(64×64×1)；采用修正线性单元作为激活函数使训练后的网络具备适度的稀疏性，同时解决反向传播参数调优过程中传统激活函数可能产生的梯度消失问题，加速网络收敛；每个上采样层都使用5×5大小的卷积核进行步幅为2的转置卷积运算；其深度从512逐渐降到64，再由RPCA降维至1；最后一层输出一个64×64×64的张量经过RPCA降维输出并使用双曲正切函数Tanh将数值压缩在-1和1之间；判别网络D也是一个带有批归一化的4层CNN，并采用LeakyReLU进行激活；最后一层使用Softmax函数进行分类。

5.根据权利要求4所述的一种基于生成对抗网络的脑卒中康复系统脑机接口方法，其特征在于：EEGGANs网络中，训练数据时需进行归一化处理，提出一种自适应归一化方法提高模型泛化能力，AN使用可微分学习，为一个深度网络中的每一个归一化层确定归一化操作。

一种基于生成对抗网络的脑卒中康复系统脑机接口方法
技术领域
[0001]本发明涉及一种能对运动想象脑电信号进行分类识别的系统，尤其是能帮助有运动功能障碍的脑卒中患者进行康复训练，具有高精度、高鲁棒性的脑机接口方法。

背景技术
[0002]“脑卒中”又称“中风”，是一种急性脑血管疾病，是由于脑部血管破裂或阻塞导致血液不能流入大脑而引起脑组织损伤的一种疾病。

脑卒中具有发病率高、死亡率高和致残率高的特点，调查显示，城乡合计脑卒中已成为我国第一位死亡原因，也是中国成年人残疾的首要原因。

[0003]当前从治疗手段分析，国内外脑卒中康复系统主要聚焦于临床康复训练系统。

临床康复训练系统多采用基于神经生理学基础的康复训练，主要是根据运动发育控制原理与大脑可塑性原理，利用共同运动、协同作用和姿势反射等神经运动机制，通过医师对患者临床的康复评定，对患者的功能状态和潜在能力进行判断，然后“对症下药”，进行相应的康复训练。

目前临床上关于脑卒中运动功能评定的方法很多，如简式Fugl-Meyer运动功能评分法、Brunnstrom等级评测法等。

这些量表评定的方法，都依赖于医生的检查和观察，属于人工评定，虽然临床上广泛使用，但评定结果容易受到康复医师主观因素的影响，且量表分级指标较多，需要康复医师全程参与，而有限的医师数量面对庞大的病患群体往往力不从心，甚至延误最佳治疗时机。

脑机接口技术的出现，为思维正常但运动功能残缺的脑卒中患者的诊断和康复训练提供了一种可行性方案。

[0004]目前，脑卒中康复系统脑机接口一般是由脑电信号采集与预处理模块、特征提取模块、运动想象分类模块组成。

当前主流的特征提取方法如主成分分析法、遗传算法、小波变换等，在小样本脑电数据集中表现不够稳定，以及高维特征会导致算法复杂度较高。

传统分类器如支持向量机、朴素贝叶斯、决策树等需要人工选取特征，会导致精度偏差。

常用的神经网络如卷积神经网络、循环神经网络等，针对小样本数据往往模型泛化能力差且易发生过拟合问题，导致分类效果不佳。

发明内容
[0005]本发明主要针对运动功能障碍脑卒中患者的康复训练，研究并实现一种基于运动想象脑电信号的脑机接口。

为了解决小样本数据及样本不均衡导致的系统稳定性问题，本发明利用协方差矩阵提取RCSP特征以保证小样本特征稳定性。

为解决实时反馈系统中的识别精度与算法复杂度的平衡问题，本发明提出一种生成对抗网络EEGGANs，建立半监督学习模型，用于脑卒中康复系统脑机接口，使该脑机接口在保证小样本、高鲁棒性的前提下实现针对运动想象脑电信号的精准分类。

[0006]本发明采用的技术方案为基于生成对抗网络的脑卒中康复系统脑机接口方法，解决其技术问题所采用的技术方案包括以下步骤：
[0007]步骤1：脑电信号预处理，首先对原始的EEG进行小波包变换(WPT)，确定WPT的分解
层数，根据EEG和噪声的特点选择合适的小波基函数，最后确定要滤除高频噪声所在的频带，并对相应的频带置零。

再对己经滤除高频噪声后的信号进行快速独立分量分析(FastICA)和逆FastICA，以去除眼电和肌电干扰得到滤除噪声后的脑电信号。

然后利用快速傅里叶变换(FFT)获取脑电信号的频谱，求得其功率谱密度。

[0008]步骤2：对脑电信号进行特征提取，借助稀疏表示法中分块(patches)的思想，多次重复选取样本数据，划分为多个小数据片段，在计算被试者的协方差矩阵时引入一部分其他人的脑电数据样本，然后利用协方差矩阵提取RCSP特征。

将单次训练提取的脑电信号用矩阵D N×T表示，其中N代表通道数量，T代表每个通道的一段时间的采样点数。

通过归一化后的协方差矩阵计算平均协方差，再计算正则化平均空间协方差矩阵并将其分解，最后求出分类特征向量。

[0009]步骤3：设计网络结构对脑电信号进行分类，将卷积神经网络CNN引入生成对抗网络GANs，新的网络命名为EEGGANs。

其中生成网络G为四层结构，使用微步幅转置卷积层(fractional-strided convolutions)即Deconv对随机噪声向量(1×100)进行四维重塑后，将其送入生成器逐步上采样至伪样本X fake(64×64×1)，并采用ReLU作为激活函数。

判别网络D也是一个带有BN(输入层除外)的4层CNN，与生成网络G不同的是，前三层采用Leaky ReLU进行激活，最后一层使用Sigmoid激活函数，使判别器输出概率。

[0010]本发明设计的EEGGANs网络训练数据时需要进行归一化处理，所以提出一种自适应归一化(Adaptive Norm)方法提高模型泛化能力，避免因解决不同的问题采用相同归一化方法带来的局部代替整体的问题。

与强化学习不同，AN使用可微分学习，为一个深度网络中的每一个归一化层确定合适的归一化操作。

附图说明
[0011]图1脑机接口总体技术路线图
[0012]图2基于运动想象脑电信号特征提取方法
[0013]图3EEGGANs半监督网络学习结构
[0014]图4EEGGANs生成网络结构
具体实施方式
[0015]在图1中，将脑卒中病患在医师指导下进行功能障碍康复治疗时产生的EEG信号作为系统输入。

在系统训练阶段，真实的病患EEG数据(带标签或不带标签)以及带标签的BCI 竞赛标准运动想象脑电信号数据集，通过信号预处理、特征提取与降维操作后，共同构成训练样本，作为半监督学习模型EEGGANs分类器的输入。

在生成网络G和判别网络D共同训练、同步增强的作用下，达到稳态。

输出为脑卒中患者的运动想象类别，运动想象类别通过控制指令API传送给BCI硬件接口驱动机械辅助康复设备(如机械假肢)，再根据机械运动位置、角度等信息量化评定指标作为康复医师的重要参考，对脑卒中患者进行指导治疗。

[0016]在图2所示实施例中，首先采用WTP和FastICA对根据国际10-20标准多通道采集的EEG数据样本进行预处理，以去除眼电和肌电干扰；然后利用FFT获取脑电信号的频谱，求得其功率谱密度。

对功率谱密度进行分解切分，多次重复选取样本数据，划分为多个小的数据片段，在计算被试者的协方差矩阵时引入一部分其他人的脑电数据样本，然后利用协方差
矩阵提取RCSP特征。

将单次训练提取的脑电信号用矩阵D N×T表示，其中N代表通道数量，T代表每个通道的一段时间的采样点数。

通过归一化后的协方差矩阵C N×N计算平均协方差。

[0017]
[0018]其中M表示训练次数，Δ为运动想象信号类别。

引入控制训练样本协方差矩阵权重的偏差参数β(β≥0)以及调节多个单位矩阵权重的偏差参数γ(γ≤1)，通过偏置估计项使分类结果不依赖于采样样本，计算正则化平均空间协方差矩阵。

[0019]
[0020]其中I表示单位矩阵，XΔ(β)表示当前受试者及引入的其他受试者样本协方差矩阵，定义如下：
[0021]
[0022]将正则化平均空间协方差矩阵之和∑SΔ(β,γ)分解为特征值矩阵E与特征向量矩阵V的形式EVE T，进而构造白化矩阵P，使得每一类的SΔ(β,γ)具有相同的特征向量，且对应的特征值之和为固定常数c，
[0023]P·∑SΔ(β,γ)·P T＝c·I
[0024]根据不同类SΔ(β,γ)的相同特征值矩阵U，则可得投影矩阵W＝U T P。

通过选择投影矩阵W的前后各r列映射某一训练样本，Z＝W·D N×T。

则最终提取的分类特征向量y为：
[0025]
[0026]提取的分类特征向量由于数据量较大需经过降维，再通过特征分类方法则可输出运动想象脑电信号的类别以供训练集或测试集使用。

[0027]在图3所示实施例中，网络结构以判定网络D作为分类器，生成网络G用于从随机噪声生成伪样本X fake，训练集中包含有标签样本X label、无标签样本X unlabel以及伪样本X fake。

其中X label包含BCI竞赛数据集以及带标签真实病患EEG数据集；X unlabel表示病患者配合不足或
医师未标记类别的真实EEG数据集。

分类器接受样本对于K分类问题，输出K+1维估计，再经过Softmax函数得到概率集合P：其前K维对应原有运动想象类别，最后一维对应“伪样本”类，p i的最大值则对应为类别估计标签y i。

系统的优化函数如下。

[0028]
[0029]为精确计算运动想象类别输出，定义三种损失函数，对于训练集中的有标签样本X label，计算估计的标签是否正确的概率，记为L label。

[0030]
[0031]对于训练集中的无标签样本X unlabel，考察是否估计为“真”，即计算不估计为K+1类的概率，记为L unlabel。

[0032]
[0033]对于生成器产生的伪样本X unlabel，考察是否估计为“伪”。

即计算估计为K+1类的概率，记为L fake。

[0034]
[0035]在图4所示实施例中，EEGGANs的生成网络G为4层结构，使用微步幅转置卷积层(Deconv)对随机噪声向量(1×100)进行四维重塑后，逐步上采样至伪样本X unlabel(64×64×1)。

LayerⅠ先将数据平展为(1×32768)的向量，采用修正线性单元ReLU函数激活，使训练后的网络具备适度的稀疏性，解决反向传播参数调优过程中传统激活函数可能产生的梯度消失问题，加速网络的收敛。

经过自适应后对数据进行重塑，变为(8×8×512)的形状。

LayerⅡ先使用5×5大小的卷积核进行步幅为2的转置卷积运算，再使用ReLU激活，自适应后输出的数据形状为(16×16×256)。

LayerⅢ和LayerⅡ结构相同，LayerⅢ输出的数据形状为(32×32×128)。

LayerⅣ先使用5×5大小的卷积核进行步幅为2的转置卷积运算后，其深度从512降到64，再使用双曲正切函数Tanh激活，将数值压缩在-1和1之间。

输出一个(64×64×64)的张量，再由RPCA降维至1，最后输出伪样本X unlabel(64×64×1)。

[0036]本发明的有益效果是：对高维小样本脑电数据也能实现高精度、高鲁棒性的分类效果，构建针对肢体、视觉、语言与认知功能障碍的脑卒中康复系统脑机接口，帮助通路受损无法正常输出的患者完成运功、视觉、语言与认知功能障碍的主动康复训练，从而改善运动机能，恢复正常人体功能，解决了因人工评价带来的量值指标精度不高及治疗不及时的问题。

图1
图2
图3
图4。