基于多通道卷积的心电信号识别方法

2021年3月计算机工程与设计Mar.2021第42卷第3期COMPUTER ENGINEERING AND DESIGN Vol.42No.3
基于多通道卷积的心电信号识别方法
魏中杰，许少华+
(山东科技大学计算机科学与工程学院，山东青岛266590)
摘要：为解决复杂非线性多通道心电信号识别问题，提出一种基于多通道多维度深度卷积神经网络的识别方法。

将心电信号转换为灰度心电图像，构建一维与二维深度卷积神经网络分别提取心电信号的数值特征与心电图像的波形特征，基于迁移学习融合提取到的数值与波形特征，训练新的全连接层提取融合后的特征并使用Softmax完成分类。

该方法使用波形与数值两种特征进行诊断，更加符合医生的诊断原则。

结合实例，对算法进行了仿真分析，验证了该算法的可行性与有效性。

关键词：心电信号；心电图像；卷积神经网络；数值特征；波形特征；多通道
中图法分类号：TP181文献标识号：A文章编号：1000-7024(2021)03-0690-06
doi：10.16208/j.issnl000-7024.202103.014
ECGsignal recognition method based on multi-channel convolution
WEI Zhong-jie,XU Shao-hua;
(College of Computer Science and Engineering,Shandong University of Science and Technology,Qingdao266590&China) Abstract：To solve the complex nonlinear multi-channel ECG signal recognition problem,a recognition method based on multi-channelmulti-dimensionaldeepconvolutionalneuralnetworkwasproposed.TheECGsignalwasconvertedintoagrayscaleECG image,and ID and2D deep convolutional neural networks were constructed to extract the numerical features of the ECG signal andthewaveformfeaturesoftheECGimagerespectively.Theextractednumericalandwaveformfeaturesweremergedbasedon migration learning.A new fully-connected layer was trained to extract the fused features and Softmax was used to complete the classification.Two characteristics of waveform and value were used for diagnosis&which was more in line with the doctor3 diagnosis bined with examples&the algorithm was simulated and analyzed&which verified its feasibility and effec-tveness.
Key words：ECG signal#electrocardiogram#convolutional neural network#numerical characteristics；waveform characteristics；multichannel
0引言
心血管疾病是当今社会的头号死因⑴，因而基于心电信号(electrocardiogram,ECG)23*的心血管疾病自动识别是当前医疗人工智能领域的热点问题，Kiranyaz等⑷提出了基于一维卷积神经网络并适用于可穿戴设备的心电信号识别方法；Zhou等)5*提出了一种一维卷积神经网络进行AF 检测的方法；PranavRajpurkar等〔6*建立了34层卷积神经网络，对14种心电图进行分类；Patrick Schwa等)7*建立了 一种多样化的循环神经网络用于区分正常、窦性心律、心房颤动以及其它类型的心率失常；日。

屈等)*提出了一种基于循环神经网络与决策树的方法对心房颤动进行诊断；Ra-jan等〔9*提出了一种基于递归神经网络和随机森林分类算法的RNN+RF深度神经网络，采用多导联心电信号诊断心肌梗死；Acharya等)0*建立了11层卷积神经网络，对心力衰竭进行识别。

上述方法在对心电信号分类过程中存在一定的局限性:
(1)分类过程中大都采用一个或几个导联参与诊断,而医学诊断过程中不同种类心脏疾病的异常特征有时会出现在不同导联当中，因此上述模型大都无法扩展至更多种类的心脏疾病诊断当中。

(2)上述算法都从时变信号的角度出发，关注信号的
收稿日期：2020-03-23；修订日期：2020-05-22
作者简介：魏中杰(1996-),男，山东荷泽人，硕士研究生，CCF学生会员，研究方向为大数据与人工智能；+通讯作者：许少华(1962-),男，河北邢台人，博士后，教授，研究方向为计算机与人工智能。

E-mail：1752457184@
第42卷第3期魏中杰，许少华：基于多通道卷积的心电信号识别方法•691-
数值变化，而医生在进行疾病诊断的过程当中需要参考病人的心电图形的变化，因而上述方法的诊断方式与医生的诊断过程相比缺少对于波形特征的参考，且无法同时处理信号与图像。

(3)上述方法当中大都基于心拍进行的分类诊断，因而在诊断之前需要心拍的分割，这里往往需要人工参与，增加标注的成本。

考虑到上述方法在对心电信号处理过程当中的不足，本文设计一种多通道深度卷积神经网络模型：
(1)该模型针对12个导联进行训练，使其后期可以扩展至更多种类的疾病。

(2)能够同时处理信号与图形的特征，并使用信号与图形两类特征参与诊断，更加符合医生的诊断规则。

(3)该模型基于一段信号分类，不需标注心拍，更加符合自动化检测的规则。

1算法思想
为了将信号与波形特征都参与诊断&本文将信号数据转为图像后再与原数据组成新的数据集，该数据集中的心电数据中包含时变信号数据以及图像数据。

而在卷积神经网络中，处理信号通常需要采用一维卷积核，处理图像需要采用二位卷积核，因而一条深度卷积网络模型无法同时处理信号与图形数据。

因此本模型将不同数据经过不同卷积通道处理后在进行分类，其基本思想为：不同类型的数据通过不同通道中不同维度(所使用的卷积核的维度不同，针对处理图像数据的通道选择二维卷积核，处理时变信号数据的通道选择一维卷积核)的卷积处理后得到相同类型的输出向量，再将相同类型的向量融合后用于诊断。

方法处理的基本步骤为：
步骤1针对图像以及信号数据各设计并预训练一条卷积神经网络，预训练通过端到端的方式完成，训练的标签为其所对应的疾病标签。

步骤2裁剪掉各预训练的卷积神经网络部分全连接层，裁剪后的每个网络即为一条通道。

裁剪后无论信号数据还是图像数据在通过各自的网络处理后都会得到一条一维的特征向量。

步骤3将不同通道输出的特征向量按照拼接的方式融，得到一新向，向心电数据的时序数值特征与不同导联的波形特征。

步骤4针对新的向量设计并训练新的全连接层，在新向量通过全连接层处理后通过Softmax完成分类。

通过上述处理可以得到一个能够同时处理不同类型数据的网络模型，该模型可以更加全面地处理心电数据各个方向上的特征并用于诊断。

对于一个样本进行诊断的完整步骤为：不同类别数据通过不同通道提取特征一通道输出的特征进行融合一通过全连接层处理一完成分类。

2算法原理
对于心电信号进行分类是传统的模式识别问题，问题描述如式(1)
C=g(f(..E,-f)，-e)(1) C代表预测神经元的输出，g(-，O)为预测函数，-为其相关参数，/(•,-/)为特征提取函数，f为其参数。

根据相关样本及其标签选择适当的损失函数，通过优化求解损失函数获得参数-，-f，可以表述为式(2)，其中L(-)代表度量预测值与真实类别的损失函数，S(-)代表 Softmax分类函数，y代表真实类别
-.，-f=argmin-e,g f LLSCgCf Cx，-f),-e')),y*(2)深度学习将特征提取与分类器的训练统一用深度神经网络的方法进行建模，并实现端到端的学习。

学习过程中需要选择适当的损失函数，本文选择了交叉o损失函数)1]，表示如式(3)
LCo,y)=——y log S)(3)其中，.为％经过Softmax处理所得到的预测概率，.为包含所有类别预测概率的向量，且0<。

,<1。

y代表真实类别所对应的one-hot编码1，y,标识该样本是否为第i类,其值为0或1。

故对于f，g的优化求解可表示为式(4)
-g-f=argmin-g，-f—
—y log S)(4)计算交叉O损失函数L(-)对。

，的偏导数可见参考文献)1*。

求得偏导数后再根据反向传播算法对网络权重进
行更新。

本文中&信及导
因此样本E={x i,X2，…,X n}，E,代表一个样本中的不同类型的数据，由于类型不同，无法通过同一个特征提取函数来处理，因此本文中针对各部分使用不同的特征提取函数f(•，-a)来初步提取特征，再将提取的各部分特征融合得到新的特征向量X®，如式(5)，后使用新的函数g e*X e*，g@*，进一步提取特征并最终完成分类，如式(6)
匚f1(E], -f),f2(E t，-f)，•…，f n(X n，-f*)*(5)
C g n*(X n*，-n*)(6)其中，f,X,-A)代表提取x,中的特征，—通过优化求解式(7)得到。

根据得到的-A提取x,中的特征，即
f i(i,-,)。

g n*(-,-n*)为最终的分类函数,-n*通过优化
(8)得
-g.,-A=argmin-g「f LCS〈g；(f,X,-,),-A)"), y*
(7)
-.*9rgmn-**L C S(g@*(x@*, -g y*(8) -,与-,为针对x,的一个分类器的完整参数，借用迁
・692・计算机工程与设计2021年
移学习的思想主要是保留训练好的部分参数色提取特征(x%(
3模型结构与参数
3.1模型结构
本文对心电数据处理的方法涉及图像与时变信号两种数据，而卷网络在信号与方面皆有用并取得较好的效果)-15*，故可以选择卷网络对数，设计有效的二维CNN与一维CNN,别提取心电波形与心电信号的数值。

典卷积神经网络结构如图1所示。

由卷积、归一化、池化、及全成。

卷积层归一化层激励层池化层全连接层
图1典型卷积神经网络模型
本文中模型的主要卷积网络模型，主要包括4个部分:
(1)一维卷积网络模型CNN4,通过训练并裁剪该模型获得处理心电信号的通道。

(2)二维卷积网络模型CNN—CNN3&通过训练并裁剪该模型获得心电通道。

($)多通道网络模型，包括多通道图像模型以及多通道图像+信号模型，该模型用来处理经过各通道处理后的
(4)相关模型。

一维卷积神经网络模型CNN1与二维卷积神经网络模型CNN—CNN3结构如图1所示，即为普通卷积网络模型。

多通道网络2所示。

主要由多通道与全连接两个部分构成，多通道部分中每个Channel 为训练并截取完成的一个网络。

全部分为针对融合后的向量所设计的新的全连接层。

3.2模型参数
$.2.1一维卷网络参数计
使用一维卷积网络取时变信号数据的数值特征,该网络包含5层卷积，后接两个全。

5层卷中卷积核的个数依次为：$2、64、64、128、128,设定卷积核大小均为1X5,步长均为1,激励函数采用Relu,池化方式为最大池化且步长全部为4,在卷积与池化过程中边界均不补零。

后接两层的全连接层，神经元的个数依次为256、3。

$.2.2维卷网络参数计
二卷网络提取心电图像的特征，卷积网络结构
丄UJ,丄
nrrrrnnT
全连接多通道
图2多通道网络结构
OUJJ丄丄
」丄」-344~
nrrnrrnr
|kiduJXLkkU J
___uumum
|mrrhTrrrl
如图2所示，该卷积网络结构共包含4层卷积，最后接两全(CNN中卷数依为:$2、
64、128、256,大小均为5X5,步长为1。

所有池化层均选择最大池化的方法，4层池化的步长依次为：(4,4), (5,5),(5,5,),(4,4)o激活函数为LReLU,卷积与池化过程中边界作补零处理。

$.2.$多通网络参数计
截取训练好的4个CNN分类器的部分全连接层构成4个通道，其中$器留卷，保留后$个通道的输岀均为1X512的向量，1个信器保留至第1个全，该通道的输岀为1X256的向量。

在预训练4个网络的基础上，设计了$通器与4通+序器。

$通器将$图像通道输岀的向量按照拼接方式形成新的向量，该向12导波形，向量大小为1X1536,新的全连接层结构为：Input—FC1—FC2—FC3,神经元的个数以此为：1536—64—32—3,损失函数为交叉o损失。

+序器4通输向按照
方式形成新的向量，该向量的大小为1X1792。

新的全连接：Input—FC1—FC2—FC$数依为：
1792—256—64—3。

该阶段损失函数依旧为交叉O损失。

$.2.4参数
本文在实验当中亦进行了相关的对比实验，主要包括基于卷网络导、信及集成CNN 。

为：
导，包含4个卷积层，CNN模型中卷积核的个数依次为：16、$2、64、128,大小均为5X5,步长为1两全数依为256、$。

导序5卷CNN中卷
的个数依次为：16、$2、64、128、128,大小均为1X5,步长为1两全数依为128、$。

集成CNN模型在CNN4模型的基础上进行的,将数据集分为6份，分别训练得到6个CNN4,随机森林投。

第42卷第$期魏中杰！许少华：基于多通道卷积的心电信号识别方法・69$・
4实验
4.1ECG数据准备与处理
为了得到足够多且有效的数据，本文选择了中国心血管疾病数据库)6*(the Chinese cardiovascular disease data­base,CCDD)中的ECG样本，每个样本的采样频率为500 Hz,记录时间为10s左右，并且包含专家的标注结果，同时所有样本12导联。

所用数中与样本个数见表1。

为了便于计算，本文实验中统一导取4500点，再抽析为2250维的向量。

本12个导联&导2250个采样点。

表1数据集分布
字典编号标签疾病名称样本数导联数测试集训练集X0101010正常50011210123989 0X0307011心房颤动475212942$810 0X0302012房性早搏388"127863"94
由于心电信号数据在采集过程中会受到噪声的影响，因而在实验前需对数据进行降噪处理。

本文选择低通滤波的处理方法，使用巴特沃斯滤波器(Butterworth)对数据进行处理，处理过程中的截止频率［n为0.08,滤波器的阶数N为4。

同时需要将心电信号转为灰度图像，为了保证得到足够清晰的图像，每条导联对应的图像分辨率为700X100,此导得到的识别率为88.6%，进一步将分辨率调整为800X150,其识别率为88.8%,几乎无提高。

果将12导联绘制一当中，所得到的图像分辨率为700X1200,图像过大导致训练难度增加，因此12导为$张图像，既大小，训练难度，又能够部分导联间。

为此12导为3&导见表2每组4个导联绘制率为700X400当中，利用python中的绘图&点绘制为图像，本得到如图$所示的$张图像，其中图$(a)、图$(b)、图$(c)分别对应组别1、2、$。

表2组的
别导
1I、II、III、V1
2V2'V3'V4'V5
3V6'avL'avF'avR
本为一12X225"维3
分辨率为700X400的心电图像。

(a)第一组心电图像(b)第二组心电图像
L__L__L__Lv_ (c)第三组心电图像
图$心电图像4.2实验环境
本文当中的实验环境包括两个部分：
(1)实验数据预处理环境
境为：Inter(R)Core(TM)i5-42""hCPU@ 2.8GHZ,8GB内存
软件环境为：Windowsl0操作系统，MATLAB R2016b win64平台
(2)训练境
硬件环境为：Intel(R)Xeon(R)Gold5118CPU@ 2.$GHz,NVIDIA TITAN X GPU,$2G内存。

软件环境为：16.04.—Ubuntu系统，Python$.6.4Ana-conda+tenserfl o w1.11.1平台。

4.3实验过程
本实验基本为：
(1)数；
(2)分别训练基于$组图像的$个卷积网络CNN-
训练基于12导联信号的卷积网络CNN4
裁剪CNN1-CNN4,获得4个通道；
训练融合CNN-CNN3的多通道模型；
训练融合CNN-CNN4的多通道模型；
比实验，训练对比。

CNN3；
3)
(4)
(5)
(6)
(7)
在训练CNN分类器的过程中，e/och为40,即对训练40次&器中Batchsize为8,信器中Batchsize为64,初始学习率为0.001,并随着迭代次数的增加而指数衰减，系数为0.95,速度为、e/och一次。

模型的训练过程中选择交叉O损失(Cross-en-ropy)作为该网络的损失函数，采用自适计)7* (Adam)优化。

在训练融全连接层的过程中,e/och为$0, Batchsize为274&初始学习率为0.001&衰减方案与训练CNN器。

• 694 -计算机工程与设计
2021 年
4. 4实验结果
在本数据集的基础上进行实验，实验结果见表3（ CNN1-CNN4为预训练的分类器，其中CNN-CNN3分别 为3个图像分类器，每个分类器针对一组导联所转换为的
心电图像；CNN4为信号分类器，采用12个导联信号数
表3实验结果
方法
疾病
总识别 率/%
正常
心房颤动房性早搏
Precision
Reca l F1Precision Reca l F1Precision Reca l
F1单导联序列
".9"
0. 91
0. 91".96".88".92
.73.82.77
87.3单导联图像
".92".93
".93".94
".88
0 . 91.76
.83.8
88.6CNN1
".95
".92
".93
".97".93
.95
0. 81
.89.84
91. 4
CNN2".92
".93
".92".97".9"
.94.8.87.83
9 .2CNN3
".930. 91".92
".950. 91.93.77
.850. 81
89.5CNN4（信号）".97".94
".95".94
".92
.93.82
.89.85
94.5集成CNN ".96".96
".96".96".97.960. 91
.9
.9
94.6多通道图像
".97
".94
".96".99".96.97.87
.950. 9194.9多通道图像+序列
".98
".95
".97
".98
".97
.97
.9
.95
.92
95.6
验结果见表4。

由表3可以观察到，无论是采用时间序列还是图像的 方式，单导联的分类方法均低于多导联。

采用图像方法的
识别率要略高于采用时间序列的方法，其中单导联图像方
法相较于单导联序列提高了 13%; CNN1-CNN3迁移融合
（即采用12导联图像的方式）的分类方法相较于12导联矩 阵序列以及集成CNN 模型的方式有略微提高，融合了波形
与数值特征的多通道图像十序列分类方法相较于传统的12 导联分类方法提高了 1.1%，集成CNN 模型提高了 1%； 多通道图像提高了 0.7%。

4.5对比分析
这次实验进行了一系列的对比实验，直接使用了 3个 深度卷积神经网络模型对心电信号进行分类，这包括文献
）6*中所提出的基于34层卷积神经网络的分类方法、文献 [9*中所提出的基于RNN+RF 的分类方法、文献）0*
中所提出的基于1层一维卷积神经网络的分类方法，在相 同样本集的情况下，将这3个模型与本文方法进行了比较。

在对比实验中，CNN-341ayers 模型网络包含16个re ­
sidual blocks 组成，并且每个块包含2个卷积层。

每个块中
的卷积层的滤波器长度均为16,并且具有6饥个滤波器, 其中人以1开始，并且每4个块增加1 CNNillayer 模型 包括4个卷积、4个最大池和3个完全连接的层，步幅（滤
镜移动量）设置为1和2,卷积核为1X5；在RNN+RF 模 型中构建的每个LSTM 中的隐藏层设置为6,在特征向量 空间中建立随机森林分类器以进行分类。

在本数据集的基础上，以端到端的方式相关训练，实
据分类；多通道图像为多通道迁移CNN1-CNN3,利用波
形特征分类；图像十序列为多通道迁移CNN1-CNN4网 络，利用波形与数值两类特征分类。

其中单导联序列、
CNN4信号以及集成CNN 均为传统上采用时变信号的传 统方式。

表4 ECG 分类方法与结果
文献
模型类别导联数总准确率/%
训练时间/s
文献）0*CNN-11layer 2
91. 219 134. 7
文献[6*
CNN-34layer 187.55 169.6
文献）9*
RNN+RF
5
92.371342.8
本文多通
12
94.954228.6本文
+序12
95.6
64963.9
通过以上对比可以发现，本文分类方法将12个导联参 与诊断，相较于其它方法考虑到了疾病在不同导联上的不
同特征，同时也将波形特征参与到诊断当中，因而处理过
程更加符合医生诊断的规则，使更多更全面的特征参与到
诊断过程中，因而取得了较好的效果。

为了检验模型的时效性，本文测试了图像十序列网络
的GPU 与CPU 运行时间，采用图像处理器硬件加速
（GPU ）实现算法，处理一个样本所需要的时间为0.027 s, 在不使用GPU 的情况下，单独使用CPU 处理样本所需要
的时间为0.21 s 。

5结束语
本文借鉴医生对心脏病人的诊断过程，提出了一种能
够提取并融合心电数据波形与数值特征的多通道卷积神经
网络模型，该模型在多通道利用卷积神经网络自动提取波 形与数值特征，再借用迁移学习的思想，在全连接层将波
第42卷第3期魏中杰，许少华：基于多通道卷积的心电信号识别方法•695-
形特征与数值特征融合，关注了信号不同方面的特征，取
得了95.6%的分类准确率。

本文实验验证了该方法的可行性，下一步的研究方向主要考虑利用卷积神经网络识别心电图像中的异常区域。

参考文献：
HU Shengshou,GAO Runlin,LIU Lisheng,et al.Summary of China cardiovascular disease report[J*.China Circulation Journal,2019,34(3)：209-220(in Chinese).[胡盛寿，高润霖，刘力生，等.《中国心血管病报告》概要中国循环杂志，2019,34(3)：209-220.]
[2*Bououden S,Chadli M,Karimi HR.Control of uncertain highlynonlinearbiologicalprocessbasedonTakagi-Sugenofuzzy
models[J*.Signal Processing,2015,108(C):195-205.
[3*Gao J,Murphey YL,Zhu H.Multivariate time series predic-
tionoflanechangingbehaviorusingdeepneuralnetwork[J*6 AppliedInte l igence&2018&48(1)：1-156
[4*Kiranyaz S,Ince T,Gabbouj M.Real-time patient-specific ECG classification by1-D convolutional neural networks[J*6 IEEETransactionsonBiomedicalEngineering&2016&633)：664-6756
[5*ZHOU X&ZHU X&Nakamura K&et al6Atrial fibri l ation detec­tion using convolutional neural networks[C*//9th International ConferenceonAwarene s ScienceandTechnology&2018：163-226. [6*RajpurkarP,Hannun AY,Haghpanahi M,et al.Cardiolo-
gist-levelarrhythmiadetection withconvolutionalneuralnet-works[J*6arXivpreprintarXiv：1707.01836&20176
[7*SchwabP&ScebbaGC&ZhangJ&etal6Beatbybeat：Classif-yingcardiaca r hythmias withrecurrentneuralnetworks[J*6 arXivpreprintarXiv：1710.06319&20176
[8*Hong S,Wu M,Zhou Y,et al.ENCASE:An ENsemble
ClASsifiEr for ECG classification using expert features and deep
neural networks[C*//Computing in Cardiology.IEEE& 2017：1-4.[9*RajanD&ThiagarajanJJ.A generative modelingapproachto limitedchannelecgclassification[C*//40th AnnualInterna-
tionalConferenceoftheIEEEEngineeringin MedicineandBio-logySociety.IEEE&2018：2571-2574.
[10*Acharya UR&Fujita H&Oh SL&etal.Deepconvolutional
neuralnetworkfortheautomateddiagnosisofcongestiveheart
failureusing ECG signals[J*.AppliedInte l igence&2019& 49(1)：16-27.
[11*Zhang Z&Sabuncu M.Generalized cross entropy lossfor trainingdeep neuralnetworks with noisylabels[C*//Ad-
vances in Neural Information Processing Systems&2018：
8778-8788.
[12*OkadaS&OhzekiM&TaguchiS.E f icientpartitionofinteger optimizationproblems withone-hotencoding[J*.Scientific Reports&2019&9(1)：1-12.
[13*GuJ&WangZ&KuenJ&etal.Recentadvancesinconvolu-tionalneuralnetworks[J*.Pa t ern Recognition&2018&77
(C)：354-377.
[14*GanapathyS&PeddintiV.3-dcnn modelsforfar-field multi­channelspeechrecognition[C*//IEEEInternationalConfe-
renceon Acoustics&Speech and Signal Processing.IEEE& 2018：5499-5503.
[15*Rawat W,Wang Z.Deep convolutional neural networks for
imageclassification：A comprehensive review[J*.Neural
Computation&2017&29(9)：2352-2449.
[16*Lu P,Guo S,Wang Y,et al.ECG classification based on
longshort-term memory networks[C*//TheInternational Conference on Healthcare Science and Engineering,2018：
129140.
[17*Jais IKM,Ismail AR,Nisa SQ.Adam optimization algo-
rithmforwideanddeepneuralnetwork J*.KnowledgeEngi-neeringandDataScience,2019,2(1)：41-46.。