红外热成像辅助面神经功能自动评估方法研究

红外热成像辅助面神经功能自动评估方法研究
刘旭龙;付斌瑞;许沥文;鲁宁;于长永;柏禄一
【摘要】面瘫是一种多发的面神经疾病，表现为患侧面神经功能失调，严重影响
患者的正常生活和人际交往。

面神经功能自动评估方法对于面瘫的诊治是至关重要的。

面部神经功能受损导致体表温度分布发生改变，可以通过红外热成像采集患者的面部温度分布不对称特征，基于红外热成像提出一种面神经功能自动评估新方法，融合温度特异性和边缘检测自动将面部红外热像划分为左右对称的八个区域，提取面部温度不对称特征，包括温差、有效热面积比和温度分布不对称度，采用径向基神经网络作为面神经功能自动分类器。

实验收录了390幅单侧患病的面瘫患者正
面红外热像图，结果显示：采用径向基神经网络的红外热成像面神经功能自动分类器的平均分类准确率为94.10%，比采用K近邻分类器和支持向量机分类器分别提高了9.31%和4.87%，优于传统的 House-Brackmann面神经功能评估方法，对面神经功能的分类精度完全符合临床应用标准，可以有效评估面瘫患者的面神经功能，有助于面瘫的临床诊断与治疗。

%Facial paralysis which is mainly caused by facial nerve dysfunction is a common clinical entity.It seriously devastates a patient's daily life and interpersonal relationships.A method
of automatic assessment of facial nerve function is of critical im-portance for the diagnosis and treatment of facial paralysis.The contralateral asymmetry of facial temperature distribution is one of the newly symptoms of facial paralysis patients which can be captured by infrared thermography.This paper presents a novel framework for obj ective measurement of facial paralysis based on the automatic analysis of infrared thermal image.Facial infrared thermal image is automatically
divided into eight regional areas based on facial temperature distribution specificity and edge detec-tion,the facial temperature distribution features are extracted automatically,including the asymmetry degree of facial tempera-ture distribution,effective thermal area ratio and temperature difference.The automatic classifier is used to assess facial nerve function based on radial basis function neural network (RBFNN).This method comprehensively utilizes the correlation and spe-cificity of the facial temperature distribution,extracts efficiently the facial temperature contralateral asymmetry of facial paralysis in the infrared thermal imaging.In our experiments,390 infrared thermal images were collected from subjects with unilateral fa-cial paralysis.The results show:the average classification accuracy rate of our proposed method was 94.10%.It has achieved a better classification rate which is above 9.31% than K nearest neighbor (kNN)classifier and 4.87% above Support vector ma-chine (SVM).This experiment results is superior to traditional House-Brackmann facial neural function assessment method. The classification accuracy of facial nerve function with the method is full compliance with the clinical application standard.A complete set of automated techniques for the computerized assessment of thermal images has been developed to assess thermal dysfunction caused by facial paralysis,and the clinical diagnosis and treatment of facial paralysis also will benefit by this method.
【期刊名称】《光谱学与光谱分析》
【年(卷),期】2016(036)005
【总页数】6页(P1445-1450)
【关键词】面神经功能;红外热成像;温度;评估
【作者】刘旭龙;付斌瑞;许沥文;鲁宁;于长永;柏禄一
【作者单位】东北大学秦皇岛分校生物医学工程系，河北秦皇岛 066004; 东北大学信息科学与工程学院，辽宁沈阳110819;东北大学秦皇岛分校生物医学工程系，河北秦皇岛 066004; 东北大学信息科学与工程学院，辽宁沈阳 110819;东北大学秦皇岛分校生物医学工程系，河北秦皇岛066004;东北大学信息科学与工程学院，辽宁沈阳 110819;东北大学信息科学与工程学院，辽宁沈阳 110819;东北大学信息科学与工程学院，辽宁沈阳 110819
【正文语种】中文
【中图分类】R318.5
面神经功能受损导致面瘫患者面部一侧肌肉运动功能失调，临床表现为眼斜嘴歪，严重影响患者的正常面部表情和语言表达能力[1]。

面瘫是一种临床常见病，中老
年人群发病率高达25/10 000，其中单侧面瘫约为90%[2-3]。

面瘫患者患病期间不同时期具有不同的面神经功能损伤程度，准确地评估不同时期面瘫患者的面神经功能有益于最佳的临床决策和愈后的疗效评价，对于面瘫的临床诊治和研究具有重要的意义。

目前，面神经功能的评估方法主要分为两类，一类为House-Brackmann (HB)分
级系统及其改进方法[4-5]，即患者依据评分规则进行一系列的面部表情动作(闭眼、皱眉、微笑等)，医师观测患者面部两侧运动的对称度，评估面神经功能等级，一
般按面部神经功能正常到全瘫，分为六级；另一类主要为基于HB分级标准的生
物医学图像序列面神经功能自动评估方法，这类方法采集面瘫患者的面部表情动作
图像序列，利用模式识别方法自动提取患者面部肌肉运动不对称特征，构建面神经功能自动分类器。

例如：Wachtman等利用特征点定位算法自动评估面瘫患者的面部表情特征，计算患者面部图像中每一种表情动作的不对称程度，以此来评估面瘫患者的面神经功能[6]。

Mitre等提出了类似的方法，增加了两种新的面部表情动作，利用Bayes判别法，面神经分级准确率为85.71%[7]。

Park等提出了模糊均值聚类嘴唇自动分割算法，进行复杂环境下的面神经功能自动分级[8]。

He等提出了基于径向基神经网络和支持向量机分类器的面神经功能自动评估系统，其中采用光流法和局部二值模式表示面部表情动作不对称特征，分级正确率为93.9%[8-9]。

上述这些方法的缺点在于测试者必须按要求完成一系列的面部表情动作，患者的动作规范度、心理抵触情绪等因素都将影响面神经功能分级结果的准确性，降低其客观程度。

此外，面瘫图像或视频中的面部表情不对称特征易受外界环境干扰(光照、拍摄角度等)，带来评估结果的不一致性。

为了解决上述方法的缺点，通过红外热成像辅助面神经功能客观评估成为目前计算机辅助面瘫诊治中的一个研究热点，当人体面部局部出现病变时，局部组织的血流量将会发生改变，导致患者面部温度分布异常。

通过红外热成像采集人体面部的温度分布信息，对比面部健康区域与患病区域的温度分布特征的差异，可以用来评估面瘫病情的严重度。

高宇红等利用红外热像观察急性面瘫患者的面部供血状态的变化，发现患侧区域温度明显高于健侧，表明红外热像是一种面瘫临床诊断的客观评估指标[10]。

张栋等采用红外热成像发现面神经麻痹患者的面部左右两侧温差显著大于健康人群，并且两侧温差与面神经功能损伤相关，为临床客观评估面神经功能提供了一个量化指标[11]。

刘旭龙等利用红外热成像发现面瘫患者面部局部区域的健患两侧温度分布不对称特征明显异于正常人群，且与面神经功能正相关，为面神经功能的自动评估提供了理论基础[12]。

上述的研究方法只是分别统计了面瘫患者面部不同区域的温度分布差异，分析了面
部温度分布与面神经功能的相关性，但是并没有给出完整的红外热成像辅助面神经功能自动评估系统。

结合红外热成像和径向基神经网络(RBFNN)，提出了一种新
的面神经功能自动评估方法，即采集面瘫患者面部红外热像图，自动提取患者面部不同区域的左右两侧温度不对称特征，利用径向基神经网络自动分类器，自动评估面瘫患者的面神经功能。

实验数据集共收录了面瘫患者65例，所有患者都签署了知情同意书。

医用红外热像仪为液氮制冷WP-95型，其中灵敏度0.05 ℃。

面瘫患者的病程大约为30 d，每间隔5 d对面瘫患者采集一次面部红外热像，共采集红外热像图390(65×6)幅。

实验中利用HB评分量表评估面瘫患者的面神经功能，将面神经功能的损伤程度由轻到重分成六级，一级表示功能正常，六级表示面部完全瘫痪。

因此，每幅面瘫患者面部红外热像图都会与面神经功能等级相关联，共同组成实验数据集。

图1为
面神经功能自动评估方法的总体框图，采用红外热像面部器官温度分布特异性和边缘特征自动划分面部感兴趣区域(region of interest, ROI)，从ROI中自动提取三
种面部温度分布不对称特征，即温差、有效热面积比和温度分布不对称度，采用径向基神经网络作为分类器，将三种特征值和HB分级值作为输入参数，训练分类器，比较径向基神经网络与支持向量机、K近邻分类器的面神经功能分类准确度，构建红外热像面神经功能自动评估系统。

1.1 红外热像ROI自动分割
为了客观评估面瘫患者的面神经功能，如图2所示，我们将每幅热像图分割为两
两对称的8个ROI，ROI自动分割算法以红外热像面部器官自动定位算法为基础，面瘫患者的面部红外热像不同于正常人的面部热像，例如眼斜嘴歪，传统方法定位错误率较高，故我们采用融合温度分布特异性和边缘检测的面部ROI的自动分割
算法，其中首先利用温度特异性的极值点检测鼻子、瞳孔的水平与垂直位置，接着利用边缘检测定位嘴唇的位置，最后融合两者的信息对面部器官定位进行微调。

红外热像中面部器官的温度特异性可以表示为温度自相关函数。

设面部热像图的温度矩阵为I，其自相关函数可表示为
其中，(x, y)表示红外热像图上像素点的坐标值，I(x, y)表征温度值。

E(x, y)表示像素点(x, y)移动(u, v)时产生的温差，E表示红外热像温度分布的变化程度。

根据Harris算法，红外热像图I的自相关函数中的局部极值为
式中，Ex, y为窗口内的温度变化度量； wx, y为窗口函数，一般定义为wx,
y=e(x2+y2)/σ2。

面部红外热像的边缘检测采用Log算子，其边缘特征图像表示为
式中，G(x, y)表示为二维高斯函数，2G(x，y)为Log算子
红外热像中鼻子的温度特异值分布范围约在15～150之间，以此为约束条件分别
向垂直和水平方向投影，投影曲线的最大值即为鼻孔的垂直和水平位置坐标。

同样，眼睛的温度特异值分布范围约在14～80之间，分别向垂直方向和水平方向做投影，找出水平方向的最大值即为瞳孔中心点的横坐标，找出垂直方向上左右两侧的峰值点即为瞳孔中心点的纵坐标，结合温度特异性矩阵与边缘特征矩阵，可以找出眼角和眉骨等其他位置的坐标，红外热像面部器官定位实验最终结果如图3所示，通
过这些面部关键点的定位，可以完成对面部ROI的自动分割。

1.2 有效热面积比
在红外热像中两个ROI的平均温差越大其色彩差异越大，如图2所示。

在计算ROI的有效热面积比时，一般将红外热像在面部中线处划分成左右对称的两侧，
分别表示为健侧和患侧。

对比面部ROI中两侧的温差，温差大于0.3 ℃的区域，
定义为温度异常区。

由面神经功能受损引起的温度分布不对称特征，不仅取决于面部局部区域两侧温差的大小，还与温度异常区的面积相关联。

因此，综合这两点，有效热面积比的定义为[12]
式中：E为有效热面积比，NIsub为温度异常区中像素的数目，NIROI为整个区域
中像素的数目，w为一个加权值，当面部ROI两侧的温差≤0.5 ℃时，其值为1，温差每增加0.1 ℃，其增加0.1，当温差≥1.5℃，其值为2。

1.3 温度分布不对称度
图2中将面瘫患者正面红外热像图划分为两两对称的8个ROI，其中温度分布不
对称度表示为：两个对称分布的ROI的局部二值模式[13](local binary pattern, LBP)的直方图之间的RAD(resistor-average distance)。

LBP算子通常用于纹理分析，可以表示为
其中P表示一个圆心为(x , y)，半径为R的圆形邻域。

LBP表示由二项式权值2p 和函数S得到的唯一的P位二进制编码。

LBP编码围绕坐标(x, y)描绘了红外热像ROI中的纹理特征，包含温度特异性信息、温度异常区边缘信息和温度分布特征。

不对称度也就是两个概率分布之间的相异度，通常用两点间的RAD来表示这种差异，RAD可以表示为
其中DKL(p‖q)表示Kullback-Leibler (KL)散度，DRA(p,q)随着p(x)与q(x)的相
异度的增加而增大。

KL散度定义为
当p(x)和q(x)属于同一种概率分布时，KL散度为0。

当p(x)和q(x)的差异越大时，RAD的值越大。

1.4 面神经功能自动分类器
采用RBFNN作为面神经功能自动分类器，并与支持向量机(SVM)、K近邻(K-NN)这两种常见的分类器进行对比实验[14]，比较其分类准确度。

RBFNN分类器的输入节点包括：面部ROI的4组面部温度分布不对称度、4组有效热面积比以及一
个面部双侧平均温差，共9个输入节点。

输出节点为面神经功能等级，即HB面神经功能分级标准，按病情轻重分为1～6级。

在实验方法上，利用N倍交叉验证(N-fold cross validation)进行分级准确率的比较，即将全部样本N等分，循环N 次，每次选择1份为测试集其余数据为训练集，进行分类实验。

这种方法可以有
效分析分类器对训练样本的依赖程度，实验中将分别采用留一法、5倍和10倍交
叉验证来进行实验结果的对比分析。

2.1 面部ROI自动定位准确率分析
如图2所示，红外热像上用于面神经功能评估的区域(ROIs)共四个，分别为额部、眼部、脸颊和嘴部。

ROIs自动定位的准确率会影响面神经功能自动评估的准确率，实验结果如表1所示。

综合分析，对面部区域的定位准确率总体达到了90%以上，其中额部、眼部、脸颊的定位准确率明显高于嘴部的定位准确率，分别为95.38%，96.92%，96.92%和90.77%。

额部、眼部、脸颊主要利用温度分布特异性进行定位，其取值范围比较稳定，嘴部采用边缘特征与温度分布特异性共同定位，容易受到外部干扰，因此额部、眼部、脸颊的定位准确率相对较高，而嘴部的定位准确率相对较低。

红外热像中ROIs定位出现错误的主要原因为一些患者的面部器官的温度分布发生改变(例如一些患者天生无眉毛或进行整容等)，图4(a)中患者整容导致鼻部的温度特异性较低，鼻部的定位中线比正常位置偏左，(b)中患者没有眼眉，
导致额部的定位中线比正常位置偏下。

2.2 面神经功能自动分类准确率分析
为了分析面神经功能自动分类器的性能，选取kNN、SVM与径向基神经网络作对比测试。

在实验方法上，采用留一法与5倍交叉验证、10倍交叉验证相结合进行
测试。

相关研究表明，不同的医师采用HB面神经功能分级标准(1～6级)，同时对一名患者进行面神经功能评估，其中60%的医师的面神经功能分级与患者的实际
面神经功能分级结果相一致，大约四分之一的评估结果与实际的面神经功能分级结果相差一个等级(例如实际为3级，一些医师评估为4级)[15]。

在临床研究中，面神经功能自动评估结果与HB面神经功能分级标准之间经常存在一个等级的误差，这种评估结果被认为是可以接受的[8-9]。

因此在本系统中，若自动评估结果与医
师给出的HB面神经分级相同或相差在一级以内，则认为自动分类结果是正确的，
否则，认为自动评估系统对面神经功能分类错误。

表2表示分类器RBF，KNN和SVM的平均分类准确率，表中第二、三、四行分
别表示在采用5倍交叉验证、10倍交叉验证和留一法时的实验结果。

如图5所示，RBFNN的分类准确率高于其他两种分类器，RBFNN平均分类准确率(误差在1个等级以内)为94.10%，比k-NN与SVM分别高9.31%和4.87%。

文献[7]中对面
瘫患者面神经功能自动分级的准确率为85.71%，文献[9]中对面神经功能自动分级的准确率为93.9%，因此红外热成像面神经功能自动评估结果优于其他的自动评
估方法，可以减轻医师的工作负担，为面神经功能的分级提供一种客观标准。

面神经功能自动评估出现误差的主要原因为受试者原有的面部温度分布模式在红外热像采集前后发生改变，主要由拍摄环境(温湿度等)的变化和面瘫患者生理状况的改变(拍摄前饮酒、吸烟、服药等)所引起。

为了更加客观准确地进行面神经功能自动评估，在采集面瘫患者的红外热像时，应该严格保持室内环境的稳定，避免环境因素对红外热成像的影响，通常在采集红外热像前，面瘫患者不能饮酒服药，采集前须静坐20分钟以适应室内环境，采集室内必须隔离热源，温度维持在(24±1)℃，湿度为60%±5%。

面神经功能失调将改变面部局部区域的血液循环，导致面部皮肤表层的热辐射异常，如果能够在一个稳定的环境下采集患者的面部红外热像图，通过分析红外热像图上的温度分布不对称模式，可以有效的评估患者的面神经功能。

因此，我们提出一种红外热像辅助面神经功能自动评估方法，利用计算机自动分割面部局部区域，提取面部温度分布不对称特征，采用RBFNN作为面神经功能自动分类器，利用390
幅面瘫患者的面部红外热像进行实验，结果表明，面神经功能自动分类器评估准确率高于传统评估方法。

因此，红外热成像可以作为一种客观高效的面神经功能自动评估工具。

【相关文献】
[1] Holland N J, Weiner G M.BMJ, 2004, 329(7465): 553.
[2] Chan J Y K, Byrne P J.Facial Plastic Surgery, 2011, 27(4): 346.
[3] Lamina S, Hanif S.African Health Sciences, 2013, 12(4): 514.
[4] Henstrom D K, Skilbeck C J, Weinberg J, et al.The Laryngoscope, 2011, 121(1): 47.
[5] Lee H Y, Park M S, Byun J Y, et al.Clinical and Experimental Otorhinolaryngology, 2013, 6(3): 135.
[6] Wachtman G S, Cohn J F, VanSwearingen J M, et al.Plastic and Reconstructive Surgery, 2001, 107(5): 1124.
[7] Mitre E I, Lazarini P R, Dolci J E L.American Journal of Otolaryngology, 2008, 29(1): 51.
[8] He S, Soraghan J J, O’Reilly B F.EURASIP J Image Video Process, 2007, 2007(4): 81282.
[9] He S, Soraghan J J, O’Reill y B F, et al.IEEE Trans.Biomed.Eng., 2009, 56(7): 1864.
[10] GAO Yu-hong, XUE Yi-long, LUO Yun, et al(高宇红, 薛毅珑, 罗芸, 等).Chinese Journal of Laser Medicine & Surgery(中国激光医学杂志), 2008, 17(1): 50.
[11] Zhang D.The American Journal of Chinese Medicine, 2007, 35(6): 967.
[12] LIU Xu-long, HONG Wen-xue, ZHANG Tao, et al(刘旭龙, 洪文学, 张涛, 等).Journal of Biomedical Engineering(生物医学工程学杂志), 2013, 30(1): 34.
[13] Nosaka R, Fukui K.Pattern Recognition, 2014, 47(7): 2428.
[14] Luqman H, Mahmoud S A, Awaida S.Pattern Recognition, 2014, 47(6): 2231.
[15] O’Reilly B F, Soraghan J J, McGrenary S, et al.Otology & Neurotology, 2010, 31(3): 486.。