基于rPPG的脉搏波提取及心率测量方法研究

收稿日期：2019-09-30；修回日期：2019-12-10基金项目：国家自然科学基金青年基金资助项目（61705164）；中国博士后科学基金项目
（2019M651036）；天津市科技计划项目（18ZXRHSY00200）
作者简介：王慧泉（1985-），男，河北张家口人，副教授，硕导，博士，主要研究方向为非接触生理信号检测、生物医学信号处理；何森（1995-），男，河
北石家庄人，硕士研究生，主要研究方向为非接触生理信号检测；田野（1993-），男，内蒙古乌兰察布人，硕士研究生；赵喆（1986-），女，天津人，硕
导，博士，主要研究方向为超广谱分析、复杂溶液成分检测；韩广（1987-），男（通信作者），河北保定人，讲师，硕导，博士，主要研究方向为组织光学与光谱检测（hanguang@tjpu．edu．cn ）．
基于rPPG 的脉搏波提取及心率测量方法研究
*
王慧泉
1a ，1b
，何森1a
，田野1a
，赵
喆
1a ，1b
，韩广
1a ，1b ，2
（1．天津工业大学a．生命科学学院；b．精密仪器与光电子工程学院，天津300387；2．天津同阳科技发展有限公司，
天津300387）
摘
要：为了从图像中快速获取准确稳定的脉搏波信号，
提出一种通过肤色空间转换提高视频提取抗干扰性的方法。

基于rPPG （remote photo plethysmo graphy ）原理研究，对原有提取算法进行改进并设计测量实验。

结果表明，该方法
具有较明显的抗光线干扰能力，
与接触式设备平均误差为2．3bpm ，95%数据点落在一致性界限区间内，满足医药行业标准要求，实现了微弱脉搏波信号的稳定获取，具有稳定、快速、便捷等特点，在远程医疗及家庭医疗中具有广泛的应用前景。

关键词：光电容积脉搏描记法；非接触；独立成分分析；远程医疗
0引言
从脉搏波中提取人体的生理病理信息作为临床诊断和治疗的依据，
其呈现的脉动性变化反映了血氧饱和度、心输出量、心率等与心血管系统相关的状态信息
［1，2］。

脉搏波的提取方式有压力式、电阻式、心电式与光电式。

上述方法虽然可以较准确地检测出脉
搏波信号，
但测量时都需将身体部位与检测设备接触，对被测人员具有一定束缚性，
因而在某些特定环境下无法使用。

随着科学技术的发展，研究人员逐渐将目光投向非接触式脉
搏波检测。

目前非接触式检测方法主要有激光多普勒法、
微波多普勒法、
热成像法等。

激光和微波会对人体健康造成影响，而热成像法对设备要求较高［3］
，
不适于日常连续监测。

近年来，人们基于光电容积脉搏描记（photo plethysmo graphy ，
PPG ）原理，试图利用不同方法提高脉搏波提取的抗干扰能力。

2016年刘祎等人［4］
基于AdaBoost 和Cascade 人脸检测并利用小波变换提取脉搏波及计算
心率，
其平均最大误差约为4bpm ；同年Tulyakov 等人［5］
基于自适应矩阵完成心率估计，
其误差为3．19bpm ；2017年Niu 等人［6］
提出通过多ROI 分析生成色度特征去除异常信号，
进行时间滤波抑制伪影
；2017年Lin 等人［7］
通过研究不同颜色光源对提取PPG 信噪比的影响并指出浅绿色光源在获取PPG 信号时信噪比最高，
平均在－11．09－6．6dB 内。

上述方法对于采集环境、
光源等要求较高，
未考虑光线不均匀对最终结果的影响，且ROI 通常以整张脸作为分析区域，
并未去除眼睛等非皮肤区域对结果造成的影响，使得其在家庭测量中难以得到应用与推进。

本文基于rPPG 理论［8］
，提出一种肤色空间转换提取脉搏波的
处理方法。

该方法可有效减少光线变化干扰，
结果误差较之前方法有所减小，
且算法复杂度低，操作简便，可进一步在家庭医疗中推广。

1
算法原理及实现
1．1
光电容积脉搏波
光电容积脉搏波描记法是以郎伯—比尔定律为理论基础，利用光电检测器在活体组织中检测血液容积变化的一种无创检测方
法。

当一定波长的光照射到皮肤表面时，
光束将通过透射或反射方式传送到光电传感器，
在此过程中，皮肤、骨骼和肌肉等对光的吸收在整个血液循环中是保持恒定不变的［9］
，
即直流分量DC ；随着血管内血容积变化，
光强的变化呈波动性，即交流分量AC ，如图1所示，这种波动变化可被光电传感器捕获到。

根据郎伯—比尔定律，可知透射光强度I 为
I =I 0e －εCV （1）
其中：I 0为入射光强；ε为血液对光的吸收系数；C 、
V 分别为血管内血液浓度与体积。

当心脏搏动时，
血管中血液体积记为ΔV ，透射光强变化为ΔI ，
因此有I +ΔI =I 0e －εC （V +ΔV ）
（2）上次变形后可知
ΔV V =ΔI
I
/ln （I I 0）
（3）
即血管内血液容积在心脏收缩舒张作用下呈现的搏动规律与透射
光强变化率成正比关系。

1．2基于YCrCb 颜色空间的肤色检测
对基于面部视频提取心率技术而言，感兴趣区域（ROI ）的选取
至关重要。

视频获取的图像基于RGB 空间，
而在RGB 空间中人脸肤色受光线亮度影响较大，
肤色点为离散的点，很难从非肤色点中分离出来，
这为肤色区域标定（人脸标定、眼睛等）带来了难题。

将图像从RGB 空间转到YCrCb 空间，
可以减小Y （亮度）的影响。

因为该空间将亮度与色度分开，
肤色产生很好的类聚，这样就把三维的空间降为二维的CrCb 空间，
肤色点会形成一定的形状。

其空间转换关系如式（4）所示。

Y =0．257R +0．504G +0．098B +16C b =－0．148R －0．291G +0．439B +128C r =0．439R －0．368G －0．071B {
+128
（4）
在YCrCb 空间中，当满足98≤C b ≤142，133≤C r ≤177时，即认
定为皮肤区域。

根据筛选出的肤色点坐标对应到RGB 空间作为ROI 区域进行脉搏波提取，能够减少因皮肤反射光线的亮度对结果
的影响，
同时可除去眼部等皮肤区域，得到的脉搏波更稳定，更接近真实信号。

1．3零相移滤波器去基线漂移
呼吸过程中轻微的起伏会产生附加在脉搏波上的低频信号，
造成基线漂移现象，其频率通常小于1Hz 。

这种低频噪声［10］
会随
时间作规律性变化，
对后期信号分析造成影响。

因此，去除脉搏波中的基线漂移至关重要。

本文采用巴特沃斯零相移滤波器，
信号序列经过该滤波器滤波后，
其相位不发生偏移，即该信号的相位响应为零。

工作原理如图2所示。

通过正向反向两次滤波，
实现相位零偏移
［1113］。

1．4独立成分分析
独立成分分析（independent component analysis ）又称做盲源分
离（blind source separation ，
BSS ），其原理是将一个高维信号分解为两个可逆矩阵，
即独立源信号矩阵和观测矩阵的乘积，依据观测信·
271·计算机应用研究2020年
号X ，求解出与源信号S 相互独立的混合矩阵A
［14，15］。

寻找出混合矩阵A 的逆矩阵—
——解混矩阵W 。

这个解混矩阵需要尽可能地将信号X 的估测值Y 中的各个分量独立出来。

独立成分分析流程如图3所示。

其中：X 为观测信号；S 为源信号；A 为与S 相互独立的混合矩阵；Y 为源信号S 的估计信号。

基于定点迭代递推的FastICA 算法，从
RGB 滤波后的混合矩阵中提取脉搏波［16］
信号，使得收敛更加快
速，
缩短运算时间，为进一步的实时检测提供解决方案。

2
实验设计与结果分析
2．1
视频数据采集
本实验硬件设备采用华谷动力WP-UT030/M 微型相机，其分
辨率为640ˑ480，
人的正常心率为0．754Hz ，帧速设置30fps 满足奈奎斯特采样定理要求。

将摄像头置于补光灯（无频闪）中心，
对被测人员均匀补光。

拍摄时，
被测人员脸部正对相机，关闭相机去噪、
亮度调整等优化图像的功能，保证图像的原始性。

与此同时，采用OMRONHEM-7111袖带式血压计，将袖带缠于上臂，袖带下缘
距肘窝23cm 获取脉率，
MindrayMEC-1000型心电监护仪通过心电三导联连接方式分别连接左臂、
右臂和右腿以获取心率作为对比标准。

其实验装置结构及位置关系如图4所示。

本实验在获得志愿者知情和许可的情况下，采集20名被测人
员（男14名，
女6名，年龄23±2岁）面部彩色视频作为样本集。

采集时，
被测人员面部与摄像头距离30cm 左右，且测试过程中被测人员应尽量避免出现头部摇晃等行为，
人为加入无规律光线干扰，采集时长1min 。

数据分析时ROI 区域根据比例自动选取眼下到嘴唇上
方作为本文的颜色转换区域
［17，18］
，面积大小固定为170ˑ60（宽ˑ高），其处理效果如图5所示。

图中黑色部分即为被筛除区域。

2．2脉搏波提取及心率计算
本文方法算法流程如图6所示。

首先将视频当前帧进行人脸识别确定面部区域，通过等比例计算得出颜色转换区域并转换至YCrCb 颜色空间进行肤色检测，将肤色区域坐标点对应回RGB 颜色空间，对每帧感兴趣区域分离RGB 三通道数据，并按时间排序求各通道像素平均值，得到如图7
所示原始数据（蓝）（见电子版）。

可以看出原始数据中含有极限漂
移（红），
其主要由小于0．75Hz 如呼吸等干扰造成，利用零相移低通滤波器对基线漂移进行去除。

利用6阶巴特沃斯滤波器对三通道进行0．754Hz 带通滤波，
将滤波结果进行独立成分分析，提取最佳脉搏波成分。

而独立成
分分析结果存在无序性，
将得到的三个独立成分分别计算其与绿色通道相关系数
［19，20］
，相关系数最高对应的成分序号即为最佳脉搏波成分。

图8为颜色空间转换前后计算出的最佳成分对比结
果。

从图中可以看出，经过颜色空间转换后，其脉搏波较稳定，未受到随机光线干扰（红色框）的影响。

将最佳独立成分与接触式设备采集得到的脉搏波信号进行时
域对比，
如图9所示。

除较小时间偏移外，本文方法提取的脉搏波与光电接触式设备同步采集得到的波形基本一致，
证明了本文方法提取脉搏波的可靠性与准确性。

之后对最佳独立成分进行快速傅里叶变换，根据式（5）计算得出心率。

HR =f A max ˑ60
（5）
其中：HR 为心率计算结果；f A 为功率谱最大幅值对应频率。

2．3Bland-Altman 一致性分析
本文按照上述流程对20例视频样本进行分析，并将结果记录
汇总。

将袖带式血压计（脉率）、
心电监护仪（心率）同步测量结果记录并求平均作为1min 内的标准参考心率，
与rPPG 分析数据作相关性分析，
结果对比如图10所示。

由图10可知，视频测量结果除去部分野值点（拍摄过程中被
测人员头部摆动造成波形突变），
其值均匀分布在X =Y 参考线两侧，平均误差为2．3bpm ，满足中华人民共和国医药行业标准（误差≤5bpm ）要求。

Bland-Altman 法是连续变量一致性评价常用方法［21，22］。

利用
Bland-Altman 法分别对袖带式血压计、心电监护仪与rPPG 测量结
果进行一致性评估，
结果如图11所示。

从图11可知，袖带式血压计与rPPG 测量结果的差值平均值为
0．2bpm ，在一致性界限区间［珔d －1．96S d ，珔d +1．96S d ］，也即［－7．0，
7．4］置信区间内的点数达到95%；心电监护仪与rPPG 测量结果的
差值平均值为1．1bpm ，
在［珔d －1．96S d ，珔d +1．96S d ］一致性界限区间内的点数达到95%，
一致性较好。

·
371·第37卷增刊王慧泉，等：基于rPPG 的脉搏波提取及心率测量方法研究
3结束语
本文提出一种皮肤区域颜色空间转换的方法来提高视频提取脉搏波的准确性。

实验结果表明，本文方法具有较好的抗光线干扰能力，测量结果与接触式设备具有良好的一致性［21，23］，平均误差为2．3bpm，满足医药行业标准要求；且算法复杂度低，对于1min 视频的分析速度在18s左右，为后续运动状态下的非接触检测提供了新的思路与方法，同时在未来家庭医疗中具有广泛应用前景。

参考文献：
［1］陈智鹏．基于张力法的腕部穿戴血压测量装置研究［D］．杭州：浙江大学，2019．
［2］陈倩蓉，梁永波，赵飞骏，等．基于心电—脉搏波的心血管疾病识别研究［J］．中国医学物理学杂志，2019，36（2）：210-214．
［3］陈永康，侯振杰，陈宸，等．基于深度图像的非接触式呼吸检测算法研究［J］．计算机测量与控制，2017，25（7）：213-217．
［4］刘祎，欧阳健飞，闫勇刚．基于普通摄像头的心率测量方法研究［J］．计算机工程与应用，2016，52（7）：210-214．
［5］Tulyakov S，Alameda-Pineda X，Ricci E，et al．Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition．Piscataway，NJ：IEEE Press，2016：2396-2404．［6］Niu Xuesong，Han Hu，Shan Shiguang，et al．Continuous heart rate measurement from face：a robust rPPG approach with distribution lear-ning［C］//Proc of IEEE International Joint Conference on Biometrics．Piscataway，NJ：IEEE Press，2017：642-650．［7］Lin Yuchen，Lin Y H．A study of color illumination effect on the SNR of rPPG signals［C］//Proc of the39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society．Piscataway，NJ：IEEE Press，2017：4301-4304．
［8］Wang Wenjing，Den Brinker A C，Stuijk S，et al．Amplitude-selective filtering for remote-PPG［J］．Biomedical Optics Express，2017，8（3）：1965．
［9］Wang Wenjing，Brinker A C D，De Haan G．Full video pulse extraction ［J］．Biomedical Optics Express，2018，9（8）：3898-3914．
［10］陈苹，叶继伦，张旭，等．心电信号中基线漂移的去除方法比较及算法实现［J］．中国医疗器械杂志，2018，42（5）：326-329．
［11］陈煕引，华丕祥，芮文彬．一种新的零相移IIR数字滤波器的改进算法［J］．机电工程技术，2017（S2）：487-489．
［12］Wu Yi，Ding Guoqing．Research on signal processing of shock absorber test bench based on zero-phase filter［C］//Proc of3D Measurement Technology for Intelligent Manufacturing．2017．
［13］Anagha S，Suyampulingam A，Ramachandran K I．A better digital filte-ring technique for estimation of SPO2and heart rate from PPG signals ［C］//Proc of International Conference on Inventive Research in Com-puting Applications．Piscataway，NJ：IEEE Press，2018：804-809．［14］罗凯，候晓旭．基于树莓派摄像头的心率测量方法研究［J］．数字技术与应用，2018，36（5）：107-108．
［15］Michelmann S，Treder M S，Griffiths B，et al．Data-driven re-referencing of intracranial EEG based on independent component analysis（ICA）［J］．Journal of Neuroscience Methods，2018，307：125-137．［16］Jeon H J，Kim J D，Lim S J．Pulse detection from PPG signal with mo-tion artifact using independent component analysis and nonlinear auto-correlation［J］．Journal of Sensor Science and Technology，2016，25（1）：71-78．
［17］Kwon S，Kim J，Lee D，et al．ROI analysis for remote photoplethysmog-raphy on facial video［C］//Proc of the37th Annual International Con-ference of the IEEE Engineering in Medicine and Biology Society．Pis-cataway，NJ：IEEE Press，2015：4938-4941．
［18］Van der Kooij K M，Naber M．An open-source remote heart rate ima-ging method with practical apparatus and algorithms［J］．Behavior Re-search Methods，2019，51（5）：1-14．
［19］Wang Wenjin，Den Brinker A C，Stuijk S，et al．Algorithmic principles of remote PPG［J］．IEEE Trans on Biomedical Engineering，2017，64（7）：1479-1491．
［20］Wang Wenjin，Den Brinker A C，De Haan G．Single element remote-PPG［J］．IEEE Trans on Biomedical Engineering，2019，66（7）：2032-2043．
［21］Sadler W A．Using the variance function to generalize Bland-Altman analysis［J］．Annals of Clinical Biochemistry，2019，56（2）：198-203．
［22］Carkeet A，Goh Y T．Confidence and coverage for Bland-Altman limits of agreement and their approximate confidence intervals［J］．Statistical Methods in Medical Research，2018，27（5）：1559-1574．
［23］Jan S L，Shieh G．The Bland-Altman range of agreement：exact interval procedure and sample size determination［J］．Computers in Biology and Medicine，2018，100（9）：247-252．
（上接第165页）
［6］Liang Jian，Ng S K K，Kendall G，et al．Load signature study—part i：basic concept，structure，and methodology［J］．IEEE Trans on Power Delivery，2010，25（2）：551-560．
［7］He Dawei，Du Liang，Yang Yi，et al．Front-end electronic circuit topolo-gy analysis for model-driven classification and monitoring of appliance loads in smart buildings［J］．IEEE Trans on Smart Grid，2012，3（4）：2286-2293．
［8］王轲，钟海旺，余南鹏，等．基于seq2seq和attention机制的居民用户非侵入式负荷分解［J］．中国电机工程学报，2019，39（1）：75-83．［9］Liang Jian，Ng S K，Kendall G，et al．Load signature study—part ii：dis-aggregation framework，simulation，and applications［J］．IEEE Trans on Power Delivery，2010，25（2）：561-569．
［10］孙毅，张璐，赵洪磊，等．基于动态自适应粒子群算法的非侵入式家居负荷分解方法［J］．电网技术，2018，42（6）：1819-1826．［11］Tsai M S，Lin Y H．Modern development of an adaptive non-intrusive appliance load monitoring system in electricity energy conservation［J］．
Applied Energy，2012，96：55-73．
［12］Chang H H，Chen K Lunlong，Tsai Y P，et al．A new measurement method for power signatures of nonintrusive demand monitoring and load identification［J］．IEEE Trans on Industry Applications，2012，48（2）：764-771．
［13］Patel S N，Robertson T，Kientz J A，et al．At the flick of a switch：detec-ting and classifying unique electrical events on the residential power line［C］//Proc of International Conference on Ubiquitous Computing．
Berlin：Springer，2007：271-288．
［14］Hassan T，Javed F，Arshad N．An empirical investigation of V-I trajec-tory based load signatures for non-intrusive load monitoring［J］．IEEE Trans on Smart Grid，2014，5（2）：870-878．
［15］Lam H Y，Fung G S K，Lee W K．A novel method to construct taxono-my electrical appliances based on load signatures［J］．IEEE Trans on Consumer Electronics，2007，53（2）：653-660．
［16］Iksan N，Sembiring J，Haryanto N，et al．Appliances identification me-thod of non-intrusive load monitoring based on load signature of V-I tra-jectory［C］//Proc of International Conference on Information Technolo-gy Systems and Innovation．Piscataway，NJ：IEEE Press，2015：1-6．［17］Kolter J Z，Johnson M J．REDD：a public data set for energy disaggrega-tion research［J］．Workshop on Data Mining Applications in Sus-tainability，2011，25：59-62．
［18］Batra N，Kelly J，Parson O，et al．NILMTK：an open source toolkit for non-intrusive load monitoring［C］//Proc of the5th International Con-ference on Future Energy Systems．2014：265-276．
［19］Iwayemi A，Zhou Chi．SARAA：semi-supervised learning for automated residential appliance annotation［J］．IEEE Trans on Smart Grid，2017，8（2）：779-786．
［20］Makonin S，Popowich F，Baji I V，et al．Exploiting HMM sparsity to perform online real-time nonintrusive load monitoring［J］．IEEE Trans on Smart Grid，2016，7（6）：2575-2585．
［21］邓生雄，雒江涛，刘勇，等．集成随机森林的分类模型［J］．计算机应用研究，2015，32（6）：1621-1624，1629．
·
471
·计算机应用研究2020年。