基于Kinect的帕金森病步态不对称性识别方法

基于Kinect的帕金森病步态不对称性识别方法
张幼安;侯振杰;坎标;姚恩;张家玮
【摘要】目的开发一种基于深度图像的非接触式帕金森病步态不对称性识别方法,以辅助医疗诊断和评估,解决穿戴型传感设备费用高、影响正常生活且检查流程复杂的问题.方法 2016年7月至8月,对帕金森病患者8例和健康人10例,采用Kinect V2.0采集行走6 m的运动数据;对左右脚参数滤波处理后分别聚类,使用相似度矩阵算法分别计算健康人和帕金森病患者相似度值;使用隐马尔科夫模型验证该方法的识别效果.结果所有患者左右脚参数聚类序列相似度小于健康人;从患者中提取的14条数据,成功识别12条(85.71％);从健康人中提取的46条数据,成功区别35条(76.09％).结论基于左右脚位移过程中步态参数聚类结果不对称性的非接触式识别方法,对于帕金森病患者有一定识别效果.
【期刊名称】《中国康复理论与实践》
【年(卷),期】2018(024)007
【总页数】7页(P795-801)
【关键词】帕金森病;步态对称性;Kinect;字符串相似度矩阵算法;隐马尔可夫模型【作者】张幼安;侯振杰;坎标;姚恩;张家玮
【作者单位】常州大学华罗庚学院,江苏常州市213164;常州大学信息数理学院,江苏常州市213164;常州大学机械工程学院,江苏常州市213164;常州大学华罗庚学院,江苏常州市213164;常州大学华罗庚学院,江苏常州市213164
【正文语种】中文
【中图分类】R742.5
帕金森病(Parkinson's disease,PD)是一种特征性运动障碍，临床存在多种表现，如慌张步态、冻结步态、静止性震颤、肌僵直等。

作为老年人多发病，国内外学者做了很多努力预防或治疗此病及其并发症[1-9]。

Gray等[10]研究显示，帕金森病患者躯体运动功能下降，尤其是步态障碍与高死亡风险相关。

临床对帕金森病患者病情的评估主要采用统一帕金森病分级量表(Unified Parkinson's Disease Rating Scale,UPDRS)，但该方法参数较多，较为繁琐[11-13]。

实验室一般通过穿戴设备或测量足底压力，需要铺设专业行道或在脚底垫测力垫，设备价格昂贵，也影响行走步态[14]。

有很多学者通过视频图像提取数据，但建模过程一般较为繁琐，无法推广[15-17]。

鉴于步态障碍的主要特征为步态不对称性，本研究提出一种基于Kinect骨骼数据的帕金森病步态不对称性识别方法；针对帕金森病“N”字形发病规律，结合Kinect采集患者骨骼点数据，通过聚类算法得到行走加速度分布，使用字符串相似度的矩阵算法[18]，比较左右脚加速度分布，量化步态对称性指标，最后建立对称步态隐马尔科夫模型(Hidden Markov Model,HMM)完成常规识别工作。

1 对象与方法
1.1 研究对象
常州市武进区南夏墅敬老院及湖塘镇南夏墅村志愿者18例，采集时间为2016年7月至8月，调研过程为常州大学重点暑期社会实践项目。

健康组纳入标准：①年龄≥40周岁；②无神经内科疾病史；③无腰痛、关节痛等导致下肢活动异常的症状；④无明显残疾或步态障碍。

患者组纳入标准：①年龄≥40周岁；②经确诊有帕金森病或有明显帕金森综合征症状，符合中国帕金森病的诊断标准；③可顺利步行。

健康组10例，其中男性7例，女性3例；年龄40～65岁；身高158～176 cm。

患者组8例，均为男性；年龄55～70岁；身高168～177 cm。

所有研究对象均知情同意。

1.2 方法
采用微软公司Kinect V2.0，包含RGB彩色摄像头、红外线发射器和红外线CMOS摄像头；每秒最多获取30帧图像；可识别距离0.5～4.5 m。

Kinect骨骼跟踪技术通过处理景深数据，建立人体各个关节的坐标。

骨骼追踪能
确定人体各个部分，如头、腿等。

骨骼跟踪产生X、Y、Z轴坐标，确定这些骨骼
点的位置。

因此，Kinect提供的骨骼数据为行走过程中身体各关节点的空间坐标
序列。

使用时通过调用自带SDK进行实验对象行走过程中的全身骨骼点采集。

设立步道长7 m、宽2 m，排除外界干扰。

将Kinect平放在步道一端。

受试者以正常舒服姿势站立于Kinect正前方6 m处，操作者对Kinect进行距离和角度等
参数校准。

当Kinect指示灯亮起，受试者以最舒适状态面向Kinect走去，直线行走6 m或至无法识别人体关节点坐标后停止。

每例受试者测试6次。

采集数据为全身25个关节点的三维坐标序列，通过该骨骼点序列提取步态周期，继而提取步态参数，进行对比实验，验证设备可靠性。

计算行走过程中位移和加速度序列，聚类分析患者左右脚步态对称性，最后完成常规识别。

1.3 观察指标
采用MATLAB软件编程提取步态特征。

提取步态参数包括步长、步幅、步宽和聚类后的加速度序列。

1.3.1 步态特征提取
先由空间坐标序列的周期性变化计算步态周期，再通过步态周期计算各项步态参数。

1.3.1.1 步态周期计算
使用Kinect采集的人体骨骼点空间变化坐标序列。

由于Kinect摄像头摆放无法使
X轴与地面完全平行，也无法以Y轴的0值视为落地点，所以不能根据返回坐标(如Y轴的0值)直接确定双脚落地点来确定周期。

行走过程中，人体中心点呈现左右、上下摆动的周期性变化。

本文将每次摆动的最低点作为特殊点，出现特殊点的帧作为特殊帧。

通过求特殊帧位置即可计算步态周期。

步态周期计算流程图如图1。

1.3.1.1.1选取中心点
行走过程中，上半身产生的弹性变形接近0，弯腰程度接近0，上半身可近似刚体；而下半身由于运动过于复杂，无法准确描绘中心点周期性变化；结合Kinect V2.0的采集点，取脊柱底部点作为中心点(图2)。

1.3.1.1.2数据低通滤波
采集取中心点Y轴坐标序列。

由于Kinect采样频率默认为30帧/s，因此时间域
和频域一致。

做该点Y轴坐标频域变化曲线图，手动提取步态稳定区间，一般为
前80%点。

第1次滤波：做相邻数据差值，若该值大于前n组差值和，则将该值置为前n组
差值的均值。

由于Kinect采集性能较稳定，n置为5。

第2次滤波：对坐标序列行RLOWESS滤波，得到新的Y坐标变化序列。

1.3.1.1.3求特殊帧
根据滤波后Y坐标序列，做变化曲线图。

计算曲线上每一点的瞬时变化率，得到
瞬时变化序列。

在13～17之间依次取数作为周期基数，套取每个周期内的瞬时变化率最小值。

根据相邻套取结果的差值判断：若与其他相邻套取结果差之间存在倍数差关系，则该次套取失败，重新选循环基数，直致筛选出正确特殊点，并求得特殊点序列。

特殊点所在帧数即特殊帧位置。

人正常行走速度 V=4～4.7 km/h，即 1.1～1.3 m/s，以S=0.6 m作为正常跨步长，计算步频为1.85～2.20/s。

Kinect采集频率30帧/s，所以n=13.64～16.22帧/周期，因此Kinect采集的步态周期数在13～17之间，所以将13～17作为周期基数。

1.3.1.1.4计算步态周期
步态周期(T)为行走过程中一侧足跟着地至该侧足跟再次着地时所经过的时间，即
连续3帧特殊帧出现所经历的时间。

其中，tk为第k个特殊帧出现的时间，tk+2为第k+2个特殊帧出现的时间。

图1 步态周期计算流程图
图2 Kinect V2.0的采集点
1.3.1.2 步态参数
步态参数定义见图3，步长、步幅、步宽用来验证Kinect采集步态的可靠性，加
速度序列用来进行对称性检验和步态识别。

图3 步态参数定义
1.3.1.
2.1步长
行走时一侧足跟着地到紧接着的对侧足跟着地的距离。

使用空间点坐标距离公式计算：
其中，spi为第i次跨步步长，Xk、Yk、Zk为特殊点序号为k的空间坐标，Xk+1、Yk+1、Zk+1为特殊点序号为k+1的空间坐标。

1.3.1.
2.2步幅
行走时由一侧足跟着地到该侧足跟二次着地所行进的距离。

1.3.1.
2.3步宽
先以一侧足(本文选右足)的2个落地点和1个悬空点，通过三点式方程构造平面空
间；然后计算对侧足(本文选左足)落地点至该平面的距离。

两个右脚落地点R1(X1,Y1,Z1)和R2(X2,Y2,Z2)，悬空点R3(X3,Y3,Z3)建立的空间平面方程：
对侧足落地点到平面的距离，即步宽：
其中，(X0,Y0,Z0)为对侧落地点坐标。

1.3.1.
2.4位移
位移的计算使用下一时刻点坐标至该点坐标的直线距离。

1.3.1.
2.5速度
每次采集捕获骨骼点的瞬时速度。

由于采集频率为30帧/s，所以相邻帧时间间隔为0.033 s，用相邻3个点的平均速度代替中点的瞬时速度，中点的瞬时速度：
其中，fc为 Kinect采集频率，δt-1为点 Bt-1到点 Bt的距离，δt为点 Bt到
Bt+1的距离。

1.3.1.
2.6加速度
相邻帧速度的变化率：
根据采集到的m+1个点的坐标，可以确定时间参数序列，即位移序列
X1,X2,X3,……Xm；速度序列V1,V2,V3,……Vm-1；加速度序列a1,a2,a3,……am-3。

1.4 对比实验
在地面铺设白纸，使用米尺测距、秒表测时，采集一次步态周期实际步长、步幅、步宽，并计算速度。

1.5 对称性检验
临床研究表明[19]，出现冻结步态的帕金森病患者姿势控制更差。

帕金森病患病呈“N”字型进展：首先单侧腿出现病症，随后进展至同侧上肢，再发展至对侧腿部，再至对侧上肢。

推测初期单腿患病时，肌肉控制力下降，患者会多使用健康腿，导致步行周期左右腿加速度不同；对比两腿加速度序列便可以比较两腿步态对称性。

本研究通过比较左右脚加速度分布字符串的相似度，确定步态的对称性，对比参数为左右膝的加速度序列。

在确保加速度序列误差足够小的基础上，分别对左、右序列进行K-means聚类，得到左、右一次聚类字符串；取一侧聚类结果不变，用另一侧所有可能的聚类结果字符串与前一侧聚类字符串用字符串相似度矩阵算法，求相似度，取相似度最大值作为实际对称性指标。

1.6 常规识别
建立对称步态HMM模型进行常规识别。

根据中心点波形分析，左右脚加速度分
布会表现在中心点的加速度分布上。

收集健康组中心点加速度序列，使用Baum-Welch算法训练HMM模型参数；通过前向算法统计不同程度帕金森病患者步态序列的发生概率，提取最小概率作为阈值。

计算受试者步态序列相对于健康人HMM模型的发生概率，若在患者阈值范
围内，则记为患者。

在应用HMM模型预测步态加速度分布时，我们将已知加速度序列看作是可见状
态链，将人体腿部各动作激励的肌肉或神经信号作为隐含状态链。

2 结果
2.1 可靠性检验
使用Kinect采集的人体步行1次骨骼数据，其中心点Y轴坐标频域如图4。

图4 中心点Y轴坐标频域变化
取前80%点作为稳态序列，对稳态序列两次滤波，作出稳态序列图像，并在同一
图上作出滤波后的曲线，如图5。

对曲线中每一点求斜率，并作斜率图，如图6。

图5 稳态数据及滤波图
图6 斜率图
一名测试者Kinect采集的步态参数，与手工测量步态参数比较见表1。

Kinect采集的三种步态参数误差均在5%以内，提取步态参数的方法可以信任。

见表1。

表1 两种测量方式比较(cm)步宽13.08 12.78±0.023方式手工Kinect步幅122.00 123.3±0.011步长58.93 59.783±0.014
2.2 步态对称性检验
展示1例健康人数据和3例最有区别度的患者数据。

由于每次实验采集骨骼点超过100条序列，仅显示前7次数据，如表2。

其中患者1为拖沓步态，患者2为轻度跛行，患者3为单腿萎缩。

表2 膝关节加速度原始数据(m/s2)对象健康人侧别1234567患者1患者2患者3左右左右左右左右-2.46-3.71-0.49 1.41-12.37 3.51-0.50-2.53-4.27-7.01 1.62
9.31 8.61 1.70 2.53 10.71 3.37 5.31-0.61 12.87-5.57 1.88 1.06-0.48-9.37-
10.7-0.40 14.45-2.92 2.55 1.38-2.01-5.55-2.73-11.7-3.76 19.34 13.42-1.21-5.72 3.07 6.26-8.62 1.15-30.79-7.75 1.79-1.35 5.66 9.13-3.86 7.03-1.44 4.20 4.01-8.12
加速度状态可分为5类：加速度=0、加速度减小的加速运动、加速度增大的加速运动、加速度减小的减速运动、加速度增加的减速运动。

因此，K-means聚类时设K=5，结果见表3。

表3 膝关节加速度聚类结果对象健康人侧别患者1患者2患者3左右左右左右左右13 4 4 2 2 3 4 3 23 4 5 1 4 3 5 5 31 1 5 5 5 1 4 4 45 3 5 5 4 1 4 4 55 3 5 5 3 1 4 3 61 1 3 1 1 4 4 4 71 1 3 1 2 3 4 2
左右脚状态相同的速度聚为同一类，将一侧聚类后的结果进行循环种类号替换，聚类结果不同的可以任意替换(如1234可任意替换为1324、4123等)，聚类结果相同的只能替换成相同的聚类效果(如1233只能替换为2144、4311等)。

一侧加速度序列有120种相似度结果，提取相似度最大值作为该受试者的实际相似度。

结果见表4。

表4 健康人与帕金森病患者左右脚加速度分布相似度比较相似度
77.78%69.50%64.00%46.67%对象健康人患者1患者2患者3
健康人左右相似度最大，患者1、患者2、患者3病情依次加重，左右相似度依次减小。

2.3 常规性识别
采用Baum-Welch算法学习HMM模型，加速度序列通过DBSCAN聚类，结果有6类，即HMM模型中Markov链每个状态对应可能的观察值数目为6；预设Markov链状态数目N，初步训练得到模型参数，再运用前向算法计算由该初步模型产生加速度序列的概率P；不断重设N值，重复该步骤至概率收敛，得最佳N 值为5。

结果：M=6，N=5
其中，M为每个状态对应的可能的观察值数；N为模型中Markov链状态数；A 为状态转移概率矩阵；B为观察值概率矩阵；Pi为初始状态概率矢量。

采集计算多组帕金森病症患者的加速度序列，聚类标准化，前向算法多次计算后
某受试者经加速度序列聚类标准化后，前向算法计算得logP=-4.2×10-2，高于阈值，则判断该受试者有可能患帕金森病。

对8例患者重新采集数据，共8组26条数据(一些患者由于身体原因无法重复多
次采集)，并提取出能代表其特征的7组14条数据，成功识别出12条，成功率85.71%。

提取了10组60条健康人数据，在有效的46条数据中，成功区别出35条，区别度76.09%。

3 讨论
根据帕金森病不对称步态进行患病识别一直受到关注。

王人成等[20]采用基于FITTS定律提出的二维极坐标下的步态对称性指标；Shorter等[21]采用偏差阈值
分析，比较不对称行走的屈伸行为与未装支具组的标准，使用该方法可量化双侧关节的对称性和不对称性；邹亚等[22]根据可穿戴惯性传感器观察参数提出对称性计算式。

多数学者主要以左右脚参数比值做主要因式[23-24]，但对于不对称步态的识别依
据一直缺乏独到且可执行的解释，尤其是帕金森病患者不对称性步态。

廖福元等[25]将患者左、右腿支撑时间和跨步时间排成序列对，以多个尺度逼近序列对的相似度来量化步态的对称性，但没有结合病理提出识别原因。

本研究基于帕金森病“N”字形发病规律，将使患者患病初期产生较为明显的不对称步态，通过Ki-nect体感设备建立人体连杆模型，采集关节点，使设备对正常行走步态的影响降到最低。

本研究通过骨骼点三维坐标序列类正弦曲线的周期性特征，结合曲线斜率大小求波峰、波谷的方法提取周期，然后提取步态特征参数。

对比足迹测量，证明该提取方法可行。

周期提取还可以通过计算斜率方差的方式提取波峰、波谷，再提取周期。

在提取周期后，除可计算本文所用的特征参数之外，还可以通过空间坐标的时间变化曲线提取其他步态参数，如步频、步速、支撑相时间等。

对于帕金森病的步态，本文基于帕金森病患者左右脚加速度分布不同的假设，通过字符串相似度的矩阵算法识别不对称步态。

由于K-means聚类方法对噪声不敏感，误差可能较大；也可选择使用DBSCAN聚类，但需人工多次干预，直到聚类到所
需的聚类书目。

在使用字符串相似度的矩阵算法时，由于需要对一侧聚类结果进行穷举，再与另一侧进行匹配算法，较为复杂，有待改进。

最后，我们使用HMM 预测模型进行患者和非患者的识别，证明有一定效果。

但HMM模型的训练常需要较大数据，因此需要插值算法，或需要将几次采集结果组合，会产生一定误差，还需要进一步研究。

[参考文献]
【相关文献】
[1]Ellis JM,Fell MJ.Current approaches to the treatment of Parkinson's disease[J].Bioorg Med Chem Lett,2017,27(18):4247-4255.
[2]刘疏影,陈彪.帕金森病流行现状[J].中国现代神经疾病杂志,2016,16(2):98-101.
[3]Dickson DW,Braak H,Duda JE,et al.Neuropathological assessment of Parkinson's disease:refining the diagnostic criteria[J].Lancet Neurol,2009,8(12):1150-1157.
[4]Simioni AC,Dagher A,Fellows pensatory striatal-cerebellar connectivity in mild-moderate Parkinson's disease[J].Neuro Image Clin,2015,10:54-62.
[5]高中宝,王洁,王炜,等.帕金森病诊断与治疗新进展[J].中国现代神经疾病杂志,2015,15(10):777-781.
[6]周琛,庞伟,吴岚.针灸联合美多芭治疗帕金森病的临床效果和安全性分析[J].中国医药科
学,2016,6(22):11-13.
[7]Wu B,Han L,Sun BM,et al.Influence of deep brain stimulation of the subthalamic nucleus on cognitive function in patients with Parkinson's disease[J].Neurosci
Bull,2014,30(1):153-161.
[8]陈路.培养肝肾复方治疗帕金森病及其肠功能障碍的疗效研究[D].北京:北京中医药大学,2013.
[9]刘峘,谢雁鸣,易丹辉,等.帕金森综合征患者合并病特征与临床用药特点分析[J].中国中药杂
志,2014,39(18):3493-3498.
[10]Gray WK,Hildreth A,Bilclough JA,et al.Physical assessment as a predictor of mortality in people with Parkinson's disease:a study over 7 years[J].Mov Disord,2009,24(13):1934-1940.
[11]刘志红,卢健军,郑文华,等.帕金森病患者采用Synapsys静动态平衡仪进行平衡和步态训练的效果观察[J].护理学报,2016,23(2):48-52.
[12]Goetz CG.The Unified Parkinson's Disease Rating Scale(UPDRS):status and recommendations[J].Mov Disord,2003,18(7):738-750.
[13]Williams JR,Hirsch ES,Anderson K,et al.A comparison of nine scales to detect depression in Parkinson disease:Which scale to use?[J].Neurology,2012,78(13):998-1106.
[14]Ginis P,Heremans E,Ferrari A,et al.External input for gait in people with Parkinson's disease with and without freezing of gait:one size does not fit all[J].J
Neurol,2017,264(7):1488-1496.
[15]Kusakunniran W.Attribute-based learning for gait recognition using spatio-temporal interest points[J].Image Vision Computing,2014,32(12):1117-1126.
[16]Wei Z,Cong W.View-invariant gait recognition via deterministic
learning[J].Neurcomputing,2016,175(A):324-335.
[17]刘玉栋,苏开娜,马丽.一种基于模型的步态识别方法[J].计算机工程与应用,2005,41(9):88-92.
[18]李彬.计算字符串相似度的矩阵算法[J].现代电子技术,2007,30(24):106-108.
[19]Bekkers EMJ,Dijkstra BW,Dockx K,et al.Clinical balance scales indicate worse postural control in people with Parkinson's disease who exhibit freezing of gait compared to those who do not:A meta-analysis[J].Gait Posture,2017,56:134-140.
[20]王人成,张美芹,华超,等.基于Fitts定律的人体步态对称性评定指标[J].清华大学学报(自然科学版),2005,45(2):190-192.
[21]Shorter KA,Polk JD,Rosengren KS,et al.A new approach to detecting asymmetries in gait[J].Clin Biomech(Bristol,Avon),2008,23(4):459-467.
[22]邹亚,汪丰,高帅锋,等.基于可穿戴系统的PD病人运动功能评价系统[J].中国医疗设
备,2015,30(1):10-14.
[23]Lee N,Andrzej W,Krzysztof D,et al.Adjustment in gait symmetry with walking speed in trans-femora and trans-tibial amputees[J].Gait Posture,2003,17(2):142-151.
[24]Patterson KK,Gage WH,Brooks D,et al.Evaluation of gait symmetry after stroke:a comparison of current methods and recommendations for standardization[J].Gait Posture,2010,31(2):241-246.
[25]廖福元,王珏.帕金森病对步态对称性的影响[J].西安交通大学学报,2006,40(2):228-230.。