步态识别中的曲线匹配算法研究

大连海事大学毕业论文
二〇一五年六月
步态识别中的曲线匹配算法研究
专业班级：2011级自动化2班*名：***
指导老师：**
信息科学技术学院
摘要
步态作为一种典型的生物特征，具有非接触性、非侵犯性、难以隐藏、难以伪装等特点，是生物特征识别的一个重要研究方向。

目前步态识别技术仍然处于理论研究阶段，还有许多创新与挑战的地方。

本论文主要从两个方面进行研究：一是对步态识别中曲线匹配算法进行研究，二是设计步态识别系统软件。

本论文针对特定的步态数据库，提出了一种基于改进型ICP匹配算法的曲线匹配识别算法。

该算法首先对数据库特征点集进行分类，并且分步骤对各个特征点进行ICP匹配。

然后利用Fisher准则算法对各个特征点进行相似度整合，得到任意两个匹配目标的匹配度。

最后，通过绘制ROC曲线，选取了合适的阈值。

本论文在Visual C++ 6.0的开发环境下，利用其MFC组件，设计出一款操作、功能完备、识别快速等特点的识别软件系统，用于验证本论文中使用的算法的可行性以及可靠性。

实验结果表明，本论文算法在低分辨率条件下，仍然有较好的识别效果。

关键词：步态识别；ICP算法；Fisher准则；特征点匹配；MFC
Abstract
As a typical biological feature, gait has many characteristics, such as non contact, non invasion, hard to hide, hard to disguise, and so on. It is an important research direction of biometrics. At present, the technology of gait recognition is still in the stage of theoretical research, and has many places of innovation and challenge. In this paper, two aspects will be studied: first, I study the curve matching algorithm for gait recognition, and second, The system software of gait recognition which is designed by myself.
In this paper, I base on the specific gait database, propose a new and improve matching algorithm—ICP matching algorithm. Firstly, the algorithm classifies the feature points of the database, and then steps the ICP to match the feature points. Then, the similarity of each feature points is integrated with the Fisher algorithm, and the matching degree of the matching target is obtained. Finally, the appropriate threshold is selected by drawing the ROC curve.
In this paper, under the development environment of Visual C++ 6.0, I use the MFC components, and design a recognition system which operation and function are complete, identification is rapid and other characteristics, aim to verify the feasibility and reliability of the algorithm is used in this paper. Experimental results show that the proposed algorithm is still good in the low resolution conditions.
Keywords: gait recognition, ICP algorithm, Fisher algorithm, feature points is integrated, MFC
目录
引言 (1)
第一章绪论 (2)
1.1课题研究的背景及意义 (2)
1.2 步态识别的研究历史与现状 (2)
1.3 步态识别中存在的问题 (3)
1.4 本论文的主要研究内容以及结构安排 (4)
1.4.1 本论文的主要研究内容 (4)
1.4.2 本论文的结构安排 (4)
第二章步态数据库 (6)
2.1 步态数据库 (6)
第三章步态识别的算法 (9)
3.1 基于轮廓的正面识别算法 (9)
3.1.1 图像预处理 (9)
3.1.2 正面步态周期检测 (9)
3.1.3 特征提取 (10)
3.1.4 相似性度量 (11)
3.2 基于侧影的快速步态识别算法 (12)
3.2.1 步态特征的提取 (12)
3.2.2 步态特征提取 (13)
3.2.3 分类识别 (13)
3.3 一种基于ICP算法的曲线匹配算法 (14)
3.3.1 ICP算法 (14)
3.3.2 程序算法流程 (15)
3.3.3 相似度测量 (16)
3.3.4 阈值的求取 (18)
第四章步态识别软件系统的设计与实现 (19)
4.1 步态识别软件系统的基本框架 (19)
4.2 开发平台 (19)
4.3 步态识别软件系统的界面及功能 (20)
第五章总结与展望 (24)
参考文献 (26)
致谢 (27)
步态识别中的曲线匹配算法研究
引言
表1为《广州市刑事&偷窃案件数量统计表》[1]，其中1999年，广州市刑事&偷窃案件数量为43411起，破案量为24607起，破案率为56.69%；2004年，刑事&偷窃案件数量为111745起，破案量为35903起，破案率为32.1%。

由此可见，刑事以及偷窃案件正在逐年增加，但是破案率却在逐年递减。

其中不但是因为犯罪嫌疑人太狡猾，而且还因为在侦破案件的时候，对现场遗留的证据利用的比较少。

比如指纹、DNA、天眼摄像头所录制的视频等等。

表1“十五”期间广州市刑事&偷窃案件统计表
现在，许多科研人员已经对指纹、DNA、视网膜、语音等多个生物特征进行研究，并且开发了许多关于这些生物特征的软件，使得警察在侦破案件时大大的提高了破案效率。

但是这些生物特征在采集的时候具有易伪装性、易模仿性、不易采集性等缺点，使得这些生物特征的利用率直线下降。

比如，指纹在采集时，目标如果佩戴手套，此时则无法采集到指纹这一生物特征；视网膜在采集时，如果目标戴墨镜或者其他具有遮挡性的东西，则无法采集到视网膜这一生物特征等等。

所以现在急需一种生物特征，一种不具备以上缺点，但是具备以上生物特征的全部优点的生物特征。

步态泛指人行走的姿态方式，作为一种典型的生物特征，与其他生物特征识别技术（例如指纹、视网膜膜、人脸、语音等）相比较，步态识别技术具有非接触性、非侵犯性、难于隐藏、难以伪装等特点，在公安刑侦破案、门禁系统、安全监视等方面将会发挥巨大的优势[2]。

第一章绪论
1.1课题研究的背景及意义
随着人类不断进步，越来越多的犯罪分子，不仅对公民的身份安全、财产安全造成了威胁，而且还对国家的国防建设、国家利益也造成了威胁。

所以现在急需一种生物特征信息确认犯罪嫌疑人身份，中国、美国、日本、韩国、俄罗斯等地已经将这一规划投入使用。

如人脸识别、视网膜识别、指纹识别、语音识别、DNA 识别等识别技术已经运用到各行各业。

但是这些生物特征都具有易模仿、不易采集等特点，使得识别效率直线下降。

步态识别是一种新兴的生物特征，根据人走路的步幅、手臂的摆幅、身体的起伏等走路的姿势信息来进行身份识别与认证。

步态识别是远距离下最具潜力的生物特征识别技术之一，具有低分辨率、非接触性、隐蔽性、易采集性、不易模仿性、不易伪装性等优点。

因此具有很大的研究意义和研究潜力。

1.2 步态识别的研究历史与现状
步态识别作为一种最具潜力的生物特征，在早期实验成功的证实其可以作为身份识别的基础之后，引起了广大学者们的热爱与关注，并且展开了越来越多的相关研究工作。

在1964年，医学研究实验表明：人的步态信息中有24种不同的成分，这24种信息成分为个体所特有[3]1。

Murray等人将健康人的标准运动模型与病人的运动步态进行比较[4]，比较了20种不同的步态元素，实验发现“每个人的骨盆和胸腔的旋转是不同的”，这种旋转特点即使从头顶上方，也很难获得，所以在实际环境下分析步态识别时，需要在人体上标记连接点。

Johansson在物理心理学实验中，通过观察受试者身上的几个重要关节处的电光源的运动轨迹，能够识别熟人的身份、性别[3]2。

在1994年，Niyugi和Adelson使用拟合棍状模型的角度信息对人进行身份识别[5]5。

在2000年，美国在DARPA（Defense Advanced Research Projects Agency）中[5]5，为检测并预防恐怖分子，将步态识别作为重要研究课题。

在2000年，中国科学院自动化研究所的模式识别研究组（National Laboratory of Pattern Recongition，NLPR）开始基于步态识别进行研究[5]5，在远距离身份识别、视频监控等领域取得了重要的研究成果。

为了推动后续人员对步态识别的研究，中国科学院自动化研究所模式识别研究组免费提供CASIA步态数据库的下载。

现在，已经有多家单位学校利用此数据库投入了步态识别的研究，包括清华大学、北京工业大学、中国科技大学、香港理工大学、哈尔滨工业大学、大连海事大学等国内著名大学。

1.3 步态识别中存在的问题
步态作为一个新兴的生物特征，在应运领域和研究领域有很大的潜力，但是仍然处于初级阶段，很多方面还是不够成熟。

许多研究工作只是探索性和理论性的研究，没有完全的系统开发。

目前为止仍没有一款产品能够运用到实际生活中来。

所以，步态识别仍然存在着较多的问题及挑战。

步态识别涉及到许多很难解决的问题，主要分为两个方面：内部影响和外部影响。

内部影响是由人体本身的内在因素造成的，而外部影响是由于人体外在环境影响所造成的。

内在影响：
（1）当目标患病或者身体疲惫时，行走的姿态与正常行走时的姿态不同的问题。

（2）当目标受伤而引起步态数据不同的问题，如扭伤、骨折等。

（3）当目标在不同情绪下，即心理变化引起步态数据不同的问题。

如悲痛、恐惧、惊奇、狂喜、狂怒、警惕、憎恨等。

（4）时间因素，在不同时间采集的数据对识别率影响较大，时间越长，识别率越低。

如同一个目标，在青年时期行走的姿态与老年时期行走的姿态变化很大。

（5）其他内在因素，如怀孕、醉酒或者军人行走的姿态。

外在影响：
（1）数据采集影响。

现在大多数的步态识别算法都是假定摄像机静止、背景简单、只有一个运动目标、没有背影影响等完美条件。

但是在实际场景中拍摄的视频，会受到其他目标、光照、摄像机像素等的影响，造成运动目标的合并或者几何变形，甚至丢失目标。

对之后进行的特征提取、模式分类、数据采集造成了很大的影响。

（2）技术的影响。

现在很多技术仍然不够成熟，导致数据采集和步态识别效率降低、可靠性下降。

如图像处理技术、计算机视觉技术、数据处理技术等。

（3）目标衣物的影响。

如果目标穿着长裙、风衣、厚厚的棉衣等不同的衣物，对采集点有遮挡；或者因为厚重的衣物，导致步态扭曲，最终导致步态数据不同的问题。

（4）目标的鞋子问题。

如高跟鞋、运动鞋、拖鞋等。

穿不同的鞋子行走时会引起步态数据不同的问题。

（5）行走的路况问题。

当目标走在不同的路况中，走路的姿态会有可能改变。

如冬天结冰的路面、下雨之后泥泞的小路、水泥地等。

（6）是否负重的问题。

如目标背包、拎包、提重物等会引起步态数据不同的问题。

1.4 本论文的主要研究内容以及结构安排
1.4.1 本论文的主要研究内容
近年来国际及国内的许多研究机构、高校学者在步态识别领域已经做了大量的工作，并涌现出一大批相关的匹配算法和处理手段。

目前应用较多的是基于数据融合技术的步态识别算法，而数据融合技术可分为三层：数据层、特征层和决策层。

由于在步态识别数据库中存在大量的冗余信息，因此在数据层进行数据融合时很难达到理想的效果。

而决策层是在数据处理的最后阶段进行，丢失的信息也最多。

因此理论上在特征层进行数据融合能够最大程度的保留数据的完整性,使得步态的特征点匹配达到最好的效果[6]。

其他相关研究主要通过提取人体腿部的特征信息来进行识别，这种方法获得的对象身上的特征信息数量较少而且不全面导致无法得到较准确的识别。

本论文所研究的步态识别算法综合了目标的腿部和手臂上主要关节点在运动过程中的变化信息，使用改进型的ICP曲线匹配算法进行识别，并达到了较为理想的实验结果。

本论文研究的主要内容为：一、步态识别算法的研究以及改进；二、初步构建步态识别系统软件。

针对以上主要研究内容，本论文涉及的主要研究工作如下：第一：为实现在特征层进行数据融合，本论文提出了一种新的基于改进型的ICP 算法的曲线匹配的识别算法。

该方法在计算目标中每个标记点的运动轨迹与其他目标中相对应标记点的运动轨迹的相似度，通过每个标记点的相似度所对应的权重求取整体的相似度，从而得到两个目标的最终匹配度。

第二：无论是关键点的匹配还是最终的匹配度，在比对时都需要预先设置一个合适的阈值。

当待识别对象与数据库中样本之间的匹配度大于设定的阈值时，便可认为通过匹配。

因此好的识别系统软件需要寻找合适的阈值。

根据许多学者对步态识别的研究，一般通过使用交叉验证法[7]，即依次抽取数据库中一组数据作为待识别对象，剩下的数据建立标准的样本模板库，画出关于错误拒绝率（FRR）和错误接收率（FAR）的ROC曲线[8,9]。

当错误拒绝率与错误接收率相等时为最佳的阈值。

第三：初步构建了步态识别系统软件。

在Visual C++ 6.0的开发环境下，使用其MFC组件，实现了一款不仅能够验证和检验本论文中所使用的改进型ICP算法和Fisher准则算法，而且还能够对所使用的数据库进行简单处理的识别系统软件。

1.4.2 本论文的结构安排
本论文结构总共分为五章，具体安排如下：
第一章，综述。

主要介绍步态识别课题研究的背景和意义，国内外的研究历史与研究现状，步态识别中存在的问题，以及本论文主要研究的内容与研究工作。

第二章，步态数据库。

主要介绍现今存在的步态数据库有哪些。

以及本论文所采用的数据库具有什么特点等。

第三章，步态识别的算法。

分别介绍基于轮廓的正面识别算法、基于侧影的快速步态识别算法和基于改进型的ICP算法的曲线匹配步态识别算法三种步态识别算法，从中突出本论文所使用的改进型的ICP算法的优点。

并且介绍利用Fisher 准则算法进行的相似度整合的研究，以及通过绘制ROC曲线实现阈值的求取。

第四章，介绍搭建的步态识别系统软件。

介绍系统软件框架、系统软件实现的平台、系统软件界面以及实现的功能。

第五章，总结与展望。

简要回顾本论文的研究内容，并且提出本论文的研究不足和对未来步态识别领域的发展方向进行展望。

第二章步态数据库
步态识别是融合视频图像序列处理、计算机视觉和模式识别的一门技术。

需要解决两类问题，第一是识别问题，第二是认证问题。

识别问题指的是确定目标身份的问题，需要给出未知目标的步态，然后与数据库中的现有目标的步态信息进行匹配，从而确定未知目标的身份；认证问题指的是验证目标是否为其所声明的身份，需要步态识别算法对目标声明的身份进行判定，即拒绝或者接受其声明的身份。

步态识别一般包括四个过程：运动检测、视频处理、特征提取、分类识别。

由于本论文所采用的数据库，是由公安部213研究所通过在338个测试目标的各个关节点佩戴反光标记点，从而获得每个标记点在不同图像序列中的坐标值。

所以利用此数据库中的数据，不需要对图像进行处理和特征选择。

下面主要介绍现在存在的步态数据库，以及本论文使用的数据库。

2.1 步态数据库
在模式识别领域，生物数据库是对识别算法的性能、效果进行评估的一个重要工具。

一种算法的主要性能与效果，要看其可行性与唯一性，而这些性质往往需要数据库的大小、质量来体现。

例如在步态识别使用中，如果主要测试算法的可行性，则其数据库中的数据可以在实验室内的环境下得到；而如果实验目的是想证明步态识别可以通过计算机视觉实现，则其数据库中的数据可以通过在室外录制实验目标的行走视频来获得数据。

一般数据库中包括足够的实验目标，每一个实验目标包括足够的实验数据，用来代表同一目标内部不同样本之间的差异性以及不同目标个体之间的差异性。

由于步态识别研究时间短，研究难度较大等问题，所以现有的步态数据库中数据要比其他生物特征识别所使用的数据库数据少很多，但是这些数据库包含了一些影响算法性能的重要因素，在研究中很有实用性。

当前可直接使用的步态数据库如下：
1、CMU（Carnegie Mellon University）[10]478-479：这个数据库是基于室内环境建立的，
是一个多形态数据库。

测试目标与摄像机距离相对较小。

该数据库包含25个测试目标，每个测试目标都有四种步态序列：慢速、快速、携带物体和视角倾斜。

每个视频序列包括7-8个步态周期。

图像规格是640×480。

2、UCSD（The University of California San Diego）[10]478-480：这个数据库与CMU数
据库正好想反，是基于室外环境建立的，且测试目标与摄像机的距离相对较远。

该数据库包含6个测试目标，每个测试目标有7个视频步态序列，每个序列包括2-3个步态周期。

图像规格是320×160。

3、南安普顿大学数据库(Southanpton)：该数据库包括室外和室内环境下的数据。

测试目标在三种采集环境下行走，分别是：（a）在室外，背景没有限制，背景远处有少量的汽车和人群；（b）在室内，单个测试目标，背景为绿色布；（c）在跑步机上，单个测试目标，背景为绿色布。

其数据库分为两个，大型的数据库测试目标约100人，小型的数据库测试目标约10左右。

4、NIST(National Institute of Standards and Technology)/USF(South Florida)数据库：
该数据库全部在室外环境下进行采集，反应了实际应用是遇到的大部分情况，如背景的变动、由光照引起的阴影以及由于云的运动而引起阴影的移动。

测试目标包含122人，视频序列1870个，并且测试目标与摄像机的角度分两种情况。

该数据库是现今包含数据最全面的数据库，样本信息丰富，已经用于各种算法的评估与比较中。

5、中国科学研究院自动化所的CASIA步态数据库：该数据库包括两个数据集，
分别从室内和室外取景，并且对测试目标行走进行多角度拍摄。

数据集A，包括20个测试目标，每个目标拥有12个图像序列，三个行走方向（测试目标与摄像机的角度为0o，45o，90o）。

数据集B是一个多测试目标，多视角的步态数据库。

测试目标有124人，每个测试目标有11个视角（测试目标与摄像机的角度为0o，18o，36o，54o，…，180o），三种行走条件（普通条件、携带包裹、穿大衣）采集。

6、公安部213研究所数据库：该数据库是本论文所使用的数据库，其针对犯罪嫌
疑人步态比对应用而专门采集和建立的标准样本数据库。

该数据库在室内固定背景条件下，由338个佩戴反光标记点的测试目标，在限定的区域内以自然的方式由摄像机捕获而来。

10个拍摄角度（测试目标与摄像机的角度为0o，10o，20o，30o，…，90o），同一测试目标拍摄两组视频序列，一组是原型图像序列，一组是对比图像序列。

图2-3和图2-4分别是摄像机捕获的90o时原型图像和对比图像。

数据库中存储的是每个人身上11个标记点在行走过程中形成的以时间为序列的二维坐标，这些坐标点分布于头顶、肩膀、肘部、腕部、腰部、膝部和足部，能够充分的反应人体行走时的步态信息。

本数据库包含338个人来回走动两个时间序列的二维坐标点，因此样本数量大，几乎涵盖了各种不同情况下的特征信息。

但由于图像分辨率仅为640×480，标记点分辨率较低，识别难度较大。

图2-1 数据库中的原型数据图2-2 数据库中的对比数据
图2-3 90o时白色点为特征点的原型图像图2-4 90o时白色点为特征点的对比图像
第三章步态识别的算法
如今，越来越多的学者们开始研究步态识别这一问题，从而涌现出各种各样的研究算法。

有的基于人体的正面步态进行研究，通过利用人体的步态轮廓进行识别；有的在检测出的二值人体侧影上直接进行处理，提取有效特征，从而达到简单有效的识别效果；有的通过三维步态特征进行步态识别。

本章主要介绍基于轮廓的正面识别算法、基于侧影的快速步态识别算法、基于改进型的ICP算法的曲线匹配算法三种步态识别的算法，更加清晰明了的阐述步态识别。

3.1 基于轮廓的正面识别算法
3.1.1 图像预处理
由于普通的背景减除法用于正面步态序列提取运动区域时很容易产生空洞的现像，所以采用改进的背景减除法进行步态序列的提取。

首先固定摄像机的位置，采集一张场景中没有任何物体的图片作为背景图，该背景图像记为A0，如果直接让每帧图像与A0相减来获得运动区域，则无法处理由于光线变化而引起的背景变化的情况，因此改进背景处理方法如下：令I k,k=1,2,…,N代表一个包含N帧的图像视频，背景图像A可由下面迭代方法得到：
A k=a I k+b A k−1，k=2,3,…,N（3-1）
其中a+b=1，A1=A0，A0为事先拍摄的背景图像。

CASIA Dataset B数据库中，恰恰为每一个角度的步态视频都提供了相应的背景视频，可以直接从这个背景视频中分离一个图像，作为背景图像A0，再使用背景减除法分割背景区域，最后使用（3-1）实时更新背景图像。

经试验得出，当a=0.005，b=0.995时，处理结果最完整。

如图所示：
图3-1 改进背景减除法效果图
3.1.2 正面步态周期检测
一个步态周期基本包括运动目标的所有特征，通常只提取一个周期的步态或者多个周期的平均值步态进行研究，所以特征提取前进行周期性检测。

通过“W-U”周期检测法进行周期性检测。

在实验过程中，发现正面步态的图像特点主要有五个关键帧，集中体现在脚踝一下的部位的变化上，基本按照“W-U-W-U-W”的规律变化。

“W”指双脚合拢时的形状，“U”指单脚迈出时的形状。

以目标下四分之一部分作为研究区域（即目标小腿以下区域），目标质心的横坐标所在的竖直线为分界线，计算分界线左右两侧像素点个数之差，绘制变化规律，如图所示，横坐标代表帧序号，纵坐标代表像素点数差值。

图3-2 目标小腿以下区域像素点数目之差曲线
3.1.3 特征提取
由于通过周期性检测完之后，数据非常大不适合表达步态特征，更加不利于系统实现，所以采用傅立叶描述子表达步态特征。

傅立叶描述子的基本思想[11]是假定目标物体的形状是一条封闭的曲线，沿边界曲线上的一个动点的坐标变化是一个以形状边界周长为周期的函数，这个函数可以展开成傅立叶级数形式表达，傅立叶级数中的一系列系数直接与边界曲线的形状有关，称为傅立叶描述子，当系数项取到足够阶次时，它可以将物体的形状信息完全提取出来并且恢复原状。

3.1.3.1 切线法表示闭合曲线
在闭合曲线上取一点Q0，则闭合曲线上任意一点Q的坐标（x，y）可以表示成
从Q 0到Q 的弧长l 的函数：
x =x (l), y =y (l) （3-2）
曲线在点Q 处的切线和x 轴的夹角也可以表示成l 的函数φ(l)
φ l =arctan dy dx =
arctan dy dl dx dl （3-3） 3.1.3.2 特征变换和训练
给定s 个训练类别，每个类别代表一个目标的步态模式所形成的一个傅立叶频谱序列，令P i ，j 表示类i 的第j 幅图像的归一化傅立叶频谱矢量，M i 表示类i 的频谱矢量数，则总的训练样本数为M t =M 1+M 2+⋯+M s ，全部训练集为
{P 1，1，P 1，2，…，P 2，1，P 2，2，…，P s ，Ms }，其均值和方差矩阵为：
m d =1
M t P i ，j M i i=1s i=1 （3-4） =1
M t (P i ，j M i i=1s i=1−m d )(P i ，j −m d )T （3-5）
假设矩阵Σ的秩是N ，利用奇异值分解理论，可得N 个非零特征值λ1、λ2、…、λN ，以及其对应的特征向量e 1、e 2、…、e N ，由于高阶特征向量代表较小的变化，所以取特征变换举证[e 1、e 2、…、e k ]，（k <N ）。

利用空间投影，每个步态序列在特征空间中呈现为一个步态轨迹。

为了计算方便，从一个周期内提取五个关键帧，并且调整顺序为：w 、u 、w 、u 、w ，w 和u 分别表示双脚支撑和单脚支撑。

这五个关键帧组成一组数据，作为单周期特征模板。

对于同一目标在相同条件下获取的步态序列，可以从多个周期中提取多个单周期特征模板，最后求取平均值得到最终的特征模板。

3.1.4 相似性度量
一个原型样本与一个对比样本之间的相似性可以利用两个特征模板之间的欧式距离所代替。

如下公式所示：
D i = C pk i −T fk 2
N k=1 （3-6）
其中C pk i 表示第i 个对比类别的单周期特征模板的第k 个分量；T fk 表示原型样本的单周期特征模板的第k 个分量。

D i 表示当前输入的原型样本与第i 个对比类别单周期特征模板之间的相似度，D i 值越小，说明两个样本的相似性越高。