步态识别中的步态检测与序列预处理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Techniques of Automation & Applications | 69
＊ 基金项目： 国家“８ ６ ３ ”高科技资助项目（编号 ２ ０ ０ ８ Ａ Ａ ０ １ Ｚ １ ４ ８ ） ； 黑龙江省杰出青年科学基金资助项目（编号 Ｊ Ｃ ２ ０ ０ ７ ０ ３ ） ； 哈尔滨 市科技创新人才研究专项基金资助项目（编号 ２ ０ ０ ７ Ｒ Ｆ Ｘ Ｘ Ｇ ０ ０ ９ ） 收稿日期： ２ ０ ０ ９ － ０ ４ － ２ ４
∂E ∂E ∂E u+ ν + = 0 （２） ∂x ∂y ∂t
这 就 是 光 流 场 计 算 的 基 本 公 式 。将 其 写 成 梯 度 形式为
图 １ 光流法
２．２ 帧间差分法
T
(∇E ) U + Et = 0 （３）
m = r1 − r2 + g1 − g 2 + b1 − b2 （４）
式中， r 1 , g1 , b 1 和 r2 , g2 , b2 分别是当前图像和与之 相差 ∆ 帧的图像中待处理像素点的 Ｒ Ｇ Ｂ 值。为了得到 图像中发生变化的区域，把当前图像的 ｍ 值和预先给定 的阈值 Ｔ 进行比较， 当 m > T 时， 认为该像素点属于变 化的区域， 给予保留； 反之， 当 m ≤ T 时， 则认为该像素 属于未变化的区域， 将其去除。
( x + ∆x, y + ∆y ) ，其灰度值记为 E(x +∆x, y +∆y,t +∆t) ， 假定它与 E ( x, y , t ) 相等，即 E ( x, y , t ) = E ( x + ∆x, y + ∆y , t + ∆t ) （１）
将等式（１）右边用泰勒公式展开，略去两次以上的 项，得
模式识别与仿真
Pattern Recognition and Simulation
《 自 动 化 技 术 与 应 用 》２ ０ ０ ９ 年 第 ２ ８ 卷 第 ８ 期
步态识别中的步态检测与序列预处理 ＊
王科俊， 贲 晛 烨，赵 玥
（哈尔滨工程大学自动化学院，黑龙江 哈尔滨 １５０００１）
摘 要：步态检测与序列预处理是步态识别的子课题，在人体检测与分割问题上，分别采用光流法、帧间差分法和背景减除法做对比 试验。鉴于各种运动检测算法的有效性和复杂性，最终确定采用背景减除法进行行人的检测与分割。针对室内环境采用直接 差分的背景减除方法，而室外环境则采用背景实时更新的背景减除方法。 用数学形态学填补二值化图像的空洞；再进行单连通 的运动分析，提取人的侧影。为了消除图像尺度对识别的影响，运用形态学操作和图形几何变换实现了图像的标准中心化。本 文所采用的步态检测与序列预处理方法对后续的步态识别是有效的。 关键词：步态识别；步态检测；背景更新；序列预处理 中图分类号：ＴＰ３９１．４１ 文献标识码：Ｂ 文章编号：１００３－７２４１（２００９）０８－００６９－０５
其中 ｕ 、ｖ 是该点光流的水平分量和竖直分量。由 于光流场 U = [u , v ]T 两个变量，而基本等式只有一个方 程， 因此只能求出光流场沿梯度方向上的值， 而不能同 时求出光流场的两个速度分量 ｕ 和 ｖ 。为了解决光流场 计算不适定的问题， 需要外加一些相应的约束条件， 使 方程有解。例如，Ｈｏｒｎ 等人依据同一运动物体引起的光
70 | Techniques of Automation & Applications
帧间差分法是将前后 ２ 帧或者 ３ 帧图像相减， 事先 设定一个阈值， 若差值大于阈值则确定图像序列中有物 体运动。视频图像序列的逐帧的差分， 相当于对图像 序列进行了时间域上的高通滤波。此方法对于动态环 境具有较强的自适应性， 鲁棒性较好， 能够适应各种动 态环境， 但是一般不能完全提取出所有相关的特征像素 点， 这样在运动人体内部会出现空洞现象。
２ 步态检测
一段数据量很大步态视频序列， 记录着行人在行走 过程中各个时间点的行走姿态和不同的场景机构， 为了 能够将场景中的行人识别出来是谁， 我们有必要寻找合 适的分割技术， 将行人从该场景中分割出来。常用的检 测运动目标的方法主要有光流法、帧间差分法和背景 减除法。
２．１ 光流法
光流在视觉运动的研究中有非常重要的作用。视 觉运动分析就是研究如何从变化的场景的一系列不同 时刻的图像中， 提取出有关场景中物体的结构、位置和 运动信息。 光流场的计算最初是由美国学者 Ｈｏｒｎ 和 Ｓｃｈｕｎｃｋ 提出的［５］。假定在 ｔ 时刻图像上一点 ( x, y ) 处的灰度值 为 E ( x, y , t ) ， 在时刻 t + ∆t 时， 这点运动到新位置
Gait Detection and Sequence Preprocessing for Gait Recognition
WANG Ke-jun, BEN Xian-ye, Zhao Yue
( College of Automation, Harbin Engineering University, Harbin 150001 China )
模式识别与仿真
Pattern Recognition and Simulation
《 自 动 化 技 术 与 应 用 》２ ０ ０ ９ 年 第 ２ ８ 卷 第 ８ 期
考虑摄像机输入的一个图像序列。假定在图像中 要检测的人体处于运动状态， 而背景保持不变， 那么通 过相邻两帧图像进行差分运算， 可以舍弃背景中不变的 部分， 保留发生变化的部分。这样可以有效地保留步态 运动区域， 去除大部分的背景区域， 尤其是那些颜色和 人体颜色相同或相近的区域。 帧差法的具体处理过程如下：将相邻两帧图像（分别 为 tk 和 tk +∆ 时刻）中各相应像素点的 ＲＧＢ 值按下式进行 差分求和运算：
１ 引言
安全敏感的场合对智能监控的需求的提高， 常常 需要从远距离来进行人的身份识别， 希望依靠认证技 术来提前预警， 从而有效地扼制危险的发生。步态识 别是目前唯一一项能做到远距离身份识别的技术手 段。它 的 目 的 在 于 根 据 人 们 走 路 的 姿 势 进 行 身 份 识 别。步态识别优于其他的生物特征识别技术， 在于它 可以在不让研究对象觉察的情况下得到其步态特征，
Abstract: Gait detection and sequence preprocessing is a sub-project of the gait recognition. The direct background subtraction is used for the human body detection and segmentation in the indoor scenario, while background subtraction with an updating background is used for the outdoor environment. Then the morphology transformation is used to fill cavities in a single binary image. And the connected components analysis is used to obtain the silhouette of human body. The standardized and centralized image is also used to eliminate the effect of different image scales on recognition performance. Key words: gait recognition; gait detection; background update; sequence preprocessing
流场应该是连续的、平滑的， 即同一物体上相邻点的速 度是相似的， 那么其投影到图像上的光流变化也应该是 平滑的这一特点， 提出了一种利用加在光流场上的附加 约束， 即整体平滑约束来将光流场的计算问题转化为一 个变分问题。 Ｎａｇｅｌ［６］考虑到基本等式本身已对光流场在 该点灰度场的梯度方向上有了约束， 提出附加的光滑性 约束应为光流场在沿着与梯度的垂直方向上的变化率 最小，据此导出了一种新的迭代算法。Ｔｒｅｔｉａｋ ［７］认为光 流场计算属于一类微分问题， 涉及到图像灰度的时空导 数的计算， 因而提出一个基于二阶微分算子的附加约 束。我们采用 Ｍｅｙｅｒ 等［８］ 提出的通过计算位移向量光流 场来初始化基于轮廓的跟踪算法， 实验结果如图 １ 所 示， 它的出发点是将图像序列中具有明显运动的较大面 积区域作为前景。 光流计算方法相当复杂， 且抗噪性能差， 如果没有 特别的硬件装置则不能被应用于全帧视频流的实时处 理。从图 １ 所示的检测结果来看： 运动人体的分割效果 不理想， 特别是当地面存在反光现象比较严重且反光光 线变化时，地面上人影连同运动人体一并被分割出来；行 人在行走过程中的某个时刻， 身体的某个部位的光流没 有变化， 该部位也不能被分割出来， 因而容易造成运动 人体区域分割不完整的情况。这些情况都对接下来的 特征提取和识别有很大的影响。
具有非侵犯性、非接触性、对系统分辨率要求不高、远 距离、难以伪装、受环境影响小等优点，因此引起了研 究者的浓厚兴趣［１］［２］［３］。 然而， 步态识别的先要任务就是检测步态和步态序 列预处理［３］ 。分割运动人体质量的好坏都会影响到最终 身份判别的精度。文献［４］针对街道的复杂背景，利用光 子混频设备（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ ｓｅｎｓｏｒ，ＰＭＤ）传 感器， 根据物体长度、宽度、纹理能量、纹理熵等的频 度， 采用最大似然的贝叶斯分类器和支持向量机（ Ｓ Ｖ Ｍ ） 将行人与非行人进行分类。该文献没有采用边缘检测 的方法， 这是因为 Ｐ Ｍ Ｄ 系统本身具有的特性所致。而 视频大多数还是利用摄像机进行采集的。因此， 本文在 人体检测与分割问题上， 分别采用光流法、帧间差分法 和背景减除法做对比试验。鉴于各种运动检测算法的
《 自来自百度文库动 化 技 术 与 应 用 》２ ０ ０ ９ 年 第 ２ ８ 卷 第 ８ 期
模式识别与仿真
Pattern Recognition and Simulation
有效性和复杂性， 最终确定采用背景减除法进行行人的 检测与分割。针对室内环境采用直接差分的背景减除 方法， 而室外环境则采用背景实时更新的背景减除方 法。用数学形态学填补二值化图像的空洞； 再进行单连 通的运动分析， 提取人的侧影。为了消除图像尺度对识 别的影响， 运用形态学操作和图形几何变换实现了图像 的标准中心化。而且本文所采用的步态检测与序列预 处理方法对后续的步态识别是有效的。
值，则判定此像素是出现在运动目标上的；反之，判定为 是背景上的点。这类方法一般都能提供完全的特征数 据， 但对于由于光照及其他外界扰动引起的场景变化特 别敏感， 所以该方法主要应用于静止背景的情况。如图 ３ 所示是将某一帧图像与事先存储好的背景图像相减的 背景减除法的效果图， 我们发现： 运动人体区域存在着 噪声点和空洞点， 但是这些影响都可以在接下来的图像 序列预处理中得以解决和改善。 鉴于上述三种运动检测算法的有效性和复杂性，我 们采用背景减除法进行行人的检测与分割。使用背景 减除法会遇到如下问题： （１） 背景获取：背景图像最简单的获取方法为找一 帧不含任何运动目标的图像作为背景， 这个情况仅限于 光照不变的理想情况， 基本上室内的场景可以使用该方 法。但是对于实际环境中，无法满足光照不变的条件和 不存在任何运动目标的帧，因此需要一种方法能够在存 在运动目标的情况下获得背景图像。 若在理想的室内环境下， 可以采用中值法从图像序 列中恢复出背景，即将输入连续 N 幅图像的像素值的中 间值作为背景图像的像素值， 令 {I k , k = 1,L , N } 代表 一个包含 N 帧图像的序列，则背景图像 B 可从（５）获得。
＊ 基金项目： 国家“８ ６ ３ ”高科技资助项目（编号 ２ ０ ０ ８ Ａ Ａ ０ １ Ｚ １ ４ ８ ） ； 黑龙江省杰出青年科学基金资助项目（编号 Ｊ Ｃ ２ ０ ０ ７ ０ ３ ） ； 哈尔滨 市科技创新人才研究专项基金资助项目（编号 ２ ０ ０ ７ Ｒ Ｆ Ｘ Ｘ Ｇ ０ ０ ９ ） 收稿日期： ２ ０ ０ ９ － ０ ４ － ２ ４
∂E ∂E ∂E u+ ν + = 0 （２） ∂x ∂y ∂t
这 就 是 光 流 场 计 算 的 基 本 公 式 。将 其 写 成 梯 度 形式为
图 １ 光流法
２．２ 帧间差分法
T
(∇E ) U + Et = 0 （３）
m = r1 − r2 + g1 − g 2 + b1 − b2 （４）
式中， r 1 , g1 , b 1 和 r2 , g2 , b2 分别是当前图像和与之 相差 ∆ 帧的图像中待处理像素点的 Ｒ Ｇ Ｂ 值。为了得到 图像中发生变化的区域，把当前图像的 ｍ 值和预先给定 的阈值 Ｔ 进行比较， 当 m > T 时， 认为该像素点属于变 化的区域， 给予保留； 反之， 当 m ≤ T 时， 则认为该像素 属于未变化的区域， 将其去除。
( x + ∆x, y + ∆y ) ，其灰度值记为 E(x +∆x, y +∆y,t +∆t) ， 假定它与 E ( x, y , t ) 相等，即 E ( x, y , t ) = E ( x + ∆x, y + ∆y , t + ∆t ) （１）
将等式（１）右边用泰勒公式展开，略去两次以上的 项，得
模式识别与仿真
Pattern Recognition and Simulation
《 自 动 化 技 术 与 应 用 》２ ０ ０ ９ 年 第 ２ ８ 卷 第 ８ 期
步态识别中的步态检测与序列预处理 ＊
王科俊， 贲 晛 烨，赵 玥
（哈尔滨工程大学自动化学院，黑龙江 哈尔滨 １５０００１）
摘 要：步态检测与序列预处理是步态识别的子课题，在人体检测与分割问题上，分别采用光流法、帧间差分法和背景减除法做对比 试验。鉴于各种运动检测算法的有效性和复杂性，最终确定采用背景减除法进行行人的检测与分割。针对室内环境采用直接 差分的背景减除方法，而室外环境则采用背景实时更新的背景减除方法。 用数学形态学填补二值化图像的空洞；再进行单连通 的运动分析，提取人的侧影。为了消除图像尺度对识别的影响，运用形态学操作和图形几何变换实现了图像的标准中心化。本 文所采用的步态检测与序列预处理方法对后续的步态识别是有效的。 关键词：步态识别；步态检测；背景更新；序列预处理 中图分类号：ＴＰ３９１．４１ 文献标识码：Ｂ 文章编号：１００３－７２４１（２００９）０８－００６９－０５
其中 ｕ 、ｖ 是该点光流的水平分量和竖直分量。由 于光流场 U = [u , v ]T 两个变量，而基本等式只有一个方 程， 因此只能求出光流场沿梯度方向上的值， 而不能同 时求出光流场的两个速度分量 ｕ 和 ｖ 。为了解决光流场 计算不适定的问题， 需要外加一些相应的约束条件， 使 方程有解。例如，Ｈｏｒｎ 等人依据同一运动物体引起的光
70 | Techniques of Automation & Applications
帧间差分法是将前后 ２ 帧或者 ３ 帧图像相减， 事先 设定一个阈值， 若差值大于阈值则确定图像序列中有物 体运动。视频图像序列的逐帧的差分， 相当于对图像 序列进行了时间域上的高通滤波。此方法对于动态环 境具有较强的自适应性， 鲁棒性较好， 能够适应各种动 态环境， 但是一般不能完全提取出所有相关的特征像素 点， 这样在运动人体内部会出现空洞现象。
２ 步态检测
一段数据量很大步态视频序列， 记录着行人在行走 过程中各个时间点的行走姿态和不同的场景机构， 为了 能够将场景中的行人识别出来是谁， 我们有必要寻找合 适的分割技术， 将行人从该场景中分割出来。常用的检 测运动目标的方法主要有光流法、帧间差分法和背景 减除法。
２．１ 光流法
光流在视觉运动的研究中有非常重要的作用。视 觉运动分析就是研究如何从变化的场景的一系列不同 时刻的图像中， 提取出有关场景中物体的结构、位置和 运动信息。 光流场的计算最初是由美国学者 Ｈｏｒｎ 和 Ｓｃｈｕｎｃｋ 提出的［５］。假定在 ｔ 时刻图像上一点 ( x, y ) 处的灰度值 为 E ( x, y , t ) ， 在时刻 t + ∆t 时， 这点运动到新位置
Gait Detection and Sequence Preprocessing for Gait Recognition
WANG Ke-jun, BEN Xian-ye, Zhao Yue
( College of Automation, Harbin Engineering University, Harbin 150001 China )
模式识别与仿真
Pattern Recognition and Simulation
《 自 动 化 技 术 与 应 用 》２ ０ ０ ９ 年 第 ２ ８ 卷 第 ８ 期
考虑摄像机输入的一个图像序列。假定在图像中 要检测的人体处于运动状态， 而背景保持不变， 那么通 过相邻两帧图像进行差分运算， 可以舍弃背景中不变的 部分， 保留发生变化的部分。这样可以有效地保留步态 运动区域， 去除大部分的背景区域， 尤其是那些颜色和 人体颜色相同或相近的区域。 帧差法的具体处理过程如下：将相邻两帧图像（分别 为 tk 和 tk +∆ 时刻）中各相应像素点的 ＲＧＢ 值按下式进行 差分求和运算：
１ 引言
安全敏感的场合对智能监控的需求的提高， 常常 需要从远距离来进行人的身份识别， 希望依靠认证技 术来提前预警， 从而有效地扼制危险的发生。步态识 别是目前唯一一项能做到远距离身份识别的技术手 段。它 的 目 的 在 于 根 据 人 们 走 路 的 姿 势 进 行 身 份 识 别。步态识别优于其他的生物特征识别技术， 在于它 可以在不让研究对象觉察的情况下得到其步态特征，
Abstract: Gait detection and sequence preprocessing is a sub-project of the gait recognition. The direct background subtraction is used for the human body detection and segmentation in the indoor scenario, while background subtraction with an updating background is used for the outdoor environment. Then the morphology transformation is used to fill cavities in a single binary image. And the connected components analysis is used to obtain the silhouette of human body. The standardized and centralized image is also used to eliminate the effect of different image scales on recognition performance. Key words: gait recognition; gait detection; background update; sequence preprocessing
流场应该是连续的、平滑的， 即同一物体上相邻点的速 度是相似的， 那么其投影到图像上的光流变化也应该是 平滑的这一特点， 提出了一种利用加在光流场上的附加 约束， 即整体平滑约束来将光流场的计算问题转化为一 个变分问题。 Ｎａｇｅｌ［６］考虑到基本等式本身已对光流场在 该点灰度场的梯度方向上有了约束， 提出附加的光滑性 约束应为光流场在沿着与梯度的垂直方向上的变化率 最小，据此导出了一种新的迭代算法。Ｔｒｅｔｉａｋ ［７］认为光 流场计算属于一类微分问题， 涉及到图像灰度的时空导 数的计算， 因而提出一个基于二阶微分算子的附加约 束。我们采用 Ｍｅｙｅｒ 等［８］ 提出的通过计算位移向量光流 场来初始化基于轮廓的跟踪算法， 实验结果如图 １ 所 示， 它的出发点是将图像序列中具有明显运动的较大面 积区域作为前景。 光流计算方法相当复杂， 且抗噪性能差， 如果没有 特别的硬件装置则不能被应用于全帧视频流的实时处 理。从图 １ 所示的检测结果来看： 运动人体的分割效果 不理想， 特别是当地面存在反光现象比较严重且反光光 线变化时，地面上人影连同运动人体一并被分割出来；行 人在行走过程中的某个时刻， 身体的某个部位的光流没 有变化， 该部位也不能被分割出来， 因而容易造成运动 人体区域分割不完整的情况。这些情况都对接下来的 特征提取和识别有很大的影响。
具有非侵犯性、非接触性、对系统分辨率要求不高、远 距离、难以伪装、受环境影响小等优点，因此引起了研 究者的浓厚兴趣［１］［２］［３］。 然而， 步态识别的先要任务就是检测步态和步态序 列预处理［３］ 。分割运动人体质量的好坏都会影响到最终 身份判别的精度。文献［４］针对街道的复杂背景，利用光 子混频设备（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ ｓｅｎｓｏｒ，ＰＭＤ）传 感器， 根据物体长度、宽度、纹理能量、纹理熵等的频 度， 采用最大似然的贝叶斯分类器和支持向量机（ Ｓ Ｖ Ｍ ） 将行人与非行人进行分类。该文献没有采用边缘检测 的方法， 这是因为 Ｐ Ｍ Ｄ 系统本身具有的特性所致。而 视频大多数还是利用摄像机进行采集的。因此， 本文在 人体检测与分割问题上， 分别采用光流法、帧间差分法 和背景减除法做对比试验。鉴于各种运动检测算法的
《 自来自百度文库动 化 技 术 与 应 用 》２ ０ ０ ９ 年 第 ２ ８ 卷 第 ８ 期
模式识别与仿真
Pattern Recognition and Simulation
有效性和复杂性， 最终确定采用背景减除法进行行人的 检测与分割。针对室内环境采用直接差分的背景减除 方法， 而室外环境则采用背景实时更新的背景减除方 法。用数学形态学填补二值化图像的空洞； 再进行单连 通的运动分析， 提取人的侧影。为了消除图像尺度对识 别的影响， 运用形态学操作和图形几何变换实现了图像 的标准中心化。而且本文所采用的步态检测与序列预 处理方法对后续的步态识别是有效的。
值，则判定此像素是出现在运动目标上的；反之，判定为 是背景上的点。这类方法一般都能提供完全的特征数 据， 但对于由于光照及其他外界扰动引起的场景变化特 别敏感， 所以该方法主要应用于静止背景的情况。如图 ３ 所示是将某一帧图像与事先存储好的背景图像相减的 背景减除法的效果图， 我们发现： 运动人体区域存在着 噪声点和空洞点， 但是这些影响都可以在接下来的图像 序列预处理中得以解决和改善。 鉴于上述三种运动检测算法的有效性和复杂性，我 们采用背景减除法进行行人的检测与分割。使用背景 减除法会遇到如下问题： （１） 背景获取：背景图像最简单的获取方法为找一 帧不含任何运动目标的图像作为背景， 这个情况仅限于 光照不变的理想情况， 基本上室内的场景可以使用该方 法。但是对于实际环境中，无法满足光照不变的条件和 不存在任何运动目标的帧，因此需要一种方法能够在存 在运动目标的情况下获得背景图像。 若在理想的室内环境下， 可以采用中值法从图像序 列中恢复出背景，即将输入连续 N 幅图像的像素值的中 间值作为背景图像的像素值， 令 {I k , k = 1,L , N } 代表 一个包含 N 帧图像的序列，则背景图像 B 可从（５）获得。