基于多特征融合的运动人体行为识别

图１人体侧 影及轮 廓提取
１ １ 基 于 运 动 区域 的 特 征 提 取 ．
本文使用 变 换形 状 描述 子 ¨提 取行 为 区域 特征 ， 变换 是对 Ｒ ｄｎ变换 的一种改进 ， ａｏ 通过改进使其具有了几何 不 变性 （ 平移不变性 、 旋转不变性和尺度不变性 ） ａｏ 。Ｒ ｄｎ变换 是 计算 图像 在某一特定角度射线方 向上投影的变换方法 ， 对一幅
第２ ９卷 第 ８期
２１ ０ ２年 ８月
计 算 机 应 用 研 究
Ａｐ ｌ ａ ｉｎ Ｒｅ ｅ ｒ ｈ ｏ ｏ ｕ ｅ ｓ ｐ ｉ ｔ ｓ ａ ｃ ｆＣ ｍｐ ｔ ｒ ｃ ｏ
Ｖｏ ． ９ Ｎｏ ８ １２ ． Ａｕ ．２ ２ ｇ ０１
基 干 多特 征 融 的 运 人体 行 为 识别 源自文库合 动
Ａｂｓｒ ｃ ： Ｔｈ ｓｐ ｐｅ ｅ ｅ ｅ ｅ ｏ ｎｔｏ ａｇ ｒｔ ｔａ ｔ ｉ ａ ｒ ｐｒｓ ｎｔｄ ａ ｒ ｃ ｇ ｉｉｎ ｌ ｏ ｉ ｈｍ ｆｈ ｏ ｕｍａ ｃ ｉｎ ｂａｅｄ ｎ ｍｕｌ —ｅ ｔ ｅ ｆ ｉｎ．Ｆｉｓ ， ｔ ｒ ｕ ｈ ｔ ｅ ｎ ａ ｔｏ ｓ ｏ ｔ ｆａｕｒ ｓ ｕｓｏ ｉ ｒｔ ｈ ｏ ｇ ｈ
ｂ ｃ ｇ ｏ ｎ ｕ ｔａ ｔ ｎ ａ ｄ ｓ ａ ｏ ｌ ｎ ｔ ｎ， ｂ ａｎ ｄ ｈ ｍａ ｔ ｎ ｓｌ ｏ ｅｔ ｓａ ｄ ｃ ｎｏ ｍ． ｔｄ ｓ ｒ ｅ ｕ ｎ ｓ ｈ ｕ ｔ ａ ｋ ｒ ｕ ｄ ｓ ｂ ｒｃ ｉ ｎ ｈ ｄ ｗ ｅｉ ａ ｉ ｏ ｔｉ ｅ ｕ ｎ ｍｏ ｉ ｉ ｕ ｔ ｎ ｏ ｔｕ Ｉ ｅ ｃ ｂ ｄ ｈ ｍａ ｉ ｏ ｅ ｔ ｏ ｍｉ ｏ ｏ ｈ ｅ ｉ ｌ ｅ ｆａｕ ｅ ｙ ｅ ｔ ｒ ｓｂ ｔ ｎ ｆｒ Ｔ ｅ ｕ ｅ ｈ ｓ ｅ ｔ ｒ ｓｗ ｔ ｕ ｎ ｃ ｎｏ ｒｆ ａｕ ｅ ｉ ｈ ｗｅｅ ｅ ｔ ｃｅ ｓｎ ａ ｅｅ ｅ ｃ ｉ ｔｒ ｒ ｓ ｍ． ｈ ｎ ｆ ｓ ｄ ｔ ｅ ｅ ｆａｕ ｅ ｉ ｈ ｍａ ｏ ｔｕ ｅ ｔ ｒｓｗｈ ｃ ｒ ｘｒ ｔｄ ｕ ｉ ｇ ｗ ｖ ｌｔｄ ｓ ｒ ｏ ａ ｏ ｈ ａ ｐ
ＺＨＡＯ ｉｙ ｎ ． ＬＩＣｈｅ — ｏ Ｈａ— ｏ ｇ ｎｇ ｙ ｕ
（ ．Ｓｈ ｏ ｏ ｏ ｐ ｔ ｃ ｎｅ＆ Ｔｃｎｌｇ ，ｂ Ｎ ｔｏ ｆｒ ｔｎＣ ｎｅ， ｉｏｈｎ ｎ ｅｓｙ ｉ ｃｅｇＳ ａｄ ｎ ５ ００，Ｃ ｉａ ａ ｃｏｌｆＣｍ ｕｅ Ｓｉ ｃ ｒ ｅ ｅｈ ｏ ｙ ． ｅ ｒ Ｉ ｏｍａｉ ｅｔ Ｌａｃｅｇ Ｕ ｉｒｔ，Ｌａ ｈｎ ｈ ｎｏｇ２ ２０ ｏ ｗ ｋｎ ｏ ｒ ｖ ｉ ｏ ｈｎ ）
可能将同一段行为运动识别 为不 同的结果 ： 一方 面 ， 似 的行 相
为在时间尺度上往往不 同， 并且 同一种行 为在不 同的环 境中通
常具有不同的含义 ； 另一方 面， 同一 段行 为可能 同时被判别
为属于几个类别 ， 因为行 为是一 些基本运 动单元 的 自然组 合 。 另外 ， 据采集 的真实环境复杂 多样 ， 数 行为 序列分割技 术还 不 十分完善 ， 以上种种 因素使 得人 体行 为识别成 为一个 非常具 有
ｄ ｃ ｓ ｎ ｔ ｅ ｃ ｎ ｔ ｃｅ ｌ ｌ ｖ ｌ ｉ ａｙ ｔ ｅ ｃａ ｓｆ ｒ Ｉ ｅ ａｕ ｔ ｄｔ ｅ ｍｅｈ ｄ ｏ ｈ ｉｍａ ｎ ａ ｔ ｎ ｄ ｔｓ ｔ Ｔ ｅ ｅ ｐ ｒ ｅ ｉｉ ｅ ， ｏ ｓｒ ｔｄ ａｍｕｔ ｅ ｅ ｎ ｒ ｅ ｌ ｓｉ ｅ ． ｔ ｖ ｌａ ｅ ｈ ｔ ｏ ｎ ｔ ｅ Ｗｅ ｚ ｎ ｃｉ ａａ ｅ ． ｈ ｘ ｅ — ｏ ｒ ｕ ｉ ｂ ｒ ｉ ｏ
考虑可区分性 ， 而且要考虑提取时 的难易程度 。两类基于形状
０ 引言
近年来 ， 人体行 为识别 已经成为计算 机视 觉中的热点研 究
领域… 。作为人体 运动分析 的高 级阶段 ， 它在 智能视频 监控 、 视频注解 、 机交互 和虚拟现实 等领域 具有广 泛 的应 用价值 。 人 然而 ， 体行 为复 杂且 多样 ， 人 对分类的定义模糊 ， 同的观察 者 不
模 型为了降低计 算复杂度 ， 往往假设观察序列是基于条件独立 的， 这种不确切的假设导致其不能表示时间序列 中的上下文依 赖关 系以及 序列 问的特征多重 重叠 。为 了改进产 生式模 型给
时间序列建模所 带来 的问题 ， 人们开始研究基于判别模型的方
法 。文献 ［ ］ ７ 将条件 随机场模 型（ Ｒ ） Ｃ Ｆ 用于行为识别 ， Ｒ Ｃ Ｆ无 须对观测进行建模 ， 因此避免 了独立 性假设 ， 并且可 以满足状 态与观测之 间在长 时间尺 度上 的交 互。支持 向量 机 作为一 种判别式分类方法 ， 在解决小样 本 、 非线性及 高维模 式识别 问 题 时具有特有 的优势 。
为识别 。为 了将支持向量机推广到多类 分类 ， 本文结合模糊聚 类技术和决策树 ， 构造 多级 二叉树分 类器 。首 先利 用模糊 Ｃ ． 均值聚类技术求取每类行为样本模糊聚类中心 ， 由聚类 中心确
信 息包 括 ： 景 目标 、前 景 目标 的运 动 速 度 动 轨 迹 信 前 、运 息 Ｊ光流信息 、 、 前景 目标 的轮廓 和侧影 等。不 同的行 为特征 从不同的角度反映人的运动状态特性 ， 选择一种特征 时不仅要
收 稿 日期 ：２ １ —２ １ ；修 回 日期 ：２ １— １ １ ０ １ １ －４ ０ ２ ０ －６
含 了对 时 间 的 校 正 ， 提 供 了学 习机 制 和 识 别 能 力 。但 产 生 式 并
行为识别是对 人 的行 为模式 进行 分 析与识 别 Ｊ 。通 常 ， 它可 以分为两个层 次 的任 务 ： ） ａ 底层 的行 为特征 提取 和 表 示 ；） ｂ 高层 的行 为识别 和建 模 。从 图像序 列 中提取 出 能够合 理表示人体运动的特征 ， 对行为识别 和理解至关重要 。基 于视 觉的动作表示按特 征的性 质大致 可 以分为 两类 Ｊ ａ 二 维底 ：） 层 图像 信息特征 ； ） 维模 型特 征。可利 用 的二维 底层 图像 ｂ三
挑战性的研究领域 。
理方法 ， 这种方法大体上可 以分 为基 于产 生式模型 （ ｅｅａ ｖ ｇｎｒｔｅ ｉ
ｍｏｅ ， Ｍ） ｄｌ Ｇ 的方法 和基 于判别 式模 型 （ ｉ ｒ ｉａｖ ｏｅ ， ｓ ｄｓｉ ｎｔ ｅｍ ｄｌ ｃｍ ｉ ｓ Ｄ 的方法 。隐马 尔可夫模 型 （ ｉ ｅ ｒｏ ｄ ｌ， ＭＭ） Ｍ） ｈｄ ｎＭａ ｖｍｏｅ Ｈ ｄ ｋ ｓ 是常用的产生式模型 ， 它是 一种有效 的时 变信号处理 方法 ， 隐
进行 了实验 ， 实验 结果表 明所提 出的识别 方法具 有较 高的识 别性 能。 关键 词 ：行为识 别 ；特 征 融合 ；小波描述 子 ；支持 向量机
中图分类 号 ：Ｔ ３ ９ Ｐ １ 文献标 志码 ：Ａ 文章 编 号 ：１ ０ — ６ ５ ２ １ ） ８ ３ ６ －４ ０ １３ ９ （ ０ ２ ０ ・ １９ ０
赵 海 勇 ，李 成 友
（ 聊城 大 学 ａ计算机 学院 ；ｂ 网络信 息 中心 ，山 东 聊城 ２２０ ） ． ． ５００
摘 要 ：提 出 了一种 基 于特征级 融合 的运动 人体行 为识 别 方 法。应 用 背景 差 分 法和 阴影 消除技 术获 得 运 动人
体 区域和 人体轮 廓 ； 用 变换提 取人 体 区域特征 ， 采 采用 小 波描 述子 提取 人 体轮 廓 特征 ； 然后 将 这 两种 具 有一
特 征合并后的维数是两种原始特征 的维数 之和 ， 这就导致了合 并后新特征的维数急剧增加 ， 从而使得组合后识别的速度大幅 度地降低 。本文采用离散 ＫＬ变换 ， — 对提取 的多种特征进行信 息压缩 ， 现特征 的有效 融合 ， 实 并采用支 持 向量机 方法实 现行
一 日 ＿
（） 图像 ａ 原 （） ｂ侧影 图像 （） ｃ人体轮 廓
本 文提 出了一 种 基于 多特征 融合 的 人体行 为识 别算 法。
基 金 项 目 ： 国 家 自然科 学基 金 资 助 项 目（ １０ １９ ６ １４ ７ ）
作者简介 ： 海勇（９ １ ） 男， 赵 １８ － ， 山东聊城人 ， 博士 ， 主要研 究方向为计 算机视 觉、 模式识别（ｈ ｏａ ｏｇ ｃ．ｄ ．ｎ 李成友 （９ ８ ） 男， ｚａｈｉ ｎ ＠ｌｕ ｅｕ ｃ ）； ｙ １６ 一 ， 高级 工程师 ， 硕士 ， 主要研 究方向为人工智能、 网络管理等．
定互补性 的特 征采 用 ＫＬ变换 进行 融合 ， 到一 个分 类能 力更 强 的特 征 ； ． 得 最后 ， 传 统 支持 向 量机 的基 础 上 ， 在 结
合模 糊 聚类技 术和 决策树 构建 多级二 叉树 分类 器 ， 而实现 行 为 多类 分 类。该 方 法在 Ｗｅ ｍａｎ行 为数 据库 上 从 ｉ ｎ ｚ
的特征—— 人体侧影和轮廓能够鲁棒地获得 ， 因此经常被用于
行 为 特 征 提 取 。 基 于 人体 侧影 的 方 法应 用 范 围广 泛 ， 是 由于 但
将 整个 人体形状所包含的像素考虑在内 ， 计算复杂度较高。基 于人体轮廓 的方法只考虑人体形状 边界所包 含的像素 ， 因而计
算 复杂度较低 ， 但是 由于需 要准确提 取人体 轮廓 ， 这就 限制了 其 应用 范围。 人 体行 为识 别的识别 方法 中广泛采用 了基 于图模型 的推
ｄ ｉ１ ．９ ９ ｊｉ ｎ １０ —６ ５ ２ １ ．８ ０ ８ ｏ：０ ３ ６／ ．ｓ ．０ １３ ９ ．０ ２ ０ ． ９ ｓ
Ｈｕ ｎ ａ ｔｏ ｅ ｏ ｎ ｔｏ ａ ｅ ｎ ｍｕ ｔ．ｅ ｔ ｒ ｓ ｆ ｓｏ ｍａ ｃ ｉ ｎ ｒ ｃ ｇ ｉｉ ｎ ｂ ｓ ｄ ｏ ｌｉｆ ａｕ ｅ ｕ ｉ ｎ
ｂ Ｌ ｒ ｎ ｆｒ ｔ ｅ ｅ ｆ ａｕ ｅ ｗｈｃ ａ ｇ ｅ ｉｃｉ ｎａｉ ｏ ｒ ａ ｔ，ｔ ｒ ｕ ｈ ｉｔ ｇａ ｉｇ ｆ ｚ ｙ ｃｕ ｔｒｎ ｎ ｙ Ｋ— ｔａ ｓｏ ｍ ｏ ｇ ｔａ ｎ ｗ ｅ ｔｒ ｉｈ ｈ ｄ ｈｉｈ ｒ ｄｓ ｒｍｉ ｔ ｎｇ ｐ ｗｅ ．Ａｔｌｓ ｈ ｏ ｇ ｎ ｅ ｒ ｔｎ ｕ ｚ ｌ ｓｅ ｉｇ ａ ｄ
・
３７ ・ １０
计 算 机 应 用 研 究
第２ ９卷
考 虑到单独采用 基于人体 侧影 的特征或者 单独采用 基于人体
的侧影 。图 １给出了其 中一 帧的人体侧影和轮廓提取结果 。
轮 廓的特征 表征人的行 为状态都存在不足 ， 因此本文将两种特 征 融合 以更 好地 表征人的行 为状态 。特征 级融合 既能保 留多 特 征的有效 鉴别 信息 ， 又能在很大程度上消除特征的冗余 。传 统 的特征融合方 法将 两组 特征 直接合并 为新 的特征 向量 ， 由于
ｉ ｎ ａ ｅ ｕｌｓｓ ｗ ｈａ ｈ ｐ ｒ ａ ｈ ｈａ ｆ ｃ ｅ ｅ ｏ ｎｔｏ ｒｏ ｍａ ｅ． ｍｅ ｔ ｌｒ ｓ ｔ ｈｏ ｔ ｔｔ ｅ ａ ｐ ｏ ｃ ｓｅ ｉｎｔｒ ｃ ｇ ｉｉｎ ｐｅｆ ｒ ｎｃ ｉ
Ｋｅ ｒ ｓ ｙ ｗｏ ｄ ：ｈ ｍａ ｃｉｎ ｒ ｃ ｇ ｉ ｏ ｕ ｎ ａ ｔ ｅ ｏ ｎ ｔ ｎ； ｍｕ ｔ ｆａｕ ｅ ｓ ｎ； ｗ ｖ ｌｔｄ ｓ ｒ ｔｒ ｓ ｐ ｏ ｔ ｅ ｔｒｍａ ｈ ｎ ｏ ｉ ｌ — ｔ ｒ ｓｆ ｉ ｉｅ ｕ ｏ ａ ｅｅ ｅ ｃ ｐ ｏ ； ｕ ｐ ｒ ｖ ｃ ｏ ｃ ｉ ｅ ｉ