基于条件随机场的连续运动识别技术_柴桦

53
HM M 识别 。 本文沿用手 势识别 领域 中这 种思想 , 对 文献 [ 3] 进一步研究扩展 , 提出一种适合于体育运动中连续运动 识别的 CRF ( Conditional Randon Field , 简 称 CRF) / Condensation( Conditio nal Density P ropaga tion , 简 称 Condensa tion) 新算法 , 利用 Co ndensatio n 对边 界进行 动态估计 完成 分割 , 结合 CRF 对复杂动 作的优 越识 别能 力 , 实现了 包含 翻腾 、旋转复杂运动 特征的连 续运动 识别 。 本 文的主 要贡 献在于 : ( 1) 首次 将 C RF 置于 Condensation 框架 下进 行 连续 运动的识别 ; ( 2) 提出一种先假设再验证的分段策略 , 利用 Co ndensatio n 可靠解决连续运动的动作片段分割问题 ; ( 3) 利用 CRF/ Condensatio n 算法 对 分割 片段 的 优选 策略去除了动作边界邻 近过渡帧 的影响 , 提 高了连续 运动 识别的稳定性 。
图 1 线性链形式的 C RF 模型
对给定输入结点 , CRF 可以计算 指定输 出结点 的条件 概率 。 定义 团 C ( Y , X) 表 示图 中最大 全连 接子图 的集 合 , C RF 将给定输出 序列条 件概 率定 义为 图中 各个 团的 位势 函数的乘积 : 1 c θ ( y c , xc) ( 1) Zθc ∈ C( Y , X) 其中 , c Z θ 为归一化因子 , 保证状态 θ 表示团 c 的位势函数 ; Pθ ( y x)=
立性要求 ; 此外 , 它还具有表示观测元素之间 复杂的相互关 联属性和长距离依赖的优 点 。 文献[ 3] 中运用 CRF 对 人体 多种体育运动进 行识 别 , 结 果表 明 , C RF 不仅 能区 分不 同 动作类型 , 还能 分辨 出动 作的 细微 差别 , 如 漫步 和 正常 行 走 , 表现出优越的识别能力 。 然而 , 以上方法 都忽略了过渡 姿势对识别的影响 。 在连续 运动识别 时 , 由于动 作转换 过 程中过渡姿势随前 后动作的 不同而 变化 , 难以判 决归属 类 别 , 往往出现误将过渡阶段识别为一个或几个动作的现象 。 在已有的体育运动 识别文献 中 , 并没有 提及这个 问题的 解 决方法 。 手语识别领 域中 , 研究者 利用“ 分段 识别” 的方 法 较好地解决了此问题 。 例如 , 文献[ 4] 中对非特定人连 续手 语句子进行识别时 , 提取 具有较 强段特 性的手语 特征数 据 输入到精简循环网 络中检测 段边界 , 再 将分好的 手语词 特 征数据输送到 HM M 框 架识 别 ; 文献 [ 5] 中通 过计 算手 语 手势与非手语手势 的差异概 率来进 行边界 检测 , 同样采 用
基于条件随机场的连续运动识别技术 Continuous M otion Recog nition Based on C RF
柴 桦 , 邹北 骥 CHAI Hua , ZOU Bei -ji ( 中南大学信息科学与工程学院 , 湖南 长沙 410083) ( School of Information Science and Engineering , Central South University , Changsha 410083 , China) 摘 要 : 在体育运动识别中 , 过渡姿势的复杂多变性容易导致 识别错误 。 针 对此问题 , 本文提 出一种基于 条件随 机场 C RF 和条件概率密度传播 Co ndensation 的连续运动识别算法 。 该算法采用“ 分段识别” 的思 想 , 首先 利用 Co ndensatio n 估 计动作边界 , 然后分割出片段输入到 CRF 对其进行识别 。 实验结 果表明 , 本文算法 能减少过 渡姿势对 识别正 确性的 不良 影响 , 比传统单纯使用 C RF 算法具有更好的稳定性和识别正确率 。 Abstract: T he difficulty in recog nizing v ariable transitio n postures is o ne reason of the occurre nce o f fault co ntinuous motio n reco gnition . W e present a new method to tackle the problem by combining CRF ( Co nditional Rando m Field) with Co ndensation( Conditio nal Density P ropag ation) .In the pr oposed method , Co ndensa tion is used to g ener ate a hypo thesis about the border o f a movement in the continuous motion sequence , then CRF implements the r eco gnition task of the hypothetical movement fr ag ment .The likeliho od o f a hy po thesis can be evalua ted by the pro babilistic output of CRF .Ex pe riments sho w tha t o ur method has a co nsiderable im pr ovement in stability and the rate of cor rect identifica tion co mpa red with C RF . 关键词 : 连续运动识别 ; CRF ; co ndensa tion ; 边界检测 ; 运动识别 Key words : co ntinuous mo tion recog nitio n ; CRF ; co ndensa tion ; bor der detectio n ; motion recog nitio n 中图分类号 : T P391 文献标 识码 : A 强的 优势 , 同时 克服 了 HM M 的 不足 , 对观 测序 列没有 独
CN 43 -1258/ T P ISS N 1007 -130X
计算机工程与科学
CO M P U T ER EN GIN EERIN G & SCI EN CE
ຫໍສະໝຸດ Baidu
2009 年第 31 卷第 5 期 V ol .31 , No .5 , 2009
文章编号 : 1007-130X( 2009) 05 -0053 -03
其中 , F θ 是特 征函数 , 可 以采用团 中各边 或结点 任意的 非 独立状态和转移特征 。 在给定完备的标记动 作训练集 { xm , ym } m= 1 … M 条件下 , 通过最 优化 训 练 集 的条 件 对 数 似然 ( log-likelihoo d)解 出 CRF 的模型参数 θ 。 条件对数似然函数为以下形式 :
2 CRF 相关原理
Laffe rty J 和 M cCallum A 在 2001 年首次提出的 CRF 是一种无向图模型 , 通 过建立 概率模 型来进 行序列数 据的 标注 , 具有很强的推理 能力 , 并且能 够使用 复杂 、有重 叠性 和非独立的特征进行训练和推理 , 在语音识别 、计算机视觉 等领域都有优越的表现 。 线性链是 一种 典型 的 CRF 模型 , 输入 结点 集合 X = {x1 , x2 , … , xt } 表示可被观察的输入数据 , 输出结点集 合 Y = { y 1 , y2 , … , y t } 对应 于可被 模型预 测的 输出状 态 , 各输 出结点之间构成线性结构 , 如图 1 所示 。 图 1 中 , 空心结点 表示勿需对观测序 列建 模 , 由此 特性 可知 , C RF 无须 考虑 建模所设的独立性限制 , 能任意捕捉观测序列的所有属 性 , 从而使之能容纳各种非独立迭加特征 。
＊ 收稿日期 : 2008 - 02 -02 ; 修订日期 : 2008 - 05 -04 基金项目 : 国家自然科学基金资助项目( 60673093) ; 湖南省自然科学基金资助项目( 06JJ2065) 作者简介 : 柴桦( 1978 -) , 女 , 湖南张家界人 , 硕士生 , 研究方向为计算机图形学与图像处理 ; 邹北骥 , 教授 , 博士生导师 , 研究方向 为计 算机图形学与图像处理 、计算机辅助设计 、多媒体技术和软件工程技术等 。 通讯地址 : 410083 湖南省长沙市中南大学校本部计算机楼 407 室 ; Tel : 13548727022 ; E - mail : 276967485 @qq . com Address : School of Inf ormati on S cience and Engineering , Cent ral S ou th U niversi ty , C hang sha , Hu nan 410083 , P . R. Chi na
＊
1 引言
在体育运动分析领域中 , 运 动识别是 近年 来备受 关注 的研究方向 , 它可以用于运动视频的自动标注 、基于体育内 容的检索等方面 , 对 于科 学 、高效 地 指导 运动 员的 体 育训 练 , 从而提高运动员 的竞技水 平有着 积极的 推动 作用 。 以 往对体育运动识别的研究侧重于简单动作的识别 , 比如 走 、 跑 、坐等 , 近年来随着行为 识别技术 的发展 和应用 的深 入 , 连续运动的识别越来越引起人们的关注 。 目前 , 国内外就体育运动识别展开的研究工作中 , 概率 统计法是 应 用 最 广 泛 的 方 法 , 如 H M M (Hidden M a rko v M odel , 简称 H M M)、DBN( Dy namic Bay esian N etwo rk , 简 称 DBN) 等[ 1 ] 。 近年来一种新的概率图 模型条件 随机场 [ 2] 开始在运动识别领域崭露头角 。 条件随机场是一种无向图 模型 , 它继承了经典概率模 型 H M M 对时间 序列处 理能力
图 2 连续运动识别整体框架
边界检测的目的是找 到连续运动长序列中各个动作在 时间上的起始和结 束点 。 体 育运动过 程中 , 动作 在时间 上 的分布不仅与动作类型有关 , 还受到个体身体条件 、运动习 惯 、环境等诸多因素的 影响 , 很难找 到分布 规律 。 因此 , 本 文采用一种 有力的动态估计工 具 -Condensation 对 连续运 动序列实施边界 检测 。 Co ndensatio n[ 6] 是通 过非 参数化 的
M T θ m t m , ym )- lo g Z θ (xm) ) t1 , x , t
L θ=
m =1
F( y ∑ ∑(
t= 1
⑷
3 基于 CRF/ Condensation 的连续运 动识别
在体育运动识别任务 中 , CRF 可以 对给定 的观测 人体 运动序列找出使输 出条件概 率最大 的状态 序列 , 从而实 现 从观测运动 序列 到运 动状 态序 列的 映射 。 本文 采 用文 献 [ 3] 的方法分别进行体育 运动的 动作和 连续运 动的识 别实 验 。 实验结果表明 , CRF 在连续 运动识 别任务 中不能 很好 地处理过渡姿势 。 为 此 , 本 文将连 续运动 的识别 分解成 边 界检测和动作识别两个子 任务交叉 同时进 行 , CRF 只 执行 动作识别的任务 。 连续运动识别整 体框架如图 2 所示 。