行为识别

通过对低分辨的现场视频中运动员的动作分析，来分析运动员的战术战法
18/27
实例介绍：
Player Action Recognition in Broadcast Tennis Video with Applications to Semantic Analysis of Sports Game
19/27
14/27
人体行为识别：基于状态空间的方法
耦合的HMMs （Coupled HMMs） 层级HMMs （hierarchical HMMs） 抽象HMMs （abstract HMMs） 可变长马尔科夫模型 （Variable length Markov model）
隐马尔可夫模型的基本结构
改进的HMM
可以简单地认为是时变数据的分类问题，
即将测试序列与预先标定的代表典型行为的参考序列进行匹配.
12/27
人体行为识别：基于模板匹配
视频输入
• 首先将图像序列转换成一组静态形状模 式
• 然后在识别过程中用输入图像序列提取 的特征与在训练阶段预先存储的动作行 为模板进行相似度比较，在比较数据可 以有轻微变化下识别人体行为。
实例介绍：
Player Action Recognition in Broadcast Tennis Video with Applications to Semantic Analysis of Sports Game
20/27
实例介绍： Histograms of Oriented Optical Flow and Binet-Cauchy Kernels on
基于预先确定区域 (如腿、 头)跟踪的运动轨迹分析方法
运动特征 运动表征 形状特征与运 动特征的融合
MHIs和MEIs的Hu不变矩 来描述运动 基于非预先确定的目标区域 运动分析方法 光流法
时空特征
迭代滤波(recursive filtering)和帧分组( frame grouping)来描述运动信息
Radon transform
25/27
实例介绍：Human Activity Recognition using Local Shape Descriptors
26/27
谢谢！
由wsc36305@foxmail.com整理
27/27
22/27
实例介绍：Shape-Based Human Activity Recognition Using EditDistance
23/27
实例介绍：Human Activity Recognition using Local Shape Descriptors
24/27
实例介绍：Human Activity Recognition using Local Shape Descriptors
人体描述
2D轮廓
近似为面片描述
近似为带状描述 根据应用对模板复 杂度的需要而定
圆锥 球体
10/27
行为描述：基于高层次的人体
11/27
人体行为识别的主要方法
MEI MHI 基于模板匹配 二维网格 DTW 隐马尔科夫及其 改进模型 动态贝叶斯网络 人体行为识别 方法 基于状态空间 人工神经网络 支持向量机 置信网络 基于语义描述的 方法
动作没有结束 是 差分运算并 二值化 否
图像累加
2D
MHV (Motion History Volumes)
MEI
MHI
MEI:运动能量图 MHI:运动历史图 开启了模板匹配的行为分析算
基于矩的行为 特征
模板匹配
13/27
人体行为识别：基于状态空间的方法
将图像序列中的每个静态姿势或运动状态作为一个 状态节点，这些状态节点之间由给定的概率联系起 来。 任何的动作序列可以认为是这些静态动作在不同状 态节点中的一次遍历过程，计算这个遍历过程的联 合概率，取其最大值作为分类标准。 基于状态空间的方法已经被广泛应用于预测、估计 和检测时间序列。
熵隐马尔科夫模型 （entropy HMM） 分层HMM （layered HMM）
15/27
两种方法比较
• 模板匹配方法的优点是计算复杂度低、操作和实 现简单，但缺乏考虑运动序列中相邻时序之间的 动态特性，对于噪声和运动时间间隔的变化相当 敏感。 • 状态空间方法虽然能克服模板匹配的缺点，但通 常涉及到复杂的迭代运算，算法的步骤较为复杂， 难以应用到实际工作中。
低层图像信息特征获取简单,这种描述行为的算法一直以来都是行为描述 的一个重要方向。在行为描述中可利用的低层图像信息包括:前景目标、 前景目标的运动速度、光流、运动轨迹信息、前景目标的轮廓等等。
7/27
运动目标的特征
复杂度 常用特征量 长宽比 也称为周长面积比 ,主要是指目标的边界 像素数与目标总像素数的比值 是指目标最小外接矩形的长度与宽度的比值 是指目标像素与包围目标的矩形内的像素数之 间的比值
16/27
人体行为分析存在的问题
• • • • • • • • 运动分割（Motion Segmentation） 人体建模 遮挡问题 多摄像机的使用 运动特征选择与表达 行为识别 高层行为与场景理解 性能评估
17/27
实例介绍：
Player Action Recognition in Broadcast Tennis Video with Applications to Semantic Analysis of Sports Game
Nonlinear Dynamical Systems for the Recognition of Human Actions
21/27
实例介绍： Histograms ofLeabharlann BaiduOriented Optical Flow and Binet-Cauchy Kernels on
Nonlinear Dynamical Systems for the Recognition of Human Actions
9/27
行为描述：基于高层次的人体
人的高层结构信息是指人身体结构所呈现的姿势,与低层图像信息相比,它 可以更精细地描述人的行为。
边界框描述 棍棒图描述 可变形轮廓 细节的不同水平 silhouette contour model cardboard model 2D blob model 圆柱体 3D体 多面体
人体行为分析技术研究
姓名： 时间：2012.05.21
1/27
系统结构
摄像机
目标检测
目标跟踪
目标分类
行为理解
语义描述
低层视觉处理
中层视觉处理
高层视觉处理
2/27
几种常见的人体行为检测
奔跑
跌倒
徘徊
………
群聚群散 翻越栅栏 3/27
人体运动的特殊性
运动的类型： 刚体运动 vs 非刚体运动 人的运动属于非刚体运动中的一个子类： Articulated motion:人体各个部位的运动 是刚体运动；而人整体的运动是非刚体 运动
运动目标的 特征
紧凑度
角点 下特征复 杂背景量 矩 纹理
由于成像距离、方向以及位置等因素的变化 ,使得图 像发生旋转、平移以及尺度(Rotation ,Transaction and Scale ,RTS)变化
8/27
运动表征
基于模型的方法
外观形状特征
基于外观的方法
如高度、宽度、侧影轮廓、颜色、 人体中心坐标、紧密度、倾斜角 度、凹凸度、外接矩形长宽比等
刚体运动
非刚体运动
4/27
人体行为分析的流程
人体行为识别的关键在于运动特征的选取和模型的建立
5/27
行为分析
行为分析最基本的两个问题： 行为描述和行为识别。
行 为 描 述 行 为 分 析 行 为 识 别 基于图像底层信息
基于高层人体结构
基于模板匹配的方法
基于状态空间的方法
6/27
行为描述：基于图像底层信息