视频中的人体动作行为识别,硕士论文PPT
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
三帧差分像素累 积 X.2除以最大值
原始 视频帧
像素变 化累积图
像素变 化概率图
11/8/2018
11
人体动作行为识别—像素变化概率图
（a）
（b）
（c）
（d）
图3-2 （a）是来自KTH数据库跑步行为视频的一帧，（b）是像素变化 比率图（PCRM）（c）是去噪前的像素变化概率图（PCPM），（d）是去 噪后的像素变化概率图。
11/8/2018
21
PM-PEMO时空金字塔特征
对所得的块分成两层空域金字塔，对其另外两个子时空卷也用同样的方法 构成空域金字塔，平铺成120维PCRM时空金字塔向量。用同样的方法构成375维 MOH特征向量，最后平铺成495维PM局部时空金字塔特征。
对时空卷内每帧差分图像相应空域位置分别求出125维梯度方向直方图空域 金字塔(pHOG)特征，一个时空卷加上其两个子时空卷分别得到1875、1250、 625维特征，用同样的方法构造出相同维数的光流方向直方图金字塔（pHOOF） 特征。
步骤如下：
输入视频 运动历史图
运动直方图
运动梯度图
220维 16
光特征提取实例演示
Thomas Brox高精度光流 Thomas Brox大位移光流
Lucas-Kanade稀疏光流 Horn-Schunk稠密光流
11/8/2018
17
由上述构成的152维基于像素变化概率图 （PCPM）的直方图与220维基于运动历史图的 运动方向直方图（MOH）平铺构成了372维 PM 全局特征。对一个视频只得到一个PM 全局 特征。
11/8/2018
4
传统方法介绍
11/8/2018
5
本文的主要工作及贡献
11/8/2018
6
PM-PEMO时空金字塔特征
特征性质：
1、它能够体现目标全局运动信息； 2、它能够体现运动目标的宏观运动状态； 3、它能够体现目标的运动趋势； 4、它能够体现运动目标的边缘轮廓信息； 5、它能够体现运动目标的运动细节信息； 6、能从视频中提取到的这种特征不能太多。
视频中的人体动作行为识别研究
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
2
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
3
视频中的人体动作行为识别研究
11/8/2018
18
构造PEMO时空金字塔特征
1.得到像素变化概率图之后重叠50%把它分成 60X80小块(block)。 2.求出各小块值的总和。 3.对求出的和较大的块构建时空金字塔。
对时域每15帧构成 一个小立方体，分 成5，10，15三级 金字塔
120°
30°
60° 90° 150°
0°wk.baidu.com
5. 训练支持向量机超平面分界线 ( 线性核支持向量机——LSVM) 6. 距离度量学习 ( 多任务大边界最近邻——MT-LMNN)
人体动作行为识别—在线字典学习
对得到的训练样本序列X=[x1, . . . , xn]
1 n 2 min kn xi Di 2 i Dc , R n i 1
1. 提取全局与局部特征 (descriptors /features) (像素变化直方图、边缘直方图、 运动直方图、光流) 2. 字典学习 (codebook/dictionary) (在线字典学习) 3. 降维 (稀疏降维——SPCA) 4. 稀疏编码 (LLC编码——Locality-constrained Linear Coding)
11/8/2018
13
PCPM直方图
（a）
32维
（b） 120维
一共152维PCPM直方图
11/8/2018
14
边缘梯度特征提取实例演示
原始视频 边缘梯度特征视频
特征 数据
• • • •
区域边缘梯度子特征 区域边缘密度子特征 区域边缘积子特征 区域边缘方向幅值统计比子特征
11/8/2018
15
人体行为识别—运动梯度特征提取
11/8/2018
7
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
8
视频中的人体动作行为识别研究
人 体 行 为 识 别 框 架
机器学习与模式识别 11/8/2018
9
人体动作行为识别—运动特征提取
运 动 特 征 提 取 方 法
11/8/2018
12
PCPM图运动目标区域估计
Eix (m) PCPM (m, n)
n 1 N
Eiy (n) PCPM (m, n)
m 1
M
（3-4）
(a)
(b)
(c)
(d)
图3-3 (a) PCPM图. (b)用Eix对运动目标纵坐标范围估计，(c)用Eiy对 运动目标横坐标范围估计，(d)第20帧的估计结果
11/8/2018
pHOG、pHOOF 20
构造PEMO时空金字塔特征
对时域每15帧构成一个小立方体，分成5，10，15三级金字塔对每一 级金字塔分别得到372维PM时空卷特征，三级平铺成372×3=1116维PM 时空卷分层特征 时空卷内15帧差分边缘梯度直方图构成15×25=375维特征，再对15帧 时空卷及其两个子时空卷分别求出15、10、5帧的边缘梯度之和得到75维特 征，平铺并用L1范数一起归一化为450维时空卷EOH特征。以同样的方式也 构成450光流方向直方图(HOOF)特征。
所有时空卷特征平铺就构成了局部PEMO时空金字塔特征。
全局PM特征与局部PEMO时空金字塔特征平铺构成了PM-PEMO时空金字塔特 征
11/8/2018
22
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
23
人体动作行为特征学习训练与识别
像素变 化与运 动梯度
•双帧差分统计累积量 •三帧差分像素累积量
•均值滤波图像 像素变化特征 •中值滤波图像 •差分图像梯度
光流特征
边缘 运动梯度特征 梯度
边缘梯度特征
光流 方法
•基于梯度的方法 •基于匹配的方法 •基于能量的方法 •基于相位的方法 •神经动力学方法
11/8/2018
10
人体动作行为识别—像素变化概率图
原始 视频帧
像素变 化累积图
像素变 化概率图
11/8/2018
11
人体动作行为识别—像素变化概率图
（a）
（b）
（c）
（d）
图3-2 （a）是来自KTH数据库跑步行为视频的一帧，（b）是像素变化 比率图（PCRM）（c）是去噪前的像素变化概率图（PCPM），（d）是去 噪后的像素变化概率图。
11/8/2018
21
PM-PEMO时空金字塔特征
对所得的块分成两层空域金字塔，对其另外两个子时空卷也用同样的方法 构成空域金字塔，平铺成120维PCRM时空金字塔向量。用同样的方法构成375维 MOH特征向量，最后平铺成495维PM局部时空金字塔特征。
对时空卷内每帧差分图像相应空域位置分别求出125维梯度方向直方图空域 金字塔(pHOG)特征，一个时空卷加上其两个子时空卷分别得到1875、1250、 625维特征，用同样的方法构造出相同维数的光流方向直方图金字塔（pHOOF） 特征。
步骤如下：
输入视频 运动历史图
运动直方图
运动梯度图
220维 16
光特征提取实例演示
Thomas Brox高精度光流 Thomas Brox大位移光流
Lucas-Kanade稀疏光流 Horn-Schunk稠密光流
11/8/2018
17
由上述构成的152维基于像素变化概率图 （PCPM）的直方图与220维基于运动历史图的 运动方向直方图（MOH）平铺构成了372维 PM 全局特征。对一个视频只得到一个PM 全局 特征。
11/8/2018
4
传统方法介绍
11/8/2018
5
本文的主要工作及贡献
11/8/2018
6
PM-PEMO时空金字塔特征
特征性质：
1、它能够体现目标全局运动信息； 2、它能够体现运动目标的宏观运动状态； 3、它能够体现目标的运动趋势； 4、它能够体现运动目标的边缘轮廓信息； 5、它能够体现运动目标的运动细节信息； 6、能从视频中提取到的这种特征不能太多。
视频中的人体动作行为识别研究
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
2
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
3
视频中的人体动作行为识别研究
11/8/2018
18
构造PEMO时空金字塔特征
1.得到像素变化概率图之后重叠50%把它分成 60X80小块(block)。 2.求出各小块值的总和。 3.对求出的和较大的块构建时空金字塔。
对时域每15帧构成 一个小立方体，分 成5，10，15三级 金字塔
120°
30°
60° 90° 150°
0°wk.baidu.com
5. 训练支持向量机超平面分界线 ( 线性核支持向量机——LSVM) 6. 距离度量学习 ( 多任务大边界最近邻——MT-LMNN)
人体动作行为识别—在线字典学习
对得到的训练样本序列X=[x1, . . . , xn]
1 n 2 min kn xi Di 2 i Dc , R n i 1
1. 提取全局与局部特征 (descriptors /features) (像素变化直方图、边缘直方图、 运动直方图、光流) 2. 字典学习 (codebook/dictionary) (在线字典学习) 3. 降维 (稀疏降维——SPCA) 4. 稀疏编码 (LLC编码——Locality-constrained Linear Coding)
11/8/2018
13
PCPM直方图
（a）
32维
（b） 120维
一共152维PCPM直方图
11/8/2018
14
边缘梯度特征提取实例演示
原始视频 边缘梯度特征视频
特征 数据
• • • •
区域边缘梯度子特征 区域边缘密度子特征 区域边缘积子特征 区域边缘方向幅值统计比子特征
11/8/2018
15
人体行为识别—运动梯度特征提取
11/8/2018
7
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
8
视频中的人体动作行为识别研究
人 体 行 为 识 别 框 架
机器学习与模式识别 11/8/2018
9
人体动作行为识别—运动特征提取
运 动 特 征 提 取 方 法
11/8/2018
12
PCPM图运动目标区域估计
Eix (m) PCPM (m, n)
n 1 N
Eiy (n) PCPM (m, n)
m 1
M
（3-4）
(a)
(b)
(c)
(d)
图3-3 (a) PCPM图. (b)用Eix对运动目标纵坐标范围估计，(c)用Eiy对 运动目标横坐标范围估计，(d)第20帧的估计结果
11/8/2018
pHOG、pHOOF 20
构造PEMO时空金字塔特征
对时域每15帧构成一个小立方体，分成5，10，15三级金字塔对每一 级金字塔分别得到372维PM时空卷特征，三级平铺成372×3=1116维PM 时空卷分层特征 时空卷内15帧差分边缘梯度直方图构成15×25=375维特征，再对15帧 时空卷及其两个子时空卷分别求出15、10、5帧的边缘梯度之和得到75维特 征，平铺并用L1范数一起归一化为450维时空卷EOH特征。以同样的方式也 构成450光流方向直方图(HOOF)特征。
所有时空卷特征平铺就构成了局部PEMO时空金字塔特征。
全局PM特征与局部PEMO时空金字塔特征平铺构成了PM-PEMO时空金字塔特 征
11/8/2018
22
提
纲
1 2 3 4 背景介绍 PM-PEMO时空金字塔特征构造
人体动作行为特征学习训练与识别
行为识别软件系统
11/8/2018
23
人体动作行为特征学习训练与识别
像素变 化与运 动梯度
•双帧差分统计累积量 •三帧差分像素累积量
•均值滤波图像 像素变化特征 •中值滤波图像 •差分图像梯度
光流特征
边缘 运动梯度特征 梯度
边缘梯度特征
光流 方法
•基于梯度的方法 •基于匹配的方法 •基于能量的方法 •基于相位的方法 •神经动力学方法
11/8/2018
10
人体动作行为识别—像素变化概率图