人体行为识别介绍

二是对图像序列的处理，即对原始图像进行处 理使后续工作的进行更加顺利。
主要步骤： 灰度及二值化 形态学处理方法 滤波去噪
预处理
灰度及二值化
灰度图像是指不包含色彩信息只表示亮度信息的图像， 就像我们原来拍的黑白照片。灰度变换原则上是无法得到 与原来彩色图像完全一样的灰度图像的，但可以经过一定 的处理手段得到最接近的理想图像，普遍用到的处理方法 是一个著名的心理学公式，它是在RGB颜色空间中给出 的
常用的形态学处理运算包括4种：分别为膨胀 (Dilation)、腐蚀(Erosion)、开启(Opening)和闭合(Closing)。
预处理 形态学处理方法
预处理
滤波去噪
图像滤波技术是一种用来消除图像中存在噪声的图像 增强手段。常用的滤波方法：
均值滤波 实际上就是求一个邻域的平均值，它是通 过图像中一点和以它为中心的周围几个点进行运算(一般计 算平均值)来除去那些突然变化的噪声点，也就是用平均值 来代替原图像中的各个像素。 中值滤波 原理类似于均值滤波法，但计算时不用求 和再平均的方法，而是把该点某邻域窗口内的所有像素点 按灰度值大小排序，然后选择位置在中间的灰度值作为邻 域中心位置像素的灰度值，如果窗口中元素个数为奇数， 那么中间值就是排序后最中间的那个值，若窗口中元素的 个数为偶数则把位于序列中间位置的两个灰度值加和求平 均值
基于运动累积图的特征提取
运动累积(Accumulated Motion Image, AMI)特征，就 是把运动图像累积起来放在一起，直观的反映出运动行为 中发生变化的区域。
基于灰度图像的运动累积图AMI特征具体计算公式
基于运动累积图的特征提取
其他特征提取的方法
基于 Hu 矩的行为特征提取 基于流体力学的特征提取 基于傅里叶描述子的特征提取
时间差分法
T为设定好的阈值
时间差分法
特征选择和提取
人体行为识别技术的关键性问题就是从图 像中提取出有效的运动特征。
如果某些特征是经过某种转换(线性转换或 者非线性转换)而在低维的空间中形成新的特征， 那么这些新的特征就属于二次特征（二次特征 的数目会比原来的特征要少，并且更利于分类）
通过这种转换形式把原始的特征转换成新 特征的过程就称之为特征提取。
二值图像就是只包含黑和白两种颜色的灰度图。对 灰度图像进行二值化处理，主要是突出感兴趣的目标的轮 廓。二值化处理就是选择一个恰当的阀值将灰度图像上每 一点的亮度变成黑色或白色(0或255)，用黑色表示背景像 素，用白色表示前景像素。
预处理
形态学处理方法
通常我们得到的灰度图像或二值图像背景上会存在一 些细微的孤立点状物，前景人物目标内部可能会存在一些 不连续的孔洞，目标轮廓也可能会有我们不想要的小的毛 刺，这时我们可以利用形态学方法来处理此类问题。
支持向量机
根据实验经验我们可以设定一个阈值，只要在得到的 差分图像中像素值不大于这个阈值的就归为背景像素，反 之，就属于前景目标。
背景减除法
下图为挥手图像序列中第一帧图像，这一 帧图像直接与背景按上式做减法运算，就可以 得到前景人体的轮廓图。
时间差分法
基本原理是在一串连续的图像序列中选取时间连续
的两到三倾图像作基于像素的时间差分处理，并且二值化 及后处理來提取图像中的运动目标 通常情况是用连续相邻的两帧来做计算
目标检测
目标检测是要从视频图像序列中把人体目标 提取出来，在保证前景人物完整的前提下，实现 目标人物与背景的分离。 根据运动环境的不同运动目标检测技术一般 分为两类： 背景减除法 静态背景下的运动目标检测 时间差分法
动态背景下的运动目标检测 光流法
背景减Βιβλιοθήκη Baidu法
背景减除法是把视频图像序列中的当前帧和预先保 存的背景图像做减法运算，用得到的差分图像来检测运动 目标，所以事先要把不含前景目标人物的背景图像保 存成背景模型以备后用。
行为类型识别
人体行为识别的实质就是从图像序列中提 取出有效的运动特征，然后对这些特征进行分 析从而确定出该行为所属类别。
支持向量机
支持向量机的工作原理是通过寻找一个可以满足要求 的最优分类超平面来进行分类的，这个超平面不但要能正 确分开两类不同的样本，而且还保证其侧的空白区域在某 种程度上能够达到最大，这样支持向量机就可以实现对输 入数据的最优分类了。 设定给定的训练样本数据为 其中的输入样本x ∈， ，l就是样本的数目，n就是输入 空间的维数。输出样本是y ∈ {−1, +1 }，+1类和－1类。 一般情况下，n维空间中线性判别函数的形式可以写成g( x)= w *x+b，如果集合中的所有数据都能被分类平面 w *x+b=0所正确划分，并且保证距分类面最近的向量还与 该分类平面之间的距离最大，那么该分类面就叫做最优超 平面，距离这个最优超平面最近的训练点就是支持向量。
人体行为识别
行为识别的主要目标是在输入的包含一个或者多个 行为的视频中，正确的分析出各种行为。对行为的分析 可以从人体本身的特征和所完成动作的特征来进行。
输入视频数据 图像预处理 运动目标检测
特征向量
输出识别结果
分类器
学 习
特征提取
样本类别
图像预处理
图像预处理有二层含义。
一是对视频数据的分帧处理，也就是把视频数 据转化为连续的图像序列；