行人检测

难点与发展展望
• 尽管行人检测和跟踪的研究已经取得了一定的成果, 但由于行人运动的复杂性和不规则 性, 目前还没有一个通用的、有效的方法.许多方法和模型或是过于简单而不能普遍采 用 ,或是过于复杂难以在实际中进行应用 .在城市道路交通环境下的行人交通视频检测 方面 ,目前存在的主要问题有 :(1)背景 .在复杂的城市交通环境下,当行人轮廓、所穿衣 服颜色和纹理与背景着色相似或背景光线变化较大时,很难从背景中快速准确地分割出 运动的行人.(2)遮挡 .在人群比较密集的场合,人与人之间,人与环境之间存在着部分遮挡, 出现某些被部分遮挡的人体不能被检测出来.同时,还会出现两个彼此靠近的人体被检测 为一个人体,这时人体的检测率大大降低.(3)阴影 .由于行人阴影和实际行人具有某些相 似的视觉和运动特征, 导致目标的形状受阴影的影响 , 同一个目标的形状会随着光线的 不同而发生变化, 从而影响后续的目标识别和运动目标位置的确定 .阴影可能使目标投 影形状变大,而导致两个或多个目标的投影在画面中粘连在一起 ,被认为是一个整体, 从 而影响目标识别和行人流量统计 .
行人识别
• 行人识别的目的是从道路上交通监控摄像机所捕捉的序列 图像中将行人的运动区域提取出来 ,主要研究行人 、自行 车和机动车的区分方法.图像识别技术主要涉及两方面的 内容 ,一是特征提取的方法 ,二是模式分类方法 .运动目标 的特征。大致 可以分为 (1)图像的视觉特征,如图像的边缘、轮廓、
行人跟踪
• 行人跟踪是监视行人在视频序列中的时空变化,包括行人的出现 、位 置 、大小、形状等 ,是在连续帧上匹配目标区域.行人跟踪一般从行人 检测开始,而且在后继的视频序列需要重复地检测行人以校验跟踪和维 持跟踪连续进行.常用的数学工具有卡尔曼滤 (KalmanFiltering),Condensation 算法及动态贝叶斯网络(Dynamic Bayesian Network)等.其中 Kalman 滤波是基于高斯分布的状态预测 方法 ,不能有效地处理多峰模式的分布情况 ;Con-densation 算法是以 因子抽样为基础的条件密度传播方法 ,结合可学习的动态模型, 可完成 鲁棒的运动跟踪.目前 ,就跟踪对象而言, 有跟踪手 、脸 、头 、腿等身 体部分与跟踪整个人体的 ;就跟踪视角而言,有对应于单摄像机的单一 视角、对应于多摄像机的多视角和全方位视角;还可以通过跟踪空间 (二维或三维)、跟踪环境(室内或户外)、跟踪人数(单人 、多人、人群), 摄像机状态(运动或固定)等方面进行分类
•
• • • • • •
(4)运动描述 .由于行人是非刚体物体 ,对它的运动描述非常困难 ,即使可由物理模型来 描述 ,也同样受到模型复杂不统一的限制 .随着行人运动分析研究和其它相关技术的发 展, 下述几个方面已经成为未来的发展趋势 :(1)各种不同方法有机结合.将各种不同方法 有机结合ቤተ መጻሕፍቲ ባይዱ来是行人检测技术的发展趋势,也是一个重要的研究方向.例如:将基于模型和 基于特征的方法相结合,活动轮廓模型与光流模型相结合等方法对行人进行检测与跟 踪.(2)结合运动信息的人体检测 .人体的运动信息是人体区别于背景的重要信息。行人 交通的视频检测方法综述在摄像机运动的情况下 ,如果能够充分利用人体的运动信息来 增强运动人体的检测, 同时又不降低静止人体的检测, 就能比当前应用于移动背景情况 下的行人检测方法的检测率高.(3)基于视觉神经机理的人体检测技术研究当前人体检测 的搜索策略是遍历搜索机制,没有利用行人所处场景的情境知识 ,比较耗时 .如果模拟人 和动物的视觉感知、认知机理, 以神经元为基本结构和功能单位构建视觉神经网络模型 , 在神 经元互连结构的基础上 ,实现自动搜索的功能 ,就 不需遍历整张图片来检测人体 . (4)多摄像机多目标跟踪 . 合理的架设摄像机, 把这些摄像机获取的信息 有机地融合能有效地解决行人跟踪出现的短时遮 挡和歧义问题, 提高跟踪精度 .
• 在实际的城市交通环境中,通常采用背景差法 检测行人, 即首先通过自适应背景提取方法快速 提取背景图像, 在差分图像的基础上 ,结合直方图 自动阈值分割和数学形态学运算采用一定的行人 分割算法 ,填充分割中运动行人图像的断裂部分 , 提取出行人完整的轮廓;根据提取的目标特征信 息,结合多种特征初步判断行人的存在信息, 进行 行人检测
• • • • • • • • • • •
通常将几种方法结合起来可以提高跟踪的有 效性 .例如经常采用综合了基于特征和基于区域 的跟踪方法对行人进行跟踪 .首先采用基于区域 跟踪的方法 ,从背景中提取出运动区域, 然后采用 基于特征跟踪的方法对提取出的区域进行处理, 根 据这些特征建立目标模板,对图像中的行人进行匹 配, 判断区域特征之间的关系 .最后 ,对跟踪区域 在不同的图像帧之间建立对应关系,实现特征和区 26 交通运输系统工程与信息 2008 年 8月 域相结合的运动跟踪 .
行人交通的视频检测方法综述
• • • • (1)行人检测 (2)行人识别 (3)行人跟踪 (4)行人交通参数的提取
行人检测
• • • • (1)背景差法 (2)帧间差分法 (3)光流法 (4)基于统计学习的人体检测
背景差法
• 背景差法就是选取一帧作为参考图像 ,用当前帧和参考图 像做差分 , 如果参考图像选取适当 , 能比较准确地分割出 运动物体 .在交通流量的图像序列中,背景是渐变的, 而背 景差分的关键是选择合适的图像作为背景 .最早的背景差 法是人工观察选择一幅质量好的图像作为背景 ;后来虽经 不断改进, 但对于动态场景的变化 ,如光照和外来干扰等特 别敏感 ,且分割精度易受噪声影响
帧间差分法
• 帧间差分法是在连续的图像序列中两个或三个相邻帧间采用基于像素 的时间差分并且阈值化来提取图像中的运动区域。 利用两帧差分方法 从实际视频图像中检测运动目标,进而用于目标的分类与跟踪;一个改进的
方法是利用三帧差分代替两帧差分 ,如 VSAM开发了一种自适应背景减除与三 帧差分相结合的混合算法,它能够快速有效地从背景中检测出运动目标 .帧间 差分法对于动态环境具有较强的自适应性,但不能完全提取出所有相关的特征 像素点 ,在运动实体内部容易产生空洞现象 .
行人检测
姓名：赵梦迪
L/O/G/O
www.themegallery.com
行人检测
• 行人交通是我国城市居民出行的主要交通方式,而行人交通的视频 检测技术对于智能交通系统的发展与应用具有重要意义.通过对行 人检测和分析确定行人的运动轨迹,提取行人交通参数,为交通规划、 管理与控制提供科学的数据.行人检测是把视频序列中出现的行人 从背景中分割出来并精确定位 .行人的有效分割 ,对于行人识别、 跟踪和行为理解等后期处理非常重要 .因为行人同背景混合在一 起 ,行人可能行走, 也可能静止站立或者随意改变运动方向 .行人所 处的背景动态变化, 如天气 、光照、影子及混乱干扰等给行人检 测带来很大难度.
• (1)基于模型的跟踪 .常用的人体表达和跟踪方式有如下 3 种:①线图法 .人运动的实质是骨骼的运动, 因此该表达方 法将身体的各部分以直线来近似 .例如 John Wiley采用“星 状骨骼法”通过检测情景图像的外部边界点产生一个星形 的骨架 ,是一种简单的、具有实时性的人体跟踪方法. ②二维轮廓.该人体表达方法的使用直接与人体在图像中 的投影有关 , 例如 Niyogi 与 Adelson利用时空切片方法进行 人体跟踪.首先观察由人的下肢轨迹所产生的时空交织模式, 然后在时空域中定位头的运动投影,接下来识别其它关节的轨 迹, 最后利用这些关节轨迹勾画出一个行人的轮廓
• ③立体模型 .它是利用广义锥台 、椭圆柱 、球等三维模型 来描述人体的结构细节,因此要求更多的计算参数和匹配 过程中更大的计算量.例如 Rohr使用 14 个椭圆柱体模型 表达人体结构 ,坐标系统的原点被定位在躯干的中心,目的 是利用该模型产生人行走的三维描述 .(2)基于活动轮廓的 跟踪 .基于活动轮廓的跟踪思想是利用封闭的曲线轮廓来表达运动目标并且
光流法
• 基于光流法的运动检测利用运动物体随时间变化在图像中 表现为速度场的特性 ,根据一定的约束条件估算出运动所 对应的光流.它的优点是在摄像机与背景间存在运动的前 提下也能检测出运动物体通过计算位移向量光流场初始化 基于轮廓的跟踪算法, 从而有效地提取和跟踪运动目标 .但 是大多数的光流计算方法需要多次迭代运算,所以时间消 耗比较大 ,且抗噪性能差 ,如果没有专门的硬件装置则难以 应用于视频图像流的实时处理 。
基于统计学习的人体检测 .
• 由于上述行人检测方法不能解决人体形状和外貌各式各样的难点 , 以 及人体的不同运动方式 ,目前人体检测方法的发展趋势为基于学习的 人体检测方法 ,其中包括 :基于 AdaBoost Cascade 的人体检测方法, 基于 SVM 的人体检测方法, 基于 FieldModel 的人体检测方法 .这些方 法从样本集中学习人体的不同变化, 从而有很好的推广性和适用性 .基 于学习的人体检测可分为两类 :基于整个人体的检测和基于人体部位 的检测.介绍了一种集成了图像灰度信息和运动信息的行人检测系统 . 提出了一个在单帧图像中用面向梯度的直方图描述人体的检测方法 . 提出了一种新的统计模型来检测和跟踪可变形物体.
形状、纹理和区域等特征; (2)图像的统计特征,如目标中心位置、重心 、面积周长 、颜色直方图、 各种不变矩等特征 ; (3)图像的变换系数特征, 如小波变换系数 、傅立叶描述等特征 ; (4)代数特征 ,如图像矩阵的奇异值分解等
• 车辆是刚体目标,通常选择一个目标特征作为目标特征匹配的标准 , 如 目标的边缘 、轮廓或目标的颜色直方图等;而对行人这样的非刚体目 标随着人的运动, 目标的形状和姿态都会发生变化, 这时常常联合多种 特征进行目标特征匹配 .目前图像的模式分类方法很多, 如统计模式分 类方法, 结构法 , 分类树方法, 神经网络方法等,这些方法由于针对分类 对象 ,应用场合不同而提取不同的图像特征, 采用不同的模式分类方 法 .传统的统计模式分类法及线性判别函数往往只能提供线性的分割 平面,采用这种分类方法关键在于提取易于分类的模式特征.神经网络 方法, 如 BP网络, 具有非线性分割的能力 ,但由于对数据的过拟合, 而 导致其推广能力的下降.最近的一些应用表明 ,支持向量机方法显示出 较传统方法更好的适应和推广能力在行人识别中 ,通常将行人模型简 化为矩形 ,通过得到的二值图中目标的轮廓, 综合考虑运动目标的位置 特征、形状特征以及统计特征等为检测到的行人目标建立特征模板进 行匹配 ,判断检测的目标是否为行人.
行人检测
1 2
行人交通的视频检测方法综述
基于视频处理的行人检测系统
行人交通的视频检测方法综述
行人检测是把视频序列中出现的行人从背景中分割出来并精确定位 . 行人的有效分割 ,对于行 人识别、跟踪和行为理解等后期处理非常重要 .因 为行人同背景混合在一起 ,行人可能行走, 也可能 静止站立或者随意改变运动方向 .行人所处的背 景动态变化, 如天气 、光照、影子及混乱干扰等给行 人检测带来很大难度.
该轮廓能够自动连续地更新例如 :Paragios 等利用短程线的活动轮廓, 结合 Level Set 理论在图像序列中检测和跟踪多个运动目标;Peterfreund采用基于 卡尔曼滤波的活动轮廓跟踪非刚性的运动物体 .(3)基于区域的跟踪.基于 区域 的跟踪 方法目前 己有较多的 应用例如,Azarbayejani在人的运动跟踪中使用 了区域模型 ,将人体看作由头、躯干 、四肢等身体部分所对应的小区域块所 组成,利用高斯分布建立人体和场景的模型 ,属于人体的像素被归属于不同的 身体部分, 通过跟踪各个小区域块来完成整个人的跟踪.(4)基于特征的跟踪.主 要是将图像特征从一幅图像到另一幅图像对应起来 ,包括特征提取和特征匹配 两个过程 ..