智能视觉监控概述

多摄像机跟踪和融合
优点

Baidu Nhomakorabea可以解决遮挡问题，能获得3D信息 多摄像机的标定 摄像机间的切换 数据融合
一些问题

目录
IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS中的应用 关键技术介绍 总结
存在的问题和挑战
运动检测

复杂背景的变化：如光照，不同天气，树枝云层遮 挡等，如何鲁棒的检测？ 车辆拥挤时的跟踪 处理速度 多主体行为的识别 动作单元的识别和描述
其他应用
交通事件检测

轨迹异常 有无行人通过，自动控制红绿灯 自动收费和违规检测
交叉路口监控

车牌检测和识别

目录
IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS中的应用 关键技术介绍 总结
背景建模
简单背景模型


均值/中值 运动检测 自适应更新 高斯背景建模 混合高斯背景建模

http://http.cs.berkeley.edu/~p m/RoadWatch/
在各节点：


采集视频并处理(检测、跟踪)， 将得到的交通参数发往交通管 理中心 车道车辆数目、平均速度、车 道间切换频率、车的型号
根据交通参数来控制信号，发 布交通信息，并结合相邻节点 的数据来计算路段的统计信息
五个模块



提供的功能

车载导航、全球定位、电子收费、电子警察、交通流量监测、交 通信号控制与管理。
计算机视觉在ITS中的应用
车载处理系统

道路识别、交通标志信号检测、路障检测、 司机疲劳检测 检测和收集与交通状况有关的信息、交通事 件检测和监控
路边处理系统

信息采集和处理步骤
为了对运动目标进行跟踪和分析，需要识
别出类型 基于形状的分类

利用形状特征进行分类，如VSAM使用运动区域的 分散度、面积、宽高比作为特征，使用3层BP分为 单个人、车辆、人群及背景噪声
基于运动的分类

主要是利用非刚性物体(如人)运动的周期性 特点(如人体下肢运动)可以将人和车辆区分 开来

将计算机科学、通信等高新技术运用于交通监控管理与车辆控制， 以保障交通顺畅及行车安全，从而促进经济发展、改善环境质量。 交通管理系统ATMS(Advanced Traffic Management Systems)、 旅行信息系统ATIS(Advanced Traveler Information Systems) 车辆控制系统AVCS(Advanced VehicIe Control Systems) 商业车辆运作CVO(Comercial VehicleOperations) 公共交通系统APTS(Advanced Public Transit Systems)
适合于复杂的背景(如，树影晃动、水纹波动)
统计的参数模型


非参数背景模型
运动检测
差分方法

帧间差分
速度快，但是不能提取完整的目标区域

背景差分
需要对背景进行维护
光流方法

使用运动目标随时间变化的光流特性检测运 动区域，能处理摄像机运动下的运动物体检 测，但计算复杂
目标分类
目的

研究内容



典型系统----ADVISOR
相关研究机构
国内

自动化所、清华大学、上海交大、同济大学、 宁波大学 Carnegie Mellon University ，the University of Reading，the University of Maryland， 加州大学Berkeley 分校， INRIA等

跟踪算法

行为分析
实质是对一个时序特征数据的识别问题 识别方法



动态时间弯曲(DTW) 有限状态自动机(FAM) HMMs 时滞神经网络(TDNN) 基于句法的方法(Syntactic techniques) 贝叶斯信念网(BN) 动态贝叶斯网络(DBN) 自组织神经网络(Self-organizing neural network)
目标跟踪

事件识别

多摄像机跟踪
发展趋势
IVS

A Survey on Visual Surveillance of Object Motion and Behaviors

Occlusion Handling Fusion of 2-D and 3-D Tracking Three-Dimensional Modeling of Humans and Vehicles Behavior Understanding Anomaly Detection and Behavior Prediction Natural Language Description of Object Behaviors
ITS

使交通监控系统更加智能化，能提供更多的功能，及时地 进行整个城市的数据信息共享，将交通监控系统建立在网 络环境下是未来发展交通监控系统的趋势
谢谢！
研究内容

吸引了众多学者投入到该领域的研究。
典型系统
HID：Human Identification at a Distance 2000年 ， DARPA资助 http://hid.ri.cmu.edu/ 目的 为了应对恐怖分子袭击，发展多模式的监控技术， 能够远距离的检测、分类和识别出人来 研究内容 人脸跟踪和识别(2D/3D) 人脸表情识别 步态识别 人体上肢行为识别
典型系统
ADVISOR：Annotated Digital Video for Intelligent Surveillance and
Optimised Retrieval

2000，EU资助 http://www-sop.inria.fr/orion/ADVISOR/ 对地铁站内人们的活动行为进行监控 使用多个摄像机进行跟踪 行为分析：估计人群的密度和运动，检测拥挤、阻塞、单 行道的逆行行为等 危险行为和犯罪行为进行报警：如打架、阻断道路、拥挤、 不买票而跳越栅栏、破坏机器等。 存储数字视频图像和事件，以便检索
评测：IEEE PETS(Performance Evaluation of Tracking and Surveillance )

目录
IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS(智能交通系统)中的应用 关键技术介绍 总结
ITS介绍
智能交通系统(Intelligent Transportation Systems，ITS)
IVS处理框架
图像
低层视觉
中层视觉
高层视觉
运动目标的检测分割 图像处理 目标的跟踪识别 图像处理和模式识别
行为推理 图像理解和人工智能
目录
IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS(智能交通系统)中的应用 关键技术介绍 总结
典型系统
RoadWatch ：1995，
目标

IVS研究意义
智能视觉监控是计算机视觉领域的前沿研
究方向，不仅具有很高的科学研究价值， 而且具有广泛的应用前景 911事件以来，IVS不仅受到了学术界的 重视，而且得到了政府和企业界的广泛关 注
IVS应用
特定场所的访问控制 某些场合的特定人识别 流量统计和拥塞分析 异常行为检测和告警
智能视觉监控概述
A Summary of Intelligent Visual Surveillance
目录
IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS(智能交通系统)中的应用 关键技术介绍 总结
IVS简介
定义

利用计算机视觉和人工智能的理论和方法，通过对 摄像机拍录的图像序列进行自动分析来对场景中的 运动物体进行定位、跟踪和识别，并对物体的运动 行为作出判断或者解释，达到监控的目的 用主动的、智能的视觉监控来代替传统的被动的视 频监控，不仅仅是用摄像机来代替人的眼睛，而且 是尽可能的自动的完成整个监控任务
从场景中分离出单个汽车，并对其进行 跟踪 从跟踪数据计算出所需交通参数 对交通参数进行处理，并形成各种控制 信号

交通参数及其获取方法
交通参数 车道排队长度 车道汽车流量 平均速度 车辆型号 运行方向(直行/拐弯) 车道占有率
获取方法 基于分割--跟踪的方法 基于检测线的方法 基于特征(角点、直线)检测的方法
国外

相关的出版刊物和会议
期刊

IEEE Transaction on PAMI，IEEE Transaction on Transportation Systems , 计算机学报，计算机工程
会议: ICCV、CVPR 专门会议

全国智能视觉监控学术会议 (2002,2003) IEEE International Workshop on Visual Surveillance (1998,1999,2000) ACM SIGMM Workshop on Video Surveillance (2003,2004) IEEE International Conference on Intelligent Transportation Systems( ITSC) (1998---2005连续八届) 从PETS2000到PETS2005连续六届
目标跟踪
基于区域的跟踪

将目标分成一个或者多个小的区域，根据区域的形 状或者颜色等信息进行跟踪。 先初步分割出物体，然后用snake或者Level set获得 轮廓 点、线、角点 kalman filter、particle filter、mean shift等
基于轮廓的跟踪

基于特征的跟踪
管理中心

典型系统
VSAM ：Video Surveillance and Monitoring


1997年，DARPA资助
http://www-2.cs.cmu.edu/~vsam/vsamhome.html
目的

建立一个能在城市或战场等复杂环境下应用多个摄像机对人、车辆等 的行为进行监控的系统 静止/移动摄像机下运动目标的实时检测和跟踪 目标类型的识别：人、轿车、卡车等 特定场景下目标姿态的估计 多摄像机的协同跟踪 简单交互行为的识别 数据的实时分发