基于视频图像的交通事件自动检测算法综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
［4 ］
重、 事故频发、 环境 恶 化。 目 前， 我国事故发生率居全世界之 首， 近几年每年公路交通 死亡 人 数 一 直 在 十 万 人 左右， 每年因 交通事故造成的损失达数百亿元。为了预防和减少交通事故， 及时有效地进行事故救援和处理， 有效减少由于交通事故产生 的交通延误及避免二次 事 故 的发 生， 就 必 须 准 确、 快速 地 对 交 通异常和交通事件进行检测
作者简介: 徐杨( 1981-) ， 女， 辽宁鞍山人， 博士研究生， 主要研究方向为图像处理、 模式 识别 ( xuyang_1981@ yahoo． cn ) ; 吴 成 东 ( 1960-) ， 男， 沈 阳人， 教授， 博导， 主要研究方向为图像智能处理、 多源信息融合、 无线传感器网络、 建筑智能化技术、 机器人控制等; 陈东岳 ( 1980-) ， 男， 沈阳人， 副 教授， 博士， 主要研究方向为生物视觉系统模型研究、 基于视频信息的智能交通系统、 视频信息的快速模式识别方法等．
前 沿 研 究 方 向 ，涉 及 计 算 机 视 觉 低 级 到 高 级 的 一 系 列 问
0
引言
随着经济的发 展 及 汽 车 拥 有 量 的 增 加， 城 市 交 通 拥堵 严
题
［2 ， 3 ］
。研究内容可以粗略地分 为: a) 车 辆 的 检测 和 跟踪。 车
辆的跟踪结果将直接影响后 续 处 理的 鲁棒 性。 b ) 行 为 识别 和 理解。它是运用高层知识对运动跟踪的结果进行分析和比较， 来获取对运动物体行为的识别。 事件检测系统自 20 世纪 60 年代发展起来以后， 形成了多 种检测 技 术， 如 图 1 所 示。 自动 事 件 检 测 ( automatic incident detection， AID) 技术或算法的核心是 根 据 实 时 采集 的 交 通 流 数 据信息， 由算法自动判断 是 否 有 交 通 事 件发 生， 并估计事件对 交通流的影响。目前由于环形线圈检测器的普遍存在， 使得间 接事件检测法 一 直 都 在 自动 事 件 检测 算 法 中 占 有主 导 地 位。 但是该方法无法对车辆 跟踪、 分 类， 安装时需要对道路进行挖 掘， 费用高 昂， 会 造 成 交 通中 断， 并 且 检 测 误 报 率 高、 检测时 间长。 使用视频方法进行 交 通 事 件 检测 属 于 直接检测 方法。 由 于其检测速度快且检测信息丰富， 在国内外正逐渐成为研究热 点。自 20 世纪 90 年代中期以来， 美、 英、 日等国开始 研究 基 于 图像处理的快速自动事件检测系统， 模拟人工判别交通异常的 方法来实现事件的快速检测
［1 ］
。
基于视觉的检测器因为容易安装、 能够提供丰富的交通信 息、 检测范围大、 费用低 而 成 为一 种 有 效 的 监控 手 段 并 得 到 广 泛使用。本文基于视频 的 交 通 事 件 检测 是从包 含 车 辆 的 交 通 视频图像序列中检测、 跟踪车辆并对其进行理解和描述。从技 术角度而言， 车辆运动分析 的 研究 内 容 相 当 丰富， 涉 及模 式 识 图像处理、 计算机视觉、 人工智能等学科知识。本文的目 标 别、 是利用公路上已有视频监控系统提供的图像信息， 通过图像处 理 和分析， 完 成 交 通 事 件的 快速 检测， 实 现 交 通 事 故、 车辆停 止、 慢 行、 车 道 变 换、 车 流 拥挤 等 交 通 事 件 识别 的 功 能， 并能在 交通异常时自动报警和作出相应处理。 基于视频的交通事件 自动 检测 的关 键技 术 是 实 现 交 通 事 件行为的模式识别。该 研究 是 计算机 视觉 和人 工 智 能 的国 际
［13 ］
。清华大学开发的 视频交 通 事 件 检测系统能 够
检测逆行、 违章停车、 拥堵、 遗撒、 行人闯入等事件， 可应用于 各 路口和路段特别是封闭路段的交通事件检测， 实时提供道路部 分交通流信息， 为交通控制、 管理及研究提供可靠的依据。
。
2
目标跟踪
车辆跟踪是实现交 通 事 件 视频检测 的 前 提。 在 对 传 感 器
Survey of videobased image traffic automatic incident detection algorithm
2 XU Yang1， ，WU Chengdong1 ，CHEN Dongyue1
Βιβλιοθήκη Baidu
( 1 ． College of Information Science ＆ Engineering，Northeastern University，Shenyang 110004 ，China; 2 ． School of Software，University of Science ＆ Technology Liaoning，Anshan Liaoning 114051 ，China)
拍摄到的图像序列进行目标提取的基础上， 计算出目标在每帧 图像上的二维位置坐标， 并将不同帧中同一运动目标的所有坐 标按时间先后串联起来， 得 到 各 个 运 动 目 标 完 整 的 运 动 轨 迹。 Kalman 滤 波、 车辆跟踪主要方法包括模 板 匹配、 粒 子 滤 波。 车 基于视频的交通事件自动检测算法是对 视频图像 进 行 逐 帧处理， 包括运动目标的检测与跟踪、 提取运动信息， 最后对车 辆的运行状态和特征进行分析， 得出结论。 辆跟踪算法被分为四类: 基于区域的跟踪、 基于轮廓的跟踪、 基 于模型的跟踪和基于特征的跟踪 2. 1
第4 期
徐
杨， 等: 基于视频图像的交通事件自动检测算法综述
· 1207·
路口的交通事件模型 记 录 和 报 告。 这 个 模 型 首先 从 视频图像 中检测车辆， 跟踪运动车辆， 提取如速度变化率、 位置、 面积、 方 向等特征， 根据这些特征模型能够判断交通事件。中国科学院 自动化所模式识别国家重点实验室 图像 和 视频 分析 研究 组 开 交通场景监控系统和智能轮椅视 发了交通行为事件分析系统、 觉导航系统
收稿日期: 2010-10-14 ; 修回日期: 2010-11-29
。Ikeda［5］ 基于 图像 处 理 技 术提
［6 ］
出了异常事件自动检测系统， 能够检测停驶车辆、 慢行车辆、 丢 弃物体、 连续变 换 车 道 车 辆 四 类 事 件。 Ki 等 人 提出在交叉
基金项目: 国家自然科学基金资助项目( 60874103 ) ; 辽宁省教育厅资助项目( L2010202 )
Abstract: Firstly，this paper analyzed research progress of traffic automatic incident detection，and depicting object detection，object tracking and behavior recognition and understanding． Obtained low level information from object detection and tracking，traffic automatic incident detection needed deep level understanding and recognition for tracking result． Secondly， introduced HMM( hidden Markov model ) and SOFM ( selforganized feature maps ) importantly in motion understanding and behavior recognition． Finally，analyzed technical difficulties and their possible solution from motion segmentation and feature extraction aspect，as well as forecasting the possible research direction． Key words: incident detection; object detection; object tracking; behavior recognition
［7 ］
化 。一 般 情 况 下 ， 可以 认 为 光 流 与 运 动 场 没 有 太 大 区 别， 因此 可以根据图像运动来估计有关景物三维结构的丰富信息， 能够 检测独立运动的对象， 无 须 知 道 场 景 的 任 何 信 息， 适 用于 静 止 和运动背景情况。然而大多数的光流计算方法相当复杂， 且抗 噪性能较差， 如果没有特别的硬件装置则不能应用于全帧视频 流的实时处理。 1. 4 边缘检测 车辆目标最基本的 特 征 之 一 是边缘。 基 于 车 辆边缘 的 边 缘检测法通常效率较高， 甚至可以检测出静止车辆。当图像亮 度发生变化时表现也较为稳健， 因为边缘信息即使是在各种昏 暗的光照环境下仍较 为 明 显。 用于 检测 车 辆边缘 的 方法 有 多 Laplacian 算 子、 Kirsch 算 子 等。 另外， 种， 如梯度 算 子、 形态边 缘检测法由于其优良性能， 也常常被采用
［17 ］
行人等， 以确 定 目 标 的 位 置、 颜 色、 灰 度 等 特 征 信 息， 它是 目 标 跟踪、 行为理解的基础。 通 常 有 帧 差 法、 背 景 减 法、 光 流法、 边 特征匹配等方法。 缘检测、 1. 1 帧差法 帧差 法
［8 ］
接比较了视频序列中连续 的 两 帧 或 三 帧 图像 中 对 应 像 素 点在 灰度值上的差异， 通过设 定 阈 值 来 提 取 视频 帧 中的 运 动 区 域。 此方法优点是算法实现简单， 复杂度低， 可实现实时监控; 缺点 是对场景光线的变化一 般 不 太 敏感， 结 果 精 度 不 高， 难以获得 9］提 出 了 一 种 自 适 应 背 景 减 除 目标区域的 精 确 描 述。 文 献［ 与三帧差分相结合的混合算法， 能够快速有效地从背景中检测 出运动车辆。 1. 2 背景差分法 背景差分法
行描述。目标检测和跟踪得到的是底层信息， 而实现交通事件的自动检测需对跟踪结果进行更深层次 的 理 解 和 识别。然后重点介绍了运动理解和行为识别中的 HMM( 隐马 尔 可夫 模型 ) 方 法 和 SOFM ( 自 组织特征映射神经 网络) 方法。最后从运动分割和特征提取方面分析了技术难点及解决方案， 对可能的研究方向进行一定的预测。 关键词: 事件检测; 目标检测; 目标跟踪; 行为识别 中图分类号: TP391. 41 文献标志码: A 文章编号: 1001-3695 ( 2011 ) 04-1206-05 doi: 10． 3969 / j． issn． 10013695． 2011． 04． 002
［14 ］
。
基于区域的跟踪( regionbased tracking) 基于区域的跟踪
［15 ， 16 ］
1
目标检测
运动目标检测是从 序 列 图像 中 检测 出 前 景 目 标， 如 车 辆、
是将运动 目 标 看 做 由 不 同 的 小区 域
块组成， 可以利用高斯分 布 建立 目 标 和 场 景 的 模 型， 属于目标 的像素被规划于不同的部分， 通过跟踪各个小区域块来完成整 个目标的跟踪。该方法 思 路 简 单， 计算 量不 大， 但 只 适 用于 交 通量小、 背景变化简单的场合; 对于交通量大、 背景变化复杂的 情况， 车辆之间的遮挡和 影 子 问 题 难 以 解决， 可以 考虑 利 用 彩 色信息以及阴影区域缺乏纹理的性质加以解决， 合适的背景模 是 检测 相邻 图像 之 间 变 化 的 最 简 单 方法， 它直 型也不易建立。 2. 2 基于活动轮廓的跟踪( active contour modelbased ) 基于活动轮廓的跟踪
第 28 卷第 4 期 2011 年 4 月
计 算 机 应 用 研 究 Application Research of Computers
Vol． 28 No． 4 Apr． 2011
基于视频图像的交通事 件 自动检测 算 法 综 述
徐
摘
1， 2 1 1 杨 ，吴成东 ，陈东岳
*
( 1． 东北大学 信息科学与工程学院，沈阳 110004 ; 2． 辽宁科技大学 软件学院，辽宁 鞍山 114051 ) 要: 首先分析了交通事件自动检测的研究现状， 对其中 涉及 的目标 检测、 目标 跟踪以及 行 为 识别与理 解 进
重、 事故频发、 环境 恶 化。 目 前， 我国事故发生率居全世界之 首， 近几年每年公路交通 死亡 人 数 一 直 在 十 万 人 左右， 每年因 交通事故造成的损失达数百亿元。为了预防和减少交通事故， 及时有效地进行事故救援和处理， 有效减少由于交通事故产生 的交通延误及避免二次 事 故 的发 生， 就 必 须 准 确、 快速 地 对 交 通异常和交通事件进行检测
作者简介: 徐杨( 1981-) ， 女， 辽宁鞍山人， 博士研究生， 主要研究方向为图像处理、 模式 识别 ( xuyang_1981@ yahoo． cn ) ; 吴 成 东 ( 1960-) ， 男， 沈 阳人， 教授， 博导， 主要研究方向为图像智能处理、 多源信息融合、 无线传感器网络、 建筑智能化技术、 机器人控制等; 陈东岳 ( 1980-) ， 男， 沈阳人， 副 教授， 博士， 主要研究方向为生物视觉系统模型研究、 基于视频信息的智能交通系统、 视频信息的快速模式识别方法等．
前 沿 研 究 方 向 ，涉 及 计 算 机 视 觉 低 级 到 高 级 的 一 系 列 问
0
引言
随着经济的发 展 及 汽 车 拥 有 量 的 增 加， 城 市 交 通 拥堵 严
题
［2 ， 3 ］
。研究内容可以粗略地分 为: a) 车 辆 的 检测 和 跟踪。 车
辆的跟踪结果将直接影响后 续 处 理的 鲁棒 性。 b ) 行 为 识别 和 理解。它是运用高层知识对运动跟踪的结果进行分析和比较， 来获取对运动物体行为的识别。 事件检测系统自 20 世纪 60 年代发展起来以后， 形成了多 种检测 技 术， 如 图 1 所 示。 自动 事 件 检 测 ( automatic incident detection， AID) 技术或算法的核心是 根 据 实 时 采集 的 交 通 流 数 据信息， 由算法自动判断 是 否 有 交 通 事 件发 生， 并估计事件对 交通流的影响。目前由于环形线圈检测器的普遍存在， 使得间 接事件检测法 一 直 都 在 自动 事 件 检测 算 法 中 占 有主 导 地 位。 但是该方法无法对车辆 跟踪、 分 类， 安装时需要对道路进行挖 掘， 费用高 昂， 会 造 成 交 通中 断， 并 且 检 测 误 报 率 高、 检测时 间长。 使用视频方法进行 交 通 事 件 检测 属 于 直接检测 方法。 由 于其检测速度快且检测信息丰富， 在国内外正逐渐成为研究热 点。自 20 世纪 90 年代中期以来， 美、 英、 日等国开始 研究 基 于 图像处理的快速自动事件检测系统， 模拟人工判别交通异常的 方法来实现事件的快速检测
［1 ］
。
基于视觉的检测器因为容易安装、 能够提供丰富的交通信 息、 检测范围大、 费用低 而 成 为一 种 有 效 的 监控 手 段 并 得 到 广 泛使用。本文基于视频 的 交 通 事 件 检测 是从包 含 车 辆 的 交 通 视频图像序列中检测、 跟踪车辆并对其进行理解和描述。从技 术角度而言， 车辆运动分析 的 研究 内 容 相 当 丰富， 涉 及模 式 识 图像处理、 计算机视觉、 人工智能等学科知识。本文的目 标 别、 是利用公路上已有视频监控系统提供的图像信息， 通过图像处 理 和分析， 完 成 交 通 事 件的 快速 检测， 实 现 交 通 事 故、 车辆停 止、 慢 行、 车 道 变 换、 车 流 拥挤 等 交 通 事 件 识别 的 功 能， 并能在 交通异常时自动报警和作出相应处理。 基于视频的交通事件 自动 检测 的关 键技 术 是 实 现 交 通 事 件行为的模式识别。该 研究 是 计算机 视觉 和人 工 智 能 的国 际
［13 ］
。清华大学开发的 视频交 通 事 件 检测系统能 够
检测逆行、 违章停车、 拥堵、 遗撒、 行人闯入等事件， 可应用于 各 路口和路段特别是封闭路段的交通事件检测， 实时提供道路部 分交通流信息， 为交通控制、 管理及研究提供可靠的依据。
。
2
目标跟踪
车辆跟踪是实现交 通 事 件 视频检测 的 前 提。 在 对 传 感 器
Survey of videobased image traffic automatic incident detection algorithm
2 XU Yang1， ，WU Chengdong1 ，CHEN Dongyue1
Βιβλιοθήκη Baidu
( 1 ． College of Information Science ＆ Engineering，Northeastern University，Shenyang 110004 ，China; 2 ． School of Software，University of Science ＆ Technology Liaoning，Anshan Liaoning 114051 ，China)
拍摄到的图像序列进行目标提取的基础上， 计算出目标在每帧 图像上的二维位置坐标， 并将不同帧中同一运动目标的所有坐 标按时间先后串联起来， 得 到 各 个 运 动 目 标 完 整 的 运 动 轨 迹。 Kalman 滤 波、 车辆跟踪主要方法包括模 板 匹配、 粒 子 滤 波。 车 基于视频的交通事件自动检测算法是对 视频图像 进 行 逐 帧处理， 包括运动目标的检测与跟踪、 提取运动信息， 最后对车 辆的运行状态和特征进行分析， 得出结论。 辆跟踪算法被分为四类: 基于区域的跟踪、 基于轮廓的跟踪、 基 于模型的跟踪和基于特征的跟踪 2. 1
第4 期
徐
杨， 等: 基于视频图像的交通事件自动检测算法综述
· 1207·
路口的交通事件模型 记 录 和 报 告。 这 个 模 型 首先 从 视频图像 中检测车辆， 跟踪运动车辆， 提取如速度变化率、 位置、 面积、 方 向等特征， 根据这些特征模型能够判断交通事件。中国科学院 自动化所模式识别国家重点实验室 图像 和 视频 分析 研究 组 开 交通场景监控系统和智能轮椅视 发了交通行为事件分析系统、 觉导航系统
收稿日期: 2010-10-14 ; 修回日期: 2010-11-29
。Ikeda［5］ 基于 图像 处 理 技 术提
［6 ］
出了异常事件自动检测系统， 能够检测停驶车辆、 慢行车辆、 丢 弃物体、 连续变 换 车 道 车 辆 四 类 事 件。 Ki 等 人 提出在交叉
基金项目: 国家自然科学基金资助项目( 60874103 ) ; 辽宁省教育厅资助项目( L2010202 )
Abstract: Firstly，this paper analyzed research progress of traffic automatic incident detection，and depicting object detection，object tracking and behavior recognition and understanding． Obtained low level information from object detection and tracking，traffic automatic incident detection needed deep level understanding and recognition for tracking result． Secondly， introduced HMM( hidden Markov model ) and SOFM ( selforganized feature maps ) importantly in motion understanding and behavior recognition． Finally，analyzed technical difficulties and their possible solution from motion segmentation and feature extraction aspect，as well as forecasting the possible research direction． Key words: incident detection; object detection; object tracking; behavior recognition
［7 ］
化 。一 般 情 况 下 ， 可以 认 为 光 流 与 运 动 场 没 有 太 大 区 别， 因此 可以根据图像运动来估计有关景物三维结构的丰富信息， 能够 检测独立运动的对象， 无 须 知 道 场 景 的 任 何 信 息， 适 用于 静 止 和运动背景情况。然而大多数的光流计算方法相当复杂， 且抗 噪性能较差， 如果没有特别的硬件装置则不能应用于全帧视频 流的实时处理。 1. 4 边缘检测 车辆目标最基本的 特 征 之 一 是边缘。 基 于 车 辆边缘 的 边 缘检测法通常效率较高， 甚至可以检测出静止车辆。当图像亮 度发生变化时表现也较为稳健， 因为边缘信息即使是在各种昏 暗的光照环境下仍较 为 明 显。 用于 检测 车 辆边缘 的 方法 有 多 Laplacian 算 子、 Kirsch 算 子 等。 另外， 种， 如梯度 算 子、 形态边 缘检测法由于其优良性能， 也常常被采用
［17 ］
行人等， 以确 定 目 标 的 位 置、 颜 色、 灰 度 等 特 征 信 息， 它是 目 标 跟踪、 行为理解的基础。 通 常 有 帧 差 法、 背 景 减 法、 光 流法、 边 特征匹配等方法。 缘检测、 1. 1 帧差法 帧差 法
［8 ］
接比较了视频序列中连续 的 两 帧 或 三 帧 图像 中 对 应 像 素 点在 灰度值上的差异， 通过设 定 阈 值 来 提 取 视频 帧 中的 运 动 区 域。 此方法优点是算法实现简单， 复杂度低， 可实现实时监控; 缺点 是对场景光线的变化一 般 不 太 敏感， 结 果 精 度 不 高， 难以获得 9］提 出 了 一 种 自 适 应 背 景 减 除 目标区域的 精 确 描 述。 文 献［ 与三帧差分相结合的混合算法， 能够快速有效地从背景中检测 出运动车辆。 1. 2 背景差分法 背景差分法
行描述。目标检测和跟踪得到的是底层信息， 而实现交通事件的自动检测需对跟踪结果进行更深层次 的 理 解 和 识别。然后重点介绍了运动理解和行为识别中的 HMM( 隐马 尔 可夫 模型 ) 方 法 和 SOFM ( 自 组织特征映射神经 网络) 方法。最后从运动分割和特征提取方面分析了技术难点及解决方案， 对可能的研究方向进行一定的预测。 关键词: 事件检测; 目标检测; 目标跟踪; 行为识别 中图分类号: TP391. 41 文献标志码: A 文章编号: 1001-3695 ( 2011 ) 04-1206-05 doi: 10． 3969 / j． issn． 10013695． 2011． 04． 002
［14 ］
。
基于区域的跟踪( regionbased tracking) 基于区域的跟踪
［15 ， 16 ］
1
目标检测
运动目标检测是从 序 列 图像 中 检测 出 前 景 目 标， 如 车 辆、
是将运动 目 标 看 做 由 不 同 的 小区 域
块组成， 可以利用高斯分 布 建立 目 标 和 场 景 的 模 型， 属于目标 的像素被规划于不同的部分， 通过跟踪各个小区域块来完成整 个目标的跟踪。该方法 思 路 简 单， 计算 量不 大， 但 只 适 用于 交 通量小、 背景变化简单的场合; 对于交通量大、 背景变化复杂的 情况， 车辆之间的遮挡和 影 子 问 题 难 以 解决， 可以 考虑 利 用 彩 色信息以及阴影区域缺乏纹理的性质加以解决， 合适的背景模 是 检测 相邻 图像 之 间 变 化 的 最 简 单 方法， 它直 型也不易建立。 2. 2 基于活动轮廓的跟踪( active contour modelbased ) 基于活动轮廓的跟踪
第 28 卷第 4 期 2011 年 4 月
计 算 机 应 用 研 究 Application Research of Computers
Vol． 28 No． 4 Apr． 2011
基于视频图像的交通事 件 自动检测 算 法 综 述
徐
摘
1， 2 1 1 杨 ，吴成东 ，陈东岳
*
( 1． 东北大学 信息科学与工程学院，沈阳 110004 ; 2． 辽宁科技大学 软件学院，辽宁 鞍山 114051 ) 要: 首先分析了交通事件自动检测的研究现状， 对其中 涉及 的目标 检测、 目标 跟踪以及 行 为 识别与理 解 进