车载红外图像的行人检测与跟踪技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
( C o l l e g eo f I n f o r m a t i o nS c i e n c ea n dT e c h n o l o g y , D o n g H u aU n i v e r s i t y , S h a n g h a i 2 0 1 6 2 0 , C h i n a ) A b s t r a c t : B a s e do nt h ec h a r a c t e r i s t i c s o f v e h i c l e i n f r a r e di m a g e s w e d e t e c t p e d e s t r i a n s b y t h e v e h i c l e i n f r a r e di m a g e s u s i n gt h r e e f r a m e d i f f e r e n c em e t h o dw h i c hi s b a s e do nr e g i o ne s t i m a t i o n . T h e nw em a k ep e d e s t r i a nr e c o g n i t i o nb a s e d o nt h e g e o m e t r i c f e a t u r e s a n dm o t i o nc h a r a c t e r i s t i c s . F i n a l l y , p e d e s t r i a nt r a c k i n g i s i m p l e m e n t e du s i n g c o n t o u r m o m e n t m a t c h i n gm e t h o d . T h ee x p e r i m e n t a l r e s u l t s s h o wt h a t t h ep r o p o s e dm e t h o dc a nd e t e c t a n dt r a c kt h e p e d e s t r i a n s a c c u r a t e l y . K e yw o r d s : p e d e s t r i a nd e t e c t i o n ; p e d e s t r i a nt r a c k i n g ; v e h i c l ei n f r a r e d ; r e g i o ne s t i m a t i o n ; t h r e e f r a m e d i f f e r e n c e
1 4 ] 廓的新的矩不变量即轮廓矩不变量进行匹配 [ 。
研究 发 现, 行 人 的 长 宽 比 C的 范 围 大 约 为 1 . 4~ 4之间的某个值。需要说明的是, 这里对行人 弯腰、 躺倒等情况不做考虑, 仅考虑直立行走状态。 故只要标定区域的最小外接矩形满足上面的条件, 就将其判别为行人。 基于几何特征的识别 方 法 的 实 验 结 果 如 图 5 ( a ) 所示, 由图中可以看出, 程序识别出三个目标, 这三个目标均符合上述长宽比要求, 但从视觉判断, 图像最左边的物体并不能判为行人, 即产生了误判, 因此本文又结合了行人的运动速率特征对目标进行 综合判别。 运动速率特征是通过对运动目标质心速率的计 算来求取的。通过公式( 3 ) 和( 4 ) 可以求得质心。 × f ( x , y ) ∑x Wn x = n ( x , y ) ∑f
( 2 )
K 的补偿计算同 K , 将补偿后的图像再进行 式中, i + 1 i 三帧差分 计 算, 就可以得到较为满意的行人检测 结果。 ( a ) 为车载红外图像; 图3 ( b ) 为阈值分割 图3 结果; 图3 ( c ) 为经区域估计算法补偿后 K i - 1与 K i 的差分结果; 图3 ( d ) 为基于区域估计的三帧差分结 果。比较可以看出, 基于区域估计算法的三帧差分 法可以对车载红外图像这种动背景图像进行有效的 行人检测, 该方法完整的检测出行人的轮廓, 保留了 绝大多数细节信息。
1 引 言 目前, 越来越多的汽车厂家开始开发和使用车 载夜视系统来提高驾驶安全性, 如图 1所示为奔驰 S 级红外显示系统。车载夜视系统通常使用的是被 动红外夜视技术。被动红外夜视是通过接收物体发 出的不同能量的红外辐射, 并将信号进行放大, 最后 在显示装置上将物体的影像显现出来。被动红外夜 视系统显示质量较好, 有较高性价比, 更重要的是其 作用距离可以满足汽车红外夜视系统的具体要求, 十分适合视距在数百至数千米的汽车红外夜视系统 中使用。专家预测, 在不久的将来随着科技的发展 和夜视系统生产成本的降低, 车载夜视系统将会全 面普及
用特征提取算法进行识别。本文的研究内容针对的
图2 三帧差分法算法流程图
是车载红外图像的行人, 对被标定区域的判别只有 两种可能: 即行人与非行人( 动物、 车辆等) 。如只 选取几何特征( 如长宽比等) 进行识别, 但由于路面 上的诸多复杂情况, 发现出现了明显的误判现象, 加 入了运动特征后识别( 这里指运动速率) , 则达到了
[ 5 ]
故在夜间发生, 专家们在对各类交通事故进行系统 研究分析后得出 : 若驾驶员能在事故发生前提早 几秒钟意识到会有交通事故发生, 并采取了相应的
基金项目: 国家自然基金项目( N o . 6 1 0 7 2 0 9 0 ) 资助。 作者简介: 苏晓倩( 1 9 8 6-) , 女, 硕士, 主要研究工作是夜视图 像处理。 收稿日期: 2 0 1 1 1 0 2 6 ; 修订日期: 2 0 1 1 1 2 2 7
[ 8 , 1 0 ]
( c ) 前二帧差分结果 ( d ) 区域三帧差分结果 图3 图像分割结果比较
3 行人识别 行人识别的目的就是在行人检测的基础上, 利 用特征提取等方法, 进一步将行人从背景中分离出 来, 为后续行人的跟踪提供条件打下坚实的基
1 1 ] 。常用的特征识别方法有颜色特征识别、 几何 础[
[ 7 ]
f ( m+ p , n + q ) k i - 1
( 1 )
M A D ( p , q ) 为最小绝对误差; f 与f 为K 其中, k k i与 i i - 1 K 的灰度值。相对位移量由公式( 2 ) 计算得出: i - 1
T S = [ d x , d y ] = a r gm i nS A D Δ ( d x , d y )
区域估计的具体算法为: 分别用 K , K , K i - 1 i i + 1 表示视频序列中三帧连续的图像, 在K 中选取区 i - 1 域大小为 6 4× 6 4的区域作为模板区域, 在K i中搜 寻匹配 K 中参考模板的最优区域, 根据公式( 1 ) i - 1
激 光 与 红 外 N o . 8 2 0 1 2 Βιβλιοθήκη Baidu 苏晓倩等 车载红外图像的行人检测与跟踪技术
·图像与信号处理·
车载红外图像的行人检测与跟踪技术
苏晓倩, 孙韶媛, 戈 曼, 谯 帅, 谷小婧
( 东华大学信息科学与技术学院, 上海 2 0 1 6 2 0 )
摘 要: 针对车载红外图像的特点, 采用基于区域估计的帧差法实现车载红外图像中的行人检 测, 再通过行人的几何特征和运动速率特征进行行人的识别, 最后运用轮廓矩匹配算法进行行 人的跟踪。实验结果表明所采用的方法具有较好的行人检测及跟踪效果。 关键词: 行人检测; 行人跟踪; 车载红外; 区域估计; 三帧差法 中图分类号: T P 3 9 1 . 4 1 文献标识码: A D O I : 1 0 . 3 9 6 9 / j . i s s n . 1 0 0 1 5 0 7 8 . 2 0 1 2 . 0 8 . 0 2 6
9 5 0
激 光 与 红 外 第 4 2卷
目前对车载红外图像行人的检测与跟踪方法研 究主要有以下特点: ① 在行人检测环节大多选取光 流法
[ 7 ]
A D ( p , q ) 最小的点, 并计算出 K 最优匹配点为使 M i 与K 的相对位移量 Δ S , 这个相对位移量可以用来 i - 1 补偿 K , 计算公式如下: i
第4 2卷 第 8期 激 光 与 红 外 2 0 1 2年 8月 L A S E R & I N F R A R E D
V o l . 4 2 , N o . 8 A u g u s t , 2 0 1 2
1 0 0 1 5 0 7 8 ( 2 0 1 2 ) 0 8 0 9 4 9 0 5 文章编号:
[ 1 - 4 ]
正确措施, 则绝大多数事故都可能避免。因此, 车载 红外技术在车辆辅助驾驶系统中的应用越来越受到
6 ] 人们的关注 [ 。同时, 车载红外图像的行人检测与
跟踪技术的研究, 成为车辆辅助驾驶系统中的关键 技术之一。
图1 奔驰 S 级红外系统显示
。近年来, 交通事故频发, 并且大多数事
9 5 1
较好的识别效果。 通常情况下由行人的形状特征, 可将其近似为 矩形, 求取运动目标的长宽比也就是求取矩形( 这 里指得是最小外接矩形) 的长宽比, 如图 4所示。
( b ) 所示。 目标图像, 识别出的两个行人如图 5
( a ) 目标识别结果 1 ( b ) 目标识别结果 2 图5 目标识别结果
4 6 4 1 6 M A D ( p , q )= ( m , n )- ∑ ∑ f k i m- 1 n - 1 6 4× 6 4
, 这种方法具有较好的适应性, 但缺点是计
[ 8 ]
算量大, 耗时, 虚警率高等; ② 在行人跟踪环节大多 选取卡尔曼滤波方法 , 这种方法的不足之处在于
[ 9 ]
随着跟踪的进行, 跟踪误差逐渐增加。由于难以建 立精确的运动模型, 跟踪精度较差 。针对以上问 题和车载红外图像的特点, 选取基于区域估计的三 帧差分法进行行人检测, 既能清晰地检测出行人的 轮廓, 同时也减少了计算量。再通过行人的几何特 征和运动速率特征进行行人的识别, 最后通过轮廓 矩匹配算法进行行人跟踪, 实时更新模板, 有效地减 小跟踪误差, 提高了跟踪的精度。 2 行人检测 本文的研究内容主要是针对车载红外图像进行 的, 由红外图像的特点可以得出, 温度高的物体亮度 高, 由于道路上的行人具有主动发热的特点, 相比于 路面其他物体如道路、 树木等, 行人温度明显高于其 他物体。红外图像尽管图像结构较简单, 但用简单 的阈值分割法并不能取得满意的分割结果, 这是因 为这种方法存在一些限制因素: 诸如拍摄所用到的 设备, 光照条件等, 所以导致了待检测的行人和目标 背景之间的亮度值差异可能并不明显。采用帧间差 分法可弥补阈值分割法的不足。三帧差分法
( a ) 车载红外图像 ( b ) 阈值分割结果
是
对普通二帧图像差分的改进, 能更精确地检测出运 动目标的位置和形状参数, 从而更好地获取运动目 标的信息。三帧差分法的算法流程图如图 2所示。 但对于车载红外图像而言, 由于摄像机被安装在运 动车辆上, 摄像机会随着车辆向前行驶而跟着向前 运动, 这样也就产生了动态的背景
4 行人跟踪 采用基于轮廓矩的递归特征匹配方法进行行人 跟踪, 在行人跟踪过程中, 灰度并不是最重要的参 数, 而形状才是最重要的, 基于灰度的 H u矩方法有
1 3 ] 时并不能有效和正确的表征轮廓特征 [ 。因而, 在
图4 最小外接矩形示意图
H u 矩不变理论的基础上进行改进, 运用基于物体轮
P e d e s t r i a nd e t e c t i o na n dt r a c k i n go f v e h i c l e i n f r a r e di ma g e s
S UX i a o q i a n , S U NS h a o y u a n , G EM a n , Q I A OS h u a i , G UX i a o j i n g
。针对静态
背景的三帧差分法已不能满足研究的需要, 因此本 文提出一种基于区域的三帧差分法, 即在三帧差分 之前, 先对车载图像进行区域估计。
特征识别、 纹理特征识别, 以及运动特征识别方法, 由于红外图像缺少颜色与纹理特征, 采用选取几何 特征与运动特征相结合的方法进行行人识别。首先
1 2 ] , 然后再利 对分割后的二值图像进行多目标标定 [
1 4 ] 廓的新的矩不变量即轮廓矩不变量进行匹配 [ 。
研究 发 现, 行 人 的 长 宽 比 C的 范 围 大 约 为 1 . 4~ 4之间的某个值。需要说明的是, 这里对行人 弯腰、 躺倒等情况不做考虑, 仅考虑直立行走状态。 故只要标定区域的最小外接矩形满足上面的条件, 就将其判别为行人。 基于几何特征的识别 方 法 的 实 验 结 果 如 图 5 ( a ) 所示, 由图中可以看出, 程序识别出三个目标, 这三个目标均符合上述长宽比要求, 但从视觉判断, 图像最左边的物体并不能判为行人, 即产生了误判, 因此本文又结合了行人的运动速率特征对目标进行 综合判别。 运动速率特征是通过对运动目标质心速率的计 算来求取的。通过公式( 3 ) 和( 4 ) 可以求得质心。 × f ( x , y ) ∑x Wn x = n ( x , y ) ∑f
( 2 )
K 的补偿计算同 K , 将补偿后的图像再进行 式中, i + 1 i 三帧差分 计 算, 就可以得到较为满意的行人检测 结果。 ( a ) 为车载红外图像; 图3 ( b ) 为阈值分割 图3 结果; 图3 ( c ) 为经区域估计算法补偿后 K i - 1与 K i 的差分结果; 图3 ( d ) 为基于区域估计的三帧差分结 果。比较可以看出, 基于区域估计算法的三帧差分 法可以对车载红外图像这种动背景图像进行有效的 行人检测, 该方法完整的检测出行人的轮廓, 保留了 绝大多数细节信息。
1 引 言 目前, 越来越多的汽车厂家开始开发和使用车 载夜视系统来提高驾驶安全性, 如图 1所示为奔驰 S 级红外显示系统。车载夜视系统通常使用的是被 动红外夜视技术。被动红外夜视是通过接收物体发 出的不同能量的红外辐射, 并将信号进行放大, 最后 在显示装置上将物体的影像显现出来。被动红外夜 视系统显示质量较好, 有较高性价比, 更重要的是其 作用距离可以满足汽车红外夜视系统的具体要求, 十分适合视距在数百至数千米的汽车红外夜视系统 中使用。专家预测, 在不久的将来随着科技的发展 和夜视系统生产成本的降低, 车载夜视系统将会全 面普及
用特征提取算法进行识别。本文的研究内容针对的
图2 三帧差分法算法流程图
是车载红外图像的行人, 对被标定区域的判别只有 两种可能: 即行人与非行人( 动物、 车辆等) 。如只 选取几何特征( 如长宽比等) 进行识别, 但由于路面 上的诸多复杂情况, 发现出现了明显的误判现象, 加 入了运动特征后识别( 这里指运动速率) , 则达到了
[ 5 ]
故在夜间发生, 专家们在对各类交通事故进行系统 研究分析后得出 : 若驾驶员能在事故发生前提早 几秒钟意识到会有交通事故发生, 并采取了相应的
基金项目: 国家自然基金项目( N o . 6 1 0 7 2 0 9 0 ) 资助。 作者简介: 苏晓倩( 1 9 8 6-) , 女, 硕士, 主要研究工作是夜视图 像处理。 收稿日期: 2 0 1 1 1 0 2 6 ; 修订日期: 2 0 1 1 1 2 2 7
[ 8 , 1 0 ]
( c ) 前二帧差分结果 ( d ) 区域三帧差分结果 图3 图像分割结果比较
3 行人识别 行人识别的目的就是在行人检测的基础上, 利 用特征提取等方法, 进一步将行人从背景中分离出 来, 为后续行人的跟踪提供条件打下坚实的基
1 1 ] 。常用的特征识别方法有颜色特征识别、 几何 础[
[ 7 ]
f ( m+ p , n + q ) k i - 1
( 1 )
M A D ( p , q ) 为最小绝对误差; f 与f 为K 其中, k k i与 i i - 1 K 的灰度值。相对位移量由公式( 2 ) 计算得出: i - 1
T S = [ d x , d y ] = a r gm i nS A D Δ ( d x , d y )
区域估计的具体算法为: 分别用 K , K , K i - 1 i i + 1 表示视频序列中三帧连续的图像, 在K 中选取区 i - 1 域大小为 6 4× 6 4的区域作为模板区域, 在K i中搜 寻匹配 K 中参考模板的最优区域, 根据公式( 1 ) i - 1
激 光 与 红 外 N o . 8 2 0 1 2 Βιβλιοθήκη Baidu 苏晓倩等 车载红外图像的行人检测与跟踪技术
·图像与信号处理·
车载红外图像的行人检测与跟踪技术
苏晓倩, 孙韶媛, 戈 曼, 谯 帅, 谷小婧
( 东华大学信息科学与技术学院, 上海 2 0 1 6 2 0 )
摘 要: 针对车载红外图像的特点, 采用基于区域估计的帧差法实现车载红外图像中的行人检 测, 再通过行人的几何特征和运动速率特征进行行人的识别, 最后运用轮廓矩匹配算法进行行 人的跟踪。实验结果表明所采用的方法具有较好的行人检测及跟踪效果。 关键词: 行人检测; 行人跟踪; 车载红外; 区域估计; 三帧差法 中图分类号: T P 3 9 1 . 4 1 文献标识码: A D O I : 1 0 . 3 9 6 9 / j . i s s n . 1 0 0 1 5 0 7 8 . 2 0 1 2 . 0 8 . 0 2 6
9 5 0
激 光 与 红 外 第 4 2卷
目前对车载红外图像行人的检测与跟踪方法研 究主要有以下特点: ① 在行人检测环节大多选取光 流法
[ 7 ]
A D ( p , q ) 最小的点, 并计算出 K 最优匹配点为使 M i 与K 的相对位移量 Δ S , 这个相对位移量可以用来 i - 1 补偿 K , 计算公式如下: i
第4 2卷 第 8期 激 光 与 红 外 2 0 1 2年 8月 L A S E R & I N F R A R E D
V o l . 4 2 , N o . 8 A u g u s t , 2 0 1 2
1 0 0 1 5 0 7 8 ( 2 0 1 2 ) 0 8 0 9 4 9 0 5 文章编号:
[ 1 - 4 ]
正确措施, 则绝大多数事故都可能避免。因此, 车载 红外技术在车辆辅助驾驶系统中的应用越来越受到
6 ] 人们的关注 [ 。同时, 车载红外图像的行人检测与
跟踪技术的研究, 成为车辆辅助驾驶系统中的关键 技术之一。
图1 奔驰 S 级红外系统显示
。近年来, 交通事故频发, 并且大多数事
9 5 1
较好的识别效果。 通常情况下由行人的形状特征, 可将其近似为 矩形, 求取运动目标的长宽比也就是求取矩形( 这 里指得是最小外接矩形) 的长宽比, 如图 4所示。
( b ) 所示。 目标图像, 识别出的两个行人如图 5
( a ) 目标识别结果 1 ( b ) 目标识别结果 2 图5 目标识别结果
4 6 4 1 6 M A D ( p , q )= ( m , n )- ∑ ∑ f k i m- 1 n - 1 6 4× 6 4
, 这种方法具有较好的适应性, 但缺点是计
[ 8 ]
算量大, 耗时, 虚警率高等; ② 在行人跟踪环节大多 选取卡尔曼滤波方法 , 这种方法的不足之处在于
[ 9 ]
随着跟踪的进行, 跟踪误差逐渐增加。由于难以建 立精确的运动模型, 跟踪精度较差 。针对以上问 题和车载红外图像的特点, 选取基于区域估计的三 帧差分法进行行人检测, 既能清晰地检测出行人的 轮廓, 同时也减少了计算量。再通过行人的几何特 征和运动速率特征进行行人的识别, 最后通过轮廓 矩匹配算法进行行人跟踪, 实时更新模板, 有效地减 小跟踪误差, 提高了跟踪的精度。 2 行人检测 本文的研究内容主要是针对车载红外图像进行 的, 由红外图像的特点可以得出, 温度高的物体亮度 高, 由于道路上的行人具有主动发热的特点, 相比于 路面其他物体如道路、 树木等, 行人温度明显高于其 他物体。红外图像尽管图像结构较简单, 但用简单 的阈值分割法并不能取得满意的分割结果, 这是因 为这种方法存在一些限制因素: 诸如拍摄所用到的 设备, 光照条件等, 所以导致了待检测的行人和目标 背景之间的亮度值差异可能并不明显。采用帧间差 分法可弥补阈值分割法的不足。三帧差分法
( a ) 车载红外图像 ( b ) 阈值分割结果
是
对普通二帧图像差分的改进, 能更精确地检测出运 动目标的位置和形状参数, 从而更好地获取运动目 标的信息。三帧差分法的算法流程图如图 2所示。 但对于车载红外图像而言, 由于摄像机被安装在运 动车辆上, 摄像机会随着车辆向前行驶而跟着向前 运动, 这样也就产生了动态的背景
4 行人跟踪 采用基于轮廓矩的递归特征匹配方法进行行人 跟踪, 在行人跟踪过程中, 灰度并不是最重要的参 数, 而形状才是最重要的, 基于灰度的 H u矩方法有
1 3 ] 时并不能有效和正确的表征轮廓特征 [ 。因而, 在
图4 最小外接矩形示意图
H u 矩不变理论的基础上进行改进, 运用基于物体轮
P e d e s t r i a nd e t e c t i o na n dt r a c k i n go f v e h i c l e i n f r a r e di ma g e s
S UX i a o q i a n , S U NS h a o y u a n , G EM a n , Q I A OS h u a i , G UX i a o j i n g
。针对静态
背景的三帧差分法已不能满足研究的需要, 因此本 文提出一种基于区域的三帧差分法, 即在三帧差分 之前, 先对车载图像进行区域估计。
特征识别、 纹理特征识别, 以及运动特征识别方法, 由于红外图像缺少颜色与纹理特征, 采用选取几何 特征与运动特征相结合的方法进行行人识别。首先
1 2 ] , 然后再利 对分割后的二值图像进行多目标标定 [