基于单目深度估计的红外图像彩色化方法

邮局订阅号：82-946120元/年技术创新

软件时空

《PLC 技术应用200例》

您的论文得到两院院士关注

戈曼:硕士

基金项目:基金颁发部门:国家自然科学基金委;项目名称:彩色夜视中景物深度及空间透视立体视觉感的研究;编号:

(61072090);基金申请人:孙韶媛基于单目深度估计的红外图像彩色化方法

Infrared Image Colorization Based on Monocular Depth Estimation

(东华大学)

戈曼孙韶媛席林谯帅

GE Man SUN Shao-yuan XI Lin QIAO Shuai

摘要:针对夜视红外图像深度信息估计问题,根据红外图像的特点,用地平线检测和最大类间方差法分割得到一幅具有深度信息的图像,然后运用透视学中饱和度、色调对比度与深度的关系,用色彩传递算法对红外图像做彩色化处理,得到一幅视觉上具有立体感的彩色红外图像。

关键词:深度估计;彩色夜视;立体感;色彩饱和度;深度图中图分类号:TP391文献标识码:A

Abstract:For the problem of estimating the depth from the night vision infrared image,according to the characteristics of infrared images,we use maximum between-cluster variance and the horizon detection methods to get a depth map of an infrared image.Then according the relationship between saturation,hue,and the depth in perspective,we transfer colors to the infrared image and obtain a color infrared image with three-dimensional visual perception.

Keywords:depth estimation;color night vision;three-dimensional;color saturation;depth map

文章编号:1008-0570(2012)10-0413-02

1引言

在彩色夜视技术中,只关注色调的自然正确性是不够的,如何使彩色化后的夜视图像能在视觉效果上体现景物的空间立体感也是重要的研究方向。空间感可以帮助我们辨别景物的前后关系,识别路径及目标位置。实现夜视图像彩色化技术中的视觉立体感需要有图像中景物的深度数据提供距离信息。

目前机器视觉领域获得图像深度信息的较成熟的方法主要是利用双目视差以及运动视差的原理,即根据对极几何原理,结合拍摄时相机运动产生的视差信息来估计深度。例如基于双目、三目、多目、环目的三维立体化方法。夜视红外图像从拍摄角度上来讲属于单目图像,不存在视差,无法应用基于视差的深度估计算法。因此,针对夜视图像的特点,需要研究基于单目图像的即从单幅的二维夜视图像中估计景物的深度信息。

针对以上问题,本文根据红外图像的特点,用地平线检测和最大类间方差法分割得到一幅具有深度信息的图像,然后利用透视学中色调对比和饱和度变化来区分表达景物的深度,从而使得最终获得的彩色夜视图像在视觉效果上具有空间立体感。

2深度图获取

针对车载夜视应用领域,对车载红外红外图像中的景物分成行人、天空,道路,路边树木几类处理。夜视成像技术中,红外热成像反映的是景物的温度分布,首先根据先验知识设定阈值将图像中的行人作为第一类从图像中分割出来。然后进行地平线检测,再利用最大类间方差法进行景物分类,进而得到深度图。算法的详细介绍如下。

2.1地平线检测

图像处理中,一阶微分可以通过梯度法实现。在一幅图像中,边缘梯度值较大,平滑区梯度值较小,对于灰度级为常数的区域梯度值为零。一般采用差分来近似微分。梯度可用公式(1)来计算。

(1)

图像中地平线为天空和地面的分界线,区域的梯度值较大,为了排除其他位置由于灰度突然变化引起的大梯度值的干扰,采用直方图投票的方法,确定分界线(即地平线)的纵向坐标。

设图像大小为M ×N,采用统计的直方图为P u ,其中u=1···N,μ∈N 点(i,j)的梯度值为

(2)

可以得到地平线在图像中的纵坐标为:

(3)

2.2基于最大类间方差法的景物分类

最大类间方差法是对图像的像素进行划分,通过划分使得各类之间的距离达到最大来确定其合适的门限。

设图像g 中灰度值i 得像素的数目为n i 个,总像素数为

(4)

各个灰度出现的概率为

(5)

设灰度t 为门限,将图像分为A 和B 两个区域,其中A 区域的灰度为0~t 的像素和B 区域的灰度为t+1~L-1的像素,则区域A 和B 的概率分别为

(6)(7)

区域A 和B 的平均灰度为

(8)(9)

413--

技术创新

《微计算机信息》2012年第28卷第10期

120元/年邮局订阅号：82-946

《现场总线技术应用200例》

软件时空

全图的平均灰度为

(10)

两个区域的总体方差为

(11)

按照最大类间反差的准则,从0到L-1改变t,并计算类间方差,使得方差最大的值即为区域分割的门限。

本次实验所选取的图像最终分为五类,第一类是图像中的人,第二类是地面,第三类是天空,第四类是道路左边的树木,第五类是道路右边的树木。依据式(12)可以得到原始夜视图像的深度图。

(12)

在上式中,y 表示图像中点的纵坐标,vp 表示地平线的纵坐标,height 表示图像的高度。

(a)原始红外图像(b)地平线检测图(c)深度图

图1原始图像及地平线检测结果和深度图

3图像上色处理

透视学告诉我们,人对事物的观察和重构遵循透视规律:在形体上有近大远小的规律,在色彩上有近处色彩的色调对比度强、饱和度高,远处色彩的色调对比度弱、饱和度低的规律。

通过对大量的彩色图像进行比对,我们可以根据先验知识得到图像中各类别的色调值。具体的色调选取与种类的关系如表1:

表1景物类别与色调值对应表

饱和度与红外图像深度有着直接的线性关系,将各类别中的饱和度通过查找真彩色图像找出初始值,然后把已得到的深度图像一一映射到饱和度中即得到具有深度信息的彩色图像。

4实验结果

图2显示了本文算法结果图和传统Welsh 色彩传递算法结果图。比较图2(a)和图2(b)两幅图像,可以看出,运用传统Welsh 彩色传递算法得到的结果图,整幅图像缺乏深度空间感。本文算法得到的结果图像,色彩较细腻均匀,从近到远的色调饱和度的变化可以使图像整体视觉上有空间立体感。

(a)本文算法结果(b)传统色彩传递结果

图2夜视图像彩色化结果比较

5结束语

本文提出了一种针对单目红外夜视图像进行深度估计并实现彩色化的算法。针对夜视红外图像深度信息估计问题,根据红外图像的特点,用地平线检测和最大类间方差法对景物分类得到一幅具有深度信息的图像,然后运用透视学中饱和度、色调

对比度与深度的关系,用色彩映射方法对红外图像做彩色化处理,得到一幅视觉上具有立体感的彩色红外图像。该方法克服目前彩色夜视方法缺乏立体视觉感的不足,从而改善彩色夜视图像的理解效果。实验结果表明,论文提出的算法使彩色夜视图像具有景物深度和空间立体感,改善了彩色夜视图像的视觉效果。

本文作者创新点:用地平线检测和最大类间方差法分割得到一幅具有深度信息的图像,然后运用透视学中饱和度、色调对比度与深度的关系,用色彩传递算法对红外图像做彩色化处理,最后得到一幅视觉上具有立体感的彩色红外图像。

本文无抄袭,作者全权负责版权事宜。参考文献

[1]代中华,孙韶媛,许真,谷小婧一种车载红外视频彩色化算法,红外技术Vol.32,No.10,595-600,2010.

[2]汪伟,罗飞,蒋梁中,祁亨年.基于双目立体视觉的机械手精确定位系统.微计算机信息,2007,17(2):64-66.

[3]顾征,苏显渝.三目自适应权值立体匹配和视差校准算法[J].光学学报,2008.28(4):735-738.

[4]Y.Kang,E.Lee,and Y.Ho,“Multi-Depth Camera System for 3D Video Generation,”Proceedings of International Workshop on Advanced Image Technology,Vol.44,No.1,1-6,2010.

[5]仲思东,熊军,刘勇.基于全周多视角的三维重建技术[J].机器人,2004.Vol.26,No.6,558-562.

[6]Y.H.Dai and Y.Yuan,A class of globally convergent conjugate gradient methods,Sci.China Ser.A,Vol.46,251-261,2003.

[7]N.Ostu.A threshold selection method from gray -level histogram.IEEE Trans.on Systems,Man and Cybernetic,Vol.9,No.1,62-66,1979.

[8]焦俊华.透视基础知识。天津人民美术出版社,1996.

[9]T.Welsh,M.Ashikhmin,K.Mueller.Transferring color to grayscale Images [C].Proc.ACM SIGGRAPH 2002ACM Transactions on Graphics(Tog),Vol.21,No.3,277-280,2002.

作者简介:戈曼(1985-),女(汉族),山西省运城人,东华大学信息科学与技术学院硕士,主要主要研究方向是图像处理与模式识别。Biography:GE Man (1985-),Female (the Han nationality),Yuncheng city,Shan xi province,Donghua University,Master of Information Science and?Technology,Main research interests are image processing and pattern recognition 。

(201620上海东华大学信息科学与技术学院)戈曼孙韶媛

席林谯帅

通讯地址：(201620上海东华大学信息科学与技术学院)戈曼

(收稿日期:2011.10.28)(修稿日期:2012.01.28)

414--