基于RGB统计颜色模型的火焰识别

基于RGB统计颜色模型的火焰识别
陈嘉卿;张冰;宋英磊
【摘要】Flame detection is an important method to recognize fire under complex circumstances.In order to improve the accuracy of fire detection,an algorithm of flame recognition using statistical model based on the RGB space is presented in this paper.The algorithm segments a suspected fire area in images that may contain flames and extracts a few dynamic and hierarchical features associated with the area,especially the flicker frequency of flames.Finally,five features of an area are processed and fused by a BP neural network for a decision.Experiments show that this algorithm is robust and efficient,and is significant for reducing false alarms.%火焰检测是识别复杂环境下火灾的重要方法,为提高火灾识别率,提出了一种基于RGB颜色空间统计模型的火焰识别算法,结合区域生长以及帧差法分割出疑似火焰区域后,侧重提取分析视频火焰的动态特征及分层特征,尤其是火焰闪烁特征,然后利用BP神经网络融合5个特征参量进行火灾的判决.实验结果表明:该方法在复杂场
景下具有较好的鲁棒性,可有效识别火灾火焰,降低误报率.
【期刊名称】《江苏科技大学学报（自然科学版）》
【年(卷),期】2017(031)002
【总页数】7页(P178-184)
【关键词】火灾探测;统计颜色模型;动态特征;闪烁频率;特征融合
【作者】陈嘉卿;张冰;宋英磊
【作者单位】江苏科技大学电子信息学院,镇江 212003;江苏科技大学电子信息学院,镇江 212003;江苏科技大学电子信息学院,镇江 212003
【正文语种】中文
【中图分类】TP391.41
火灾的实时检测及预警一直是人们处理火灾隐患时亟需解决的首要问题．由于火灾发生的时间具有极大的随机性,且火灾现场的环境也大都复杂多变,传统的火灾探测方法效果不理想．基于视频图像的火灾探测技术，通过对监控视频上图像的分析和判别,可以很好地检测出火灾,并及早地进行处理,减少经济损失,保障人们的生命财产安全[1]．正是得益于经济和技术上的明显优势,近年来,视频火灾探测技术逐渐成为国内外学者研究的重点方向．
文献[2]提出了基于RGB-HSI混合颜色模型的火焰识别方法,并简单提取了火焰的颜色和面积变化特征．文献[3]基于文献[2]使用隐马尔科夫模型检测火焰闪烁等动态特征,有效排除了视频背景中的一些干扰．文献[4]也是基于RGB-HSI模型,结合运动检测和边缘检测识别火焰．文献[5]同样也是依据如上模型的颜色特征,结合背景减法,分析火焰边缘轮廓的变化特征．文献[6]则提出统计颜色模型的可行性,结合背景减法对火灾火焰进行识别,在复杂背景下也有不错的识别率．文献[7]利用CIE L*a*b*颜色空间模型结合运动检测,有效识别了火灾火焰．文献[8]基于HSI-YCbCr 颜色空间建模,追踪识别视频移动目标．文献[9]结合运动检测,利用基于遗传算法的BP神经网络实现火灾预警．文献[10]基于HSI空间建模,提取了色彩、纹理及轮廓脉动等特征,继而使用神经网络对火焰图像进行识别．文献[11]提出基于高斯混合模型,利用疑似火焰区域的时空变化特征排除干扰．文献[12]基于RGB-HSI混合模型,提取了火焰圆形度、矩形度、纹理等静态特征,利用支持向量机(support vector machine,SVM)实现火灾的预警．类似的，文献[13]在RGB-HSI混合模型基础上,
融合火焰的颜色、纹理及闪烁特征,实现了对火灾的高效识别．文献[14]结合多种静态和动态特征,利用SVM判决火灾,但其中还是侧重静态特征的分析,动态特征提取较少．文献[15]则在RGB-HSI模型基础上,结合背景减法,分析火焰中心的跳动规律这一动态特征,从而求得疑似区域的闪烁频率,进而实现火灾的预警．
上述文献中,相关学者的火焰检测方法都获得了不错的识别率,但对于火焰动态特征大多未深入提取分析．文中基于RGB空间统计模型建模,侧重研究视频火灾的动态及分层特征的提取,利用神经网络进行综合判定,实现火灾火焰的有效识别．
有效识别火焰疑似区域是后续火灾判定的基础,其基本方法是通过RGB空间统计模型的约束条件建模,然后利用火焰颜色特征对视频图像进行分割,继而结合区域生长算法,填补初始分割所得区域内的空洞,实现疑似火焰区域的最终分割．
火焰具有特殊的颜色分布规律,在RGB颜色空间内,各通道分量间都有着特定的关系,即R、G、B 3个通道分量的大小依次递减,并且大多数情况下,R通道分量呈现高亮度高饱和度的特征,这就是原始RGB颜色模型建立的基础．因此,对于图像中任一火焰像素点(x,y)应满足如下的基础条件:
然而,依据如上RGB空间模型的筛选标准,对于背景复杂的图像极容易产生误判,从而导致分割不理想．众所周知,RGB图像不仅包含像素点的颜色信息，还包含亮度等信息.人们习惯利用各种模型转换算法,将RGB空间换算到其他颜色空间,比如HSI空间,继而分离出亮度、饱和度信息进行分析．但是,颜色空间转换时,必然导致一部分图像信息的缺失,因此，文中考虑直接利用RGB空间中R-G、R-B、G-B通道分量的比率构建统计模型来识别火焰像素．依据文献[6]中提供的数据库资料,可得到如下公式:
由于目前很多文献中采用RGB与HSI的混合模型分割图像,如文献[2-5]、文献[12-13],因此将RGB原始模型及RGB-HSI模型与文中的RGB统计模型分割效果做一对比．其中,RGB-HSI混合模型就是在RGB模型基础上加入像素点饱和度的
阈值约束条件,具体约束条件可参见文献[3]．图1为3种颜色模型的分割效果对比图,选用的原始图片背景比较复杂,含有多处类似火焰颜色的干扰．由图可见,原始RGB模型的分割效果最差,统计模型较RGB-HSI模型排除了更多干扰,但存在过分割的现象,火焰区域内部存在空洞．
由图1分析结果可知,单纯依靠式(1～3)建立的RGB空间统计模型存在过分割现象,火焰内部存在空洞,为进一步优化分割效果,文中采用区域生长的方法来填补火焰内部的空洞．
首先,利用式(4),求出依靠统计模型识别出的所有火焰像素点各通道分量的均值,公式如下:
然后,将之前判定的非火像素点的三通道分量与火焰像素点的各均值作比较,利用dev(x,y)这一变量表征非火像素点与火焰像素点间的偏差(式(4)),Rnf(x,y)、
Gnf(x,y)、Bnf(x,y)分别代表任一非火像素点(x,y)的各通道分量:
最后,通过约束偏差dev(x,y)的范围进行区域生长,确定生长点,更新firep(x,y)的数值,具体如式(6):
由于图1原始图像中的火焰占比偏小,区域生长效果不明显,故而,换用图2中的原始图像进行测试,比对出区域生长的实际效果．由图2可以发现,该方法对于填补火焰空洞是行之有效的．
仅通过颜色特征分割识别火焰图像虽然简便快捷,但由于实际监测背景一般比较复杂,存在较多干扰源,导致火灾误报率偏高,因此,需要提取分析火焰视频图像的其他特征以提高识别率．诸多学者已经对火焰的静态特征,如圆形度、尖角数等进行了较多研究,但火焰静态特征往往受环境光线等影响,无法有效排除移动的或者具有类似火焰颜色的干扰,算法鲁棒性较差.因此，文中侧重提取火焰的动态及分层特征，其中,动态特征包括火焰面积变化率、火焰相似度及火焰闪烁频率,而分层特征则主要表征火焰像素点在R通道的空间分布．
火灾发生时,火势一般经历一个从无到有再到熄灭的过程,符合高斯分布．而火灾初期,火灾火焰面积逐帧增大,这与诸如蜡烛、灯光等面积相对稳定不变的干扰源有显著的区别,并且通过帧差法可快速准确地获取火焰面积变化信息,因而将面积变化率作为火灾早期预警的一个重要判据．
火焰的面积变化率可用相邻两帧图像中火焰像素点的变化来表征．假定I1(x,y)、I2(x,y)分别为前后两帧火焰图像,NI1、NI2分别为其火焰像素点总数,则面积变化率可用公式表示:
与面积变化率类似,相邻两帧图像中火焰的形状相似度也存在一定规律,其变动范围也不同于太阳、车灯、路灯等干扰源．经实验测定,火焰相似度一般在[0.8,1]范围内呈周期性波动,而像阳光、灯光等非火干扰的相似度则在[0.95,1]内小幅波动,二者的特征量差异明显,因而,火焰相似度可作为火灾的另一判据之一．假定Ii-1(x,y)、Ii (x,y)分别为前后两帧火焰的二值化图像,则火焰相似度α可定义为:
火焰的闪烁看似随机无规律,其实具有特殊的频谱特性．经研究发现,火焰的闪烁频率主要集中在7～12 Hz[13,15]范围内,且与火焰大小及距离等无关,这也就决定了闪烁频率可以作为判决火灾最直观、最显著的特征量,对于排除移动的高亮干扰极为有效．火焰燃烧过程中的短暂时间内,外界因素如风力作用影响较小时,火势相对稳定,火焰像素点的分布变化主要由火焰闪烁决定．因此,文中从视频相邻两帧图像间的火焰像素点的分布变化入手,表征火焰闪烁频率．
首先,利用式(9),求出第i帧图像相对于前一帧的火焰像素点分布变化率Pr(i)．式中分子表示的是第i帧图像中火焰像素点分布相对于第(i-1)帧的变化量,亦即第(i-1)帧图像中是非火像素点,而在第i帧被判别为火焰像素点的像素点总数．
由于计算频率使用的是过零检测法,故而需要确定一检测零点．此处,通过式(10),求出分布变化率的均值μP作为零点,然后再利用式(11),统计过零次数,求出对应的火焰闪烁次数Nf,两式中N为检测的视频总帧数,sgn(x)为符号函数,第1帧的Pr(1)本
来不存在,为便于计算,设定Pr(1)=0．
统计得到火焰闪烁次数Nf后,就可以依此求得视频观测时间内火焰的闪烁频率f为: 为评估文中闪烁频率计算方法的效果，对图3中的6个视频进行测试,其中,视频
① ～④ 为火灾视频;视频⑤ 和⑥ 为非火视频,分别为移动的车灯和日落场景．此外,由于火灾火焰闪烁频率为7～12Hz,依据奈奎斯特采样定理,视频帧速率至少为24
帧/秒,故文中统一选取视频帧速率为25帧/秒,得到的实验结果如表1、2．
由表1可知,各火灾视频的火焰闪烁频率均在7～12 Hz的范围内;而表2中,移动车灯以及落日的闪烁频率分别为4.8、6.0 Hz,均不在火焰的主频率范围内,因此,依据
文中提取的闪烁特征量可以有效识别火灾,排除诸如车灯、阳光等干扰．
火焰燃烧时,火焰区域像素值变化明显,与其他仅具有类似火焰颜色的干扰源不同,表现出明显的灰度层次．火焰分层特征是用来描述不同灰度级的火焰像素点在空间的分布规律,常用来作为火焰识别的加强判据,以排除干扰,降低误判．文中选取考察疑似火焰像素点与周围4个邻域像素点的R通道灰度差分分布来识别火灾．定义(x, y)为图像中任一火焰像素点,选取以其为中心的4个邻域像素点(x-1, y)、(x+1, y)、(x, y-1)及(x, y+1),如图4．
因为火焰内部区域一般是连通的,图像中孤立的疑似火焰像素点多为干扰,故略去不
考虑,只分析火焰集中区域．依次考察中心火焰像素点(x,y)的4个相邻像素点,若邻
域点中存在火焰像素点,则将该点与中心火焰像素点划分为一个连通区域(即一个火焰集中块),并计算两个像素点间的R通道灰度差分值,然后以此方式遍历所有分割出的疑似火焰像素点,最后,利用式(13),求得火焰像素点间的灰度差分均值,作为判别火灾的一个特征参量．
因变异系数相较于方差,更能反映数据离散程度,故而,利用所得相邻火焰像素点间的灰度差分均值,可求得灰度差分的变异系数CV．同样经多次实验测定,火灾火焰的
变异系数主要集中在[1,2.5]范围内,有别于其他非火干扰,能够作为火灾的有效判据
之一．变异系数CV原为标准差除以均值,此处,为方便计算,定义CV等于方差除以
均值的平方.
鉴于单一特征判决火灾误判率高、易受外界干扰,采用BP神经网络融合前面提取的5个特征参量进行火灾火焰的识别,算法实现流程见图5,图中提取的特征参量Ar、α、f、μD、CV分别为火焰面积变化率、火焰相似度、火焰闪烁频率、R通道灰度差分均值及灰度差分变异系数．
文中建立的BP神经网络为3层,依据图5,以火焰面积变化率Ar、火焰相似度α、
闪烁频率f、R通道灰度差分均值μD，以及灰度差分变异系数CV这5个特征参
量作为输入层的输入;用Out表示该神经网络的输出,并使其取值范围在[0,1]之间．根据Out取值的不同,设定当Out属于[0.5,1]时,表示有火灾发生;Out属于[0,0.5)时,表示无火灾发生．为训练该BP神经网络,选取250帧视频图像的数据作
为训练样本,其中火焰图像150帧,干扰图像100帧．
为验证本文提出的火焰识别算法的准确性,利用BP神经网络,测试如图6的10组视频,视频帧速率均为25帧/秒,各视频信息描述如表3．测试平台为Matlab 2011b,计算机系统为win8[Intel(R) Core(TM) i5 Duo CPU 1.80GHz, 4GB内存]．火灾
与非火视频的识别结果分别见表4、5,安全火的识别结果见表6．由于文献[2、4、15]都是依据火焰的动态特征识别火灾,与文中侧重点一致,故将其相关检测结果也列于各表中以作比较．
由表3可知,视频1～5为火灾视频,外界干扰包含烟雾、风吹以及移动的物体;视频6～8为非火焰干扰视频,其中，视频6为室内灯光高亮干扰,视频7为移动物体高
亮干扰,视频8为阳光等颜色干扰;视频9～10为安全火(可控火)干扰视频．
文献[2]采用的是常用的RGB-HSI混合颜色模型,结合运动检测,利用颜色特征以及
面积变化特征识别火焰,但容易误判类似火焰颜色的运动物体;文献[6]采用的则是RGB的统计颜色模型,运用背景减法检测火焰,但文中仅检测了大空间火灾场景;文献
[15]也是在RGB颜色模型下,结合背景减法通过提取火焰质心运动特性计算其闪烁频率,从而达到识别火灾的目的,但特征提取单一,且仅测试了大空间、干扰较少环境下的场景．
文中火灾火焰识别算法是在文献[7]的基础上,结合帧差法,提取多特征融合判决火灾．对比表4的结果可以发现,对于一般的大空间火灾场景,文献[2、6、15]的算法检测结果都不错,但仍略低于文中算法,由此可见,文中算法受烟雾、风力作用等外界干扰影响不大．而对于火焰占比较小的视频5,其他3个文献的检测效果要优于本文算法,文中算法的识别率仅为85.9%,远低于其他情况,然而分析识别结果发现,其误检帧数大多位于前100帧,这主要是因为该视频是从火灾初期开始采集图像信息,开始时图像中火焰占比小,加上具有颜色干扰的目标(火把和人)来回移动,遮挡干扰了火焰特征量的提取,造成算法误报率偏高,因此，需要进一步完善区域分割及特征提取的过程．
室内灯光、移动车灯以及阳光是一些常见的高亮颜色干扰,表5的测试结果表明,文中算法能有效排除这些高亮干扰,当然,视频7中由于是缓慢移动的车灯,且干扰光源有多处,仍有3.2%的误报率．相比之下,文献[2、6]的误报率要明显高得多,而文献[15]虽然利用火焰闪烁特征显著排除了移动车灯等干扰,优于文献[2、6],但由于判据单一,误报率仍略高于文中算法．
火灾检测中蜡烛、打火机等安全火的火焰较难与火灾火焰区分,而文中提取了诸如火焰面积变化率、相似度等特征量,理论上可识别出这类干扰火源,故表6的测试结果说明文中算法的有效性．视频9中人为点燃打火机,由于手部在晃动,打火机的火焰也不稳定,对识别有一些影响,误报率达到12.1%．而测试室内蜡烛燃烧时,由于蜡烛位置固定,测试结果要好很多,误报率仅为4.8%,文中提出的算法对于这类安全火的检测识别具有一定的成效．
文中基于RGB空间统计模型建模,在颜色特征的基础上,提取了火灾火焰动态及分
层特征,然后利用BP神经网络判决火灾．依据测试结果表明,该算法具有较高的鲁棒性,可有效识别复杂环境下的火灾火焰与干扰源,对于识别安全火也有一定效果．但是,对于火焰被遮挡或者火焰区域较小(尤其是火灾初期)时的检测还存在问题,误报率偏高,需要进一步完善疑似火焰区域的分割及相关特征量的提取．此外,由于文中侧重火焰动态及分层特征的比对分析,相较于静态特征,需耗费较多的时间观测和采集视频图像信息,实时性不及采用静态特征的算法,后续工作中将针对实际应用场景优化算法,兼顾系统响应时间与识别率．。