基于前景检测的视差优化算法

基于前景检测的视差优化算法
唐望平;袁华
【摘要】Currently, there are two types of stereo matching algorithms, the traditional stereo matching algorithm use a local optimum method by calculating the similarity of the pixels in two images. The current strategy is to create its energy equation, and then to optimize the global space, improve matching accuracy and obtain better disparity map. However, in practical application process, the photometric distortions and noise, specular surfaces, foreshortening, transparent objects and repetitive or ambiguous patterns will lead to false match or no match point, which lead to noneffective parallax. However, in certain situations, you can optimize the limited effective parallax to get a more complete disparity map, based on foreground detection and least square method.%目前立体匹配算法分两类，传统的匹配算法通过计算两幅图的像素点相似程度，采用的是一种局部优先的方法。

而当前的策略主要将问题转化为求解能量方程，进而对全局空间进行优化，提高匹配精度，获得更好的视差图。

但是在实际应用过程中，由于光学失真和噪声，平滑表面的镜面反射，投影缩减，透视失真，低纹理和重复纹理等影响，导致误匹配或者找不到匹配点，从而得不到有效视差。

然而在特定的场合，可以利用有限的有效视差，基于前景检测以及最小二乘法，优化得到较为完整的前景视差图。

【期刊名称】《大众科技》
【年(卷),期】2014(000)003
【总页数】4页(P25-27,31)
【关键词】立体视觉;视差优化;立体匹配;前景检测;最小二乘法
【作者】唐望平;袁华
【作者单位】桂林电子科技大学信息与通信学院，广西桂林 541004;桂林电子科
技大学信息与通信学院，广西桂林 541004
【正文语种】中文
【中图分类】TN911.73
随着信息技术的飞速发展，双目立体视觉已经在很多领域得到了广泛应用。

双目立体视觉三维测量是基于视差原理，而视差是根据两特征匹配点的相对位置获得的。

根据采用优化方法的不同，立体匹配算法可以分为局部匹配算法和全局匹配算法。

目前，国内的研究现状是在基于特征的选择上，以及在匹配的相似度的度量上进行研究，同时针对遮挡的问题、弱纹理问题也进行了讨论[1]。

在国际上主要是基于
颜色分割，进行全局立体匹配，在局部立体匹配方面，在聚合上采用了自适应的权值进行聚合匹配能量，同时也采用多窗体、自适应的支持窗体匹配算法。

但是到目前为止，所有的算法都不能完整的反映像素点的真实视差，只能局部的，或多或少的反映真实视差，在实际应用过程中视差图会有很多无效黑斑区域，本文提出一种基于前景检测，利用最小二乘法直线拟合的方法，局部优化视差[2]。

1 算法相关
1.1 匹配算法
目前的所有匹配算法都可以归结为在下面三个方向上进行的创新，即选择匹配基元、选择相似度函数和优化算法。

目的都是为了尽量减少基元在匹配中的模糊性或奇异性，能尽量找到能反映像素点的真实视差。

在文献[3]中把立体匹配分为4个步骤：
匹配代价计算、支持能量聚合、视差计算和优化、视差的精细和评价方法，可以认为目前所有的研究工作都归纳为在这4个步骤之内，任何改进都是针对4个步骤
中的其中一个进行的改进和研究，但并不是每一种算法都必须包含这4个步骤，
而是只采用其中的个别步骤，例如局部的立体匹配算法就没有视差优化和视差细化阶段，而全局立体匹配算法却包含了视差优化和视差细化步骤，反而没有能量聚合步骤。

局部立体匹配算法主要是采用局部优化方法进行视差值估计，局部立体匹配算法有SAD，SSD等算法，与全局立体匹配算法一样，也是通过能量最小化方法进行视
差估计，但是，在能量函数中，只有数据项，而没有平滑项。

主要是利用局部的信息进行能量最优化，所以得到的视差估计是局部最优，而不是全局最优[4]。

局部
立体匹配算法得到的视差值准确度不是很高，但是其速度比较快，效率比较高，能满足实时性要求。

全局立体匹配算法主要是采用了全局的优化理论方法估计视差，建立全局能量函数，通过最小化全局能量函数得到最优视差值[5]。

主要的算法有图割、信念传播、动
态规划等算法。

全局立体匹配算法是通过能量最小化方法进行视差估计，在其建立的能量函数中，除了数据项之外，还有平滑项。

数据项主要是测量像素之间的相似性问题，而平滑项是平滑像素之间的视差关系，保证相邻像素之间视差的平滑性[6]。

全局立体匹配算法得到的结果比较准确，但是其运行时间比较长，不适合实
时运行。

1.2 双目视觉原理
双目立体成像原理图如图1所示：
图1 双目立体成像原理图
其中基线距B为两摄像机的投影中心连线的距离；相机焦距为f。

设两摄像机在同一时刻观看空间物体的同一特征点分别在“左眼”和“右眼”上获取了点P的图
像，它们的图像坐标分别为现两摄像机的图像在同一个平面上，则特征点P的图
像坐标Y坐标相同，即则由三角几何关系得到：
则视差为：
由此可计算出特征点P在相机坐标系下的三维坐标为：
左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标[7]。

这种方法是完全的点对点运算，像面上所有点只要存在相应
的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

2 算法实现
本文提出的基于前景检测的视差优化算法，是在前景区域内，按行检测出有效视差和无效视差，并记录存取，有效视差作为最小二乘法的已知条件，对无效视差部分进行直线拟合，而有效视差保持不变，达到整个目标物体区域有完整的视差图，并分离出这区域的视差图。

算法的实现分为两部分，分别是前景区域提取和最小二乘法优化视差。

2.1 前景区域提取
前景检测主要分为：帧差法、平均背景法、光流法、前景建模法、背景非参数估计、背景建模法等。

背景差分法具有简单，运动速度快，对缓慢变换的光照不是很敏感等优点，但同时也会有空洞等缺点。

基于实时性考虑，本文采用的帧差法是背景相减法中的一种，帧差法的基本原理就是将前后两帧或者当前帧与固定背景帧图像的对应像素点的灰度值相减，得到帧差灰度图[8]。

如果对应像素灰度相差很大就可
以认为此处景物为前景。

针对帧差法会产生空洞的缺点，以及更好的提取前景物体，本文将得到的帧差灰度图二值化后，利用形态学的取最大连通域法进行处理，能很
大程度的去除空洞现象，得到感兴趣区域二值化前景图，最后用淹模法（mask）抠出目标物体。

2.2 最小二乘法优化视差
图2 算法实现流程图
本文提出的视差优化算法是在传统匹配算法计算得出视差图的基础上，在前景区域内利用最小二乘法直线拟合对前景区域内的无效视差进行优化，得到一个比较完整的前景区域视差图，由于在特定应用中我们并不是对所有的区域感兴趣，因而其他不感兴趣区域的视差好坏我们并不关心。

算法实现过程流程框图如图2所示。

视差的生成是以左视图为基匹配的，所以视差图的像素点和左视图有一一对应的关系[9]，在左视图中进行前景检测生成二值化前景图，然后进行掩模处理，抠出前景区域。

这样，左视图、视差图和前景图三幅图的像素点坐标都是以一一对应的关系。

把前景区域对应的像素点集合作为感兴趣区域，那么左视图、视差图以及前景图中的感兴趣区域是一样的；对视差图的感兴趣区域利用最小二乘法直线拟合实现对前景区域的视差优化，呈现较为完整的前景视差图。

算法说明：算法中第2、3、4步为算法前半段，按行扫描二值化前景区域，记录连续不间断白色像素点数大于n（阈值）的所有连续点的像素坐标，得坐标集 V。

这部分是对前景图进行处理，获取感兴趣区域的像素坐标集V，其中V只是记录下感兴趣区域的各个像素的坐标值，由于左视图、视差图以及前景图中的感兴趣区域是一样的，所以V也是一样的。

2.3 算法优缺点
该算法是针对前景区域的局部视差优化算法，其优缺点明显，该算法的优点：算法相对简单，运算复杂度底；能克服纹理性差等因素造成的影响，生成完整的感兴趣区域视差；算法只对视差进行优化，对前面的匹配等过程不造成影响；对三维点云
有间接优化作用，生成更多有效的三维点，有助于三维重建与三维测距。

算法的缺点：适用场合有限；算法存在一定的误差，不满足高精度要求；会增加有效视差图生成的时间复杂度。

3 实验结果与分析
实验过程可以分为两部分：第一部分，感兴趣区域提取，即前景检测和提取；第二部分，基于感兴趣区域的视差优化。

前景区域提取实验图如图2(a)、2(b)所示，利用帧差法获得前景二值化图，接着对二值化图采用形态学最大连通域法有效去除黑斑，最后利用淹模法获得前景真实像素图。

图2(a) 前景提取效果图
图2(b) 前景提取效果图
图3(a) 没优化效果图
图3(b) 优化后效果图
在获得感兴趣区域后（如图 2(b)所示），利用本文提出的基于前景的视差优化算法，对视差图进行优化，得到较为完整的感兴趣区域视差图，其他非感兴趣区域不处理，如图3(b)所示。

作为对比，图3(a)为没有采用本文提出的基于前景检测的视差优化算法，生成的视差图。

对比可以明显看出本文提出的算法在视差优化方面显著的效果。

[1]章毓晋.图像工程[M].北京:清华大学出版社, 2006.
[2]伊传历,刘冬梅,宋建中.改进的基于图像分割的立体匹配算法[J].计算机工程. 2008.
[3]Daniel Scharstein, Richard Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002, 47(1/2/3): 7-42.
[4]Boykow Y, Kolmogorov V. An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision [J].IEEE Transaction on Pattern Analysis and Machine Intelligence, 2004, 26(9): 1124-1137.
[5]Bleyer M, Gelautz M. A layered stereo algorithm using segmentation and global visibility constraions[J].ISPRS Journal of Photogrammetry and Remote Sensing,2005,59(3): 128-150.
[6]Bleyer M, Gelautz M. Graph-cut-based stereo matching using image segmentation with symmetrical treatment of occlusions[J].Signal Processing Image Communication. 2007,22(2): 127-143.
[7]Asmaa Hosni, Michael Bleyer, Margrit Gelautz, Christoph Rhemann. Local stereo matching using geodesic support weights-In international conference on image processing[J]2009. TR-188-2-2009-08.
[8]Qingxiong Yang, Liang Wang, Ruigang Yang, Henrik Stewenius,and David Nister, Stereo Matching with Color-Weighted Correlation, Hierarchical Belief Propagation, and Occlusion Handling, In IEEE Transactions on Pattern Analysis and Machine
Intelligence[J].2009Vol.31,No.3, 492-504.
[9]Xiaoyong Lin, Yu Liu and Wenzhan Dai. Study of Occlusions Problem in Stereo Vision. In IEEE Proceedings of the 7th World Congress on Intelligent Control and Automation. [C].2008, 5062-5067.。