基于极线约束的双目图像匀光校正方法

基于极线约束的双目图像匀光校正方法
作者：任宏刘培勋
来源：《内蒙古教育·科研版》2018年第07期
摘要：因受光不均、成像系统电子学、光学特性不一致等因素影响，双目图像间会存在亮度差异，导致立体匹配错误。

针对这一问题，本文提出了一种新的全局——局部相结合的双目图像匀光校正算法，该方法参考全局信息校正亮度的增减，参考局部信息确定亮度的离散。

通过减少无关匹配点对亮度校正的干扰，使相关性更强的参考量参与计算。

首先用标定获得双目相机内外参数，并对图像进行极线校正使对应行对齐，再根据对应行间的亮度特征用最小二乘法计算出图像全局的亮度差异，最后对全局校正后的图像进行行亮度校正。

与几种传统的全局匀光校正方法进行对比实验，结果表明，该方法在对整幅图像亮度校正的同时，能够保持被校图像的细节信息，同时可有效提高立体匹配准确度。

处理后实验图像平均匹配误差比未处理图像降低约70%。

关键词：亮度校正;Wallis变换;极线几何;双目立体
【中图分类号】G 【文献标识码】B 【文章编号】1008-1216（2018）07B-0034-03
双目立体视觉是计算机视觉的重要组成部分，高精度的双目视觉在自主导航、目标跟踪、三维重建等领域被广泛应用。

对于大部分立体视觉系统，立体匹配是决定精度的最关键步骤。

像素灰度作为图像的最基本特征，广泛应用于多种立体匹配算法，它是一种对亮度变化比较敏感的特征。

受光照不均、成像系统电子学、光学特性不一致等因素影响，使得同一物点在不同相机获得的图像上灰度有一定的差别，这样的图像作为立体匹配输入会引起误匹配。

一般立体视觉标定技术只能修正图像的几何误差，不能消除灰度差异，因此，本文提出了一种针对双目系统的图像匀光校正方法，用于校正图像上对应像素间的灰度差异。

一、匀光算法研究现状
多幅图像亮度一致化方法大体可以分为三类，包括基于直方图的匀光方法、基于模型的匀光方法，还有基于统计学的匀光方法。

基于直方图的方法通过一致化直方图分布来降低图像间的亮度差异，如Sridharan提出的一种直方图匹配算法，常淑华等提出的一种直方图均衡化方法，王密等提出当图像差异较大时，基于直方图的匹配方法会改变原有的图像内部特征，容易造成偏色现象。

基于模型的匀光方法采用基于照度或反射模型的原理，常用的方法有Mask和Retinex匀光算法，Mask方法会降低图像较暗区域的对比度，增强亮区域的对比度，Retinex方法对图像边缘有增强效果，但会降低图像对比度。

基于统计的匀光方法从整体上考虑亮度一致性，但不能很好地反映细节亮度分布，在局部区域仍存在亮度差异，具有代表性的包括基于Wallis变换的匀光算法，信息熵匹配。

以上方法计算的参考特征都是通过全局图像计算得到的，虽然通过整幅图像计算得到结果能够反映全局亮度信息，但会导致局部灰度信息淹没于全局信息中，产生全局亮度差异减小而局部差异增大的结果。

因此，如何能够在降低图像间亮度差异的同时，尽量保持图像的原有信息是双目匀光校正算法研究的重点。

不同于其他匀光校正应用，双目视觉系统本身存在无关光照变化的极线几何约束，这是一种行对行的约束。

因此提出了一种使用全局——局部相结合的双目匀光校正方法，通过全局校正亮度的增减，局部确定亮度的离散，通过降低无关匹配点对亮度校正的干扰，使相关性更强的参考量参与计算。

二、两步匀光校正方法
（一）极线校正方法和原理
双目成像系统由两个针孔成像系统组成，如图1（a）和（b）所示。

双目成像系统中左相机的光心C在右相机像平面上的投影称为右极点e，左极点同理记作e'，3D点X被投影到两个图像平面上，分别记作x、x'， XCC'构成的平面称为极平面，CC'C称为基线，xe称为左极线，x'e'称为右极线，极线约束定义为某相机像点的共轭点一定在另一相机对应的极线上。

当左相机光心位于右相机的焦平面内，同时右相机光心位于左相机的焦平面内，此时左右极点分别投影到无穷远处，基线位于两个相机焦平面内，同时与像面平行。

在这种情况下，两相机的极线均为水平的平行线。

极线校正可以将图像对应的极线水平方向共线，消除垂直方向的视差。

通过极线约束可以使立体匹配的运算量从搜索整个像面降低到只搜索极线对应的行，在匹配时只需要搜索对应行就可以确定匹配点，极大地提高了匹配效率。

假设通过标定得到的相机坐标系间的旋转矩阵为R，平移矩阵为T，极线校正可以通过以下步骤实现：
（1）左右相机分别旋转±R1/2，使两相机的光轴平行，但像面与基线不平行;
（2）构造旋转矩阵Q=[q1T q2T q3T]T使两像面与基线平行：
（a）通过平移向量确定基线方向向量q1，q2=（C-C'）/‖C-C'‖=T/‖T‖;
（b）通过q1与图像光轴方向向量k确定图像竖直方向向量，q2=k×q1;
（c）新的光轴方向向量q3与q1、q2正交，q3=q1×q2。

通过上述两次旋转，左右相机的坐标系能够实现像面与基线平行，并且水平轴共线，达到了极线校正行对齐的目的。

（二）极线约束下的匀光变换方法和原理
图像的灰度均值能够反映其亮度和色调，标准差能够反映灰度的动态范围。

一般情况下，同一空间点在双目相机中成像灰度应该一致，具有近似的色调、亮度和灰度动态范围，即应该具有近似的灰度均值和标准差。

因此，以标准图像为基准，匀光校正的结果应该是两幅图像均值和标准差一致，这是灰度一致的必要条件。

以极线亮度特征为基准，校正对应极线上像素的亮度，能够降低无关匹配点对亮度校正过程的干扰，突出相关性更强的参考量在局部匹配中的作用。

极线约束下的匀光校正方法步骤如下：
（1）双目标确定相机内外参数;
（2）通过标定参数对输入图像做极线校正，使对应行对齐;
（3）将双目图像间的亮度关系定义为线性模型。