用于3维重建的立体图像校正_刘怡光

根据对极约束的基本原理，易知对于一幅图像
中的一个点 u，在另一幅图像中与其对应的匹配点
u' 一定位于与点 u 对应的对极线 l' 上。由此可见，
只需要对齐 2 幅图像的对应极线，便可以简化立体
匹配问题，将匹配的搜索范围从 2 维降到了 1 维。
文中算法步骤如下： 1） 提取 SIFT［9］特征点并匹配； 2） 使用 RANSAC［10］剔除离群匹配点； 3） 选用归一化八点算法［11］计算基础矩阵 F；
用于 3 维重建的立体图像校正
刘怡光，孙柏林* ，石勇涛，黄增喜，赵晨晖
（ 四川大学 计算机学院，四川 成都 610065）
摘 要： 传统的图像校正方法通过最小化匹配点间的距离作为目标函数引导图像校正，但往往会导致被校正图像
出现较大的失真变形，不仅无法为 3 维（ 3D） 重建提供信息，反而会带来额外的误差。为此提出一种无需相机标定
间满足基本极线方程：
u'TFu = 0
（ 1）
图 1 Hartley［4］方法与本文方法校正结果 Fig． 1 Hartley method and proposed method rectifica-
tion result
图 2 对极几何
Fig． 2 Epipolar geometry
对应于左右 2 幅图像的摄像机矩阵分别用 P、
作者提出一种基于基础矩阵分解的极线校正方 法，对视点差别很大的立体图像对分别施加不同的 单应变换，从而使得对应的对极线相互匹配，达到校 正的目的。假设摄像机的移动方向，即基线方向是 图像所在水平方向。基于以上假设，要求校正后的 对极线平行于 x 轴，从而图像的视差仅发生在 x 方 向，即 y 方向没有视差。分析对极几何的理论易知， 对 2 幅图像进行适当的单应变换来校正图片，等价 于调整相机相对位置，即简化成 1 对并排放置，且主 轴相互平行的摄像机。首先，将 1 幅图像的对极点 映射到无穷远点，求得对应的单应变换矩阵； 然后根 据双目图像的对应关系，推导出另一幅图像中的单 应矩阵的基本形式。考虑到利用匹配点对间的距离 来度量校正结果易致图像变形较大。点对间距离最 小化约束方法没有考虑因为摄像机方位的不同而造 成图像中相对的点之间的距离差异，如果强行约束 使得点对间距离最小，就是忽略了图像应有的视差， 在这样的约束下，图像的失真变形严重（ 图 1） 。
1 图像极线校正原理
1． 1 对极几何
对极几何［1］是双目立体视觉中 2 幅视图之间内
在的射影几何，如图 2 所示。2 幅图像之间的对极
几何关系用基础矩阵 F 来表示。假设 u 和 u' 分别表
示空间中的一点 U 在立体相对 J 和 J' 上的成像点的
齐次坐标，F 是秩为 2 的一个 3 × 3 矩阵，则它们之
第 45 卷 第 3 期
四川大学学报（ 工程科学版）
Vol． 45 No． 3
2013 年 5 月
JOURNAL OF SICHUAN UNIVERSITY （ ENGINEERING SCIENCE EDITION）
May 2013
文章编号： 1009-3087（ 2013） 03-0079-06
图像校正可以在相机标定［2］和无相机标定［3 － 7］ 的情况下进行。相机标定情况下的图像对校正是一 种理想情况，可根据透视投影变换进行校正，现有方 法能够很好地解决。未知相机参数情况下的校正， 即无相机标定的图像校正方法具有更大的实用性， 具有更深刻的研究意义。无相机标定情况下，已知 一系列图像对间的对应点坐标，就可以较为精确地 对像对进行校正。在无相机标定的立体图像对校正 算法中，Hartley 等［4］给出了未校准情况下图像校正 的理论推导，并提出一种平面投影矫正的方法，由于 算法以校正后图像匹配点对间距离最小化作为约束 条件，而 使 得 校 正 后 的 图 像 失 真 变 形 较 大。Loop 等［5］提出了基于基本矩阵的图像校正方法，但该方 法过分依赖于基本矩阵的精确求解，而由对应特征 点求取基本矩阵并没有较为稳定的算法，因此算法 性能并不稳定。Francesco 等［6］提出了一种只依赖
关键词： 立体视觉； 对极几何； 投影校正； 基础矩阵； 剪切变换
中图分类号： TP301； TP391
文献标志码： A
Stereo Image Rectification Suitable for 3D Reconstruction
LIU Yi-guang，SUN Bo-lin* ，SHI Yong-tao，HUANG Zeng-xi，ZHAO Chen-hui
于左右两幅图像的单应变换矩阵，分别对左右 2 幅
图片中的像素点进行对应的单应变换，变换后的点
用 x 和 x' 表示，即：
{x = Hu， x' = H'u'
（ 8）
经过校正后的 2 幅图片的对极点被移到了无穷 远点 （ 1，0，0） T，它们之间的基础矩阵有如下特殊形
式：
0 0 0
F = 0 0 － 1
收稿日期： 2012 － 12 － 12 基金项目： 国家自然科学基金资助项目（ 61173182； 61179071 ） ；
四川省科技厅资助项目 （ 2011JY0124； 2012HH0004； 2012HH0031； 2012GZ0095） 作者简介： 刘怡光（ 1972—） ，男，教授，博士． 研究方向： 图形图 像处理； 视觉计算； 智能系统． E-mail： liuyg@ scu． edu． cn． * 通信联系人
4） 计算映射到第 2 幅图像中的对极点 e' 到无
（ 9）
0 1 0
易知，校正后图像对的极线方程如下：
（ H'u'） T F（ Hu） = 0
（ 10）
图像单应校正的主要任务是计算 3 × 3 单应变
换矩阵 H 和 H'，满足式（ 10） 的单应矩阵 H 和 H' 并
不是惟一的，所以找出一个最优的解是任务的关键
所在。
2 无相机标定的双目图像矫正方法
立体视觉技术根据从不同角度获取的同一场景 的两张或多张图像来估计场景的 3D 结构，被广泛 地运用于机器人与车辆导航中。立体匹配，即找出 图像中对应于场景中同一视点的对应像素，是立体 视觉研究中的关键问题之一。为简化立体匹配问 题，基于对 极 几 何［1］ 的 相 关 理 论，提 出 了 图 像 的 极 线校正方法。通过校正消除图像在竖直方向的视 差，将立体匹配问题从 2 维降到了 1 维，从而加快了 匹配速度，提高了匹配精度。
P' 表示。一般来说，摄像机矩阵以如下分块方式表
示（ 其中，M 为一个3 × 3 的非奇异矩阵，p 为 3 × 1 矩
阵） ：
P = ［M | p］
（ 2）
虽然摄像机矩阵对可以惟一决定其 2 幅图像间
的基本矩阵，但反过来却不成立，即由基本矩阵来确 定摄像机 矩 阵 存 在 多 义 性［1］。 通 常 对 给 定 的 基 础
的关系：
{Fe = 0， FTe' = 0
（ 5）
等价的，对极点是在一幅视图中另一个摄像机
中心的像。在规范摄像机对中，左视图的摄像机中
心 C 位于世界原点，则 e' = P'C = m，即式（ 3） 等价
为：
F = ［e'］× M
（ 6）
对极线是对极平面与图像平面的交线，所有对
极线相交于对极点。一张对极平面与左右 2 幅图像
的图像校正方法，有效地保留图像因拍摄方位不同带来的视差，为 3D 重建提供所需的重要信息。方法首先利用立
体图像的对极匹配原理，推导出将 2 幅图像极线对齐到同一方向的变换，然后在此基础上引入使得图像纵横比保
持不变的剪切变换过程，有效地减小校正图像的几何变形。实验表明，该方法是一种鲁棒的图像校正方法。
通过分析 Hartley［4］和 Loop［5］等提出的方法，提 出了一种有效的简单而又高效的图像极线校正方 法，校正后的图像纵横比保持不变，校正图像与原始 图像相比，几何失真较小，同时保留了 3D 重建过程 中所需的基本视差信息。实验结果表明，使用所述 方法，校正 后 的 图 像 与 原 始 图 像 相 比，失 真 变 形 较 小，并且能够有效地运用于 3D 重建中，是一种实用 的鲁棒图像校正方法。
（ College of Computer Sci． ，Sichuan Univ． ，Chengdu 610065，China）
Abstract： Traditional image rectification mainly aims to minimizing the least-squares distance between the matching points，however， the rectification process may cause great geometric distortion，which not only makes it impossible to offer information for 3-dimensional reconstruction，but also results in extra errors． An improved algorithm was proposed which minimizes the distortion by combining a newly developed projective transform with a properly chosen shearing transform． Firstly，projective transformation was developed to make the polar lines of two images align to the same direction． Secondly，shear transformation was introduced to ensure the image aspect ratio remain constant． Experimental result demonstrated that the proposed method is quite robust and well qualified to the rectification for 3D reconstruction． Key words： stereo vision； epipolar geometry； projective rectification； fundamental matrix； shearin工程科学版）
第 45 卷
于匹配点对的图像校正方法，无需计算基本矩阵，校 正过程使用非线性优化计算矫正矩阵的相关参数， 但是存在初始值选取缺乏可信度，采用金字塔结构 的优化过程计算量很大的问题。Wu 等［8］认为利用 视差最小化来约束校正，是造成校正图像失真变形 的主要 原 因，在 Hartley［4］ 和 Loop［5］ 等 方 法 的 基 础 上，提出了一种利用几何误差来约束校正结果的方 法。
分别相交于对极线，用 l 和 l' 表示。由平面几何原
理易知：
{l' = Fu， l = FTu'
（ 7）
1． 2 极线校正
极线校正又称为投影校正、立体校正，是指通过
对两幅图像各进行一次单应变换，将立体图像对投
影到平行于基线的同一平面，从而使 2 幅图像对应
的极线在同一水平线上。假设 H 和 H' 分别为对应
矩阵定义摄像机矩阵对的一种特殊的规范形式，即
规定第一个摄像机矩阵 P = ［I | O］，I 为 3 × 3 的单
位矩阵，O 为 3 × 1 的零矩阵，则第 2 个摄像机矩阵表
示为 P' = ［M | m］。对应于规范摄像机矩阵的基本
矩阵如下：
F = ［m］× M
（ 3）
其中，［m］× 表示向量 m 所对应的斜对称矩阵，假设
第3 期
刘怡光，等： 用于 3 维重建的立体图像校正
81
m = （ m1 ，m2 ，m3 ） T，则［m］× 等价于如下形式：
0 － m3 m2
［m］× =
m3
0
－
m1
（ 4）
－ m2 m1
0
对极点是连接 2 个摄像机中心的直线（ 基线）
与图像平面的交点，左右 2 幅图像中的对极点分别
表示为 e 和 e'，基础矩阵 F 和对极点之间满足如下