一种无相机标定的极线校正新方法

—247—

一种无相机标定的极线校正新方法

杨秀丽，窦 燕，孔令富

(燕山大学信息科学与工程学院，秦皇岛 066004)

摘 要：提出一种无相机标定的立体图像对的极线校正新方法。该校正方法并不依赖基本矩阵F 的精确求解，而是通过空间变换法分析校正前后图像点对应关系，依此分解并参数化描述极线变换矩阵，直接利用极线方程和图像的对应点集建立误差平方和函数，并运用非线性最小二乘法求解，使该函数取得最小值的变换参数。实验证明，该校正方法能够较好地消除垂直视差，图像产生的变形较小。 关键词：极线几何；基础矩阵；立体图像对；投影几何

New Uncalibrated Epipolar Rectification Method

YANG Xiu-li, DOU Yan, KONG Ling-fu

(School of Information Science and Engineering, Yanshan University, Qinhuangdao 066004)

【Abstract 】A new image rectification method deals with the problem of epipolar rectification in the uncalibrated case is proposed. It is implemented without explicit computation of the epipolar geometry or fundamental matrix. It decomposes the transformation matrix into more simple form and using least-squares method to solve the function of sum of square errors based on the set of correspondence points. Related experiments show that the proposed method can rectify the image pairs fast and accurately, and the image distortion induced is little. 【Key words 】epipolar geometry; fundamental matrix; stereo image pairs; projection geometry

计 算 机 工 程Computer Engineering 第34卷 第20期

Vol.34 No.20 2008年10月

October 2008

·图形图像处理· 文章编号：1000—3428(2008)20—0247—02

文献标识码：A

中图分类号：TP393

1 概述

在立体视觉实际应用研究中，为降低立体匹配难度，对图像对进行校正不可避免。图像校正则是通过对每一幅图像平面应用2D 变换，使得变换后的图像对间极线几何得以简化，对应点只在水平方向存在视差。

图像对校正有相机标定[1-2]和弱标定[3-6]2种情况下。相机标定情况下的图像对校正是一种理想情况，可根据透视投影变换进行校正，现有方法能够很好地解决。无相机标定的立体视觉具有更大的适应性，是立体视觉的重要研究领域。弱标定是指无相机标定，校正的前提是已知一系列图像对间的对应点坐标。已有校正方法多是基于图像的投影几何获得的，先求解图像的基本矩阵和相机参数信息，再通过几何变换将极点变换到水平无穷远处。本文中运用空间变换的方法求解校正前后坐标点的对应关系矩阵，通过对应点坐标建立误差方程，利用最小二乘法求解变换矩阵参数。

2 极线几何

2.1 校正前极线几何

双目立体视觉成像系统由2个针孔摄像机构成，见图1。

l ’

图1 校正前极线几何

C 1和C 2为2个摄像机的光心，三维空间点P 经过光心投影到图像平面R 1和R 2上，投影点分别为m 和m ′。在R 1上任取一点m ，其对应点m ′必位于由m 和2个摄像机光心的几何位置所确定的极平面P 与图像平面R 2的交线l ′上，l ′称为m 的对应极线，这就是极线约束。设u 和u ′分别是对应点m 和m ′的图像齐次坐标表示，根据极线约束，它们满足以下关系式：

T 0

u u ′=F (1)

其中，F 是原图像的基本矩阵。

2.2 校正后极线几何

设H 和H ′分别为有序图像对J 和J ′的极线校正矩阵，m 和m

′为图像对上的对应点，经校正变换后为ˆm 和ˆm ′，有 ˆu

u =H ,ˆu u ′′′=H (2) 校正后所有极线相互平行且水平，对应点间只水平方向上存在视差，极点位于水平方向上的无穷远处，即ˆe =ˆe ′=

T [100]；校正后图像对间基本矩阵为

00ˆˆ[]0

010

1

0e ⎡⎤

⎢⎥==−⎢⎥⎢⎥⎣⎦

F (3)

校正后图像对的极线方程为

T T ˆ()0u F

u ′′=H H (4) 该方程对于任一对应点对均应成立，因而可以获得关于

未知矩阵H 和H ′的非线性方程系统。

基金项目：国家“863”计划基金资助项目(2006AA04Z212) 作者简介：杨秀丽(1982－)，女，硕士研究生，主研方向：机器视觉，图像处理；窦 燕，副教授、博士研究生；孔令富，教授、博士生

导师

收稿日期：2007-12-07 E-mail ：y_xl163@

—248

—3 校正方法

3.1 空间变换法分析校正前后图像点关系

校正的关键在于根据校正前后图像对的已知信息和特有性质求取出满足一定要求的极线变换矩阵H 和H ′。

一个3D 空间点P 经针孔相机在图像I 上成像点p ，必须经过3个步骤来完成：

(1)一个3D 刚性变换(rigid displacement)，即欧式变换，实现世界坐标系与相机坐标系的重合，将世界坐标系中的点P 变换到相机坐标系下；

(2)一个3D 到2D 透视投影变换；

(3)一个2D 到2D 的仿射变换，实现物理坐标到像素坐标的变换。

因此，空间点P 与对应的像素点p 间满足如下关系：

00/010000/0100010

010010u u f k u R t f k v ⎡⎤⎡⎤

⎡⎤⎢⎥⎢⎥==×⎢⎥

⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦⎣⎦

p KIDP P (5)

其中，()

T

1x

y z =P ，()

T

1u

v

=P

，矩阵D 是相机外参数

矩阵，有6个相关参数；R , t 分别为旋转和平移量；K 为相机

内参矩阵，显然K 可逆；令−I 表示矩阵I 的广义逆矩阵，

()1

H H

−−=×I I I I ，则有

1(),n n Y Y Y C λ−−−×=+−∈DP I K p I I (6)

DP 便是原相机坐标系的P 点坐标表示。

校正过程是：相机光心位置不变，假定左右相机分别绕

光心进行旋转，使得两光轴平行，校正过程不影响摄像机内

参数矩阵，校正后图像中对应点只在水平方向存在视差。

左相机校正过程如下：

假定其绕相机光心旋转矩阵为

00

1l

R ⎡⎤=⎢⎥⎣⎦

A ，则原左相机

坐标系下的点l D P 变换到虚拟的新坐标系下，然后该点经新的虚拟相机成像于校正后图像平面，由左乘l K I 实现。此

时，校正后像点n l l =p K IA D P ，将式(6)代入得

1()()n l l o l p

A p I Y λ−−−=+− K I I K K A E I I (7) 其中，E 是4阶单位阵。经简化计算，式(7)可以化简为

1n l l l o p

R p λ−=K K 其中，o p

,n p 分别是校正前后对应像素点的齐次坐标表示。 3.2 极线变换矩阵H 和H ′的分解和参数化 可将左右极线变换矩阵分解为以下形式 111l −H =K R K , 21

2r −′=H K R K (8)

其中，K i (i =1, 2)分别是左右相机的内参矩阵；为实现图像校

正需将左右相机绕光心进行旋转，

R l 和R r 分别是左右相机的旋转矩阵。将分解后的H 和H ′代入式(4)中，得

T T T T

22111ˆ([])0r l e

u −×−′=u K R K K R K (9) 3.3 必要的化简

虽然原有相机参数和左右相机的旋转矩阵均为未知量，

但可假定左右相机具有相同内参矩阵，即K 1和K 2相等。在

此条件下，易证T 21ˆ[]e

×K K 在相差一个非零数量因子的情况下等于ˆ[]e ×，因此在式(9)的计算中，可以消去T 2K 和K 1 2项。此时式(9)可以化简为 T T T 211ˆ([])0r l e u −×−′=u K R R K (10) 对左右旋转矩阵R l 和R r 进一步分解，旋转过程分解为： (1)绕各自的Y 轴分别旋转β1和β2角度，使得2个相机的焦平面包含基线，此时极点位于无穷远处，2个图像平面内极线平行于各自的X 轴，即此时焦平面是原有Y 轴和基线确定的平面。

(2)绕各自的Z 轴旋转α1和α2角度，使得摄像机X 轴与基线重合，此时2个图像平面内所有极线平行于基线。

(3)绕X 轴旋转，使得两图像平面重合，则此时的图像对得到校正。

其中，绕X 轴旋转时，假定2个图像平面间夹角是Φ角度，则2个相机分别绕各自的X 轴旋转θ和-(Φ-θ)角度即可重合。实验证明，θ=Φ/2时即可简化计算，且校正精度最高，图像对变形较小。

11111111100cos sin 0cos 0sin 0cos(/2)sin(/2)sin cos 00100sin(/2)cos(/2)001sin 0cos l l z lx ly ααββφφααφφββ××−⎡⎤⎡⎤⎡⎤

⎢⎥⎢⎥⎢⎥−⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥−⎣⎦⎣⎦⎣

⎦==

R R R R (11)

22222222100cos sin 0cos 0sin 0cos(/2)sin(/2)sin cos 00100sin(/2)cos(/2)001sin 0cos r rx rz ry ααββφφααφφββ××−⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥−−−⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥−−−⎣⎦⎣⎦⎣⎦==

R R R R (12) T

000

ˆ[]0

sin()cos()0

cos()

sin()l rx x e φφφφ×⎡⎤

⎢⎥=−−⎢⎥

⎢⎥−⎣⎦

R R (13) 现在极线变换矩阵依赖于未知的相机内参数和5个未知

旋转角度。对于相机内参数矩阵，可以结合已有的先验知识，假定无畸变，相机主点在图像平面的中心，像素物理长宽比等于1，则此时余下的未知量是2个相机的焦距f ，假定左右相机焦距相等，得到 0

012000

/20

/20

1f w f h ⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦

K K 其中，w 0和h 0分别是图像的宽和高，在读入图像时即可获得；f 0是像素单位的焦距长度，根据文献[7]，以像素为单位的焦距值的估计值在[1/3(w 0+h 0),3(w 0+h 0)]区间内，则000/()f h w +取值范围为[1/3, 3]，用变量a f 表示。将上述各

参数化后的矩阵代入式(4)得到函数112(,,,F αβα2,,)0a f βφ=，因

为该方程对所有的对应点对i m 和i m ′(i =1, 2,…,N )均成立，

所以误差平方和函数为 2

1

()[(,|)0]

N

i

i

i

i E F =′=

−∑p u u p (14)

用非线性最小二乘法算出使误差平方和函数取得最小值

的参数[]T 1122a f φ=p αβαβ，其中，[]T 1i i i ′′′=u μν，

[]1i i i =u μν，是对应点对的齐次坐标，各变量取值范围

[-π/2,-π/2,-π/2, -π/2,-π/2,1/3]~[π/2,π/2,π/2,π/2,π/2,3]。

3.4 计算极线变换矩阵H 和H ′

利用最小二乘法求出各个参数后，运用式(8)中等式来获得极线变换矩阵。

4 实验验证

为了对提出的校正方法进行检验，对文献[6]中的图像对

和实际拍摄的图像对分别进行了校正，校正前先手动选取了

10个~20个对应点作为输入数据。部分实验结果如图2所示，

图2(a)是原图像对，图2(b)为文献[6]中给出的采用极坐标校

正方法的校正结果，图2(c)为采用本文校正方法的校正结果，

且图中已标示出选取的对应点及校正前后的极线。评价校正算法优劣的3个因素是校正精度、图像变形和校正速度。校正精度用校正后对应点间平均垂直视差衡量，运用本文方法获得的平均垂直视差是0.106。图像变形主要指透视变形和图 (下转第251页)