一种新的基于Kruppa方程的摄像机自标定方法

2 基于 Kruppa 方程的摄像机自标定 技术的简要回顾
本文中 ,假设摄像机的模型是常用的针孔模型. 因此从三维空间点 X = ( x , y , z , 1) T到二维图像点 m = ( u , v ,1) T的成像关系可以表示为
m K[ R | t ] X
(1)
f u γ u0
其中 K = 0 f v v0 是摄像机的内参数矩阵 ,
Keywords Kruppa equation ; camera self2calibration ;genetic algorit hm ;L M (Levenberg2Marquardt) algorit hm
1 引 言
摄像机标定是计算机视觉研究中从二维图像中 提取三维信息所不可缺少的步骤. 自从 Maybank 与 Faugeras 在 1992 年首次提出摄像机自标定的概念
0 -1 0 地有[ e′] × U MU T , 其中 M = 1 0 0 . 因
000
此方程 (2) 可以改写成 FCF T = s′U M U T CU M T U T ,
通过代入 F 的 SVD 分解形式可以进一步简化为
DV T CVD T = s′M U T CU M T
(4)
将公式 ( 4) 的 两 端 乘 开 , 我 们 便 可 以 得 到 简 化 的
收稿日期 :2001207209 ;修改稿收到日期 :2003203217. 雷 成 ,男 ,1973 年生 ,博士 ,主要研究方向为摄像机标定 、三维重建和遗传算法. 胡占义 ,男 ,1961 年生 ,博士 ,研究员 ,博士生导师 ,主要研究方向为摄像机标定 、三维重建 、主动视觉 、几何基元提取 、机器人导航 、基于图 像的建模和绘制. E2mail : huzy @nlpr. ia. ac. cn. 吴福朝 ,男 ,1957 年生 ,研究员 ,博士生导师 ,主要研究方向为 3D 重建 、主动视觉 、基于图 像的建模和绘制. TSUI H T ,男 ,教授 ,博士生导师 ,目前感兴趣的研究领域是计算机视觉 、主动视觉 、机器人视觉系统 、3D 物体识别等.
以来[1 ] , 它已经成为目前计算机视觉研究的一个重 要研究方向. 总的来说 ,各种摄像机自标定算法通常 均需要利用这样的性质 ,即绝对二次曲线 (AC) 或其 对偶2绝对二次曲面 (AQ) 在图像中的像 ( IAC) 或其 对偶的位置与摄像机的刚体运动无关 、而只与摄像 机的内参数有关来进行标定. 在文献中提出的第一
588
计 算 机 学 报
2003 年
种摄像机自标定方法中 ,人们是利用由 IAC 的对极 几何关系所推导出的 Kruppa 方程所提供的关于 IAC 的约束 , 通过确定 IAC 来标定摄像机内参数 的. 但实践中发现基于 Kruppa 方程的摄像机标定方 法并不十分鲁棒 ,为此人们又提出了很多更为鲁棒 的自标定算法 ,但大多需要作一些基于摄像机先验 知识的假设 ,或者对摄像机的运动 ,或对所拍摄的场 景有一些特殊的要求. 而在某些情况下 ,我们又不可 避免地需要利用 Kruppa 方程来进行摄像机标定 ,因 此对如何提高基于 Kruppa 方程的摄像机标定算法 的鲁棒性和实用性仍有着很重要的意义.
Kruppa 方程[3 ,4 ]如下 :
5期
雷 成等 :一种新的基于 Kruppa 方程的摄像机自标定方法
589
(σ1F) 2 v1T Cv1 σ1Fσ2F v2T Cv1
σ1Fσ2F v1T Cv2 (σ2F) 2 v2T Cv2
0 0 =
0
0
0
u1T Cu1 - u1T Cu2 0
s′ - u2T Cu1 u2T Cu2 0
0 - t3
t2
[ t ]× =
t3
0 - t1
- t2
t1
0
通过消去其中的比例因子 s , 我们可以得到如下的
等比方程 :
( FC F T) 11
( [ e′] ×C[ e′] T×) 11
=
( FCF T) 12
( [ e′] ×C[ e′] T×) 12
=
( FC F T) 13
( [ e′] ×C[ e′] T×) 13
001
R , t 是摄像机坐标系相对于世界坐标系的旋转矩 阵与平移向量 ,符号“ ”表示在相差一个比例因子 意义下的相等.
给定在两个不同位置上所拍摄的两幅图像 (假
设摄像机的内参数保持不变) ,根据两幅图像中绝对
二次曲线的像 ( IAC) 之间的对极几何关系 ,我们可以
推导出如下公式 (具体推导方法可参阅文献[4～6 ]) :
关键词 Kruppa 方程 ;摄像机自标定 ;遗传算法 ;L M 算法 中图法分类号 TP391
A Novel Camera Self2Calibration Technique Based on the Kruppa Equations
L EI Cheng1) ,2) HU Zhan2Yi1) WU Fu2Chao1) TSU I H T2)
第 26 卷 第 5 期 2003 年 5 月
计 算 机 学 报 CHIN ESE J OU RNAL OF COM PU TERS
Vol. 26 No. 5
May 2003
一种新的基于 Kruppa 方程的摄像机自标定方法
雷
成1) ,2)
胡占义1)
吴福朝1)
TSU I
H
Abstract Concept ually speaking , nearly all t he self2calibration techniques reported in t he literat ure can be classified as eit her t he absolute conic based ones or t he absolute quadric based ones , and all such techniques rely on t he so2called Kruppa equation or it s variant s implicitly or explicitly. The key prob2 lem in t he Kruppa equations (at least 3 for calibrating a f ull perspective camera) resides in t heir associ2 ated unknown scale factors t hat make t he calibration problem inherently non2linear , and not robust . In t his paper , a two2step camera self2calibration technique is proposed. In t he new technique , t he un2 known scale factors f rom t he Kruppa equations is eliminated as t hose in t he literat ure. Instead , first t he unknown scale factors are determined via a genetic algorit hm or L M algorit hm. Then t he camera int rinsic parameters are computed by a linear met hod wit h t he scale factors obtained in t he first step . Extensive simulations as well as experiment s wit h real images show t he new technique can substantially improve t he robust ness aspect and increase t he calibration accuracy.
(5)
0
0
0
相应地 ,公式 (3) 将变为
(σ1F) 2 v1T Cv1
u1T Cu1
=
σ1Fσ2F v1T Cv2
- u1T Cu2
=
(σ2F) 2 v2T Cv2
u2T Cu2
(6)
由公式(6) ,很明显地可以看出 ,一个基本矩阵最多可
以提供关于矩阵 C 的 5 个未知元素的两个独立约束.
因此 ,至少需要 3 幅图像 ,即 3 个基本矩阵 ,才可以求解
束来进行标定的.
另一方面 , 根据文献 [3 , 4 ] , 利用基本矩阵的
SVD 分解 ,我们可以得到更为简化的 Kruppa 方程.
2
∑ 令基本矩阵 F 的 SVD 分解为 F = UDV T = σiF ui
i =1
v
T i
,
其中 σiF是
F
的第
iBaidu Nhomakorabea
个奇异值 ,
ui和
vi 是相应的
左右奇异向量. 由于 e′ u3 U·0 0 1 T , 相应
1() N ational L aboratory of Pattern Recognition , I nstit ute of A utom ation , Chi nese Academy of Sciences , Beiji ng 100080) 2() Depart ment of Elect ronic and Engi neeri ng , The Chi nese U niversity of Hong Kong , Hong Kong)
2)
T
1()中国科学院自动化研究所模式识别国家重点实验室 北京 100080)
2()香港中文大学电子工程系 香港)
摘 要 主要针对传统的基于 Kruppa 方程的摄像机自标定算法的欠鲁棒性提出了一种新的二步式标定方法. 在 新标定方法中 ,首先利用传统的 L M 优化算法或遗传算法求解出 Kruppa 方程中通常需要被消去的比例因子 ,然后 再利用线性方法完成对摄像机的标定. 大量的仿真和真实图像实验表明 ,该方法可以大大提高基于 Kruppa 方程标 定算法的鲁棒性及标定精度.
利用求解 Kruppa 方程来进行摄像机自标定其 本质上为非线性问题的根本原因在于方程中的未知 比例因子. 截止到目前 ,文献中所报道的求解方法 , 例如 L uong 和 Faugeras[2 ] 的 homotopy continuation 方法和基于特定代价函数的非线性最小二乘优化算 法 (如 L M 方法) ,均需要通过取 Kruppa 矩阵方程中 元素之间比值的方法消去未知比例因子. 另外 , Lourakis 等人利用基本矩阵奇异值分解 ( SVD 分解) 形式 ,对原有的 Kruppa 方程进行了简化[3 ] . 这些方 法均需要对摄像机的内参数作一些假设 ,在通过上 述假设来获得所要标定的内参数的初值后 ,再利用 一些传统的非线性优化算法对由 Kruppa 方程所提 供的代价函数进行优化 ,这样才能完成最终的标定 任务. 但是在某些情况下 ,上述假设未必一定成立 , 同时目前所给出的用于确定初始值的方法并不十分 鲁棒 ,而偏离真实值过远的初始值很可能会使非线 性算法收敛到不正确的标定结果上. 因此 ,针对传统 方法中的上述问题 ,本文探讨了一种新的求解 Kruppa 方程的途径 ,并在此基础上提出了一种新的 二步式摄像机标定方法.
FC F T = s [ e′] × C[ e′] T×
(2)
方程 ( 2) 便是矩阵形式的 Kruppa 方程 , 其中 C = K KT , s 是未知的正比例因子 , F 和 e′是两幅图像 间的基本矩阵以及第二幅图像中的极点. 矩阵 [ t ] ×
则是对应于向量 t = ( t1 , t2 , t3) T以如下形式定义的 反对称矩阵 :
=
( FCF T) 22
( [ e′] ×C[ e′] T×) 22
=
( FC F T) 23
( [ e′] ×C[ e′] T×) 23
=
( FCF T) 33
( [ e′] ×C[ e′] T×) 33
(3)
传统的基于 Kruppa 方程的标定方法大多均是利用
上述等比方程所提供的对 C 矩阵元素的非线性约