一种基于单相机三维重建的简单方法

一种基于单相机三维重建的简单方法 3
杜 歆1 3 ;徐钢梅2 ;朱云芳3 ;王贻术1
1. 浙江大学信息与电子工程学系 ,杭州 310027 ; 2. 浙江大学医学院附属口腔医院 ,杭州 310006 ; 3. 上海豪威集成电路设计有限公司 ,上海 201203
摘 要 :提出了一种基于单相机三维重建的简单方法. 在待重建场景中放置一块平面标定模板 ,用内参数已知的摄像机拍摄
第8期
杜 歆 ;徐钢梅等 :一种基于单相机三维重建的简单方法
1919
2. 2 摄像机外参数求解
为了获得高精度的摄像机外部参数 , 我们在待 重建场景中放置平面定标模板 , 获取二幅不同时刻 的视图 ,其本质上相当于实现了一个内参数一致但 外参数可自由调节的双目立体视觉系统. 为了描述
方便又不至引起混淆 , 仍称这二幅不同时刻拍摄的 视图为 IL 、IR . 我们 提取 标定 模板 上的 Harris 角 点[8 ] 作为控制点 , 计算拍摄 IL 、I R 时摄像机的外参 数.
目前流行的基于计算机视觉的三维重建方法大 致可分为二类 : 立体视觉方法和运动恢复结构 ( st ruct ure f ro m motio n) 方法. 其中立体视觉方法采 用二个或多个摄像机 ,通过立体匹配求得的视差 ,根 据三角测量原理来恢复空间点的三维信息. 而运动
恢复结构的方法往往采用自标定技术 ,只需从单个 摄像机拍摄的图像序列中即可直接恢复出摄像机运 动和场景结构. 但由于自标定的稳定性以及对场景 的依赖等原因 ,目前基于运动恢复结构方法的三维 重建精度还不高.
不同角度的二幅图像 ,利用场景中的标定模板精确地求解出拍摄时摄像机的外参数 ,并以此为基础进行立体标定 、配准和匹
配 ,得到视差图进而实现欧式几何意义下的三维重建. 实验结果表明 ,提出的算法实现简单 、配置灵活 ,具有较强的实用性.
关键词 :立体视觉 ;三维重建 ;摄像机标定 ;外部参数
中图分类号 :TP391. 4
2 算法描述
本文提出的算法与立体视觉原理类似 ,不同的 是立体视觉是在已知二个摄像机间相对位置的情况 下进行三维重建 ,而本方法要首先要求解出序列图 像拍摄时由 R 和 t 描述的摄像机运动 ,然后将其构 成普通立体视觉方法同样处理. 如图 3 所示 ,对于三 维世界坐标点 w ,在位置 c 成像于 m ,此后相机经过 了由 R 和 t 描述的旋转 、平移运动后到了位置 c’,此 时 w 点成像于 m ’,则 m 和 m ’即构成了一对对应 点.
RL
R
-1 R
t
R
2. 3 立体图像配准
首先将旋转矩阵 R 用旋转向量ω = [ωx ,ωy ,
ωz ] T 等 价 描 述 , 二 者 之 间 的 关 系 由 罗 得 里 克
( Ro drigues) 公式给出[2 ] .
R = e[ω]x
=
I3
+
sθi nθ[ω] x
+1
ห้องสมุดไป่ตู้- co θ2
sθ[ω]2x
1918
传 感 技 术 学 报
2007 年
内参数已知的单个相机拍摄二幅不同视角的同时包 括场景和模板的图像 ,利用场景中的标定模板来精 确的求解出拍摄时摄像机的外参数 ,并以此为基础 进行立体定标 、图像校正和匹配 ,得到视差图进而实 现欧氏几何意义下的三维重建.
1 摄像机模型与极线几何
D U X i n1 3 , X U Gan g2mei2 , Z H U Y un2f an g3 , W A N G Yi2s h u1
1. De part ment of I n f orm ation an d Elect ronics , Zhej i ang Uni versit y , H an gz hou 310027 , Chi na; 2. S tomatolog y hos pit al , Zhej i an g uni versit y colle ge of me dici ne , H an gz hou 310006 , Chi na; 3. S hang hai Om niV ision I C Desi gn Co. , L t d. , S hang hai 201203 , Chi na
其中 ,λ =
1 ‖A - 1 h1
‖
=
1 ‖A - 1
h2
‖.
用上述方法 , 可分别获得拍摄 IL 、IR 时摄像机
的外参数 R L 、tL 和 R R 、tR , 进而得到拍摄 IR 时摄像
机相对于拍摄 I L 时的旋转矩阵 R 和平移向量 t [2] :
R
=
RL
R
-1 R
(7)
t = tL -
P = A[ R | t]
(2)
(2) 式中 , R 和 t 分别为摄像机坐标系在世界坐标系
中的旋转矩阵和平移矢量 , A 为一个仅与摄像机的
内部参数有关的矩阵 ,具有以下形式 :
αu γ u0
A = 0 αv v0
(3)
001 (3) 式中 , au = - f k u 、av = - f k v ( ku 和 k v 为横 、方向 的尺度因子) 为焦距在水平和垂直方向的长度 ( 单 位为象素) , ( u0 , v0 ) 为图像的中心坐标 ,γ为倾斜因 子. 1. 2 极线几何
图 1 针孔摄像机模型
设空间点 w 为 w = [ X , Y , Z] T ,图像平面上的 点 m 为 m = [ u , v ] T ,则 w 和 m 存在如下投影变换关 系:
m = Pw
(1)
(1) 式中 , P 为空间点到图像平面的投影矩阵 , m 和
w 分别为 m 和 w 的齐次坐标表示. 投影矩阵 P 可进 一步分解为 :
由于采用了平面模板 , 因此控制点坐标中 Z =
0. 记旋转矩阵 R 的第 i 列为 ri ,结合 (1) 式可得 :
X
u
X
Y
s v = A [ r1 r2 r3 t ]
= A [ r1 r2 t ] Y
(4)
0
v
1
1
模板 平 面 上 的 点 与 其 像 点 可 通 过 单 应 性
( Ho mo grap hy) 矩阵 H 联系起来[7 ] :
文献标识码 :A 文章编号 :100421699( 2007) 0821917204
三维重建在计算机视觉中是指由二幅或多幅二 维图像恢复出物体三维结构信息 ,它是透视成像的 逆过程[1 ,2] . 三维重建是计算机视觉领域的一个重 要的研究方向 ,其应用领域十分广泛 ,如机器人视觉 导航中的障碍物检测和三维地形重建[3] 、工业制造 中的实物造型[4 ] 、医学影像分析[5 ] 以及虚拟现实[6 ] 等.
(8)
其中 ,θ = ‖ω‖是旋转角 , [ω]x 表示ω的反对称矩 阵.
分二步旋转左右摄像机进行立体校正 :
①反向旋转左 、右摄像机 , 使两个摄像机坐标
系同向. 旋转矩阵为 :
ω
RR1 = ro drigues ( -
基金项目 :国家自然科学基金项目资助 (60502006) ;浙江省科技计划项目资助 (2007C21007) 收稿日期 :2006211230 修改日期 :2007202221
© 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
第 20 卷 第 8 期 2007 年 8 月
传感技术学报
CHIN ES E J OU RNAL O F S ENSORS AND ACTUA TORS
Vol . 20 No. 8 Aug. 2007
A Simple 3D Reconstruction Method Based on Single Camera 3
分别是三维空间上的点 w 在两个图像平面的投影 , 由图 2 可知 , m1 和 m2 的构成了一对对应点. 在图像 R1 上任取一点 m1 ,如果能够求出它在 R2 上的对应 点 m2 的位置 ,则可以通过三角测量原理计算出空间 点 w 的深度 ,进而可以计算出其在三维空间中的坐 标. m1 的对应点位于 R1 内由 m1 和二个摄像机的相 对位置决定的某一条直线 m2 e2 上 ,这条直线 m2 e2 称为图像 R2 上对应于 m1 点的外极线. 图像 R2 内的 所有外极线相交于点 e2 , e2 称为外极点 ,它其实是 左摄像机的投影中心 c1 在图像 R2 上的投影. m1 和 m2 的这种位置关系称为外极线约束关系[2] .
sm = HM , H = A [ r1 r2 t ]
(5)
已知模板上的点 Mi 和对应图像平面上的点
m i ,可通过最大似然法估计出 H.
记 H = [ h1 h2 h3 ] , A 已知 ,可得 :
r1 = λA - 1 h1
r2 = λA - 1 h2
r3 = r1 ×r2
(6)
t = λA - 1 h3
1. 1 摄像机模型 空间任意一点 w 在图像上的成像位置可以用
针孔模型近似表示[2] ,即任意点 w 在图像上的投影 位置 m ,为光心 c 与 w 点的 cw 与图像平面 R 的交 点 ,如图 1 所示. 连线 cz 垂直于图像平面 R, 称为光 轴. 光轴与图像平面的交点称为图像中心 , 点 c 和图 像平面间的距离称为焦距 f .
在摄像机内部参数已知的情况下 ,运动恢复结 构方法与立体视觉方法相比精度差的主要原因是摄 像机外参数求解的精度较差. 如果能够比较精确地 求解出单目序列图像拍摄时摄像机的外参数 ,那么 它也可以达到和传统立体视觉同样的精度.
本文提出了一种基于单个相机的三维重建方 法 :在待重建场景中专门放置一块平面标定模板 ,用
图 3 求解摄像机运动构造立体图对
2. 1 摄像机内参数标定 摄像机内参标定采用张正友所提出的基于平面
模板的定标方法[7] . 标定后可获得内参矩阵 A .
© 1994-2008 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net
传统的立体视觉系统一般需要二个摄像机 , 图 2 给出了由二个摄像机组成的立体视觉系统模型 , R1 与 R2 分别是左 、右摄像机的图像平面 , m1 和 m2
图 2 极线几何
当两个极点 e1 、e2 都趋向于无穷远时 ,基线 c1 c2 被限制于二个焦平面内 ,即基线平行于图像平面. 在 实际中 ,任何一对图像都能通过一定的变换使得每 一幅图像内的外极线都相互平行且成为水平 , 这个 过程称为立体视觉图像的外极线配准.
Abstract :This paper p resent s a simple 3D reco nst ructio n met hod based o n single camera. A planar pat tern is placed in t he scene to be 3D reco nst ructed. Two or more pict ures are taken by a single camera which in2 t rinsic parameters were calibrated beforehand. And t he ext rinsic parameters are calculated accurately using t he planar pat tern. Standard stereo step s such as stereo calibratio n , rectificatio n , matching and t riangular are t hen performed. Experimental result s show t hat t he p ropo sed met hod is simple , flexible and effective. Key words :stereo visio n ;3D reco nst ructio n ;camera calibratio n ;ext rinsic parameter s EEACC :7320C