单幅三维场景图像的度量重建方法

Metric Reconstruction Method of Single 3D Scene Image
WU Xue2dong ,J IANG Xin2hua ,HUANGJia2shan ,LI Jian2xin
( Electronic Information and Electrical Engineering Department , Fujian University of Technology ,Fuzhou 350014 ,China)
112 三维场景图像的度量重建
1 三维度量重建基本原理
射影重建是场景在三维射影空间中的表示 , 射 影空间中点 、 直线和平面的坐标与参考平面π 的选 择有关 , 射影空间和度量空间的坐标之间用一个同 形矩阵 H 联系起来 , 即 ( 1) Xe = H X p . 射影空间和度量空间中坐标之间的同形矩阵 H 可以分解为相似变换 、 仿射变换和射影变换矩阵 的乘积 , 即 ( 2) H = EHe H a . 其中 E 是一个相似变换矩阵 , 要得到度量重建 , 就只须计算仿射重建矩阵 Ha 和度量重建矩阵 He . 111 平面型场景图像的三维度量重建 在场景图像的三维重建研究中 , 有一种特殊类 型的场景 , 即平面型场景 . 对平面型场景图像的度量 重建 , 不必计算射影重建 . 世界平面是度量平面 , 在该平面上定义了长度和 角度等度量特性 , 无穷远直线和圆点坐标的规范坐标 分别是 (0 0 1) T 和 ( 1 ±i 0) T , 在没有其它已知条 件的情况下 , 图像平面是一个投影平面 , 一旦确定投 影图像平面上的无穷远直线 l ∞ 就可定义仿射特性 , 选定一对圆点 I 和 J 后就可以定义度量特性 . 第 1 步是识别无穷远直线 l ∞ 后就可以得到仿 射平面 , 平面上平行线的交点位于无穷远直线 l ∞ 上 , 此特性对射影变换矩阵 Hp 的计算提供了一种方 便的方法 , 给定 2 个消失点 v1 和 v2 就可计算得到无 穷远直线 l ∞ , 即 ( 3) l ∞ = v1 ×v2 . 如果在一个特殊方向给出 2 条以上的平行线 , 对消失点就作了超限定 , 这样可以用最大概率估计 来计算 . 确定消失点的另一种方法是利用射影变换 前后交比不变的性质 , 以一个方向为参考 , 根据已知 的长度比来计算 [ 2 ] , 另外还可用其它限制来确定消
- 593919 . ,
0
- 7811
维度量重建的基础上 , 不必得到射影重建 , 用单幅图 像就可以得到三维物体的度量重建 , 具体步骤如下 . ①首先得到不同平面的度量重建 ; ②确定不同平面间的线段的长度比 ; ③确定不同平面间的相对方位 . 消失线和摄像机内部参数一起确定平面与摄像 机之间的相对方位 , 所以计算两平面间的相对方位 要求已知摄像机的定标参数和两平面的消失线 , 平 面π 在摄像机坐标系中的法向量为 [ 4 ]
不同的视觉任务需要不同的场景重建标准 , 它 们分别是建立在不同类型几何基础上的射影重建 、 仿射重建和度量重建 . 通常我们所建立的世界坐标
收稿日期 :2005204204 基金项目 : 湖南省自然科学基金 (03JJ Y3107)
系是在度量意义下的 ,但在某些场合 ,建立比度量坐 标系更广泛的仿射 , 甚至射影坐标系可能会更方便 一些 ,而对人类观察者来说 ,为了能够逼真地反映原
作者简介 : 伍雪冬 (19752) ,男 ,湖南安化人 ,福建工程学院讲师 ,博士 ,主要从事计算机视觉 、 图像处理 ,机器人和智能控制的研究 .
52
长 沙 电 力 学 院 学 报 ( 自 然 科 学 版 ) 2005 年 8 月
有的场景 ,大多场合需要得到场景的三维度量重建 . 近年来 ,层次化重建成为视觉研究的重点 ,与摄像机 定标紧密联系的是三维度量重建 ,Faugeras[1 ] 首先提 出了将三维度量重建分解成 3 步 : ① 根据图像对应 点得到射影重建 , 并计算出射影意义下的摄像机投 影矩阵 ; ② 在射影重建所恢复的射影空间中 ,确定无 穷远平面的位置 ,把射影空间升级到仿射空间 ,这一 步也称为仿射定标 ; ③ 在仿射重建的基础上 ,进一步 施加约束 ,确定绝对二次曲线图像的方程并计算出 内参数 ,从而最终得到度量结构 .
伍雪冬 ,蒋新华 ,黄家善 ,李建兴
( 福建工程学院 电子信息与电气工程系 ,福建 福州 350014)
摘 要 : 对平面型场景图像和常规的三维场景图像的度量重建进行了回顾 ,在此基础上提出了一种不必进行射影
重建且只须三维场景单幅图像的三维度量重建方法 .
关 键 词 : 三维场景图像 ;度量重建 ;仿真 中图分类号 : TP 391141 文献标识码 :A 文章编号 :100627140 (2005) 0320051204
Ha = I 0
πT
,
( 5)
将不会改变 M1 ,π 是某一平面的法向量 , 这意味着 作形如式 ( 5) 的射影变换其实就是改变了参考面 . 如果确定了法向量为π 的某平面为无穷远平面 , 并 作形如式 ( 5) 的变换将无穷远平面变为参考平面 , 就把射影空间升级到仿射空间 , 无穷远平面可利用 场景几何知识用消失点来计算 , 3 个消失点就可确 定无穷远平面 . 要得到度量重建 , 就必须进一步定义 He 把仿射 平面上的绝对二次曲线 Ω ∞ 变换成 3 × 3 单位矩阵 , 绝对二次曲线 Ω ∞ 上任意点 X = ( X , 0) T 的图像为
1
H a1 =
的度量重建 .
2 单幅三维物体图像的度量重建
第 2 部分所给出的三维场景图像的度量重建是 针对图像序列的 , 所使用的层次化度量重建方法都 是首先得到射影重建 , 如果三维物体表面都是平面
( 这种情况是比较常见的 ) , 则在平面型场景图像三
0 1 133619 0 1 1331
0 0 198818 0 0
第 20 卷第 3 期
2005年8月
长 沙 电 力 学 院 学 报 ( 自 然 科 学 版 )
Vol . 20
No. 3
JOURNAL OF CHANGSHA UNIVERSITY OF ELECTRIC POWER (NATURAL SCIENCE)
Aug. 2 0 0 5
单幅三维场景图像的度量重建方法
失线 , Schaffalitzky[3 ] 用平面上的一组等距平行线来 确定 l ∞. 圆点位于无穷远直线上 ,在计算无穷远直线 l ∞ 得 到仿射重建矩阵 Ha 之后 , 下一步就是度量平面的恢 复 ,这要求计算度量重建矩阵 He , 它将恢复非平行线 的夹角和长度比 ,因此 ,目标是把仿射平面上的圆点转 换为度量平面上圆点的规范坐标 (1 ±i 0) T , 利用该 关系就可计算得到度量矩阵 He ,Liebowitz[2] 利用仿射 平面上圆点的 3 种限制 (两直线间已知夹角 ; 相等的未 知角 ;已知长度比. 计算度量矩阵) .
Abstract :The metric reconstruction of 3D scene image is often referred to the image sequences , and for the stratified metric reconstruction method it is to obtain the projective reconstruction of image sequences at first . If the surfaces of 3D scene are plane ( a familiar case ) , then based on the 3D metric reconstruction of plane scene image and the scene geometry information , we give a review of the 3D metric reconstruction of plane scene image and 3D scene image. Consequently , we proposed a metric reconstruction method of single 3D scene view without the projective reconstruction , and the simulated experiment has proved the feasibility of the method. Key words :3D scene image ; metric reconstruction ; simulation
T n π = K l ∞,
1
H a2 =
0
- 8316
平面 A 1 , A 2 , A 3 , A 4 和 A 5 , A 6 , A 7 , A 8 的度量重建 矩阵和度量坐标分别为
011164
He = - 112011
0 0 . 1
0 0
1 0
A′ 10 - 4 , 615853 ×10 - 4 , 1) , e1 = ( - 817731 × A′ 10 - 4 , 714714 ×10 - 4 , 1) , e2 = ( - 811040 × A′ 10 - 4 , 714217 ×10 - 4 , 1) , e3 = ( - 918809 × A′ 10 - 4 , 813079 ×10 - 4 , 1) , e4 = ( - 912117 × A′ 10 - 4 , 714880 ×10 - 4 , 1) , e5 = ( - 919691 × A′ 10 - 4 , 813821 ×10 - 4 , 1) , e6 = ( - 919240 × A′ 10 - 4 , 616441 ×10 - 4 , 1) , e7 = ( - 818515 × A′ 10 - 4 , 715382 ×10 - 4 , 1) . e8 = ( - 811764 ×
x = K( R t) X
0
= KRX .
( 6)
因此无穷远平面上点 X = ( X , 0) T 与无穷远平 面的图像平面上的点之间用同形矩阵 KR 联系起来 , 根据二次曲线变换 ω = ( KR ) - T Ω ∞( KR ) - 1 = K- T K- 1 . ( 7) 给定 M1 = ( I3 × 3 0) , 无穷远平面和无穷远平 面的图像之间的同形矩阵是单位矩阵 , 因此 He 的具 体形式为
He = K
-1
0 1
0
.
( 8)
第 20 卷第 3 期
百度文库伍雪冬等 : 单幅三维场景图像的度量重建方法
53
利用场景中物体的正交点限制和圆点限制就可 得到绝对二次曲线的图像 ω 的解 , 接着对 ω 作
Cholesky 分解就可得到内部参数 K , 从而得到图像
A p6 = ( 6516670 , 8218442) , A p7 = ( 8318919 , - 7414374) , A p8 = ( - 75100 , - 7710000) . 利用 111 部分中平面型场景图像的重建原理得 平面 A 1 , A 2 , A 3 , A 4 和 A 5 , A 6 , A 7 , A 8 的仿射重建矩阵 分别为
三维场景图像的层次化重建 , 一般首先要求对 图像序列作射影重建 , 然后对绝对二次曲线 ( 面) 施 加约束定出仿射参数 ( 即无穷远平面方程 ) 和摄像 机内部参数 , 分别得到仿射重建和度量重建 . 如果把第 1 幅图像的摄像机坐标系与世界坐标 系重合 , 就可把射影重建矩阵写成 M 1 = ( I3 × 3 0) , M i = ( H1 i e1 i ) ( i Ε 2) , ( 4) 其中 e1 i 是极点 , H1 i 是参考平面的同形矩阵 . Faugeras 证明此参考平面可以是射影空间中的任意 平面 , 对式 ( 4) 右边作如下形式的变换