基于图像的物体轮廓重建

基于图像的物体轮廓重建∗段瑞青余 烨刘晓平合肥工业大学计算机与信息学院VCC研究室，合肥 230009摘要：基于图像建模的目的是由二维图像恢复物体的三维几何结构，即三维重建。

本文设计并实现了一个基于单幅图像的物体线轮廓重建工具，即在待重建物体上用线绘制出轮廓，然后基于该带轮廓线物体的单幅图像，利用图像中的约束关系，对该幅图像进行摄像机标定，计算出图像中线轮廓上的点对应的空间点坐标，从而实现该轮廓的重建。

实验表明，该工具能基于单幅图像，实现基本规则物体及不规则物体的线轮廓重建，所用算法具有一定的鲁棒性，能够满足虚拟现实系统的需要。

关键词：基于图像的建模相机标定线轮廓轮廓重建1 引言基于图像的建模作为一种新兴的建模方法，受到了广泛的关注，它结合了计算机图形学[1]、计算机视觉[2]、摄影测量学、射影几何等许多学科的理论和成果。

它利用场景的图像（照片、渲染图像）来建立场景的几何模型，更准确的说，就是利用图像来确定：场景的外观、场景的几何结构和光照明模型。

由于图像本身包含着丰富的场景信息，自然容易从图像获得照片般逼真的场景模型。

而在基于单幅图像的建模方面，众多研究者也做了大量的工作。

例如：Shum等利用一个基于用户输入的约束系统从全景图中恢复出了几何模型[3]；Debevec等从一些参数化的基本几何形体出发实现了建筑场景的交互建模[4]。

这些工作针对的都是复杂场景的重建，而本文要实现的是基于单幅图像的物体线轮廓的重建，因此本文应用了简化的方法，使计算复杂度降低，并易于操作，非常适用于物体线轮廓重建这一特殊要求。

本文工作的重点是摄像机标定。

摄像机标定主要有线性模型摄像机标定和非线性模型摄像机标定两种[5,6]。

它们的主要区别就在于摄像机非线性模型除包含线性模型中的全部参数外，还包含径向畸变参数和切向畸变参数。

目前，已经提出了一些关于非线性模型中参数的优化算法，本文针对当前的工作，仅对线性模型摄像机标定做介绍。

因为线性模型摄像机标定简单，容易标定且对结果的精度影响不大。

2 线轮廓三维重建原理本文根据DLT（直接线性变换方法）标定原理，利用单幅图像和标定物对物体线轮廓进行三维重建。

物体线轮廓三维重建过程具体如下：(1)获得轮廓线及原图像：利用投影设备（本文为投影仪）向待重建物体上投射出一条红线，确保红线上点的z坐标相同。

然后利用拍摄设备（本文为数码相机）拍摄出该物体的二位图像；(2)标定：根据拍摄得到的单幅图像得到一定数目标定点的图像坐标和世界坐标，利用DLT标定方法，∗基金资助:国家自然科学基金(No. 60673028)作者介绍:段瑞青(1987), 男, 安徽蚌埠人, 汉族, 硕士研究生, 研究方向为协同计算; 余烨(1982), 安徽太湖人, 汉族, 讲师, 研究方向为可视化. 刘晓平(1964), 男, 山东济南人, 汉族, 教授, 博导, 研究方向为建模, 仿真与协同计算;获得红线轮廓上点的世界坐标；(2)三维重建和显示：在VC 中用OpenGL 将这些空间点的数据三维显示出来。

3 算 法 实 现若想由图像像素位置计算出对应空间点的3D 世界坐标，必须要知道摄像机矩阵。

求摄像机矩阵的过程就是摄像机的标定过程，也就是建立图像像素点位置与空间点位置之间的关系。

为了使得标定结果精度高和对摄像机模型没有严格要求，本节主要介绍本文所采用的直接线性变化的摄像机标定方法（DLT ）。

根据线性摄像机模型的原理可知，世界坐标系中的空间点)1,,,(A z y x A A A 与其投影点)1,,(y x a a a 有如下关系：a PA =，进一步可推出下式：11121314212223243132331x x y z y x y z x y z sa p A p A p A p sa p A p A p A p s p A p A p A ⎧=+++⎪=+++⎨⎪=+++⎩经过化简可得两个线性方程： 1131123213331421312232233324()()()()()()x x x x y x z y x x x y x z a p p a A p p a A p p a A p a p p a A p p a A p p a A p =−+−+−+⎧⎨=−+−+−+⎩即由一个空间点位置和它相应的图像像素位置可以建立两个方程。

而摄像机矩阵中包含有11个未知数，为了求出这11个未知数，必须至少有11个方程才能解出。

因此，就需要至少6个已知的空间点。

这些点叫做标定点，它们的特点是：其相对于世界坐标系的位置在标定时应精确测定；随后用摄像机获取这些点的图像，得到标定点在图像上的像素位置；最后通过解方程组，计算出摄像机矩阵，也就完成了摄像机的标定。

在有些研究中可能需要知道摄像机的内外部参数，那么就可以通过分析摄像机矩阵，进一步得到这些内外部参数。

在本文的工作中，目的是计算空间点的3D 世界坐标，只需要摄像机矩阵就足够了，因此这里对于进一步分解摄像机矩阵不再做介绍。

设共有n 个标定点，每个标定点的世界坐标为),,(i i i z y x ，图像坐标为),(i i v u ，],1[n i ∈。

由于一个标定点就对应两个方程，因此最终有n 2个线性方程，所得的方程组用矩阵形式表示为： ⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡−−−−−−−−−−−−n n n n n n n n n n n n n n n n n n n n v u v u c c c c c c c c c c c z v y v x v z y x z u y u x u z y x z v y v x v z y x z u y u x u z y x L L L L L L L M M M M M M M M M M M 11333231242322211413121111111111111111111110000000011000000001如果将上式左边的112×n 矩阵设为K ，c 为未知的11维向量，U 为上式右边的2n 维向量，K 和U 都是已知向量，那么就可以简化成： U Kc =因为在上面已经提到本文工作应用的是线性模型，所以也就是用线性最小二乘法来求解。

在标定过程中，标定点的个数越多，使得方程的个数大大超过未知数的个数，从而用最小二乘法求解以降低误差造成的影响。

当112>n 时，用最小二乘法求得的解为：()U K K K c T T 1−=如果已知了摄像机矩阵即上式中矩阵c 已知，且在空间点z 坐标已知的情况下，那么就可以由图像上的像素点计算出对应的空间点3D 世界坐标。

设单幅图像上像素点的坐标为[]v ,u ，待求的对应空间点3D 世界坐标为[]z y x ,,，由a PA =可得：⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡1v u ＝⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡13332312423222114131211p p p p p p p p p p p ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡1z y x 则由上式可以得到空间点的世界坐标[]z y x ,,。

4 实验结果及分析利用本文中的方法，对规则物体和非规则物体的轮廓分别进行了重建，重建结果如图1-4所示。

其中，图1是带有规则轮廓线物体的实景图，图2是该规则轮廓线重建后的结果图；图3是带有非规则轮廓线物体的实景图，图4是该非规则轮廓线重建后的结果图。

图 1 规则线轮廓的实景图图 2 规则线轮廓重建得到的结果图图 3 不规则线轮廓的实景图 图 4 不规则线轮廓重建得到的结果图从图2和图4可以看出，重建后的轮廓线基本反映了原来物体轮廓的形状，因此，本文所做工作能基于单幅图像，基本实现规则物体及不规则物体的线轮廓三维重建，且所用算法具有一定的鲁棒性，能够满足某些用户的特殊要求。

5 结束语本文利用基于图像建模的技术，设计并完成了一个工具，该工具可以基于单幅图像实现规则或不规则线轮廓的三维重建。

实验证明，该方法基本能实现物体轮廓线的重建，满足虚拟现实系统需要。

由于本文所用的摄像机标定方法采用的摄像机模型是线性的，没有考虑到摄像机的畸变，因此该算法存在着缺陷，如当相机畸变较大时，重建准确性将会减弱。

因此，本文的下一步工作是考虑采用非线性摄像机模型来解决这个问题，并去掉z确定这个限制。

参考文献[1]孙家广, 杨长贵. 计算机图形学[M]. 北京: 清华大学出版社, 2003.[2]赵清杰, 钱芳, 蔡利栋, 译. 计算机视觉[M] . 北京: 机械工业出版社, 2005.[3]Shum H, Han M, Szeliski R. Interactive construction of 3D models from panoramic mosaics [A]. In:Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Santa Barbara, California, 1998. 427-433[4]Debevec P, Taylor C J, Malik J. Modeling and rendering architecture from photographs: A hybrid geometryand image based approach [A]. In: Computer Graphics Proceedings, Annual Conference Series, ACMSIGGRAPH, New Orleans, Louisiana, 1996. 11-20[5]李洪海, 王敬东. 摄像机标定技术研究[J] . 光学仪器, 2007, 29(4): 7-12.[6]邱茂林, 马颂德, 李毅. 计算机视觉中摄像机定标技术[J]. 自动化学报, 2000, 26(1): 43-55.3D Reconstruction of Object Contour Based on ImagesDuan Ruiqing Yu Ye Liu XiaopingVCC Division, School of Computer and Information, Hefei University of Technology, Hefei, 230009, ChinaAbstract: The aim of modeling based on image is to obtain 3D geometry structure by providing 2D images, that is, 3D reconstruction. The paper designs and implements a tool of line reconstruction based on one image, which begins with projecting an outline onto the object. Based on the object image with this outline, using the constraint relationship in the image, the camera parameters are calibrated, and then the spatial coordinates of points in the outline are calculated, thus, the outline of the object is reconstructed. Experiments show that this tool can reconstruct the outline of basic regular and irregular objects based on one image, and the algorithm used in this paper is robust, which can meet the need of virtual reality systems.Keywords:modeling based on image; camera calibration; outline; contour construction。