用单数码相机实现物体表面的三维重建

0引言
双目立体视觉[1]是基于视差原理，由两幅图像获取物体三维信息的方法，两幅图像平面和被测物体构成一个三角形，已知两个摄像机的相对位置关系，便可以获取公共视场内物体上特征点的三维坐标。

双目立体视觉系统按配置方式可以分为两大类：(1)基于两个摄像机的视觉系统：在此类系统中，两个摄像机事先标定好，相对位置固定不变，左右摄像机的透镜中心到被测点的连线在空间有惟一的交点，由三角法获取物体表面特征点的三维坐标。

(2)基于单摄像机的视觉系统：采用单摄像机的视觉系统按辅助设备的不同又可以分为两类：①使用高精度滑轨的系统。

将摄像机沿滑轨向一个方向平行移动，在其它方向既没有移动也没有转动，这样摄像机移动的前后位置就可以确定
下来，再由三角法获得三维信息。

②借助于光学成像的系统。

光学成像系统由一些具有折射、反射功能的棱镜、反射镜构成，用多个光学器件将单个摄像机形成两个摄像机的像，就相当于不同摄像机从不同角度观测同一物体，因而具有两个摄像机的同样功效。

以上双目视觉系统虽然配置不同，却具有一些共同特征：设备精密，获得的物体三维坐标准确，重建效果好，但是硬件配置高，不适用于普通相机用户。

随着数码相机的日益普及，越来越多的人希望能用一台数码相机设计一个简易的双目立体视觉仿真系统，这在理论上是可行的，但是要采用与上述方法不同的算法，因为传统双目视觉系统中的左右摄像机相对位置固定不变，只要两台摄像机所在的世界坐标系不变，摄像机的内外参数矩阵就保持不变，即使相对位置发生了变化，也可以借助精密的转动或移动平台计算出新的外参数矩阵，但普通用户每次拍摄图片时，
收稿日期：2007-06-11E-mail ：zhangyong073@
基金项目：国家自然科学基金项目(60674028)；浙江省教育厅重点专业基金项目(111231A3255401)。

作者简介：张勇(1973－)，男，山东淄博人，硕士研究生，研究方向为图像处理和机器视觉；金学波(1972－)，女，辽宁鞍山人，博士，副教授，研究方向为信号处理和控制理论。

用单数码相机实现物体表面的三维重建
张
勇，金学波
(浙江理工大学信息电子学院，浙江杭州310018)
摘
要：根据由运动重建物体结构的原理，设计了一个简便易操作的三维重建系统，具体做法是：先用张氏标定法求得内参数矩阵，然后在两个不同的未知位置拍摄物体得到两幅图像，经立体匹配后，利用图像特征点的对应关系求解基本矩阵和本质矩阵，分解本质矩阵获得两个拍摄位置确定的摄像机运动参数(旋转矩阵和平移向量)，进而求出相机在两个位置的投影矩阵，最后用三角法计算出物体表面特征点的三维坐标并在OpenGL 中重建物体表面。

和传统的立体视觉系统相比，本系统只需要一台数码相机和平面方格模板就可以实现三维重建，因此适用于普通相机用户。

关键词：相机标定;三维重建;立体匹配;本质矩阵;三角剖分;纹理粘贴中图法分类号：TP391.41
文献标识码：A
文章编号：1000-7024(2008)11-2926-04
3D object surface reconstruction using single camera
ZHANG Yong,
JIN Xue-bo
(School of Informatics and Electronics,Zhejiang Science Technology University,Hangzhou 310018,China )
Abstract ：A flexible 3D reconstruction technique to easily used is proposed,based on structure from motion.The concrete method is shown as follows:the camera is calibrated and the intrinsic parameters is sotten using Zhang calibration method,then,the object in two different orientations and the motion need not to be known,after matching the two images robustly,the fundamental matrix and es-sential matrix from point correspondences are estimated,further,by decomposing essential matrix,the motion parameters ()de-termined by the two different orientations is solved and the projective matrixes corresponding the two orientations is obtained.In the end,the 3D coordinates of the object feature points is computed and the surface of the object in OpenGL is pared with the clas-sical binocular vision system which use expensive equipments,this technique only requires a digital camera and a planar pattern,it is well suited for general digital camera users without specialized knowledge of 3D geometry.
Key words ：camera calibration;3D reconstruction;stereo matching;essential matrix;triangulation;texture mapping
2008年6月计算机工程与设计
June 2008
第29卷第11期Vol.29
No.11
Computer Engineering and Design
手持相机的姿态是随意的，所以任意两个拍摄姿态的相对位置是变化的，这就需要通过两幅图像中特征点的对应关系求解运动参数,，然后分别求出相机在世界坐标系中两个拍摄位置的投影矩阵，进而获得物体特征点的三维信息。

1数码相机标定
相机标定主要有传统标定法、主动视觉标定法和自标定
法3类：
(1)传统标定法经常采用的是DLT 法和Tsai 的RA 标定法，标定精度高但要求有高精度的三维标定块，由于这个条件的限制，普通用户难以使用传统标定法。

(2)基于主动视觉的标定法需要控制摄像机做某些特殊运动，如绕光心运动或者纯平移，这些特殊运动通过将摄像机固定在一个可精确控制的平台上实现，利用运动的特征性求解内参数，这种标定方法显然不适用于一般相机用户。

(3)自标定法[3-4]只根据几幅图像之间的特征点对应关系就能估计出摄像机内参数，方便灵活，无硬件要求，对相机的姿态变化没有太多限制，但是标定结果不够稳定，精度较差，有时候标定结果是完全错误的，还会因为“临界运动”的存在导致标定失败。

综上所述，本论文认为张正友的平面模板标定法[5]是标定数码相机的较好选择，它是一种介于传统标定和自标定之间的方法，选择它的理由是：平面方格模板制作简单，无其它硬件要求，拍照时对相机的运动姿态没有严格限制，标定结果比较稳定，精度比较高。

2图像校正
双目立体视觉获取物体特征点的三维信息，其实质是用
三角法将左右图像上的二维匹配点逆映射到世界坐标系中去，来获得物体特征点的三维坐标，这个逆映射是用投影矩阵进行线性运算完成的，但是我们知道：世界坐标系中的物体特征点被映射(拍摄)成二维像点的过程是非线性的，原因在于透镜总是存在畸变，因此有必要对拍摄到的原始图像进行校正，校正后图像上的匹配点和物体特征点的三维坐标会表现为更精确的线性映射关系。

校正图像一般使用传统的非线性优化算法，具体实现可以使用Opencv 中的cvUnDistortOnce 函数，在后续的图像处理中均使用校正后的图像，这样做会使最后求得的三维坐标更加准确。

3立体匹配
在本论文设计的系统中，图像匹配的作用如下：①利用鲁
棒的匹配点对求出基本矩阵F 。

②利用匹配点对计算物体特征点的三维坐标。

因此能否得到鲁棒的匹配结果非常关键，为此，匹配过程使用了多种约束[6]，过程如下：
(1)Harris 亚像素角点的提取。

(2)采用基于灰度相关的区域匹配方法。

假设左右两幅图像分别是I 1,I 2，待匹配的角点集合分别为Corner1={
2
,
4
}和Corner2=
{
2
,
4
,
6
}；
设
，
,
,
=
,
2
,
,
,
,
1
,——I 1,I 2的像素灰度值，根据式(1)计算出两幅图像
上各角点之间的相关系数，构成了矩阵S
S
=
1
3
,1
1
,
23
,
2
1
,
3
3
,
3
1
,
4
3
,
4
1
,
5
3
,
5
1
,
6
3
,
6
检验矩阵S
的每个元素
，只有当是所在行
和所在列最大值的时候，,
才是一对匹配点，至此就建立
起了I 1,I 2角点集合之间的初始一一对应关系。

(3)将得到的一一对应关系采用基于视差约束的松弛法消除部分误匹配。

假设I 1
中的点
,
,
,
,
,
,
，则视差梯度定义为
d
，
、，这3个相邻点在I 2
中分别对应
匹配点对
与邻域内其它所有匹配点对之间的视差梯度之和，可得
S ,
=d
+d
,
,
,。

倘若
,，
,，,
是正确匹配，,是误匹配，则必
有
＞
，
＞
，
＞
，以此断定,
是误匹配的可
能性最大。

采用递归搜索的方式对所有匹配点对做类似的操
作，
从值最大的匹配点对开始消除误匹配，直到所有的匹
配满足
min
≤3为止。

(4)计算基本矩阵。

鲁棒的计算方法主要有最小中值法和RANSAC 法[7]，本文设计的三维重建系统使用后者，其基本思想是：在进行参数估计时，首先针对具体问题设计出一个搜索引擎，利用此搜索引擎迭代地剔除掉那些与所估计的参数不一致的输入数据(即所谓的“Outlier ”)，然后找到一组正确的输入数据来估计参数。

使用RANSAC 估计方法能最大限度地减少错误匹配的影响。

求出基本矩阵后，可以进一步在基本矩阵指导下进行更多对应点的匹配。

4摄像机外参数矩阵的获取
我们用数码相机在两个不同位置对物体拍照，最终目的
是用所得两幅图像重建物体表面，假设在A ，B 处进行拍照(注意A ，B 两个位置应当比较靠近，否则无法拍摄到公共场景)，将A 位置的摄像机坐标系作为世界坐标系，这样照相机在A
位置的外参数矩阵为[I |0]，A 位置的投影矩阵为P
=K [R |t ]，其中，I 是三维单位矩阵，K
是摄像机的内参数矩阵，R,t 分别是B 位置处相机相对于A 位置(世界坐标系)的旋转向量和平移向量，K 已经用张氏标定法求出，所以P
，根据三角
形算法就可以获得物体表面特征点的三维坐标。

对于任意的匹配点
I 1,
I 2
，齐次坐标为
1
,1
2
,1
1
(3
)(4)
式中：
2
——常量因子，
1
、，得到T
F
,,
定义本质矩阵为E =t×R =[t ]×R ，则有E =K T FK ，这样就可以求出本质矩阵E 。

如果一个3×3矩阵能写成一个正交矩阵和一个非零的反对称矩阵的乘积，则对该矩阵分解时，所得到的对角矩阵的3个特征值必然满足一个条件：两个正的特征值相等，另外一个特征值为0。

虽然本质矩阵E 理论上满足这一条件，但由于噪声的影响，实际计算出来的E 不一定满足这一条件，因此有必要进行修正，假设对E 进行奇异值分解后所得对角矩阵为D
=
,，
且存在关系式
≥
=
,0u 3，其中，u 3是矩阵U 的最后一列，W =[(0
1
0)T (
可能有4
个值，分别是：K [UWV T |u 3]、K [UWV T |
u 3]，如何确定正确的一组解?从图像匹配点对中取
一对数据作为测试点，计算该点的三维位置，由此确定该三维点在两个相机中的深度，选择在两个相机中深度均为正值的R 和t ，即为正确的解。

5计算物体特征点三维坐标
求出平移向量t 和旋转矩阵R 后，就可以用投影矩阵P
=K [R |t ]计算匹配点对的三维坐标，计算出的三维
坐标是以A 位置处相机的光心为世界坐标系的，设p ,2
=1,2,3
，
P
,在两幅
图像上的投影分别是
1
,
和
2
,，其齐次坐标为
~
,
，对
1
,
则有
１
1
~
¿ÉµÃ
p 1,1p 3,1
~
2
p 3,1p 1,1
p 3,1
22
~
p 3,1p 1,1
p 3,1
22
(6)
由于射影坐标
~
ƽ
Ãæ
)进行二维三角化，然后通过
点的对应关系实现空间点的三维三角化，这样做相对简单。

7纹理粘贴
由于论文中实现的空间点三维三角化实际上利用了在二
维图像平面上进行的二维三角化得到的点的组合关系，所以当在OpenGL 中纹理粘贴时，如果只针对一幅图像而言，则每一个空间三维点的纹理坐标都可以惟一确定[8]。

在具体实现过程中，有一点必须注意：在图像坐标系中，一般都是定义左上角的点为坐标系的原点，水平方向向右递增，竖直方向向下递增；而在纹理坐标系中，却是定义左下角
的点为坐标系的原点，水平方向向右递增，竖直方向向上递增，并且点的取值范围为(0,0)到(1,1)。

所以图像坐标与纹理坐
标之间存在如下转换关系
，
,
,
(
=
0.1214
,
1.78254
;
2
=0.00143
取办公桌上一角作为实验场景，手持相机在两个相邻位置拍摄，得到了两幅图像，为了计算简便，已经将图像转化为8位灰度图，如图1所示。

使用论文实现的三维重建系统进行物体表面重建，结果如图2所示。

9结束语
实验结果证明本论文实现的三维重建系统是可行的，配
备了一个数码相机的用户只要用一个方格模板标定好相机就可以使用本系统对物体表面拍摄、重建。

但是并非每次实验都能得到满意的结果，有时候则差强人意。

这是因为从二维图像恢复三维场景本身就是个病态问题，图像上特征点的匹配错误难以避免，因此有时候求解的基本矩阵和本质矩阵的精度不高，影响了投影矩阵的精度，导致计算的三维坐标不准确，从而使重建的物体表面结构失真，因此，本文设计的系统的场景重建效果比传统的双目视觉系统要差，考虑到二者在硬件需求上的不同所导致的设计思路的不同，这是不足
为怪的。

需要说明两点：①本论文设计的三维重建系统是以照相
机内参数固定不变为前提的，所以相机在两个拍摄位置的焦距必须相同，一般说来，当两个位置距离较近时，这一条件经常满足。

②本论文实现的三维重建是近似的欧氏三维重建，这是因为在本质矩阵分解基础上重建的三维坐标，与其实际的三维坐标相差一个比例常数
，从而恢复物体特征点的欧氏三维坐标。

参考文献:
[1]张广军.机器视觉[M ].北京:科学出版社,2004:105-107.[2]
Hartley R I.Multi viewpoint geometry in computer vision [M ].Cambrige,UK:Cambrige University Press,2000.
[3]
Lei C,Wu F C,Hu Z Y .Kruppa equations and camera self-cali-bration [J ].Acta Automatica Sinica,2001,27(5):621-630.[4]孟晓桥,胡占义.摄像机自标定方法的研究与进展[J ].自动化学报,2003,29(1):110-124.
[5]
Zhang Z.A flexible camera calibration by viewing a plane from unknown orientations [C ].Corfu,Greece:Proceedings of the 7th International Conference on Computer Vision,1999:666-673.[6]朱松立,戴礼荣.基于角点特征值和视差梯度约束的角点匹配[J ].计算机工程与应用,2005,34(9):62-64.
[7]张静,胡志萍.基于异常匹配点去除的基本矩阵优化估计[J ].计算机工程,2005,31(13):13-15.
[8]
刘刚,彭群生.基于多幅照片为真实景物模型添加纹理[J ].软件学报,2005,16(11):2014-2018.
(上接第2925页)
图1
两幅实验图像
图2
实验的重建结果
4结束语
本文中，我们分析了文本特征加权方案TF ・IDF 的缺陷，
从特征的后验概率分布来衡量它对分类的有效性角度出发，提出了基于熵的TF ・EnSu 加权方法。

并且对特征选择方法，特征维数，不同的语料及语料规模对TF ・EnSu 加权方法的性能影响进行了实验和分析。

实验结果显示，TF ・EnSu 文本特征加权方法不仅提高了分类精度，而且降低了对维数的敏感性，是一种非常有前途的特征加权方法。

参考文献:
[1]
Yang Y ,Liu X.A re-examination of text categorization methods [C ].The 22th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM Press,1999:42-49.[2]
范明,孟小峰.数据挖掘概念与技术[M ].2版.北京:机械工业出版社,2007:195-196.
[3]陆玉昌,鲁明羽,李凡.向量空间法中单词权重函数的分析和构造[J ].计算机研究与发展,2002,39(10):1205-1210.
[4]柴玉梅,王宇.基于TFIDF 的文本特征选择方法[J ].微计算机信息,2006,22(8):24-26.
[5]张玉芳,彭时名,吕佳.基于文本分类TFIDF 方法的改进与应用[J ].计算机工程,2006,32(19):76-78.
[6]李荣陆,李建会,陈晓云.使用最大熵模型进行中文文本分类[J ].计算机研究与发展,2005,42(1):94-101.
[7]Yang Y .An evaluation of statistical approaches to text categori-zation [J ].Information Retrieval,1999(1):76-82.
[8]林永民,朱卫东,尚文倩.kNN 文本分类器中决策规则的改进[J ].计算机研究与发展,2005,42(增):378-382.
[9]
陈涛,谢阳群.文本分类中的特征降维方法综述[J ].情报学报,2005,24(6):690-694.
[10]周茜,赵明生.中文文本分类中的特征选择研究[J ].中文信息
学报,2004,18(3):17-23.。