翻译：基于结构光原理的高精度三维重建视觉系统

1.引言
结构光是目前三维从建技术的主要技术手段。

它的最基本形式是由一个投影仪和一个摄像机组成，这两种设备都是普通的家用电器。

它实际上就是利用从投影仪到目标物的照度编码，这些编码能够在投影仪的模型产生平面和摄像机的成像平面之间建立对应的景象背影。

这种照度编码不仅是三位重建技术在目标物上的本质要求，而且也避免了在通信系统中经常遇到的像立体视觉这样的视觉方法上的困难。

时空编码方案是照度重建和摄像机摄取图像的两个主要途径。

这两种方案在投影仪的模型产生平面上的每个位置都有相同的目的。

用这已保存的唯一的代码，在投影仪和摄像机之间很容易建立对应的关系，并且通过已知的三角化过程可以容易的重建相关联的场景深度。

更确切的说，在这种时间编码方案中，一系列的模式在不通的时间被投射到目标物表面。

对于相机上图像平面任意给定的像素代码都是取决于随时间变化的投影仪的光照度像素。

换句话说，是位码在时间上的多路复用。

SLS系统采用这种编码方案可以达到很高的数据密度和测量精度。

格雷码就是时间编码方案的一个例子，它结合了相移和线性位移方法。

在空间编码方案中，代码创建于空间模式而不是时间模式。

这种代码可以是灰度窗口或是彩色窗口。

这种方案对目标物的表面反射率的变化和纹理特征是非常敏感的。

和时间编码方案相比较，这会引
起更大的测量误差，特别是在有严重遮挡或颜色失真的情况下。

然而，空间编码方案的优点是它的编码和译码过程可以由静态单一影像来完成。

因此它特别适应于动态应用。

德Bruijn和M阵列这两种特殊方法得到广泛应用。

无论采用哪种编码方案，对摄像机和投影仪的标定在SLS 系统中是最基本也是最关键的一步。

为了精确的深度恢复需要对摄像机和投影仪需要进行精确的标定。

本文利用一个LCD面板标定平面演示标定方法，具体的说，这种设计利用在LCD面板上显示的模式来标定摄像机，这种模式从投影仪投射到摄像机上用来标定投影仪。

LCD屏很容易在商场上买的到，它们大都用在电脑显示器上。

我们将用大量的实验结果证明，与传统的古典的标定系统相比较，这种标定设计允许一个“现有”——一个由houshold-quality投影仪和摄像机再加上一个LCD屏——用更少的image-captures而被更精确的标定，换句话说，这种标定过程廉价可靠的并且方便操作。

这种标定设计已经被部分报道，本文的重点是一个现成的SLS可以达到什么质量的标定设计。

基于格雷码的三维重建的一种编码方案被应用于这项工作。

在传统的格雷码机制中，用格雷码编码的带状模式将第一个被投射到屏幕上。

然而，一些格雷码有周期性的模糊，这些模糊是一些图像空间分区里有相同的格雷码。

为了消除这样的分区，在我们的操
作中当横向转移出现在投影仪模式产生平面，带状模式最好时期的一半的格雷码模式被照亮。

每一个图像的带状边缘，则是位于图像素精度。

在摄像机的图像平面和投影仪的模式产生平面的带状边缘点一对一的两个平面可以被确立，并且上面的模糊也被解决。

与其他格雷码的基础模式相比较，带状转换模式可以达到更好的精度和目标表面纹理不敏感度。

本文主要内容如下，第二章，使用LCD面板投影仪-摄像机系统的标定方法。

第三章提出了带状转换模式的格雷码编码系统。

第四章展示了大量实验结果来评价标定和重建性能。

第五部分提供未来可能出现的成果。

2 带有LCD板的投影仪-摄像机系统的标定
在一些文献中投影仪或投影仪-摄像机系统的标定比摄像机的标定简单的多。

在这些文献中，这些方法的区别主要是标定模式的选择。

他们通常按以下的方式进行操作。

把已知的三维尺寸的印刷图案
P作为标定校准物体。

在这定义了
1
一个标定的世界坐标系。

印刷图案
P是第一个被摄像机成像。

1
三维模型在图像数据和对应的二维投影位置决定了相机的位置和在W坐标系中的位置。

这样相机标定后就可进行投影仪标定。

投影仪把另外一种模式投射到标定对象，作为一个投影屏幕，形成一个投影照明模式2p。

用照相机拍下这些照明模式，当相机被标定以后，从它上面的投影模式在标定物体下照明模式2p就能在三维空间下确定。

这样一来，如果把
投影仪看成一个相机，以及把它的模式产生平面的二维特征看做2p模式下的图像特征。

投影仪能像2p模式的三维体相机一样被标定。

相机和投影仪在三维W坐标系下被标定以后，这样两种工具的位置就能被联系起来并且SLS系统就能被标定。

首先标定相机，然后用相机标定结果去标定投影仪。

这种标定顺序非常实用和方便，这种简单和方便所付出的代价就是相机标定所带来的误差将传递给投影仪的标定，并且这些误差是不可避免的。

然而这种方案的不足或不便也有可改进之处，使用三维标定物体的外部标准可达到更高的标定精度，但这种精度取决于标定目标的精度大小和具体的制造标定对象的平整度，印刷标记的精确度以及连接标定对象输出的好坏，都会大大影响最终的标定精度。

此外，作为一次标定过程的标定对象上的印刷模式
P和照明模式2p，他们的重叠通常会对分区内
1
容备份或镜像特征产生影响。

即使非常小心避免了他们的重叠，他们在图像数据上的共现要求手动属入标定系统来指导图像特征的模式。

为了克服上述的不足我们利用液晶屏，也就是用于计算机显示器的液晶显示器，作为外部标定对象，这是标定方案的初步概述。

这种方案有以下的优点，LCD屏幕的平面化具有工业品位的性质，因此是可靠的，甚至液晶面板的消费者委员会能保证面板的玻璃基质表面平面性偏
差不超过0.05um 。

此外出现在屏幕上的模式是可编程的并且能轻松产生相当高的精度。

最重要的是，在相机标定阶段出现在屏幕上的模式可以被关掉，在投影仪标定阶段让屏幕充当一个完全空白的投影屏幕去投射投影仪的照度。

这样1P 模式和2p 模式的共存就没有影响，更不用说他们之间的重叠了。

这种三维重建品质可以达到标定系统的要求，但SLS 系统标定可以将标定精度提高10倍。

2.1 投影仪-相机系统模型
在三维空间上对应到W 坐标系上任何特征点 W M 转换到相机的图像平面，如下：公式1
在下标或上标C 或 P 标签与相机或摄像机相关联，在相机或投影仪自身范围内，有5个内在参数
（{
}{}P o P o P P v P u C o C o C C v C u u u v u ,,,,,,,,γααγαα共同地被称为上三角矩阵 Ac 或Ap ，正如上面的方程式）以及6个外在参数（Rc,Tc)或（Rp,Tp ）共同地被称为4*4矩阵Tc 或Tp ）测量相机或放映机是如何被标定在空间坐标系下的，外在参数矩阵Tc 和Tp 在于变换矩阵T 相关，如下方程：公式2。

投影机和摄像机之间标定问题是确定相机和投影机以及与T 矩阵相关的变换矩阵。

2.2 相机和投影仪标定
在P1模式标定方案中构建一个外部已知的维度的标定板来标定相机。

在这种标定方案中，这种模式是可编程的并在
液晶屏上显示已知的尺寸。

这模式在相机上成像。

在我们的实验中，张老师用可用数据来标定相机，通过过引入相机图像平面∏ccd 和图像标定平面∏L C D (也就是液晶显示屏平
面)，可以估计相机的内在参数。

一旦相机的内在参数知道了，相机{ Rc,Tc}的位置就确定在依附与标定平面的W 坐标系中。

一旦相机被标定了， LCD 屏的空间位置保持不变并且为了隐藏1P 模式关掉显示板我们用投影仪把另外一个已知的P2
模式投射到液晶显示屏，这种显示屏充当反射照明模式的投射屏。

选投影模式产生平面上的一个特征点是三维平面平坦表面上的一个点),(p p p v u m 假设在平板表面上带有整个照明模式的标定平面用相机成像，这相机上的成像位置对应至三维空间点),,(p p p L z y x p 三位点L P 与图像位置点c m 可以用下面的方
程联系起来。

当相机参数c c c T R A ,,从先前的相机标定过程得知
以后，三维空间点Pc 可以从下面确定：公式3.
Mp 和Mc 对应于投影仪的内在参数Ap 和外在参数{Rb,Tp}的两个约束标量，由方程4去确定。

上述的三维信息L P 首先由方程（3）的图像数据c m 确定。

然后利用L P 由方程4来确定投影仪的参数Ap,Rp 和Tp 。

在此，
投影仪标定被视为经典的相机标定，这将确定从已知的三维信息和图像观察仪器的内在和外在参数。

在这一点上，任何先进的相机标定方法都能解决这个问题。

在我们的系统实现
采用Weng的方法。

这个方法分为两步，第一步采用一个非迭代算法直接计算出所有的外在解封闭参数和某些基于投影模型的内在参数。

第二步采用合适的投影仪镜头畸变模型，并利用第一步的解决方案作为初始假设通过非线性优化过程来确定所有的内在参数。

相机和投影仪标定以后，这些参数Rc,Tc,Rp,Tp,可以由方程（2）来确定相机和投影仪相关的转换矩阵T。

该液晶显示的模式的优势如下：
（1）简单方便的标定设置。

液晶显示屏是额外的标定任务。

（2）理想的平面液晶显示屏的平坦度达到工业要求，许多现成的投影仪，能使平面的平面度偏差小于0.05um，
在规定的标定任务中，我们视它为理想的平面。

（3）可编程模式：不同的彩色组合模式类型可以由计算机产生，并且作为标定模式显示在液晶屏上
（4）高精度：设有印刷错误和模式尺寸由液晶显示屏的像素轻松
（5）高的图像质量：可达到高对比度的图像模式
在数字化过程中，相机和投影仪采用相同标定平面不同的标定模式。

当相机用显示在液晶显示屏上的模式标定以后，投影仪就可以从屏幕上的反射模式上得到标定，利用标定平面的液晶显示屏，由不合理的模式重叠产生的错误，在图像数据显示模式和反射模式之间的混乱都能减少。

我们的
实验结果也显示，利用液晶显示屏为标定平面。

相机—投影仪系统参数在更少的图像而有更高的精度。

3 格雷码结构上加上一个带状转移机制
格雷码作为一种编码方案，因为他的简单性和鲁棒性(稳定性）而被广泛应用。

如果使用一个二进制格雷码，它的代码长度为n，一个长度为n+1的二进制带状模式的图像序列，需要连续的被投射到编码屏幕上，这样屏幕图像可以被分为2n个不同区域；且每一个都有各自的代码。

图像位置被精确地编码成像素。

格雷码方案经常利用相移技术和线移技术实现亚像素精度。

在这种方法中，一系列的格雷码模式首先被投射到目标物表面，并且他们把图像表面分离成一些标示分区，正如上面所讲到的，然后，每个次区域的不同片段编码将更好规模的反应出正弦强度模式和线模式。

正弦模式通常作为大量灰度值被实现。

例如总共有四种格雷码模式投射到目标表面。

每一个格雷码模式在先前的时期都被相互抵消，这样图像上每个给定的像素得到四种强度值I1，I2，I3，I4，然后就能确定I(x,y)的相位值：公式（5）
对每一个图像像素，它的相位值将增加它属于的次区域格雷代码，并且形成一个独一无二的像素代码；这样，重建网分区才能得以实现。

相位转移方法作为一种涉及强度值得模拟方法更容易受到噪声和表面纹理的干扰。

相反，线移方法用线特征编码次区域而不是密度，使它具有更强的鲁棒
性。

而不是图像噪声，然后投影仪设备和线检测图像过程精度限制了线移方法的精度。

它也会再目标表面反射率变化和纹理上碰到困难。

3.1 采用带状相移模式的格雷码
在我们的系统中，带状移位代替线移位方法，二进制带的边缘比线性的更容易发现图像数据，更精确的边缘位置更敏感的重建精度和更高的鲁棒性能被获得。

为了把目标表面分成2n次区域且每一个次区域都有一个独一无二的n位的格雷码代码，一系列的格雷码模式首先被放映。

假设每一个次区域的在投影仪的模式产生平面有m个像素，然后一个带状模式被分成两半格雷码序列的最好的带宽，然后移动m-1次。

然后用相机获取一个单独的图像，然后用额外的位去编码次区域。

这样在目标表面的不同点上一个周期模式有m个周期模糊像素点。

然后，通过结合两种代码，一个是格雷码的反射，另一个是转移模式，m个次分类被2n个次区域采用去达到更好的三维重建现有的亚像素精度，这个过程可表示为：公式（6）
其中G是格雷代码，S是带位移模式产生的坐标代码，P 是最终的唯一代码。

例如，假设投影仪的模式产生平面是1024带宽的像素。

8位长度的格雷码可以把投影仪的模式产生平面分成28个次区域，然后，4位带宽像素的带状模式被用来作为带状转移
模式和转移三次像，图1显示的一个像素步长。

在移动后，每一个投影仪模式产生平面将附有一个独特的10位代码。

3.2 边缘检测和三角地带
图像密度衍生的零交叉点是广泛应用检测边缘地带的亚像素精度。

原理很简单，可以归纳为屏蔽过程。

然而，这种方法对图像噪声非常敏感，并且它的性能可能会受到表面纹理的影响，另一种方法是设计定向模式和逆向模式，积极和消极带状边缘图像的交叉点可以精确描述亚像素精度的边缘轮廓。

实现结果表明，边缘轮廓的0.1个像素精度可以由任一种方法获得。

假设在相机图像平面上和在投影仪模式产生平面的图像点与相同屏幕点有关。

由于位置沿X轴编码，我们可以很容易的从他们的代码中把Xc和Xp联系起来。

由方程7的约束表达式，我们也可以通过线性方程把Yc和Yp联系起来，一旦这对应的问题解决了，与屏幕点相关的Zc点也可以由三角方程来确定：公式(8)
4 实验结果
我们的实验系统由一个1024*708分辨率的DLP投影仪和1500*1200的相机组成，这两种都是可消费的设备。

相机的焦距范围是18-55mm。

投影仪的焦距范围是25-31mm。

SLS的系统的工作距离设置为850mm，场厚度大约是50mm。

两种工具的总成本不超过1500美元。

一个15寸液晶显示屏用作标
定屏。

本文中，我们采用三种措施来演示SLS 系统的性能。

第一种措施是标定精度，主要是这种标定方案SLS 系统参数的精确度，相机和投影仪的参数正确性。

一般是难以精确预测的，因此我们采用逆向投投影仪误差的评估。

即通过标定的系统参数如何关闭预期的三维数据来观测图像的位置。

第二种措施是测量精度重建。

即如何在SLS 系统中如何完成精度重建，和传统的系统相比较，我们的实验结果是一个完美的平面和球面。

第三个措施是对一般物体的三维重建质量，即多少自由形态物体的细节可以由SLS 系统提取出来。

在这个实验中，我们用一个半身像模型。

这个模型有均匀的表面，一个有纹理和反射率变化额陶瓷壶来阐述了结果。

4.1 标定精度
一共8对图像被用来标定投影仪相机系统，被恢复的关键的标定参数都列在表1中：RPE 是投影误差，fc,fp 是焦距，po po co co v u v u ,,,是像重点，结果表明，利用液晶面板可以比传统的方法减少5-10倍的甚至少于一半的图像对，更确切的说，在这种方法下，8对标定图像对大约只有0.09像素。

在投影仪标定中RPE 可以被控制在0.5像素如图像2。

相比采用印刷标定模式像素RPE ，这样方法改善超过10倍，标定质量的更多细节可以在（10）中发现。

4.2 重建精度
在这个实验中，用一个平面板和一个石膏球来估计SLS
系统的重建精度。

格雷码模式从大约850mm的距离投射到一个平面板上。

从恢复深度图中一个大约100*100mm的区域出现在这个平面上。

用最小二乘法把三维数据填充在这个平面。

在填充过程中，平面度偏差就被标记出来了。

我们就可以获得0.11mm或0.013%的绝对平均误差，标准偏差值只有0.08mm。

不用带转移过程，绝对平均误差就可以达到0.32mm。

作为参考，利用带边缘模式的平面度偏差达到0.3mm。

图3显示了石膏球三维重建，用一个过滤工艺首先除去背影点。

为了测量重建精度，一个最小方差背景的球体被安装在重构数据点。

球体半径是96.9mm，它的平均拟分误差为0.15mm或0.018%。

尽管这球不是完美的但这精度是令人满意的。

在[15]中提到了一种相移模式，当重建一个直径为150mm的钢构球时最大的误差为0.5mm。

这种系统的高精度归功于重建方法和精确的标定方法。

表2对比了各种结构光技术包括二维模式，格雷码相移模式格雷码线移模式，激光元纹图和焦形等。

总之， SLS系统的精度远远超过以前报道的内容。

4.3 一般的表面重建
一个半身像是用该扫描模式进行重建。

经编码的图像在周期与非周期之间产生了歧义分区，如图4中的b和c。

在这个实验中，超过300000点通过重建生成，通过现成的CAD/CG 软件对数据进行处理可以得到图4（g）的三维模型，虽然有
背影的形状在3 D中是无效的，但视觉检查显示，就连石膏模型上小于0.1mm的微小划痕也可以很好的重构。

整个过程只需1秒。

一个具有较强的颜色和纹理变化的陶瓷茶壶也被重建，如图4所示，和石膏模型相比，茶壶有丰富的纹理和色彩，也可以反射，在这样一个特殊的纹理中，这种方法用来改善边缘检测精度，如图4（h）所示，甚至在茶壶表面的微小细节可以清晰重现。

一些有大量纹理的表面，比如人脸，手，和彩叶来测试系统性能，如图5所示，实验结果表明，我们可以清楚地看到重建表面细节
4.4 另一个系统三维重建发光表面
类似的工作原理基础上，我们实验室提出了一个新型的微扫描系统，该系统由一个UGA分辨率的微投影仪和一个1.3m分辨率的相机组成。

工作距离大约是150mm，检测面积大约是50*40mm。

一个运动平面的实验，可以得到2u的深度精度，为了更直观的演示系统的高精度，用一个手写打印的纸做实验，如图6（a）所示，用铅笔轻轻地在纸上写下abc 然后用橡皮擦擦去。

然后用上述系统扫描这页纸，来对笔迹的痕迹进行三维重建。

重建结果如图6（b）所示，我们可以看到笔迹可以清晰的被重现，而且这页纸的表面纹理可以清晰的重现，这结果充分体现了该系统的精度高。

为了评估系统对微小发光表面的重建性能用一些金属表
面作实验来测试它的抗反射能力如图7所示分别对一个很亮的硬币，一个金属切削工件和一个BGA芯片进行重建，重建结果如图7(d),(e),(f)所示。

5结论
我们前面介绍了一个便宜，方便精确的SLS系统，该系统仅仅由一个投影仪，一个相机和液晶显示板组成，操作主要有两个方面：系统标定和三位重建。

我们已经描述了如何使用一个家用的液晶显示板来标定该系统。

这种方法有较少的图像但能达到更高的精度，标定方案容易被实施，所要求的所有模式只需要是可编程的以及被控制不扰乱彼此的标定过程。

三位重建过程是基于传统的格雷码模式但是由于采用了带状转移增强了三维重建的分辨率。

具体的说，当带状转移允许高分辨率模式被投射到目标表面时，格雷码投影就会消除周期性模糊。

我们也将提供一个亚像素精度的带状边缘，从而提高重建质量，所有的这些都有助于系统性能。

大量的方针实验，对已知的三维形状重建，对自由形状的确定的结果显示，SLS系统具体高质量低成本的特点，此外，另一个由微投影仪的系统也重建了表面发亮的物体，获得相同的结果。