基于平面反射镜的物体全方位三维测量方法与制作流程

本技术公开了一种基于平面反射镜的物体全方位三维测量方法，首先是搭建摄像机和投影仪组成的条纹投影轮廓术系统，将贴附有标定纸条的左平面反射镜和右平面反射镜设置在被测物体后面，使用投影仪向被测物体投出相移条纹，并触发摄像机同步采图，将缠绕相位图解算为绝对相位图，由绝对相位得到被测物体的三维点云数据，并用标定纸条对平面反射镜进行标定，实现通过单次测量即可得到物体全方位的三维点云数据，最后利用ICP迭代算法对点云进行配准，使点云之间相同的部分尽可能地重合。

本技术具有低成本，简单高效，高精度的优势。

技术要求
1.一种基于平面反射镜的物体全方位三维测量方法，其特征在于步骤如下：
步骤一：搭建基于平面反射镜的条纹投影轮廓术系统，首先搭建摄像机和投影仪组成的条纹投影轮廓术系统，然后将贴附有标定纸条的左平面反射镜和右平面反射镜设置在被测物体后面，调节贴有标定纸条的平面反射镜的位置，通过平面反射镜的反射作用，摄像机同时观察到被测物体的三个视角的信息；
步骤二：投影相移条纹并采图，使用投影仪向被测物体投出相移条纹，并触发摄像机同步采图；
步骤三：求解相位并重构点云，对于步骤二中采集到的条纹图案，采用基于条纹投影的相移轮廓术解算出不同频率条纹下的缠绕相位图，随后利用时域相位解缠算法，将缠绕相位图解算为绝对相位图，利用投影仪和摄像机的标定参数，由绝对相位得到被测物体的三维点云数据；
步骤四：用标定纸条对平面反射镜进行标定，即利用步骤二和步骤三中的方法对平面反射镜上面的标定纸条的三维信息进行重构，得到标定纸条的三维空间姿态信息，并进行平面拟合，用以近似代替平面反射镜的空间姿态信息，计算拟合平面的单位法向量以及世界坐标系原点到拟合平面的距离，完成两块平面反射镜的标定工作；
步骤五：三维点云的转换，根据步骤四得到的平面反射镜的标定参数，计算得到左右平面镜反射镜中三维点云数据到真实世界坐标系的转换矩阵，从而将左右平面镜中的三维点云数据转化到物体实际所在的统一的世界坐标系下，以此方式实现通过单次测量即可得到物体全方位的三维点云数据；
步骤六：三维点云的配准，利用ICP迭代算法对点云进行配准，使点云之间相同的部分尽可能地重合。

2.根据权利要求1所述的方法，其特征在于步骤一中，一块标定纸条贴附在左平面反射镜的下部偏左部位，另一块标定纸条贴附在右平面反射镜的下部偏右部位，调节平面反射镜的位置，使两块平面反射镜的交线正对被测物体和投影仪，左平面反射镜、右平面反射镜的夹角在115°-125°之间，以摄像机观察到的三个像均匀分布在视场中，互不重合，且三个像不被标定纸条遮挡。

3.根据权利要求1所述的方法，其特征在于步骤二中，利用基于条纹投影的相移轮廓术，使用投影仪向被测物体投出一系列正弦条纹图案，经过物体漫反射后被摄像机同步采集，采集到的光强表示为：
其中N是相移步数，n是相移指数，且n＝0,1,...,N-1，In(xc,yc)是对应点的光强，A(xc,yc)为在(xc,yc)点处的背景光强，B(xc,yc)为在
(xc,yc)点处的正弦条纹的调制度，为在(xc,yc)点处的待求被测物体的相位。

4.根据权利要求1所述的方法，其特征在于步骤三中，由摄像机同步采集到的经过被测物体表面调制后的条纹图案通过下式解出被测物体的缠绕相位：
缠绕相位与绝对相位之间的关系如下式所示：
其中Φh(xc,yc)是高频条纹在(xc,yc)点处的无歧义绝对相位，是高频条纹在(xc,yc)点处的缠绕相位，kh(xc,yc)是高频条纹在点(xc,yc)处的条纹级次；利用一个连续无歧义的相位Φl(xc,yc)作为辅助相位，然后根据辅助相位和缠绕相位之间的频率
关系来找到各个像素点所对应的级次关系，具体如下式：
其中fh是高频条纹的频率，fl是无歧义低频条纹的频率，Φh(xc,yc)是高频条纹在(xc,yc)点处的绝对相位，是高频条纹在(xc,yc)点处的缠绕相位，Φl(xc,yc)是低频条纹在(xc,yc)点处的无歧义绝对相位，kh(xc,yc)是高频条纹在(xc,yc)点处的条纹级次，round[]是就近取整运算；
得到绝对相位之后，利用标定板对投影仪和摄像机组成的系统进行标定，通过标定得到的参数建立摄像机CCD上二维图像与被测物体点云空间位置的对应关系，从而将摄像机拍摄到的二维图像重建为对应的空间三维点云数据，具体关系式如下：
其中(xw,yw,zw)是待测点在世界坐标系中的坐标，R和T分别是由世界坐标系到相机坐标系的旋转矩阵和平移矩阵，u0和v0分别是物理坐标系与像素坐标系之间的偏移量，(u,v)是点(xw,yw,zw)成像在CCD上的像素坐标，α和β是在像素坐标系上的尺度因子，s是一个常数尺度因子。

5.根据权利要求1所述的方法，其特征在于步骤四中，用标定纸条对平面反射镜进行标定，即选取每块平面反射镜上标定纸条的中心部分，并利用步骤二及步骤三所述的重构方法对这一部分进行重构，得到对应块的三维点云数据，得到三维点云后，通过后续的平面拟合可得到平面反射镜的空间姿态信息，最后利用空间姿态信息算得平面反射镜标定参数nk和dk，从而完成平面反射镜的标定，具体方法如下：
获得的点云由很多独立的点组成，由于标定纸条的表面粗糙度以及测量的误差，所以每个点并不是都处于同一个平面内，但是这些点都非常接近纸面所在平面，利用RANSAC算法对获得的标定纸条点云进行平面拟合，在点云中随机选取3个点并建立一个平面
Ax+By+Cz+D＝0，计算点云中其他所有点到这个平面的距离之和，计算点云中各点与这个平面的距离误差及所有误差的RMS，设定阈值，使平面拟合的RMS尽可能的小，不断选取新的平面直至距离之和满足阈值要求；由拟合平面的方程得到这个平面的单位法向
量由于世界坐标系原点O的坐标(xo,yo,zo)在系统标定之后得
到，因此利用点和平面之间距离的计算公式算得世界坐标系原点到平面反射镜之间的距离dk，其中A、B、C、D均为拟合平面Ax+By+Cz+D＝0的参数，至此计算得到标定参数nk和dk，完成平面反射镜的标定。

6.根据权利要求1所述的方法，其特征在于步骤五中，利用平面反射镜的标定参数nk和dk和平面反射镜的成像几何模型，建立平面反射镜中的虚拟点与物体实际点之间的对应关系如下式所示：
其中是平面反射镜中的虚拟点，是物体的实际点，I是单位矩阵，nk是标定得到的平面反射镜的单位法向量，dk是世界坐标系原点到平面反射镜之间的距离，用Tm来表示平面反射镜的反射矩阵；即为(xw,yw,zw)，由此得到一个转换矩阵Tm-
1，将平面反射镜视角中的三维点云数据转换至物体实际所在坐标系中，转换关系为
7.根据权利要求1所述的方法，其特征在于步骤六中，利用ICP迭代算法对点云进行配准，设两块点云之间相同的部分分别表示为：P＝{pi|pi∈R3,i＝1,2,…,a}
Q＝{qj|qj∈R3,j＝1,2,…,b}
其中Q是参考点云，P是待配准的点云，a为点云P中点的数量，b为点云Q中点的数量，R3表示这些点都是三维点，均有x、y、z坐标；首先取一对在实际中最相近的点：点云P中的一点pi以及点云Q中的一点qj，取n对这样的点对，利用奇异值分解法(SVD)找到两点之间的旋转及平移关系(RC,TC)，再定义配准的评价函数：
用配准之后三片点云重复部分的重合度来评价配准的效果，并定义阈值的高低，重合度越高理论上需要的阈值越低，当评价函数的值小于定义的阈值之后则完成配准，否则取新的点集，继续迭代直至满足要求，从而完成点云的配准，实现更高精度的全方位三维信息测量。

技术说明书
一种基于平面反射镜的物体全方位三维测量方法
技术领域
本技术属于光学测量技术与计算机立体视觉领域，特别是一种基于平面反射镜的物体全方位三维测量方法。

背景技术
随着现代信息技术的发展，三维成像技术被广泛应用于监控安防、数字文化保护、逆向工程、产品质量检测和虚拟现实等领域。

作为三维成像技术中的一种，基于结构光投影和三角测量原理的条纹投影轮廓术具有非接触、精度高、速度快等优点，近些年来一直作为热门方向被研究。

但是单纯的获取被测物体的一部分三维信息并不能很好地满足实际生产的需要，在实际生产中，通常要获取被测物体的全方位三维信息(文献“Automated 360°profilometry of3-D diffuse objects”，作者Maurice Halioua等)。

由于光沿直线转播的性质，所以在由单个摄像机和投影仪组成的传统的条纹投影轮廓术系统中，只有同时被投影仪投出条纹图案照射到以及摄像机拍摄到的部分才能被重构为三维点云数据。

其他部分由于被遮挡，无法被重构，从而实现不了物体全方位三维信息的测量。

为了实现全方位三维信息的测量，通常利用到转台或者机械臂等工具(文献“A 3Dmeasurement method based on multi-view fringe projection by using aturntable”，作者Li-mei Song等)，通过对多个视角的测量，获得多个视角的三维点云数据，最后对这些点云数据进行拼接，从而得到全方位的三维点云数据。

由于这种方法需要多次测量，且后续的点云拼接操作复杂，所以存在着费时费力，精度易受转台平整度等机械因素影响，无法测量动态场景等缺陷。

除此之外，也有人提出用平面反射镜进行全方位的三维测量(文
献“Surround structured lighting:3-D scanning with orthographicillumination”，作者Douglas Lanman等)，但是这些系统普遍存在着成本不菲，光路复杂，系统标定操作繁琐，测量精度低等问题。

技术内容
本技术的目的在于提供一种成本低、简单高效和高精度的基于平面反射镜的物体全方位三维测量方法。

实现本技术目的的技术解决方案为：一种基于平面反射镜的物体全方位三维测量方法，步骤如下：
步骤一：搭建基于平面反射镜的条纹投影轮廓术系统，首先搭建摄像机和投影仪组成的条纹投影轮廓术系统，然后将贴附有标定纸条的左平面反射镜和右平面反射镜设置在被测物体后面，调节贴有标定纸条的平面反射镜的位置，通过平面反射镜的反射作用，摄像机同时观察到被测物体的三个视角的信息；
步骤二：投影相移条纹并采图，使用投影仪向被测物体投出相移条纹，并触发摄像机同步采图；
步骤三：求解相位并重构点云，对于步骤二中采集到的条纹图案，采用基于条纹投影的相移轮廓术解算出不同频率条纹下的缠绕相位图，随后利用时域相位解缠算法，将缠绕相位图解算为绝对相位图，利用投影仪和摄像机的标定参数，由绝对相位得到被测物体的三维点云数据；
步骤四：用标定纸条对平面反射镜进行标定，即利用步骤二和步骤三中的方法对平面反射镜上面的标定纸条的三维信息进行重构，得到标定纸条的三维空间姿态信息，并进行平面拟合，用以近似代替平面反射镜的空间姿态信息，计算拟合平面的单位法向量以及世界坐标系原点到拟合平面的距离，完成两块平面反射镜的标定工作；
步骤五：三维点云的转换，根据步骤四得到的平面反射镜的标定参数，计算得到左右平面镜反射镜中三维点云数据到真实世界坐标系的转换矩阵，从而将左右平面镜中的三维点云数据转化到物体实际所在的统一的世界坐标系下，以此方式实现通过单次测量即可得到物体全方位的三维点云数据；
步骤六：三维点云的配准，利用ICP迭代算法对点云进行配准，使点云之间相同的部分尽可能地重合。

本技术与现有技术相比，其显著优点为：本技术基于平面反射镜实现摄像机在一个位置就能从三个不同的视角拍摄到被测物体，对三个视角同时进行重构，通过平面反射镜的标定得到其空间姿态信息，并进一步获得平面反射镜的转换矩阵，利用转换矩阵将虚拟视角中的点云转换至物体所在真实坐标系中，最后通过ICP迭代算法微调点云位置，实现单次测量得到更高精度的全方位三维信息。

与传统的全方位三维测量系统相比具有低成本，简单高效，高精度的优势。

下面结合附图对本技术作进一步详细描述。

附图说明
图1是本技术基于平面反射镜的物体全方位三维测量方法的流程图。

图2是本技术测量方法的系统示意图。

图3是对三个分视角分别进行重构后的三维形貌信息图。

图4是左平面镜的标定结果：(a)为平面拟合结果，(b)为平面拟合的RMS，(c)为标定纸条点云与拟合平面的误差图。

图5是右平面镜的标定结果：(a)为平面拟合结果，(b)为平面拟合的RMS，(c)为标定纸条点云与拟合平面的误差图。

图6是平面反射镜的几何模型。

图7是全方位测量结果图：(a)-(c)为利用ICP迭代算法进行点云配准前的三维点云图，(d)为利用ICP迭代算法进行点云配准后的
点云图。

具体实施方式
本技术基于平面反射镜的物体全方位三维测量方法，包括以下几个步骤：
步骤一：搭建基于平面反射镜的条纹投影轮廓术系统。

首先搭建一个由摄像机和DLP投影仪组成的传统的条纹投影轮廓术系统，然后将两块分别贴有标定纸条2的平面反射镜1放置在被测物体5后面，系统结构图如图2所示。

一块标定纸条(左标定纸条)贴附在左平面反射镜的下部偏左部位，另一块标定纸条(右标定纸条)贴附在右平面反射镜的下部偏右部位，标定纸条不能弯曲，要尽可能与平面反射镜表面贴合，如图2所示。

调节两块贴有标定纸条的平面反射镜的位置，两块平面反射镜的交线正对被测物体和投影仪4，DLP投影仪向被测物体投出相移条纹，并在每帧条纹投出去时通过触发线向摄像机发送触发信号。

摄像机在接收到触发信号后，对被测物体进行同步拍摄，并传送至计算机。

计算机根据摄像机拍摄的照片完成平面反射镜的标定，三维重建以及点云的转换和点云配准。

调节两块平面反射镜的夹角在115°-125°之间，以摄像机3观察到的三个像均匀分布在视场中，互不重合，且三个像不被标定纸条遮挡为标准，其空间位置信息如图2中平面反射镜1所示。

通过平面反射镜的反射作用，摄像机可以同时观察到被测物体的三个视角的信息，从而可以经过后续步骤完成物体全方位三维信息的测量。

步骤二：投影相移条纹并采图。

使用DLP投影仪向被测物体投出相移条纹，并利用投影仪触发摄像机同步采图。

经过物体漫反射后，摄像机采集到的在其CCD平面上某个点(xc,yc)处的光强可以表示为：
其中N是相移步数，n是相移指数，且n＝0,1,...,N-1，In(xc,yc)是对应点的光强，A(xc,yc)为在(xc,yc)点处的背景光强，B(xc,yc)为在
(xc,yc)点处的正弦条纹的调制度，为在(xc,yc)点处的待求被测物体的相位。

步骤三：求解相位并重构点云。

由摄像机同步采集到的经过被测物体表面调制后的条纹图案，可以通过下式解出被测物体的相位：
由于反正切函数的主值长度只有2π，因此会被截断在[0,2π)，即通过上式解出来的相位是缠绕相位，后续还需要进行相位解缠才能得到无歧义的绝对相位。

利用时域相位解缠算法对获得的缠绕相位进行解缠，得到无歧义的绝对相位。

缠绕相位与绝对相位之间的关系如下式所示：
其中Φh(xc,yc)是高频条纹在(xc,yc)点处的无歧义绝对相位，是高频条纹在(xc,yc)点处的缠绕相位，kh(xc,yc)是高频条纹在点(xc,yc)处的条纹级次，条纹级次可以通过时域相位解缠算法如降级法解得。

利用一个连续无歧义的相位Φl(xc,yc)作为辅助相位，然后根据辅助相位和缠绕相位之间的频率关
系来找到各个像素点所对应的级次关系，具体算法如下式：
其中fh是高频条纹的频率，fl是无歧义低频条纹的频率，Φh(xc,yc)是高频条纹在(xc,yc)点处的绝对相位，是高频条纹在(xc,yc)点处的缠绕相位，Φl(xc,yc)是低频条纹在(xc,yc)点处的无歧义绝对相位，kh(xc,yc)是高频条纹在(xc,yc)点处的条纹级次，round[]是就近取整运算。

得到绝对相位后，利用投影仪和摄像机的标定参数，可以由绝对相位得到被测物体的三维点云数据，具体关系式如下：
其中(xw,yw,zw)是待测点在世界坐标系中的坐标，R和T分别是由世界坐标系到相机坐标系的旋转矩阵和平移矩阵，u0和v0分别是物理坐标系与像素坐标系之间的偏移量，u和v是点(xw,yw,zw)成像在CCD上的像素坐标，α和β是在像素坐标系上的尺度因子，s是一个常数尺度因子。

经过以上步骤后可以建立三维空间中一点(xw,yw,zw)与摄像机CCD上一点(u,v)之间的对应关系，从而将摄像机CCD上的二维图片重构为三维点云数据。

步骤四：用标定纸条对平面反射镜进行标定。

选取每块平面反射镜上标定纸条的中心部分，并利用步骤二及步骤三所述的重构方法对这一部分进行重构，得到对应块的三维点云数据。

左平面反射镜标定纸条的重构结果如图4的(a)-(c)所示，右平面反射镜标定纸条的重构结果如图5的(a)-(c)所示。

得到三维点云后，通过后续的平面拟合可得到平面反射镜的空间姿态信息，最后利用空间姿态信息算得平面反射镜标定参数nk和dk，从而完成平面反射镜的标定工作，具体方法如下所述。

获得的点云由很多独立的点组成，由于标定纸条的表面粗糙度以及测量的误差，所以每个点并不是都处于同一个平面内，但是这些点都非常接近纸面所在平面。

利用RANSAC算法对获得的标定纸条点云进行平面拟合，在点云中随机选取3个点并建立一个平面
Ax+By+Cz+D＝0，计算点云中其他所有点到这个平面的距离之和，计算点云中各点与这个平面的距离误差及所有误差的RMS，设定阈值，使平面拟合的RMS尽可能的小(在本方法中小于0.07mm即可)，不断选取新的平面直至距离之和满足阈值要求。

由拟合平面的
方程可以得到这个平面的单位法向量如图4的(a)和图5的(a)中的直线即为左拟合平面、右拟合平面的单位法向量所在直线。

由于世界坐标系原点O的坐标(xo,yo,zo)在系统标定之后可以得到，因此
利用点和平面之间距离的计算公式算得世界坐标系原点到平面反射镜之间的距离dk，供步骤五使用，其中A、B、C、D均为拟合平面Ax+By+Cz+D＝0的参数。

拟合出来平面的空间姿态分别如图4的(a) (左标定纸条)和图5的(a)(右标定纸条)所示。

左右标定纸条点云与拟合平面的距离误差如图4的(c)和图5的(c)所示，图4的(b)和图5的(b)分别为对应距离误差的RMS。

至此计算得到标定参数nk和dk，完成平面反射镜的标定。

步骤五：三维点云的转换。

利用步骤四得到的平面反射镜的标定参数nk和dk，再利用平面反射镜如图6所示的成像几何模型，可以建立平面反射镜中的虚拟点与物体实际点之间的对应关系如下式所示：
其中是平面反射镜中的虚拟点，是物体的实际点，I是单位矩阵，nk是标定得到的平面反射镜的单位法向量，dk是世界
坐标系原点到平面反射镜之间的距离，用Tm来表示平面反射镜的反射矩阵。

经过步骤一至步骤三之后即可得
到，即为步骤三中的(xw,yw,zw)，只不过步骤三中是普遍的方法，这里用普遍的方法求解dk和nk在经过步骤四之后可得到，由这个关系得到一个转换矩阵Tm-1，将平面反射镜视角中的三维点云数据转换至物体实际所在坐标系中，转换关系
为从而实现单次测量得到物体全方位三维信息，如图7的(a)-(c)所示，图7的(a)为被测物体三维
点云的左侧视角，图7的(b)为被测物体三维点云的左侧视角，图7的(c)为被测物体三维点云的底部视角。

步骤六：三维点云的配准。

由于平面反射镜可能存在标定误差，因此平面反射镜中的虚拟点云经过转换矩阵转换之后，边缘部分并不能与其他点云完全重合，存在一定的偏差。

为了得到更精确的结果，还需要利用ICP迭代算法对点云进行配准，使点云之间相同的部分尽可能地重合，获得精度更高的物体全方位三维点云数据。

设两块点云之间相同的部分可以分别表示为：
P＝{pi|pi∈R3,i＝1,2,…,a}
Q＝{qj|qj∈R3,j＝1,2,…,b}
其中Q是参考点云，P是待配准的点云，a为点云P中点的数量，b为点云Q中点的数量，R3表示这些点都是三维点，均有x、y、z坐标。

首先取一对在实际中最相近的点：点云P中的一点pi以及点云Q中的一点qj，取n对这样的点对，利用奇异值分解法(SVD)找到两点之间的旋转及平移关系(RC,TC)再定义配准的评价函数：
用配准之后如图7的(d)所示的三片点云重复部分的重合度来评价配准的效果，并定义阈值的高低，重合度越高理论上需要的阈值越低，当评价函数的值小于定义的阈值之后则完成配准，否则取新的点集，继续迭代直至满足要求。

从而完成点云的配准，实现更高精度的全方位三维信息测量。

实施例
为验证本技术所述方法的有效性，使用一台相机(型号acA2440-75um,Basler)，一台DLP投影仪(型号LightCrafter 4500PRO TI)，两块表面贴有标定用标定纸条的平面反射镜(尺寸为40cm×40cm)，一台计算机构建了一套基于平面反射镜的物体全方位三维测量系统如图2所示。

在实施例中，标定用的标定纸条尺寸为2.5cm×15cm，材质为普通A4打印纸，被测物体为海盗赛内卡石膏雕像。

首先固定投影仪和摄像机，按照步骤一的要求将标定纸条贴附在两块平面反射镜上，并将两块平面反射镜放置在被测物体后面，微调摄像机视角，摄像机视角中标定标定纸条分布在视场两侧，被测物体的三个视角均匀分布在视场中，标定纸条与被测物体互不遮挡。

按照步骤三要求向被测物体投出频率为1,8和64的9步相移横条纹，并触发摄像机同步采图。

利用步骤三的方法解得每个像素点的相位，并对缠绕相位进行解缠得到绝对相位。

利用摄像机和投影仪的标定参数，可以同时得到被测物体三个视角的三维点云如图3所示，图3左边的点云是物体经左平面反射镜反射的虚拟视角，图3中间点云为直接拍摄到的实际视角，图3中右边的点云是物体经右平面反射镜反射的虚拟视角。

按照步骤四的要求对两个标定纸条的三维点云数据分别进行平面拟合，分别得到一个三维空间平面，近似替代平面反射镜表面的空间信息，两平面镜标定的结果分别如图4(左平面镜)和图5(右平面镜)所示，图4的(a)是左标定纸条平面拟合的结果，图4的(b)是左标定纸条平面拟合的RMS，左平面反射镜拟合结果的RMS为0.063867mm，图4的(c)是左标定纸条点云与拟合平面的误差图，图5的(a)是右标定纸条平面拟合的结果，图5的(b)是右标定纸条平面拟合的RMS，右平面反射镜的RMS为0.067934mm，图5的(c)是右标定纸条点云与拟合平面的误差图。

利用步骤五中如图6所示的平面反射镜几何模型和步骤四求解的平面反射镜的三维空间信息，计算得到平面反射镜中被测物体三维点云到实际所在统一坐标系中的转换矩阵，两平面反射镜的转换矩阵如下：
左边平面镜的转换矩阵：。