基于双目便携式三维扫描技术的小工件测量

基于双目便携式三维扫描技术的小工件测量
刘家豪;贺赛先
【摘要】在小工件测量上,传统的接触式测量方法测量速度慢、效率低,而非接触式测量方法中双目视觉测量法和线结构光法都存在一定的缺陷.采用双目视觉测量与线结构光法相结合的方法,对小工件进行了测量.利用两个CCD摄像头和一个激光发射器构成了一个双目视觉测量系统和两个完全对称的线结构光测量系统,通过双目视觉测量系统测量标志点空间坐标;并基于标志点位置的不变性匹配系统不同位姿,用线结构光法获得激光线上的点在当前世界坐标系下的三维坐标;并匹配到基准坐标系中,从而得到工件表面点在基准坐标系下的三维坐标,达到测量目的.试验结果表明,该方法弥补了双目视觉测量法对物体曲面测量效果不理想和线结构光法单次测量数据少,空间定位不便的缺点,具有操作简便,测量适用性强的特点,误差在1 mm 以下.
【期刊名称】《科学技术与工程》
【年(卷),期】2016(016)007
【总页数】11页(P31-41)
【关键词】三维扫描;双目视觉;结构光;系统标定;点云
【作者】刘家豪;贺赛先
【作者单位】武汉大学电子信息学院,武汉430079;武汉大学电子信息学院,武汉430079
【正文语种】中文
【中图分类】TB96;TP391
在现代工业的三维测量领域，传统的接触式测量设备由于其测量效率低、速度慢[1]，且需要接触测量，对弹性或软质物体测量效果不好，对精密物体则往往因接触而损坏表面，典型代表为利用三坐标测量机(CMM)测量[2]，故已不能适应现代制造业发展的需要；由此非接触式测量方法应运而生，主要包括立体视觉法[3]、相位光栅法[3]、结构光法[3]、双目/多目视觉法等。

其中双目视觉测量法由于需要进行双目立体匹配，因此难以获取工件曲面纹理特征不明显或过分复杂部分的表面三维坐标点信息；而线结构光法虽然非接触、测量速度快、精确高，但只能每次获得激光线上点的坐标信息，单次测量获得数据少，不方便；且需要电磁传感器配合以完成空间定位[4]。

本文针对双目视觉测量法中难以获得曲面的三维坐标信息，以及线结构光法需要配合电磁传感器等进行空间定位的缺憾，利用双目视觉及线结构光法相结合的方法对小工件进行了测量。

通过双目视觉系统取代线结构光法中的位置传感器，以获得测量时不同系统姿态下点坐标的空间位置转换关系，即旋转平移矩阵；同时利用线结构光法对激光线上点坐标测量的精准性，弥补了双目视觉法难以获取曲面三维坐标信息的缺点。

实验结果表明，该方法能有效弥补上述两种方法的缺点，具有较好的应用前景。

如图1所示，基于双目便携式三维扫描系统是由两个CCD相机和一个线激光器组成。

图1中左右CCD相机构成了双目视觉测量系统，线激光器与左右CCD相机分别构成了一个线结构光测量系统，测量工件周围存在人为设计的标志点。

在软件处理对象是连续图像帧的情况下，双目视觉测量系统用于解算标志点在每一图像帧的动态坐标系下的三维坐标。

利用标志点的空间不变性，获得该帧时刻动态坐标系统一到基准坐标系下的变换矩阵。

每个线结构光测量系统则用于计算每一图像帧下激光
线上的点在该动态坐标系下的三维坐标；并通过双目视觉测量系统得到的变换矩阵转换到基准坐标系下。

两个线结构光测量系统可用于彼此数据的校正，以减小测量误差。

摄像机模型的成像变换是指摄像机通过成像系统将三维空间投影到二维平面上，而摄像机模型分为线性模型(针孔模型)与非线性模型两种。

由世界坐标系到图像坐标系的转换关系如图2所示。

对于由CCD相机采集的数字图像，在计算机内表示为M×N的数组形式，每个数组值称为像素。

如图3所示，在数字图像上定义以像素为单位的直角坐标系u-v，u表示该像素点在数组中的列数，v表示行数，原点O0定义在图像的左上角[5]。

以O1为原点定义的直角坐标系X-Y则是以mm为单位的图像物理坐标系，X、Y 轴分别平行于u、v轴。

现假设O1在图像像素坐标系u-v中的坐标为(u0，v0)，且每个像素在X、Y轴方向上的物理尺寸为dX、dY，则图像上的任意像素点在两个坐标系下的矩阵换算关系如下：
摄像机成像的几何关系如图4所示。

O为摄像机光心，x轴和y轴分别平行于图像的X轴和Y轴，z轴为摄像机光轴，垂直于图像平面。

光轴与图像交点即为图像坐标系的原点，OO1为摄像机焦距f，直角坐标系x-y-z称为摄像机坐标系。

环境中选定一个基准坐标系来描述空间中物体位置，即为世界坐标系Xw-Yw-Zw，Ow为世界坐标系原点。

由图可知，世界
坐标系经旋转平移可与摄像机坐标系重合，那么假设空间中点P在世界坐标系和
摄像机坐标系下的坐标分别为(Xw，Yw，Zw)和(x，y，z)，则存在矩阵换算关系
如下：
利用针孔成像模型，即摄像机模型中的线性模型，如图4所示，假设的空间中点P 在图像上的投影位置为p，即光心O与P的连线和图像平面的角点，设p在图像
坐标系下的坐标为(X，Y)，则矩阵换算关系如下(a为比例因子)：
综合式(1)、式(2)、式(3)，可得到以像素为单位的图像坐标系与世界坐标系间的矩阵换算关系：
M1M2Xw=MXw
如图5所示，设M1、M2分别为两个摄像机已标定好的投影矩阵，由式(4)可得空间点P(Xw，Yw，Zw)与投影点p1(u1，v1)、p2(u2，v2)的转换关系如下：
；
即AXw=B，由最小二乘法[7]可得：
Xw=(ATA)-1ATB
由此可由投影点在左右摄像机坐标系中的坐标求得点的三维坐标。

本文利用标志点的空间坐标不变，使用双目视觉测量系统获得每一帧时刻左右摄像机图像中可匹配的标志点的三维坐标，通过其与基准坐标系中的标志点坐标的对应关系，求得每一帧的测量系统所在世界坐标系相对于基准坐标系的旋转平移矩阵，从而将线结构光系统测得的工件表面位于激光线上的点的坐标转换到基准坐标系上。

由于线结构光系统测量精度高，利用其测量激光线上的点。

线结构光测量对空间点的约束条件为单个摄像机所得的两个线性方程和激光平面点所在方程。

如图6所示，空间某点P(Xw，Yw，Zw)位于激光器投射的激光面上，而其在摄像机图像上的投影点为p(u，v)，设已标定的摄像机投影矩阵为M，激光平面方程为aX+bY+cZ+d=0(在世界坐标系下)。

则有转换关系如下：
aXw+bYw+cZw+d=0
消去比例因子，矩阵换算关系如下：
亦可表示为AXw=B，可得：
Xw=A-1B
由此可求得激光线上的点在当前帧所在世界坐标系的坐标，通过双目视觉测量系统
求得的旋转平移矩阵可将该坐标转换到基准坐标系下，从而经过处理每一帧中激光线上的点坐标，获得工件表面点云数据。

双目视觉系统的标定采用张正友的基于平面2D标靶的标定方法[8]，使用网上已
有的MATLAB标定工具箱完成(地址：
http://www．vision．caltech．edu/bouguetj/calib_doc)。

而右线结构光系统
和双目视觉系统处于同一世界坐标系中，因此激光平面的标定应在双目视觉系统标定过程中同时完成。

张正友的标定方法要求摄像机在两个以上不同方位拍摄平面标靶，标靶可自由移动，前提是标定过程中，摄像机内参数保持不变。

平面标定靶如图7所示。

通过张正友的标定方法得到摄像机内外参数矩阵之后即可获得摄像机的投影矩阵，同一坐标系下的左右相机均进行此过程后即完成双目视觉系统的标定。

线结构光系统的标定也采用基于2D平面标靶[9]的激光面标定方法。

由式(8)可知，光平面方程可表示为aXw+bYw+cZw+d=0，当激光平面不过所选世界坐标系原
点即d≠0时，方程可写为(A=-a/d，B=-b/d，C=-c/d)：
AXw+BYw+CZw=1
A，B，C为该平面法向量n的3个分量，为我们需要求的量。

设(Xw，Yw，Zw)
为激光平面上特征点的世界坐标，m个特征点可构造一个超定方程组，矩阵形式为：
简写为GS=L，其中G为式(12)左边系数矩阵，S=[A B C]T，L=[1 1 … 1]T，那
么可得A，B，C的最小二乘解为：
S=(GTG)-1GTL
激光平面上的特征点在世界坐标系下的三维坐标可以通过图像坐标，借助双目视觉系统来间接计算，由此可计算出光平面方程。

如图8所示，移动标定靶平面，使其与激光平面分别相交成直线光条。

将摄像机
获取的光条图像转换为灰度图像，对其进行滤波、二值化等图像处理，以提取光条上各特征点的图像坐标(ui，vi)，标定靶移动的位置坐标Zw1，Zw2可由坐标台上的光栅尺精确获得。

由(4)有：
消去z可得：
Mij是相机标定参数，(u，v)是图像上点的坐标，ZW右坐标台上的光栅尺直接获得，都是已知的，那么可得：
从而可获得特征点的世界坐标(Xw，Yw，Zw)，进而获得光平面方程，完成标定。

利用双目视觉系统获得每一帧下标志点在该帧坐标系下的坐标，来解算前后帧的旋转平移矩阵，以此将线结构光系统在前后帧获得激光线上点的三维坐标统一到基准坐标系下。

设前一帧中某标志点中心为S1(x1，y1，z1)，后一帧中同一标志点中心为S2(x2，y2，z2)，前后帧时刻系统姿态不同，S1、S2的对应关系如下：
R为3×3的旋转矩阵，T为平移向量。

若已知若干个前后帧中一一对应的标志点，则可反求出旋转平移矩阵[10]。

本文采用的标志点如图9所示。

标志点提取算法示意图如图10所示。

如图10，将双目视觉系统获得图像转化为灰度图像，进行高斯滤波，进行自适应
阈值将图像转化为二值图像；在软件操作点取标志点内任意点S时，以S起始，
水平搜索边界，取搜索线中心再上下搜索边界，取搜索线中心点为O1；仍以S点为起始点，先垂直在水平重复上述操作获得中心点O2；计算O1 、O2平均值O，则记为该标志点中心。

左右图像标志点匹配则利用颜色识别来一一匹配。

获得一一对应的左右标志点点集之后，利用Hom的四元数法[11]求得坐标旋转矩阵R和平移向量t。

系统的硬件部分包括一个线激光器，两个CCD摄像头，CCD摄像头通过USB数据线与计算机相连，图11即为系统实物图。

图12为使用的摄像头，其参数如表1所示。

图13为系统采用的红一字激光器，其参数如表2所示。

整个系统的量程与姿态设计图如图14所示。

系统预计测量距离为30 cm，左右摄像头以激光器为中心各距9 cm，系统设计时将摄像头光轴对准激光面，使激光线尽量成像在图像的中部区域，从而减小镜头畸变对结构光测量模块造成的误差，经计算此时摄像头光轴与垂直线OO1的夹角为16.7°。

经实验测量知摄像头的可视角为42°，故经计算可得在距离测量物体30 cm的情况下，测量范围AB为22.52 cm。

系统的软件部分包括图像采集模块，标定辅助模块，帧内标志点提取与匹配模块，帧内激光线提取与计算模块，帧间匹配与数据拼接模块，三维显示模块等6个模块，模块关系如图15所示。

在双目视觉系统与线结构光系统标定好之后，通过图像采集模块，获得同一时刻的左右帧图像需经过帧内标志点提取与匹配模块处理，该模块流程图如图16所示。

该帧时刻的激光线坐标可同时经帧内激光线提取与计算模块求得。

对于激光中心的提取，通常预处理的方法是将激光图像转化为灰度图像，而由于本文采用的是红色激光，遇到表现材质颜色吸收光的情况下，灰度图像中激光强度大大弱化，较难从背景中区分。

鉴于激光图像的红色分量图激光部分强度明显改善，本文利用将灰度图像和红色分量图结合处理的方法，得到了激光线中心坐标。

其模块流程图如图17所示。

将第一帧图像的当前坐标系作为基准坐标系，那么帧间匹配与数据拼接模块就需要把每帧获得的激光中心点三维坐标通过计算求得的旋转平移矩阵转换到基准坐标系中。

由上文系统原理部分可知，旋转平移矩阵利用每帧获得的标志点三维坐标点集求得。

由于系统预计量程为30 cm，距离过近，在测量工件时，第一帧左右图像内一般
不会包含所有的标志点，从而使得较靠后的帧图像中包含的标志点不能直接匹配到第一帧的基准坐标系中，因此本文采用逐帧匹配的方式，利用变换矩阵的传递求得当前帧到第一帧的转换矩阵。

设第一帧下的系统坐标系为基准坐标系，那么第一帧的转换矩阵H则为单位矩阵I，从第二帧开始则用四元数法计算该帧到前一帧的坐标系变换关系Hn，那么第N帧到第一帧的转换矩阵Hs=HnHn-1Hn-2…H2=HnHs-1，由此可将该帧所在系统坐标系下的激光中心点的三维坐标X转换到第一帧的基准坐标系下，即：
Xfirst=HsX
帧间匹配与数据拼接模块流程如图18所示。

通过三维显示模块可将获得的点云数据文件中的三维点云显示出来。

在进行工件测量之前，依据系统标定原理需要首先对双目视觉系统和线结构光系统进行标定，以获得左右摄像头的投影矩阵以及左右激光平面方程。

本文使用
VC++和MATLAB联合完成整个系统标定。

本文使用的平面标定靶如图19所示。

基于张正友的标定方法，使用左右相机拍摄自由选取的30个不同位置的平面标定靶图像，利用MATLAB工具箱可获得左相机的内参数矩阵：
右相机的内参数矩阵：
由于相机的外参数矩阵随着基准坐标系选取的不同而不同，并基准坐标系的选取是任意的，为了方便之后的激光平面标定，使双目视觉系统和两个线结构光系统统一在同一个世界坐标系下，选定特定位置的2D标靶如图20所示，以此建立的基准
坐标系姿态如图21所示。

基准坐标系X轴与标靶垂直方向平行，Y轴与标靶水平方向平行，Z轴方向垂直于标靶面向外。

此位置下利用MATLAB标定工具箱可获得左
由投影矩阵M=M1M2可知左右相机的投影矩阵如下：
完成双目视觉系统的标定后，使用光栅尺精确控制选定基准坐标系Z轴的移动与读数，以完成线结构光系统的标定。

如图22为特定位置2D标靶的激光线图像(Zw=0)。

沿Zw方向前后移动标靶，记录光栅尺Z值的不同读数，利用上文得到的投影矩阵以及激光线上点的坐标(u，v)即可得到激光线上点的三维坐标，从而根据原理获得左右激光平面方程。

标定时分别记录Zw=0，-20，-40，…，-160时左右相机拍摄激光线的图像，共计18张。

在每一幅图像的激光光条上均匀提取8个点作为标定特征点，左右各72个特征点。

图23为激光中心特征点的提取示意图：左图为彩色背景下的提取效果图，提取的特征点用蓝色十字线标出；右图为二值化后的提取效果图，特征点用黑色十字线标出。

获取这些特征点的图像坐标(u，v)，结合对应的Zw值，由原理可计算各特征点在基准坐标系下的Xw，Yw值。

由各个特征点在基准坐标系下的坐标(Xw，Yw，Zw)可求得左右线结构光系统激光平面方程AXw+BYw+CZw=1的系数。

左、右激光平面方程系数分别如表3、表4所示。

理论上左右相机的光平面系数应当完全相同，但由于硬件的差异、图像获取时产生的噪声，特征点的选取数量少和随机性以及激光中心提取精度等问题，系数存在差异。

左相机与激光器构成的线结构光系统光平面方程为：
-0.000 528 167 754 035 248X+
0.011 059 222 104 353 2Y+
0.000 036 970 841 663 638 2Z=1。

右相机与激光器构成的线结构光系统光平面方程为：
-0.000 506 107 334 566 476X+
0.011 020 515 641 847 6Y+
-0.000 151 549 206 145 275Z=1。

上文中已获得左右相机的投影矩阵以及左右激光平面方程，由此我们可以对小工件或物体进行三维扫描获得其包括曲面部分在内的点云数据了。

如图24为被扫描工件与物品的示意图。

由于左右线结构光系统与双目视觉系统能分别构成整个系统，因此获得的点云数据可分为左右系统点云数据。

工件的左右系统三维扫描点云图如图25所示。

透镜夹的左右系统三维扫描点云图如图26所示。

而由于双目视觉系统以及左右线结构光系统是建立在统一的基准坐标系下，因此左右系统三维扫描点云数据图可综合到一起，如图27所示。

同样，鼠标的左右系统三维扫描点云图如图28所示，综合点云图如图29所示。

扳手的左右系统三维扫描点云图如图30所示，综合点云图如图31所示，图32为扳手综合点云图的局部放大图。

由此可知，通过点云数据我们可以获得小工件或物体的尺寸信息，或者对小工件或物体模型进行三维重建。

而由鼠标的点云数据获取结果可知，其纹理特征不明显的曲面部分三维坐标点信息也顺利获得，弥补了双目视觉测量法的缺陷，达到实验目的。

为了验证获得数据的精确性，使用系统对扫描物品工件以及一元硬币的尺寸进行测量(图33)。

通过测量结果与标准真值的比较来判断系统精度是否符合要求。

对于工件的测量，如图34所示，表5为测量结果与标准值的对比。

对于一元硬币的测量，如图35所示，表6为测量结果与标准值的对比。

由测量结果可见，绝大多数数据的测量误差在正负1 mm之内，测量相对误差在1%之内，因此系统的测量精度基本满足要求。

在小工件测量上，利用双目便携式三维扫描技术进行测量的方法较为少见。

该方法不同于传统的利用电磁传感器辅助空间定位的方法，对比超声测量，CMM测量等方法具有方便快捷成本低廉等特点。

而对于单独的双目视觉测量系统，虽然数据采集量大，使用便捷，适用于三维目标识别、理解以及位形分析，但对纹理特征过分依赖，在工件曲面纹理特征不明显或过分复杂部分的表面三维坐标点测量困难。

单独的线结构光测量系统精度更高速度更快，但由于光源的约束性，一次成像获得信息量小，并且需要依赖电磁传感器等来进行空间定位。

本文中的双目便携式三维扫描系统综合了两种系统的优点，利用双目视觉系统进行快捷廉价的匹配定位，利用线结构光系统进行精确测量，能获得工件表面更完善的三维坐标信息，同时由于系统构成简单，并不依赖固定的测量平台，便携性是其一大优点，因此具有良好的应用前景。

Qu Xuejun， Zhang Lu. 3D measurement method based on binocular vision technique. Computer Simulation，2011；28(2):373—377
Wang Peng. Study onkey techniques for automatic 3D structured-light scanning system.Tianjin: Tianjin University，2008
Hao Lijuan. 3D profile and deformation measurement based on binocular vision system.Nanjing ：Nanjing University of Aeronautics and Astronautics，2013
Zhang Guangjun. Vision measurement. Beijing:Science Press，2008:33—36 Zhang Guangjun. Machine vision. Beijing:Science Press，2006:24—25
Fei Yetai. Theory of error and data disposal. Beijing:China Machine Press，2007:94—101
Huo Long， Liu Weijun， Zhang Aijun. Study of calibration approaches for
light plane in computer vision based measurement. Computer Measurement & Control，2005；13(7):621—623
Ou Yang Xiangbo， Zong Zhijian， Xiong Huiyuan. An automatic registration method for point-cloudsbased on marked points. Joumal of Image and Graphics，2008；13(2):298—301。