格雷码与六步相移编码融合的三维结构光学测量方法

·强激光物理与技术·
格雷码与六步相移编码融合的三维结构光学测量方法
*
孙帮勇1,2， 吴思远2（1. 西安理工大学 印刷包装与数字媒体学院，西安 710048； 2. 中国科学院 西安光学精密机械研究所 光谱成像技术重点实验室，西安 710119）
摘 要： 编码结构光技术是一种获取复杂目标三维结构的典型测量技术，其将编码后的结构光图案投射
到待测物体表面进行调制、采集，并通过解码计算三维面形数据，可见编码方法是结构光三维测量技术的核心
问题。

然而，通用的格雷码编码方法和六步相移编码方法都存在一定缺陷，为此，以获取物体的高精度三维点
云数据为目标，提出了一种融合格雷码与六步相移的结构光技术。

首先，将格雷码结构光设计为7幅黑白相间
的条纹周期图像，并通过投射角度解码操作将图像划分为多个区域；然后，设计六步相移结构光为6幅具有相
位差的余弦周期图像，通过相位解包裹操作将每个子区域细分到单个像素单元；最后，融合以上两种编码结构
光解码值，计算图像内每个空间点的绝对相位信息。

仿真实验与实际测试实验显示，与传统六幅莫尔条纹结构
光技术相比，融合结构光技术计算量较小，同时也克服了单独使用格雷码或相移技术所存在的问题，能够以较
高精度获取物体目标的三维结构细节，为基于结构光的双目三维扫描系统提供一定理论依据。

关键词： 三角测量原理； 六步相移； 格雷码； 结构光； 三维点云
中图分类号： O439 文献标志码： A doi : 10.11884/HPLPB202133.200242
Structured light technology based on gray code and six-step phase shift method
Sun Bangyong 1,2， Wu Siyuan 2
（1. College of Printing , Packaging Engineering and Digital Media , Xi’an University of Technology , Xi’an 710048, China ;
2. Key Laboratory of Spectral Imaging Technology , Xi'an Institute of Optics and Fine Mechanics , Chinese Academy of Sciences , Xi'an 710119, China ）
Abstract ： Structured light technology is a typical method for capturing the three-dimensional point cloud data
of realistic objects. Structured light images are projected on the surface of the object, which are modulated by the
height of the object. Then, the modulated structured light is captured by the camera. Finally, the triangulation principle
is used to calculate the three-dimensional surface shape data. To scan the high-precision three-dimensional point cloud
of the object, this paper proposes a structured light technology based on Gray code and six-step phase shift method.
The structured light based on Gray code is composed of 7 black and white fringe periodic images, and the image can
be divided into 128 areas through the gray code decoding operation; the structured light based on six-step phase shift is
composed of 6 cosine periodic images with phase difference. Phase shift decoding can subdivide each of the 128 areas
into a single pixel. Compared with the cumbersome calculation of six Moiré fringes, the proposed structured light
technology based on six-step phase-shift method has less calculation. In the simulation experiment and actual test, the
proposed structured light technology showed excellent performance.
Key words ： principle of triangulation ； six-step phase shift ； Gray code ； structured light ； cloud point
随着光学成像理论与设备的发展，人们已实现复杂目标物体的三维结构获取，特别是所提出的格雷编码结构光技术和相移编码结构光技术，能够探测目标复杂的外部结构，被广泛应用于三维重建任务中[1]。

格雷编码结构光技术是一种时间编码方法，所成图像由周期性黑白相间条纹组成，具有空间分辨率高、易于实现等特点。

相移编码结构光技术属于周期性编码方法[1]，成像为具有相位差的余弦周期图像，基于连续的相位特征，在同一个方向和同一个周期内所描述的空间点相位值具有惟一性，三维重建的空间精度较高。

格雷编码和相移编码两种结构光技术是精密型双目三维扫描系统采用的主要方法，但现阶段仍存在一定问 * 收稿日期：2020-08-19； 修订日期：2020-12-18
基金项目：国家自然科学基金项目(62076199)；中国科学院光谱成像技术重点实验室基金项目(LSIT201801D)
作者简介：孙帮勇(1980—)，男，博士，副教授，从事多光谱成像技术研究；；
吴思远(1991—)，男，硕士，工程师，从事结构光学设计与测量研究；。

第 33 卷第 2 期强 激 光 与 粒 子 束Vol. 33，No. 22021 年 2 月HIGH POWER LASER AND PARTICLE BEAMS Feb.，2021
题。

研究发现，格雷编码结构光技术存在的主要问题为[2-4]：第一，投影时间与解码时间长，这是由于格雷编码需要投射大量的编码图案，导致图像采集和后期图案解码都较为耗时；第二，格雷编码无法将图像区域划分至单个像素，这是由于投影仪在投射格雷编码图案时，黑白条纹之间存在光的衍射效应，无法精确区分较小的划分区域，从而导致图像解码出错。

而相移结构光技术存在的主要问题为[5-6]：第一，周期性相移无法精确编码大范围区域，在采用图像灰度值求解空间点相位时，由于像素值取值范围有限导致不能对图像内空间点完全编码；第二，相位步数的选择问题，一般相移步数越少，效率越高，相移步数越多，越能减少因光照不均匀而产生的相位偏差，从而提高测量精度，但是多步数的相移法也会导致更多的投影图像和更长的计算时间。

基于以上对格雷编码结构光与相移结构光的成像技术特性分析，研究人员发现[7-8]，通过融合两种编码方式可以更准确求解图像中的空间点相位信息，为后期三维测量和扫描提供可靠的计算依据。

本文基于该思路，以构建高精度的双目三维目标扫描系统为目标，首先采用格雷编码结构光技术将目标图像划分为多个区域，然后在三步、四步相移编码基础上，提出新的六步相移结构光技术对格雷编码形成的子区域细分至像素级别，最后通过融合的编码、解码方法实现精确的三维目标结构获取。

实验结果表明，新的融合编码三维扫描方法能够对物体表面空间进行精确编码，并在双目立体视觉扫描中获得了物体精确的三维结构。

1 基于格雷编码与六步相移编码融合的结构光技术原理
三维复杂目标的结构扫描多采用精密型立体视觉扫描设备，如图1所示，基于结构光的双目三维扫描系统由两台相机和一个光栅投射器组成，结构简单、扫描精度高，是三维目标扫描的主流设备。

扫描过程中，首先利用光栅投射器向被测物体投射预置的结构光编码图案，并且两台相机同时采集被物体表面高度调制的结构光图案；然后对获取的结构光图案进行空间解码，结合立体视觉极线约束搜索两幅图像的像素位置对应关系[9-12]；最后，根据标定的系统内部参数与外部参数，采用三角测量法[13-14]计算目标的空间三维坐标。

可以看出，光学编码是采用结构光进行三维扫描的关键问题。

研究发现，基于格雷编码（如图2所示）与相移编码的结构光编码技术是当前采用的主流算法，其易于实现、扫描精度高。

然而，在结构光的实际设计与应用中，由于待测物体的表面颜色偏暗或者具有反光现象，导致相机采集的结构光图像质量下降，容易造成空间解码出错。

为了克服上述问题，本文提出了格雷码与六步相移融合的结构光技术，通过精确控制投影位置和编码的相位偏差，提升三维目标的空间精度和时间效率。

基于所提出的融合编码结构光技术，扫描步骤可分为以下三步：（1）利用格雷编码技术将图像划分为128个区域，并对于待测物体表面颜色偏暗部位和边缘部位进行图像预处理，以提高解码准确率；（2）使用六步相移结构光技术将上述子区域进一步细分至像素级别；（3）融合格雷编码与六步相移的解码值，获取图像所对应三维空间的绝对相位值。

1.1 格雷编码结构光技术
通过分析三维扫描目标空间分辨率精度和解码效率等因素，本文设计的格雷编码图案由7幅黑白相间的周期性条纹组成，成像区域被划分为128个子区域，如图3所示。

设定第n 幅图像中包含的周期数为2n −1，即第1幅的周期为20＝1，第7幅的周期为128。

camera 1projector camera 2
Fig. 1 Binocular three-dimensional scanning instrument based on structured light
图 1 基于结构光的双目三维扫描设备示意图
Fig. 2 Structured light images based on Gray code
图 2 格雷码结构光示意图强 激 光 与 粒 子 束
为了减少待测物体表面的反光现象，所设计的格雷编码图像中黑色条纹像素值为0，白色条纹像素值为178。

未采用传统像素值255表示白色条纹，是因为格雷编码图案被投影至待测物体表面时，在满足解码条件的前提下，能够通过减小白光像素值降低强白光造成的物体表面反光现象，从而提升成像质量。

另外，在对摄像机采集图像进行二值化处理时，图像中白色条纹区域的像素标记为1，黑色条纹区域的像素标记为0，以便求解相应区域的二进制编号。

测试中发现，图像二值化处理时，对于表面颜色偏暗的物体无法较好的选取阈值来区分黑白条纹，易导致二值化出错。

为克服上述问题，本文采用局部阈值算法对
较暗物体的图像进行二值化处理，如图4所示，通过投射全
黑与全白两幅图案，在获得各个像素点在这两种情况下的灰
度值后，采用其均值作为该像素点的阈值。

图像二值化处理过程完成了图像区域的格雷编码值的
求解，为了获取图像区域的十进制周期数，实验中对二进制
格雷码进行解码的原则为：由高位向低位依次进行转换，最
高位不变，二进制的当前位为所求出的二进制的上一位与格
雷码的当前位进行异或操作。

最终将二进制编码转换成十进制编码，作为图像区域的解码周期。

1.2 六步相移编码结构光技术六步相移结构光技术采用相位法对目标物体表面的三维空间点进行编码。

由于相位是连续的，同一周期内每个空间点的相位值具有唯一性。

本文设计的六步相移结构光，较三步相移和四步相移解码精度更高，同时比传统的六幅莫尔条纹法计算量小。

假定投影光强是标准余弦分布，当编码图案投射至待测物体表面时，编码图案在不同表面高度的调制下形成变形条纹，所形成的变形条纹函数可以描述为
I (x ,y )(x ,y )A (x ,y )B (x ,y )k φ(x ,y )(x ,y )θ=π/3其中为相机采集到的物体表面二维图像坐标上的光强，和为与背景相关的光波振幅，为波系数，为点的相位，θ与物体形状的相关。

本文设计的六步相移结构光的周期步长为，因此六步相移图像的像素值I 0～I 5
理论计算过程如下
Fig. 3 The structured light based on Gray code. From left to right are the first ，second ，...，seventh coded image
图 3 格雷码编码结构光图案从左至右依次为第一幅，第二幅，…，第七幅编码图像
Fig. 4 Schematic diagram of local threshold selection 图 4 局部阈值的选取示意图
孙帮勇等： 格雷码与六步相移编码融合的三维结构光学测量方法
根据上述公式可推导出
因此根据公式（8）与公式（9），目标图像的相位求解公式为
1024×7688T =8由以上公式可以看出，六步相移结构光可以通过公式（10）进行快速地解码，其计算量比传统的六幅莫尔条纹法小。

结合三维空间扫描的实际应用场景，考虑到图像只能进行整数像素移动，因此六幅图像的相位移动步长是周期除以六并四舍五入取整。

本文设计的相移图像分辨率为，余弦周期为个像素，即。

最终，如图5所示，所设计的六步相移结构光图像像素值计算步骤如下： 02468101214161820
y -coordinate of image 050
100
150200250
I 0I 1I 2I 3I 4I 5
Fig. 5 Schematic diagram of the pixel value rule of the structured light image based on six-step phase shift method
图 5 六步相移结构光图像第一行的像素值规律图，图像I 0的像素值周期规律对应I0曲线，依次类推
①第一幅图像I 0为基准图，在理论余弦曲线上进行采样；
②第二幅图像I 1在第一幅图像对应点基础上移动T /6（四舍五入取整，以周期为8为例），即移动1（1.333）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
③第三幅图像I 2在第一幅图像对应点基础上移动2T /6，即移动3（2.666）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
④第四幅图像I 3在第一幅图像对应点基础上移动3T /6，即移动4（4）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
⑤第五幅图像I 4在第一幅图像对应点基础上移动4T /6，即移动5（5.333）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点；
⑥第六幅图像I 5在第一幅图像对应点基础上移动5T /6，即移动7（6.666）位后在所在理论曲线上，以移位后的横坐标在曲线上对应生成的纵坐标，得到新对应的横纵坐标的点。

2 实验结果
针对本文提出的基于格雷码与六步相移融合的结构光技术，本文利用仿真实验与实物扫描实验对新方法进行了测试验证，并对实验结果进行了必要分析。

2.1 仿真实验
在仿真实验中，将设计的7幅格雷编码图像与6幅六步相移图像直接作为解码算法的输入图像，分别进行格雷码解码和相移解码。

实验利用MATLAB 编程实现了格雷码解码与相移解码算法，为了更直观地展示格雷码解码结果，如图6对解码结果进行了伪彩色渲染。

可以看出，格雷码解码将图像区域划分为128个区域，每个区域内使用相同的周期索引表示。

强 激 光 与 粒 子 束
六步相移解码基于公式（10）所描述原理，其解码结果如图7（a ）所示：解码值呈现周期性重复。

为了更加直观展示相移解码结果，将图7（a ）进行了局部放大至图7（b ）。

从图7（b ）可以看出六步相移将图像区域进一步划分至像素级别，每个周期内具有唯一的相位值，提高了空间位置精度。

由于理论上格雷码与六步相移周期边界重合，因此融合后的编码结果可保证图像中每一行的空间点具有唯一相位值。

从仿真实验中可以看出，本文提出的基于格雷码与六步相移的结构光技术，理论上可以计算图像空间点在同一方向的唯一相位值，为物体的三维结构扫描提供可靠的依据。

2.2 三维结构扫描实验
为了测试本文设计的格雷码与六步相移融合结构光技术在实际应用中的有效性，将设计的编码图案应用于结构光双目三维扫描设备中进行验证。

实验选择的三维扫描设备主要包括两台摄像机和一台数字投影仪，其中数字投影仪将设计的结构光图像投影至待测物体表面，两台摄像机分别采集被物体表面调制后的条纹图案。

获取编码图案之后，将相机采集的7幅格雷码条纹图像与6幅六步相移图像作为解码算法的输入图像，分别进行格雷码解码与相移解码。

图8所示为格雷码解码结果，可以看出：（1）物体表面被准确划分为多个区域，且每个区域获得了较为清晰的图像边缘；（2）扫描物体表面高度不同的区域，在解码图像中也得到了一定程度的区分，但细节描述仍不够准确，说明格雷码在描述物体高度细节方面有待提高。

为获得更高精度的物体表面特征信息，进一步对采集到的六步相移条纹图像解码，其解码结果如图9（a ）所示，可以看出，物体表面的不同高度特征被相位值进一步记录，在放大图9（b ）中描述的物体花纹部分得到验证。

图9（b ）显示，六步相移的解码值将图像的区域已经划分至单个像素级别，周期内每个空间点具有唯一的相位值，因此基于六步相位编码的相位连续特征进一步提高了物体表面高度信息的描述精度。

最后，通过融合格雷编码与六步相移的解码结果，可计算出物体表面空间点的绝对相位值。

基于扫描系统中的双目结构，利用立体匹配技术获取左右相机的视差图，最终根据已标定的系统参数可计算出物体表面的三维点云数据。

为了验证本文提出的结构光技术的有效性，我们分别采用格雷编码结构光、三步相移结构光作为对比算法，实现对物体三维结构的扫描，如图10所示。

其中图10（a ），（b ），（c ）分别是采用格雷编码技术、三步相移技术、本文提出的融合编码结构光技术扫描所获取的物体三维结构。

从图10（a ）可以看出，物体的三维结构中存在较多的缺失，特别是物体的边缘部位，而且在具有弧度的曲面处，并未很好地复现物体的曲面弧度，造成该问题的主要原因是：格雷编码技术在实际应用中只能将图像划分为不同的区域，但是区域内部空间点具有相同的周期数，不能区分同一区域内的空间点，导致立体匹配过程出现匹配失败，无法准确还原物体的三维结构。

从图10（b ）可以看
1.00.90.80.70.60.50.40.30.20.1
Fig. 6 Gray coding simulation decoding diagram.
The image is divided into 128 areas
图 6 格雷编码仿真解码图，图像被划分为128个区域(a)(b) Fig. 7 Decoding diagram of the structured light based on six-step phase-shift simulation
图 7 六步相移结构光仿真解码图
Fig. 8 Picture of the decoding result in the actual
application of Gray coding 图
8 格雷编码实际应用中的解码结果图
(a)(b) Fig. 9 Picture of decoding result in practical application of six-step phase shift structured light 图 9 六步相移结构光实际应用中的解码结果图
孙帮勇等： 格雷码与六步相移编码融合的三维结构光学测量方法
出，物体的平面恢复得较差，存在大量的凸起，其主要原因
是：三步相移技术在实际应用中存在绝对相位解包裹的问
题，相位的周期数无法得到准备计算，绝对相位信息存在歧
义，导致立体匹配过程出现严重的误差，无法准确恢复物体
的平面。

图10（c ）是利用本文提出的基于格雷码与六步相移
的结构光技术恢复的物体三维结构图，其中物体的平面区
域、复杂纹理区域以及物体不同部位的高度信息都很好地恢
复出来，这主要得益于格雷编码先将图像划分为多个区域，
再利用六步相移技术对每个子区域进行细分至单个像素，通
过融合格雷码的周期值与六步相移的相位信息计算空间点
的绝对相位信息，减少了像素之间的歧义性，为立体匹配算
法提供了保障。

基于本文提出的融合格雷码与六步相移的结构光技术，
实验扫描了具有不同花纹、复杂空间结构的物体三维模型进
行扫描精度验证，如图11所示。

其中，图11（a ）中物体的边缘区域未出现严重的缺失，这得益于采用局部阈值的二值化处理操作，保留了物体的边缘信息。

图11（b ）中物体顶部的
复杂花纹区域得到了很好的恢复，花纹的曲面信息以及各个
部件之间的空间关系也得到了保留，由此可以看出六步相移对物体高度细节的恢复较好。

图11（c ）中物体具有复杂的空间结构，不同高度的部位对算法提出了巨大的考验，结果显示本文提出的结构光技术仍然恢复了物体的大部分三维结构，不同高度平面的关系得到了保留。

不过，在物体较窄的部分出现了缺失，这主要是由于投射至物体表面的光不够充足，导致解码时出现误差造成。

总体上，根据实际物体的三维结构扫描结果，本文提出的基于格雷码与六步相移的结构光技术，能够较好地克服格雷码、相移技术存在的问题，从而实现物体高精度三维结构的扫描。

3 结　论
本文设计了格雷码与六步相移编码融合的编码图案，并应用于基于结构光的双目三维扫描系统。

在格雷码图
(a) Gray code technology (b) three-step phase shift technology
(c) Gray code and six-step phase shift technology
Fig. 10 Comparison of scanning results of three-dimensional structure of objects 图 10 物体三维结构扫描结果对比图
(a)
(b)
(c)
Fig. 11 Scanning results of three-dimensional structures of different objects
图 11 不同物体的三维结构扫描结果图
强 激 光 与 粒 子 束
案设计中，使用了像素值“178”替换常规的“255”来表示白色条纹，从而减少了强白光造成的物体表面反光现象，提高了采集图像质量以及格雷码解码精度。

另外，采用局部阈值的二值化图像处理技术，较好地实现了图像二值化处理，保证格雷解码的准确性。

在设计六步相移图像中，根据图像只能移动整数像素的特点，分析了六步相移图像的像素值移动规律，为相移结构光的实际应用提供了理论分析，并推导出相应的图像解码公式。

根据相移的解码公式可以看出，六步相移技术可以快速地计算图像内的相位信息，并且减少不同光照造成图像质量低下的影响。

最后设计了仿真实验与实际三维扫描测试实验，结果证明本文设计的基于格雷码与六步相移的结构光技术可以很好地对物体表面空间进行编码，结合双目立体视觉技术以较高精度获得了物体的复杂三维结构。

后期工作中，应进一步优化结构光的解码流程，保证更加稳定的解码过程和较高的解码效率，提高在复杂三维目标扫描系统中的实用性。

参考文献：
Wilm J, Olesen O V, Larsen R. SLStudio: Open-source framework for real-time structured light [C ]//IEEE International Conference on Image Processing Theory.
2014: 1-4.
[1]Gu Q, Herakleous K, Poullis C. 3DUNDERWORLD-SLS: An open-source structured-light scanning system for rapid geometry acquisition [J ]. EprintArxiv,
2014.
[2]Scharstein D, Szeliski R. High-accuracy stereo depth maps using structured light [C ]//IEEE Conference on Computer Vision and Pattern Recognition. 2003: 1-1.
[3]Zhang Q, Su X, Xiang L, et al. 3-D shape measurement based on complementary Gray-code light [J ]. Optics and Lasers in Engineering, 2012, 50（4）: 574-579.
[4]Sansoni G, Carocci M, Rodella R. Three-dimensional vision based on a combination of gray-code and phase-shift light projection: analysis and compensation of
the systematic errors [J ]. Appl Opt, 1999, 38（31）: 6565-6573.
[5]Lin H, Ma Z F, Yao C H, et al. 3D measurement technology based on binocular vision using a combination of gray code and phase-shift structured light [J ]. Acta
Electronica Sinica, 2013, 41（1）: 24-28.
[6]Xi Juntong. Phase error compensation method using smoothing spline approximation for a three-dimensional shape measurement system based on gray-code and
phase-shift light projection [J ]. Optical Engineering, 2008, 47（11）: 1273-1279.
[7]Yu Xiaoyang, Wu Haibin, Yin Liping. 3D measurement technology based on structured light by combining Gray code with phase-shift [J ]. Chinese Journal of
Scientific Instrument, 2007, 28（12）: 2152.
[8]Veksler, O. Stereo correspondence by dynamic programming on a tree [C ]//IEEE Conference on Computer Vision and Pattern Recognition. 2005.
[9]G imel"Farb G. Probabilistic regularisation and symmetry in binocular dynamic programming stereo [J ]. Pattern Recognition Letters, 2002, 23（4）: 431-442.
[10]W ang L, Liao M, Gong M, et al. High-quality real-time stereo using adaptive cost aggregation and dynamic programming [C ]//International Symposium on 3D
Data Processing, Visualization and Transmission. 2006: 798-805.
[11]敖黎铭, 徐晓, 李熙. 双目结构光高精度三维复原算法的快速实现[J ]. 传感器与微系统, 2018, 316（6）：134-136. （Ao Liming, Xu Xiao, Li Xi. Fast
implementation of high precision 3D restoration algorithm based on binocular structured light [J ]. Transducer and Microsystem Technology, 2018, 316（6）: 134-136）
[12]王长波, 谢明红. 格雷编码与相移结合的双目三维重构[J ]. 计算机工程, 2013, 39（5）：178-182. （Wang Changbo, Xie Minghong. Binocular three-dimension
reconstruction combined with Gray coding and phase-shift [J ]. Computer engineering , 2013, 39（5）: 178-182）
[13]张广军, 王红. 结构光三维视觉系统研究[J ]. 航空学报, 1999, 20（4）：365-367. （Zhang Guangjun, Wang Hong. Structured light 3D vision [J ]. Acta
Aeronautica et Astronautica Sinica , 1999, 20（4）: 365-367）
[14]孙帮勇等： 格雷码与六步相移编码融合的三维结构光学测量方法。