非规则投影屏幕的深度图获取与优化

产业科技创新　Industrial Technology Innovation
66Vol.2　No.20非规则投影屏幕的深度图获取与优化
王　盛，王魏平，侯　斗
（上海航空电器有限公司，上海　201101）
摘要：为了对非规则投影幕上图像进行几何畸变校正，提出了一种基于Kinect的非规则投影屏幕的深度图获取与优化方法。

利用棋盘格标定板对Kinect进行标定，通过标定结果求得棋盘格标定板图像上任意角点在世界坐标系下的三维信息值。

通过分析可知，平均误差基本分布在0.3 mm~0.4 mm范围内，分析深度图中噪声和空洞的产生原因并对其进行优化。

关键词：投影；深度图像预处理；双边滤波
中图分类号：TP391.41文献标识码：A　文章编号：2096-6164（2020）20-0066-02
三维曲面非平面投影以其高度的沉浸感、多样的表现形式和灵活的场景布局被越来越多的应用于商业、娱乐和科学研究等领域。

目前市面常见的投影仪以传统投影仪为主，而近几年出现的智能微投越来越被市场认可。

对于几何畸变，传统投影仪需要人工干预解决，而智能微投则仅限于对梯形畸变进行校正，对于复杂表面，传统投影仪以及智能微投都不具备几何畸变校正的功能。

为了降低投影显示系统标定过程的复杂度，Deglint等人提出了一种自动标定方法，该方法利用密集的像素对应关系对任意表面的几何屏幕进行校正。

Boroomand等人提出了一种新颖的显著性导向投影几何校正方法，该方法利用标定参数和投影仪-相机系统捕获的三维曲面几何来补偿屏幕弯曲造成的几何畸变。

Yang等人提出了一种基于深度各向异性曲面的投影校正方法，分析深度各向异性曲面的空间拓扑分布，并求解各向异性曲面不同区域的单应性矩阵。

蓝建梁提出了一种视点相关的几何校正方法，通过网格自动调整算法以及网格纹理映射算法使得观测者能够在特定位置观看到未发生畸变的投影图像。

解决非规则表面投影图像几何校正问题首先需进行三维重建以获取投影表面深度信息，深度信息越精确则几何校正的效果越好，Kinect作为深度信息获取的工具之一，由于其传感器分辨率不足，所使用的结构光技术导致的可视范围无法重叠等因素导致获取的深度图会产生噪声和空洞，严重影响了三维重建的精
度，因此，需对所获得的深度图中噪声和空洞的产生原因进行分析，并对其进行优化。

1　非规则表面深度获取
1.1　Kinect标定
Kinect相机标定的目的是消除相机的畸变、获取彩色相机和深度相机之间的转换关系以及获得相机的几何模型。

（1）利用Kinect的RGB相机采集棋盘格标定图像为Pic_RGB，并对图像Pic_RGB进行灰度化处理得到图像Pic_RGB_gray，利用张正友提出的基于棋盘格标定板的相机标定方法，得到Kinect的RGB相机的内参数矩阵Ｈ
ＲＧＢ
以及相对于棋盘格标定板的旋转矩阵Ｒ
ＲＧＢ
和位移向量Ｔ
ＲＧＢ。

（2）利用Kinect的深度相机采集棋盘格标定板图像为Pic_IR，并对图像Pic_IR进行灰度化处理得到图像Pic_IR_gray，利用张正友提出的基于棋盘格标定板的相机标定方法，得到Kinect的深度相机的内参
数矩阵Ｈ
ＩＲ
以及相对于棋盘格标定板的旋转矩阵Ｒ
ＩＲ和位移向量Ｔ
ＩＲ。

（3）利用（1）得到的Kinect的RGB相机的内参
数矩阵Ｈ
ＲＧＢ
以及相对于棋盘格标定板的旋转矩阵Ｒ
ＲＧＢ
和位移向量Ｔ
ＲＧＢ
，利用（2）得到的Kinect的深
度相机的内参数矩阵Ｈ
ＩＲ
以及相对于棋盘格标定板的
旋转矩阵Ｒ
ＩＲ
和位移向量Ｔ
ＩＲ
，求得Kinect的深度相机与RGB相机之间的空间旋转关系Ｒ＇和空间位移
作者简介：王盛（1989- ），男，江苏扬州人，硕士，高级工程师，主要从事虚拟现实、人工智能、图形图像等方面研究。

产业科技创新　2020，2（20）：66~67Industrial Technology Innovation
67
第2卷　第20期
关系Ｔ＇
，如公式（1）所示。

（1）
将Kinect 的标定结果用于图像三维信息值的反算求解，即可得到标定图像在三维空间中的分布状况。

记录所获得的棋盘格标定板图像中任意角点的像素坐标（u,v），并利用Kinect 的深度相机与RGB 相机之间的空间旋转关系Ｒ＇和空间位移关系Ｔ＇求得深度相机下对应角点的像素坐标（u,v），根据相机标定原理，可以求得棋盘格标定板图像上对应角点在世界坐标系下的坐标值，进而可以求得任意两个棋盘格角点间的空间距离，并与自然状态下真实的棋盘格标定板对应角点间的距离进行对比。

所使用的棋盘格标定板共有48个角点，求得平均误差。

由表1可知，平均误差基本分布在0.3 mm~0.4 mm
范围内。

（2）
表1　Kinect 所获取深度信息误差分析（mm）
图像
（a ）（b ）（c ）（d）（e ）（f）（g）（h ）平均误差0.330.420.380.290.450.370.430.36图像（i ）（j ）（k ）（l ）（m）（n）（o）（p ）平均误差
0.39
0.28
0.40
0.38
0.29
0.35
0.41
0.34
1.2　深度图像预处理
高斯滤波将图像的空间域信息转换至频率域并进行低通滤波，故其在频域具有平滑性能且能够显著的滤除噪声，但不能保证图像信息的边缘不被破坏，而中值滤波虽然可以很好的过滤掉图像中的椒盐噪声，但使用中值滤波却容易造成图像的不连续性，基于以上因素，本文采用双边滤波对深度图像做降噪处理，兼顾了像素间的相识度及深度图像的边缘和轮廓信息，对深度图像的噪声处理具有较好的效果。

双边滤波是在高斯滤波的基础上加入了像素权重项，即考虑距离因素，又考虑了像素值的差异影响，像素值越相近则权重越大。

因此，双边滤波器滤波后的灰度值如公式（3）所示
：
（3）
公式（3）中k ---归一化系数，其表达式如公式（4）
所示
：
（4）
公式（4）中滤波后对应点的灰度值为h ，滤波
前对应点的灰度值为f，中心点和它邻域内点的空间相似度为c ，中心点和它领域内点的灰度相似度为s 。

双边滤波器使图像内的任何像素点都与邻域内的所有点加权平均，以使其达到平滑的效果。

因此双边滤波在像素点x 处的邻域内的点ξ采取了不一样的权重，
主要通过()c x ξ−和(()())s f f x ξ−两个核心函数实现。

()c x ξ−函数代表了点x 与其领域内的点ξ在空间几何上的差异，(()())s f f x ξ−函数代表点x 与ξ在灰度上的差异。

在运算过程中，c 和s 均能通过高斯函数实现，如公式（5）、公式（6）所示
：
（5
）
（6）
双边滤波算法处理本文实验的深度图像中的噪声的效果对比图如图1所示，从图中可以看出，经双边滤波后的深度图像中的噪声明显降低，且较好的保留
了图像的边缘信息，具有较好的处理效果。

（左1）原始深度图；（右1）预处理后深度图图1　原始深度图及预处理后深度图对比
参考文献：
[1]　J Deglint, A Cameron, C Scharfenberger, et al. Auto-calibration of a projector-camera stereo system for projection mapping[J]. Journal of the Society for Information Display, 2016, 24(8): 510-520.
[2]　A Boroomand, H Sekkati, M Lamm, et al. Saliency-guide
projection geometric correction using a projector-camera system. IEEE International Conference on Image Processing[C]. IEEE, 2016: 2951-2955.
[3]　Yang Fan, Han Cheng, Bai Baoxing, et al. Projected
image correction technology research on autonomous-perception anisotropic surfaces[J]. Applied optics, 2018, 57(2): 283-294.
[4]　蓝建梁. 智能投影系统几何校正与交互技术的研究[D]. 上
海：上海大学，2018.
王　盛等：非规则投影屏幕的深度图获取与优化。