【原创+总结】Kinect

【原创+总结】Kinect 深度图获取原理
【原创+总结】Kinect 深度图获取原理
(2011-12-18 16:31:53)
标签：
2012
微软精英大挑战
it
Kinect 红外发射器(Infrared Projector)发射出雷射光，通过红外发射器镜头前的光栅(diffuser)，均匀地投射到测量空间，测量空间的粗糙物体反射，形成随机的散斑，再通过红外摄影机(Infrared Camera)记录空间的每个散斑，通过晶片的计算便得到3D深度图像。

深度图获取过程图
PrimeSense散斑测距原理[1]
流程图
流程图详解：
1. 平面标定（拍摄参考散斑图案）
在不同距离（已知）上，分别拍摄散斑图像（Speckle Pattern），并保存作为参考图像（Primary/Reference Pattern）。

注：1. 此处的参考物取的是一个平面，该平面与光轴垂直。

2. 散斑的大小和形状与物体相对传感器的距离和方位有关。

2. 拍摄待测物体散斑图案
红外发射机发出的镭射光经红外发射器镜头前光栅生成结构光，结构光投射到物体表面，得到散斑图案，通过红外摄影机拍摄到此散斑图案。

3. 寻找与待测散斑图案最匹配的参考图案
将拍摄到的散斑图案与步骤1中所得到的参考散斑图案进行匹配，找到最匹配，即互相关性（Cross-Correlation）最大的参考散斑图案，参考散斑图案所对应距离即是待测物体的近似深度距离。

4. 基于待测和参考图像间的局部补偿进行三维重建
利用三角测量法、步骤3所得的最大互相关散斑图，对待测物体的散斑图案进行局部补偿（Local Offset），从而实现“三维重建”（“3D Reconstruction”），得到3D图像。

完整系统20
其中，22为Kinect；24为处理装置（Processor）；26为显示器（Display） 28为待测物(Object)。

22：产生散斑，并将其投射到被测物28上；且获取28上的散斑图案。

24：处理22所产生的图片数据，并以此为据来计算28距22的距离，实现三维重建。

26：显示3D虚拟图像
Kinect 深度获取
30：红外发射机块
（34：红外发射器；36：光栅）
32：红外接收机块
（38：光学透镜；40：传感器（CCD或CMOS图像传感器阵列）；42：传感器单元）
44：分光镜
46：目标区域
，
其中，是空间中的物体与红外发射器之间的距离；是34发出的光在36上形成的点[2]的大小；即镭射光光波波长；△Z散斑轴向平均长度。

投射到空间物体上的散斑图案在轴向移动距离小于△Z时，红外摄影机所得散斑图案与参考图案间有很高的互相关性，且其间距离越小于△Z，互相关性越高；反之，如果移动距离大于△Z，相关性就很小，甚至没有相关性。

测量误差：
附：
结构光：
1、激光从激光器发出，经过柱面透镜后汇聚成宽度很窄的光带，称为结构光。

该光平面以一定角度入射在工件上，在工件上产生反射和散射。

2、已知空间方向的投影光线的集合称为结构光。

3、生成结构光的设备可以是将光点、光缝、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器,也可以是生成激光束的激光器。

结构光的英文是structured light
结构光标定方法：基于立体标靶的激光平面标定，斜面标定法。

结构光标定方法：基于立体标靶的激光平面标定，斜面标定法。

注：红色部分即为Kinect 中所采纳方法。

投射到空间的结构光图案
参考文献：
[1] Javier Garcia, Valencia(ES), Zeev Zalevsky, Ha’ayin(IL), “Range Mapping Using Speckle Decorrelation”, Applied Optics,NO.7,Oct, 7,433,024 B2
[2] Alexander Shpunt,Petach-Tikva(IL), “Optical Designs for Zero Order Reduction”, Applied Optics,NO.23,Jul, 2009/0185274 A1。