多媒体信息处理

多媒体信息处理总结

PROJECT：深度图的优化

论文题目：Efficient Spatio-Temporal Hole Filling

Strategy for Kinect Depth Maps

姓名：董有臣

学号：M201271706

学院：电信系

指导老师：喻莉

深度图的优化

——深度图修复的结构引导融合

一、综述

深度对于计算机视觉非常重要，因为它是理解真是场景的一种内核信息。随着计算机视觉应用的日益广泛一级自动化程度的进一步提高，人们对于计算机视觉系统的要求也越来越高。然而，传统的计算机视觉系统所处理的是光学图像，这种光学图像反应的是场景的光强也颜色信息，由于投影成像的原理，它失去了现实世界中的三维深度信息，并且因为从二维光学图像中恢复物体的深度信息的困难性，使得计算机视觉系统在这些应用领域受到很大的限制。

近年来，随着激光测距技术的迅猛发展，直接包含物体深度信息的深度图像数据获取已经成为可能，基于深度信息的计算机视觉系统也随之引起人们的重视。深度成像传感器用来测量景物表面的三维坐标数据，它的输出称之为深度图像，深度图像与环境光照和阴影无关，它的像素点清晰地表达了景物表面的几何形状。从灰度图像中提取三维物体几何特征的方法，对景物的几何和物理特征都有特别的限制，与这些方法相比，深度图像可以直接利用三维信息，这就大大简化了三维物体的识别和定位问题。作为这种新型的计算机视觉系统的核心内容，深度图像处理方法的研究具有非常重要的意义。

由于受到人类双眼系统的影响，传统的获取深度信息的方法都是基于多视图几何体的，最近几年，对于深度获取引进了一些新的经济

设施，比如：时间飞行传感器，结构光，以及Kinect。继Kinect的产生之后，深度的获取变得相对容易了，对于计算机视觉应用，通过Kinect获取的深度图需要额外的处理来填补丢失的部分。然而，对于彩色图像中传统的修复方法并不能直接应用于深度图，因为没有足够的信息来对场景结构作出准确的判断。因此便提出了一种新的基于融合的修复方法来改善深度图，这种方法将传统的修复方法与最近研究的非局部滤波算法结合到一起。

二、翻译

1、基于融合的深度图修复

基于深度和彩色相机的几何关系，通过多视图几何体推导出了一个映射函数，由于队列较复杂，我们仅仅表示了垂直方向的映射函数：

p=m(p’,d(p’)) （1）（其中:d(p’)表示深度像素p’，p代表彩色图像上的一个像素）这个映射函数将深度图上的像素p’投影到彩色图像上为p，通过对投影在彩色图像上的深度图的重新采样得到了一个增广数据阵列{d(p),J(p)}。在这个增广阵列上，彩色信息对于所有的像素都是有效的，然而，对于像素p，深度信息却丢失了，因此，深度图的修复就是在知道深度和彩色像素的条件下，恢复深度信息丢失的部分。由于传统的对像素研究的图像修复是在没有额外信道信息的条件下进行的，所以通过Kinect获取深度图的修复可以被认为是部分修复。

投影后，我们可以只用彩色图像坐标系统。在一个通用的修复结构中，我们能够通过已知的附近的像素q的深度d(q)来预测未知的像