基于深度的图像修复实验报告

基于深度的图像修复

.实验目的

1、学会单幅图像的修补

2、学会结合彩色图像和深度图像的图像修补

二.实验原理

1 图像修补简介--- 单幅图像修补

图像中常有缺失或者损坏的部分，即空白区域或者有误的区域

图像修补就是根据这些区域周围的信息完成对空白区域的填充，以实图像修补的基本方法示例

现图像的恢复

基本方法

示例方法2

选取空白点周围的一片区域，对区域内的参考点进行加权求和，其结果用于对空白点的修补。若所选窗口太小，即窗口中无参考点，则将窗口扩大。

2 图像修补简介-- 利用深度图的图像修补

1图像的前景与背景

实际场景中存在前景与背景的区别，前景会遮挡背景，而且前景与背景往往差距比较大。

2 深度图

用于表示3D 空间中的点与成像平面距离的灰度图。0~255 表示，灰度值越大，表示场景距离成像平面越近，反之，灰度值越小，表示场景距离成像平面越远。

前景的灰度值大，背景的灰度值小

如下左彩色图，右深度图

3 普通的图像修补区分不了图像的前景和背景，简单的加权求和填补空白点的方法会导致前景和背景的混杂。引入深度图之后，可以利用深度图区分图像的前景和背景，在对背景进行修补的时候，可以利用深度图滤除那些前景参考点的影响，从而使背景的空白点只由背景点加权求和得到，前景亦然。

三.实验步骤

1 读入一个像素点，判断其是否为空白点。

2 若不是空白点，则跳过该点，判断下一个点。

3 若该点是空白点，则用前面所述的方法进行加权修补。

4 对图像中的每一个点都进行如此处理，直至全图处理完毕，则图像修补完成。

四.实验要求

1 独立编码完成实验单幅图像修补利用深度图的图像修补。

2 比较实验结果的差别，并分析原因，完成实验报告。

五.用MATLAB 编写实验代码

对于单幅图像以及结合深度图像的修补，其实区别就是是否考虑了深度

图像的灰度权重（其实就是0 和1），虽然效果图区别很小，但是通过深度图还是可以反映出其立体三维空间的。为了能较好的对比，我把两种方法的比较融合在一条件语句中，在下面的深度图像代码中用红色字体标注。同时深度图像变量用绿色字体标注。

那么要变成单幅图像的修补代码就很简单了，只要将条件语句

depthpos=A(xstart:xend,ystart:yend)>3&abs(B(xstart:xend,ystart:yend)-basedepth)<6 ;

改为

depthpos=A(xstart:xend,ystart:yend)<3即; 可下面是完整的代码

利用深度图像的修补代码

clear all

close all

I=imread('pollutedim.bmp');

B=imread('depth.bmp');

B=rgb2gray(B);

imshow(I),title(' 原始受污染的图像') [m,n,hh]=size(I);

A=rgb2gray(I);%彩色图转换灰度图

I1=I;

[rowind,columnind]=find(A<4);% 灰度图中小于 4 灰度值的认为是受到污染的像素统计受污染像素的位置，rowind 和columnind 均是向量，并且两者一一对应组成位置坐标

pointnum=length(rowind);%受污染像素的个数rowstart=rowind-

20;rowend=rowind+20;%统计每个受污染像素修复模板的起，止行

rowstart(rowstart<1)=1;rowend(rowend>m)=m;%起始行不能小于1，终止行不能大于m

columnstart=columnind-20;columnend=columnind+20;%统计模板的起，止列columnstart(columnstart<1)=1;columnend(columnend>n)=n;%以基准点(受污染点) 为中心41*41 模板

for num=1:pointnum%对每个受污染的像素进行修复x=rowind(num);

y=columnind(num); basedepth=B(x,y);%深度图基准点灰度值

xstart=rowstart(num); xend=rowend(num);

x1=x-xstart+1;%得到基点的相对坐标

ystart=columnstart(num);

yend=columnend(num); y1=y-ystart+1;%得到基点的相对坐标

depthpos=A(xstart:xend,ystart:yend)>3&abs(B(xstart:xend,ystart:yend)-basedepth)<6 ; %参与加权的像素与基准点相差小于 6 的深度图像素点且不能是受污染点

[locind1,locind2]=find(depthpos);

W=(locind1-x1).*(locind1-x1)+(locind2-y1).*(locind2-y1);% 权值为距离平方的倒数

TT=1./W;T=sum(TT);

Aloc=I(xstart:xend,ystart:yend,1);%对红色通道进行处理

Aloc=double(Aloc(depthpos));

R=Aloc.*TT;R=sum(R);

I1(x,y,1)=R/T;

Aloc=I(xstart:xend,ystart:yend,2);%对绿色通道进行处理

Aloc=double(Aloc(depthpos));

R=Aloc.*TT;R=sum(R);

I1(x,y,2)=R/T;

Aloc=I(xstart:xend,ystart:yend,3);%对蓝色通道进行处理

Aloc=double(Aloc(depthpos));

R=Aloc.*TT;R=sum(R);

I1(x,y,3)=R/T;

end figure,imshow(I1),title(' 基于深度图的图像修复') 经过MATLAB 运行后的单幅图像修补效果如下

利用彩色和深度图像的修补运行后的修补图如下