计算视觉——图像拼接融合

计算视觉——图像拼接融合
⼀、全景图像拼接原理介绍
1.1 背景介绍
图⽚的全景拼接如今已不再稀奇，现在的智能摄像机和⼿机摄像头基本都带有图⽚⾃动全景拼接的功能，但是⼀般都会要求拍摄者保持设备的平稳以及单⽅向的移动取景以实现较好的拼接结果。

这是因为拼接的图⽚之间必须要有相似的区域以保证拼接结果的准确性和完整性。

本⽂主要简单描述如何⽤ Python 和 OpenCV 库实现多张图⽚的⾃动拼合。

1.2 基本原理
要实现两张图⽚的简单拼接，其实只需找出两张图⽚中相似的点 (⾄少四个，因为 homography 矩阵的计算需要⾄少四个点)，计算⼀张图⽚可以变换到另⼀张图⽚的变换矩阵 (homography 单应性矩阵)，⽤这个矩阵把那张图⽚变换后放到另⼀张图⽚相应的位置 ( 就是相当于把两张图⽚中定好的四个相似的点给重合在⼀起)。

如此，就可以实现简单的全景拼接。

当然，因为拼合之后图⽚会重叠在⼀起，所以需要重新计算图⽚重叠部分的像素值，否则结果会很难看。

下⾯是书上原图的全景拼接结果:
⼆. 图像拼接介绍图像拼接在实际的应⽤场景很⼴，⼩到我们⼿机的全景图⽚，⼤到航天领域和地理图像领域，都会⽤到推向拼接，图像拼接的结果好坏会直接影响接下来⼯作的进⾏。

下⾯介绍⼀下图像拼接中常⽤的⽅法。

2.1 图像拼接步骤
针对某个场景拍摄多张/序列图像
计算第⼆张图⽚和第⼀张图⽚的变换关系
将第⼆张图像叠加到第⼀张图像的坐标系中
变换后的融合/合成
如果是多图场景，重复上述步骤
那么如何就散图像间的变换关系呢？
⾸先提取两幅图像的特征点并⽣成描述⼦，对两张图像进⾏特征匹配，然后就可以计算图像的变换结构。

图像的变换结构有位移，旋转，尺度⼤⼩变换，仿射和透视。

2.2 图像拼接算法
图像拼接⾸先进⾏特征点匹配，这⾥特征点匹配使⽤的是Sift特征检测。

由于图像是将三维景物显⽰在2D平⾯上，图像中的景物的三维信息丢失，所以拼接时经常会有“⿁影”的出现，例如下图：
三.APAP算法
APAP算法全称As-Projective-As-Possible Image Stitching，也是图像拼接算法的⼀种。

关于APAP算法，详尽信息可以参考图像拼接之APAP算法代码详解
APAP算法流程如下：
1.提取两张图⽚的sift特征点
2.对两张图⽚的特征点进⾏匹配
3.匹配后，使⽤RANSAC算法进⾏特征点对的筛选，排除错误点。

筛选后的特征点基本能够⼀⼀对应。

4.使⽤DLT算法，将剩下的特征点对进⾏透视变换矩阵的估计。

5.因为得到的透视变换矩阵是基于全局特征点对进⾏的，即⼀个刚性的单应性矩阵完成配准。

为提⾼配准的精度，APAP将图像切割成⽆数多个⼩⽅块，对每个⼩⽅块进⾏单应性矩阵变换。

经过APAP算法的计算过后，上⾯那张原本有重叠影像的图就变成如下图像：
四.实验结果
1.针对固定点位拍摄多张图⽚，以中间图⽚为中⼼，实现图像的拼接融合
拼接的效果不是很好，经百度了解后得知
当图⽚模糊度⾼（像素值⼩）时，拼接会将五张图⽚拆成2+3两组进⾏拼接，拼接效果不理想；
图⽚较清晰时，以及能够实现较准确的拼接，虽然没有看到⿁影现象，但⽆可避免的还有过重的拼接痕迹；
图像本⾝像素对于运⾏时间和实验效果都有很⼤的影响，图像像素要适当，不能太⼤也不能太⼩。

2.移动位置的拍摄
可以看到拼接的效果⼗分不理想。

在该场景下，近处和远处的楼房形成明显的近远景，视差变化⼤。

观察近景⽬标拼接，可以看到右侧护栏处出现了明显的拼接缝，后⾯的建筑物出现⿁影现象，但是观察SIFT特征匹配结果，看到匹配结果基本正确。

这是因为景深变化⼤，这时即使都是正确的匹配点，但是不能⽤homography 单应性矩阵表⽰，所以会出现⿁影等现象。

代码
from pylab import *
from numpy import *
from PIL import Image
# If you have PCV installed, these imports should work
from PCV.geometry import homography, warp
from PCV.localdescriptors import sift
import os
root=os.getcwd()+"\\"
"""
This is the panorama example from section 3.3.
"""
# set paths to data folder
featname = ['RANSAC-data/' + str(i + 1) + '.sift'for i in range(5)]
imname = ['RANSAC-data/' + str(i + 1) + '.jpg'for i in range(5)]
# extract features and match
l = {}
d = {}
for i in range(5):
sift.process_image(root+imname[i], root+featname[i])
l[i], d[i] = sift.read_features_from_file(featname[i])
matches = {}
for i in range(4):
matches[i] = sift.match(d[i + 1], d[i])
# visualize the matches (Figure 3-11in the book)
for i in range(4):
im1 = array(Image.open(imname[i]))
im2 = array(Image.open(imname[i + 1]))
figure()
sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)
# function to convert the matches to hom. points
def convert_points(j):
ndx = matches[j].nonzero()[0]
fp = homography.make_homog(l[j + 1][ndx, :2].T)
ndx2 = [int(matches[j][i]) for i in ndx]
tp = homography.make_homog(l[j][ndx2, :2].T)
# switch x and y - TODO this should move elsewhere
fp = vstack([fp[1], fp[0], fp[2]])
tp = vstack([tp[1], tp[0], tp[2]])
return fp, tp
# estimate the homographies
model = homography.RansacModel()
fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0] # im 1 to 2
fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0] # im 0 to 1
tp, fp = convert_points(2) # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0] # im 3 to 2
tp, fp = convert_points(3) # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0] # im 4 to 3
# warp the images
delta = 500 # for padding and translation
im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)
im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)
im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)
im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)
figure()
imshow(array(im_42, "uint8"))
axis('off')
savefig("quanjing.png", dpi=300)
show()
总结
1.为了拼接出效果⽐较好的图像，在保证有相同匹配点的情况下，拍摄图像的间隔尽可能不要太⼩，如果太⼩会导致拼接出来的结果与原图没有太⼤差别，丧失拼接图像的意义。

但如果间隔太⼤可能会导致匹配点较少⽽拼接失败。

且⼀定要站在同⼀点，⽔平移动⼿机进⾏拍摄，就像拍摄全景图那样。

若⼈拍摄的位置发⽣移动的话，算法可能就会因为找不到正确的点对⽽报错。

2.在给图像编号进⾏测试时，⼀定要从右往左进⾏编号，因为我们的算法的匹配是从最右边的图像计算出来的，代码中有⼀步骤是将对应的顺序进⾏颠倒，使其从左边图像开始进⾏扭曲。