视频图像拼接技术研究.

南京理工大学

硕士学位论文

视频图像拼接技术研究

姓名：林学晶

申请学位级别：硕士

专业：控制理论与控制工程

指导教师：茅耀斌

20100620

硕士论文视频图像拼接技术研究

摘要

视频图像拼接技术是视频应用领域研究的一个热门课题，可广泛应用于全景图生成、双目机器人应用等多个方面。本文主要针对三类视频图像序列拼接应用进行了研究：

针对仅存在平移变换关系的视频图像序列，本文研究了一种基于频域的相位相关方法。论文首先介绍了相位相关方法的原理和利用这种方法实现视频拼接的算法流程，然后通过实验证明该方法适用于帧与帧问有较大重叠区域的视频序列，并且允许视频中存在少量小的运动物体。在此基础上设计实现了适用于小平移视频序列的实时拼接软件。

针对在不同的视角位置同时采集得到的双实时视频图像序列，本文研究了两种基于点特征的拼接技术。论文首先介绍了Ｈａｒｒｉｓ角点和ＳＩＦＴ算子的原理，然后阐述了基于点特征的双摄像头拼接技术的各个环节，包括特征点匹配、ＲＡＮＳＡＣ去除误匹配点对、透视变换矩阵模型参数计算、插值处理和融合等。本

文比较了几种图像的融合方法，采用了一种自动调节亮度值和加权融合方法，消除了图像拼接后可能出现的拼接缝隙和颜色过渡不自然的现象。由于Ｈａｒｒｉｓ角点易受噪声影响，本文提出了一种投票机制的改进方法，增强了Ｈａｒｒｉｓ角点定位的准确性。本文最后搭建了基于ＤｉｒｅｃｔＳｈｏｗ的双摄像头采集平台、设计实现了基于Ｈａｒｒｉｓ角点和ＳＩＦＴ算子两种点特征的双摄像头实时视频拼接程序，前者适用于摄像机采集的视频图像存在平移、旋转的情况，后者适用于存在平移、旋转和尺度缩放的情况。

本文最后针对低分辨率图像序列，研究了基于ＳＩＦＴ算子的拼接问题，并将之应用于手机连续抓拍文本序列图像的拼接。关键词：相位相关方法，Ｈａｒｒｉｓ角点，ＲＡＮＳＡＣ，透视变换矩阵，加权融合

Ａｂｓｔｒａｃｔ硕士论文

Ａｂｓｔｒａｃｔ

Ｖｉｄｅｏｍｏｓａｉｃｉｓａｐｏｐｕｌａｒｔｏｐｉｃｏｎｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙｔｈａｔｓｈｏｗｓｓｉｇｎｉｆｉｃａｎｔｉｍｐｏｒｔａｎｔ

ａｐｐｌｉｃａｔｉｏｎｆｏｒｐａｎｏｒａｍｉｃｉｍａｇｅｓ，ｂｉｎｏｃｕｌａｒｒｏｂｏｔａｎｄ

ＳＯｏｎ．Ｄｉｆｆｅｒｅｎｔｔｅｃｈｎｉｑｕｅｓｏｆｖｉｄｅｏｍｏｓａｉｃ

ａｒｅｕｓｅｄｉｎｄｉｆｆｅｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｒｅｅｔｙｐｅｓｏｆｃａｓｅａｒｅｓｔｕｄｉｅｄ：

Ｔｈｅｍｅｔｈｏｄｏｆｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｂａｓｅｄｏｎｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｉｓｓｔｕｄｉｅｄｆｏｒａｖｉｄｅｏ

ｓｅｑｕｅｎｃｅｏｆｔｒａｎｓｌａｔｉｏｎ．Ｆｉｒｓｔ，ｔｈｅｐｒｉｎｃｉｐｌｅｏｆｐｈａｓｅ

ｃｏｒｒｅｌａｔｉｏｎａｎｄｔｈｅａｌｇｏｒｉｔｈｍｐｒｏｃｅｓｓｏｆｖｉｄｅｏｍｏｓａｉｃｂａｓｅｄｏｎｔｈｉｓｍｅｔｈｏｄ

ａｒｅｉｎｔｒｏｄｕｃｅｄ．Ｔｈｅｎ，ｗｉｔｈａｃｏｍｐａｒｉｓｏｎｏｆｅｘｐｅｒｉｍｅｎｔｓ，ｔｈｉｓｍｅｔｈｏｄｉｓｓｕｉｔａｂｌｅｆｏｒａｌａｒｇｅｏｖｅｒｌａｐｏｆｖｉｄｅｏｓｅｑｕｅｎｃｅｓｂｅｔｗｅｅｎｆｒａｍｅｓ

ｗｉｔｈｃｅｒｔａｉｎｓｍａｌｌｍｏｖｉｎｇｏｂｊｅｃｔｓ．Ａｐｒｏｇｒａｍｏｆｒｅａｌ—ｔｉｍｅｓｔｉｔｃｈｉｎｇｆｏｒｖｉｄｅｏｓｅｑｕｅｎｃｅｗｉｔｈ

ａｓｍａｌｌｔｒａｎｓｌａｔｉｏｎｉｓｄｅｓｉｇｎｅｄ．

Ｔｗｏｋｉｎｄｓｏｆｍｏｓａｉｃｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｐｏｉｎｔｆｅａｔｕｒｅａｒｅｓｔｕｄｉｅｄｆｏｒｔｗｏｒｅａｌ—ｔｉｍｅｖｉｄｅｏｓｓｙｎｃｈｒｏｎｏｕｓｌｙｃａｐｔｕｒｅｄｆｒｏｍｄｉｆｆｅｒｅｎｔｖｉｅｗｐｏｉｎｔｓ．Ｆｉｒｓｔ，ｔｈｅｐｒｉｎｃｉｐｌｅｏｆＨａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒａｎｄＳＩＦＴｏｐｅｒａｔｏｒａｒｅｉｎｔｒｏｄｕｃｅｄ，Ｔｈｅｎ，ａｂｉｎｏｃｕｌａｒｖｉｄｅｏｍｏｓａｉｃｔｅｃｈｎｏｌｏｇｙｔｈａｔｅｍｐｌｏｙｓｐｏｉｎｔｆｅａｔｕｒｅｓｉｓｐｒｅｓｅｎｔｅｄ．Ｔｈｅｔｅｃｈｎｏｌｏｇｙｃｏｎｓｉｓｔｓｏｆｓｅｖｅｒａｌｓｔｅｐｓｓｕｃｈ

ａｓｔｈｅｍａｔｃｈｉｎｇｏｆｐｏｉｎｔｐａｉｒｓ，ｔｈｅｒｅｍｏｖａｌｏｆｆａｌｓｅｍａｔｃｈｅｓｂｙ

ｕｓｅｏｆＲＡＮＳＡＣ，ｔｈｅｃａｌｃｕｌａｔｉｏｎｏｆｔｈｅｍｏｄｅｌｐａｒａｍｅｔｅｒｓｉｎａｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａ

ｔｉｏｎｍａｔｒｉｘ，ｉｎｔｅｒｐｏｌａｔｉｏｎ，ａｎｄｐｉｘｅｌｆｕｓｉｏｎ．Ｃｏｎｃｅｒｎｉｎｇｐｉｘｅｌｆｕｓｉｏｎｆｏｒｓｔｉｔｃｈｉｎｇｉｍａｇｅｓ，ａｍｅｔｈｏｄｏｆａｕｔｏｍａｔｉｃｂｒｉｇｈｔｎｅｓｓａｄｊｕｓｔｍｅｎｔａｎｄｗｅｉｇｈｔｅｄｆｕｓｉｏｎｉｓａｄｏｐｔｅｄｆｏｒｅｌｉｍｉｎａｔｉｎｇｓｔｉｔｃｈｉｎｇｓｅａｍｓａｎｄｕｎｎａｔｕｒａｌｃｏｌｏｒｔｒａｎｓｉｔｉｏｎｔｈｒｏｕｇｈｅｘｐｅｒｉｍｅｎｔａｌｃｏｍｐａｒｉｓｏｎ．ＤｕｅｔｏｔｈｅｎｏｉｓｅｓｅｎｓｉｔｉｖｉｔｙｏｆｔｈｅＨａｍｓｃｏｍｅｒｄｅｔｅｃｔｏｒ，ｉｎｔｈｉｓｐａｐｅｒ，ａｎｉｍｐｒｏｖｅｄｍｅｔｈｏｄｕｓｉｎｇｖｏｔｉｎｇｍｅｃｈａｎｉｓｍｉｓｐｕｔｆｏｒｔｈｆｏｒｅｎｈａｎｃｉｎｇｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅａｌｉｇｎｍｅｎｔｏｆｔｈｅｃｏｍｅｒｓ．Ｆｉｎａｌｌｙ，ｒｅａｌ—ｔｉｍｅｖｉｄｅｏｍｏｓａｉｃｐｒｏｇｒａｍｓｆｏｒｄｕａｌｃａｍｅｒａｓｒｅｓｐｅｃｔｉｖｅｌｙｂａｓｅｄｏｎＨａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒａｎｄＳＩＦＴｏｐｅｒａｔｏｒｉｓｉｍｐｌｅｍｅｎｔｅｄ，ｉｎｗｈｉｃｈｔｈｅｆｏｒｍｅｒｉｓｔｏｌｅｒａｎｔｔｏｉｍａｇｅｔｒａｎｓｌａｔｉｏｎ

ａｎｄｒｏｔａｔｉｏｎ，ｗｈｉｌｅｔｈｅｌａｔｅｒｃａｎｒｅｓｉｓｔｔｒａｎｓｌａｔｅ，ｒｏｔａｔｅａｎｄｓｃａｌｅｃｈａｎｇｅｓ．

Ａｔｌａｓｔ，ｉｎｔｈｉｓｐａｐｅｒ，ｍｏｓａｉｃｏｆａｓｅｑｕｅｎｃｅｏｆｉｍａｇｅｓｂａｓｅｄ

ｏｎＳＩＦＴａｒｅｓｔｕｄｉｅｄ．Ｉｔｉｓａｌｓｏａｐｐｌｉｅｄｔｏｔｈｅｍｏｓａｉｃｏｆａｓｅｑｕｅｎｃｅｏｆｔｅｘｔｉｍａｇｅｓｗｈｉｃｈａｒｅｃａｐｔｕｒｅｄｂｙｃｅｌｌ—ｐｈｏｎｅ．

Ｋｅｙｗｏｒｄｓ：Ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｍｅｔｈｏｄ，Ｈａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒ，ＲＡＮＳＡＣ，Ｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎｍａｔｒｉｘ，Ｗｅｉｇｈｔｅｄｆｕｓｉｏｎ