柱面全景图像拼接算法的研究

哈尔滨理工大学工学硕士学位论文
具有最大相关系数的对应块。

ａ）ｂ）
图３．１０参与拼接的图像
Ｆｉｇ．３－１０Ｉｍａｇｅｓｉｎｍｏｓａｉｃ
４）以特征块的中心和对应块的中心作为特征点和它在相邻图像中对应的特征点，即特征点对。

提取到４对特征点对后，求解上面的方程，就可以得到矩阵Ｍ的各个参数。

然后将Ｍ矩阵应用到图像的每一个像素上，完成平面图像配准。

利用公式（３－１７）将图像进行投影变换后的点可能不在整数坐标上，所以必须要用插值法对图像进行插值，这里采用的是双线性插值法，得到变换后的图像。

３．３．２柱面投影图像的配准
在保证所有的相机运动都发生Ｘ．ｚ平面，而且图像的中心点就是相机的光轴与图像平面的交点前提下，将图像投影到柱面上，图像序列中相邻两幅柱面图像间的关系只与平移矩阵有关。

这时的图像配准主要工作是从图像信息中获得两幅柱面图像的上下左右的平移参数ｔ＝（ｔｘ，ｒ。

，１）。

我们依照以下原则进行：１）确定两幅图像的重叠区域。

依据拍摄时的条件，一般选左边图像的右１／３，右边图像的左ｌ／３，如图３－１１所示。

匿蘸
陵鋈錾凿匿鎏薰塞：：｜
图３－１１具有重叠区域的两幅图像
Ｆｉｇ．３－１１Ｔｗｏｉｍａｇｅｓｈａｖｅｏｖｅｒｌａｐｒｅｇｉｏｎｓ
２）在左边图像的重叠区域内，利用本文提出的特征区域选取办法，选取具
哈尔滨理工大学工学硕士学位论文
有最大窗Ｉ＝ｌ值的特征块，并以该块的中心点坐标作为一个特征点ｐ（ｘ，Ｊ，）。

３、以最大相关原则，在右边图像中寻找与特征块具有最大相关系数的同等大小的块作为匹配块，并以该块的中心点坐标作为特征点的匹配点Ｐ’（一，ｙ’）。

４）特征点与匹配点的平移参数，即为两幅相邻柱面图像的匹配参数：
ｔ＝（ｔ，，ｔ，，１）＝（ｘ—ｘ’，ｙ—ｙ’，１）
将右边的图像进行相应的坐标平移，投影到左边图像的平面上，相邻两幅柱面图像的配准就完成了。

３．４全景图像的平滑拼接
上一节中，本文提出了基于特征的图像配准算法，并给予了详细的论述。

将图像序列一一进行图像配准之后，得到了在同一平面或同一圆柱面上的图像序列，并确定了图像间的相对位置。

根据该相对位置关系，将相邻图像一一叠加在一起，就完成了图像拼接工作。

本节中，为了去掉简单叠加造成的影响，使用渐入渐出的方法进行了图像拼接。

同时本文还提出了一种直方图处理法，以消除同一实体由于光强不同造成在对两幅图像上的影像进行融合时的接痕。

３．４．１图像直方图处理
在拍摄柱面全景图时周围环境和相机本身引起的最大的问题就是相邻图像之间的光照变化比较大。

理想的光照条件下，相邻图像中表示同一实体的部分应该具有相同的光照强度，但是由于光源变化或者相机运动和光源的平角的变化，导致了光强的差异““。

这种差异表现在图像平滑融合时，在融合区域会有视觉上的带状痕，如图３．１２所示，这是不能容忍的。

为了消除这种影响，提出了一种直方图处理方法：
图３—１２未经直方图处理的拼接结果（具有明显带状痕迹）
Ｆｉｇ＿３—１２Ｔｈｅｍｏｓａｉｃｒｅｓｕｌｔｗｉｔｈｏｕｔｈｉｓｔｏｇｒａｍｐｒｏｃｅｓｓｉｎｇ（Ｗｉｔｈｄｉｓｔｉｎｃｔｆｌａｗ）
一２８－
哈尔滨理工大学Ｔ学硕十学位论文
１）对于２４位色图，首先将ＲＧＢ图像转换成ＨＩＳ类型图像，针对其１分量进行处理，等同于对灰度图像的灰度值进行处理。

２）将两幅图像的１／３公共部分作为重叠区域，注意要保证两个重叠区域像素数目一致。

３）分别计算左、右两边重叠区域的１分量或灰度图像灰度值的和ｓｕｍｌ与ｓｕｍ２。

４）Ｄｉｆｆｅｒ＝ｓｕｍｌＩｓｕｍ２，将图像２的每一个像素的１分量或者灰度图像２的每一个像素的值与参数ｏｉｆｆｅｒ相乘加权。

这样做的目的是将两幅图像的亮度均值统一，使得重叠区域在融合时能够平滑过渡。

图３一１４经过直方图处理后的拼接结果
Ｆｉｇ．３·１４Ｔｈｅｍｏｓａｉｃｒｅｓｕｌｔａｆｔｅｒｔｒｅａｔｉｎｇｗｉｔｈｔｈｅｈｉｓｔｏｇｒａｍ
３．４．２渐入渐出的拼接
相邻两幅图像经过上面小节的直方图处理之后，具备了同样的亮度均值。

利用平移参数矩阵ｔ＝（ｒ…ｔｍ我们可以采用“渐入渐出”的方法将图像融合在一起。

在图像融合结果中，非重叠区域内分别属于图像Ａ和Ｂ的像素点的颜色值就取各自本来的颜色值。

重叠区域内的像素点的颜色值是两幅图像颜色值的加权平均。

为了进一步保证颜色和亮度的均匀过渡，不会在视觉上造成接痕，将重叠区域进一步分割成三个部分，每个部分有各自不同的加权取值方法。

具体做法如下：
１）将图像Ｂ投影到图像Ａ的坐标系统上，如图３．１３所示。

区域Ａ１和区域Ｂ２不属于重叠区域，融合后图像像素点的值取Ａｌ和Ｂ２的值。

２）重叠区域爿２和Ｂｌ，表示的是同一实体景物，经配准后，具有相同的几何性质。

在重叠区域，取颜色加权均值：ＧｒａｙＭｅａｎ＝ｄｌ×Ａ２＋ｄ２ＸＢｌ。

ｄｌＥ（Ｏ，１），且ｄ１＋ｄ２＝ｌ。

按照从Ａ到Ｂ的方向，ｄ１与像素点的横坐标有
哈尔滨理工大学丁学颅十学位论义
第５章实验结果及分析
这一章将依据本文第３章所提出的算法作了３６０柱面全景图像的拼接实验，并给出了实验结果与分析。

５．１图像采集以及柱面投影
３６０度柱面全景图像拼接实验中，我们采用将佳能数码相机固定在三脚架上，水平摇动镜头拍摄了３６０度的全景图像共１８张：，，，，：，．几。

每张大小为１０２４Ｘ１５３６像素。

首先，依据公式（３－９）得到以像素计算的相机焦距：厂＝２３６４。

然后该焦距依据公式（３－７）将图像投影到相机模型的柱面上，得到柱面投影图像：Ｊ．，，：，¨．』，。

图像投影前后对比可见图５—１，其中ａ）图为原拍摄的平面图像，ｂ）图为进行柱面投影后的图像。

图５－１平面图像的柱面投影
Ｆｉｇ．５－１Ｃｙｌｉｎｄｅｒｐｒｏｊｅｃｔｉｏｎｏｆｐｌａｉｎｉｍａｇｅ
５．２图像特征提取及基于特征的配准
由前面的表述可知，这些柱面投影图像之间的配准，需要恢复他们之间的相对位置ｆ，，ｒ。

本节中，依据本文提出的图像配准算法，对图像序歹０进行了配准实验。

实验具体步骤如下：
像位置计算的方法比较准确。

ａ）ｂ）
图５－２特征块的提取与匹配：
Ｆｉｇ．５－２Ｅｘｔｒａｃｔａｎｄｒｅｇｉｓｔｅｒｃｈａｒａｃｔｅｒｂｌｏｃｋｓ
（３）综合以上数据，可以得到关于平移矩阵ｔ的表格５－３。

表５－３平移矩阵ｆ
Ｔａｂｌｅ５—３Ｔｒａｎｓｌａｔｉｏｎｍａｔｒｉｘｆ
Ｍ。

ｒａｖｅｃ＇＼５１×５ｌ１０１×１０ｌ
、、＼平移矩阵ｒ
算子窗口＼
３×３（．１１，７６４）（．１１，７６３）
５×５（．１０，７６３）（．１１，７６２）
７×７（．１０，７６４）（．８，７５６）
上表中列举了Ｍｏｒａｖｅｃ算子提取特征点时不同的窗口尺寸对应的平移矩阵的数据。

行平移数据相差不超过一个像素，列平移数据相差不超过２个像素。

在其他图像的拼接过程中也表现出这一点，可以得出结论，利用Ｍｏｒａｖｅｃ算子提取特征点，计算平矩阵，很准确。

实验中，依照以上步骤，计算了１８幅图像蒯的１８×６个相对平移矩阵。

依照这些步骤，对图像序列进行多次试验得出，当提取Ｍｏｒａｖｅｃ算子采用５×５窗口、特征区域提取采用５１×５１的窗口时，计算得到平移矩阵最准确。

在后续计算中，选择这两个值作为默认值进行特征提取。

（４）依据得到的平移矩阵ｔ将图像，，投影到图像，，所在的柱面上，如图
５－３所示。

同时确定重叠区域，计算两幅图像间的亮度参数Ｄｉｆｆｅｒ。

图５－３将图像ｊ２投影剑图像，ｌ所在｝｝面上的结果
Ｆｉｇ－５－３Ｔｈｅｒｅｓｕｌｔｏｆｐｒｏｊｅｃｔｉ“ｇ，２‘？ｔｈｅ，ｃｙｌｉｎｄｅｒｏｆ１１ｂｅｌｏｎｇｔｏ依照这些步骤，可以将后面的图像，：，，。

一％依次投影到图像，。

所在的柱面坐标下，得到准确的配准结果，如图５－４所示。

可以看到，图像间的重叠区域准确地重合在一起，但是同时也必须注意到，如果将两幅图像如图５．３一样简单叠加在一起，势必会造成视觉上不可接受的带状痕迹。

这正是图像平滑拼接部分必须解决的问题。

图５．４序列图像的配准结果（部分图像）
Ｆｉｇ．５－４Ｔｈｅｒｅｓｕｌｔｏｆｉｍａｇｅｓｅｑｕｅｎｃｅｒｅｇｉｓｔｒａｔｉｏｎ（ｐａｒｔｏｆｔｈｅｒｅｓｕｌＯ
５．３图像序列的平滑融合
将所有的图像都投影到一个图像所在的柱面坐标系下后，将图像问的重叠部分的冗余信息去掉，连接起所有的图像，就得到了３６０柱面全景图。

但是如果只是根据所求得的平移参数将两幅图像简单地叠加起来，会发现拼接而成的图像中含有清晰的边界，图像拼接的痕迹非常明显，见图５—３与图５－４，这是不能容忍的。

出现这种现象，一方面是因为相邻图像间存在着亮度的差异：另一方面则因为使用普通相机拍摄，会在采集到的图像中出现边缘失真现象，而图像拼接恰恰要用到图像的边缘部分。

还有则是因为相邻图像间不可能是完全。