色差图像的数字图像拼接算法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
α c, i g c 尽量的接近 1， 那么有最小二次方程： min ( g c α c, i - 1) g ∑
c
校正参数和全局调整参数， 对待拼接的图片进行色彩校 正； 然 后 使 用 SIFT 和 RANSAC 算 法 进 行 图 像 配 准 ； 最 平均值法进行图像融合， 得到拼接图像。 后， 根据对融合速度的要求， 选择 0⁃1 加权融合算法或
α c, i
i
的 色 彩 校 正 参 数 α c, i 可
(s)
γ γ
∑S = ∑S
M M
c, i - 1
c, i
(s)
（1）
式 中 ：M 是 指 相 邻 图 像 的 重 叠 区 域 ；S c, i - 1 (s) 是 指 图 像
ˉ i - 1 中的像素点 S 的像素值；S c, i (s) 是指图像 P ˉ i 中的像 P
摘
要：针对有明显色彩和亮度差异的图片， 在进行传统的图像拼接后， 会产生肉眼可见的拼接缝， 严重影响拼接效
果。因此， 提出一种针对存在色差的图像拼接算法。首先， 计算相邻图片间的色彩校正参数和每个彩色通道的全局色彩调 整参数， 选择适合的颜色和亮度， 对每一幅图片进行色彩校正。其次， 引入 SIFT 和 RANSAC 算法， 实现了图像的准确配准。 最后， 采取 0⁃1 加权融合算法和平均融合算法结合进行图像融合， 得到最终的全景图像。实验结果表明， 由于已经进行图像 间的校正， 减少了待拼接图像的色差， 使得图像的融合更加简单。该算法对于存在色差的图片序列可以实现无缝快速的拼 接， 并且可根据需要调整图像的色彩和亮度。 关键词：图像拼接；色彩校正；SIFT；图像融合 中图分类号：TN911.73⁃34；TP391 文献标识码：A 文章编号：1004⁃373X （2013） 23⁃0057⁃04
1
色差图像的图像拼接算法
本文算法的实现流程如图 1 所示。首先计算色彩
素点 S 的像素值；γ 是指参数， 通常设定为 2.2。对于待
拼接的第一幅图片 P1， 设定 α c, i = 1。 为了避免图像色彩 过饱和， 又设定一个全局调节参数 g c， 用来调整整个待 拼接序列的色彩值。需要计算彩色图像 R , G , B 三个通
0
引
言
重叠部分提取出来并且快速的拼接成为一幅全景图片， 其中有许多算法可以得出令人满意的融合结果。 Ming⁃ Shing Su 等使用小波进行多尺度的融合 [2]， 但是这种方 法只是在重叠区域进行局部的融合处理， 无法保证图像 的 全 局 自 然 。 Anat Levin 等 采 取 梯 度 域 的 融 合 方 法 进 行图像拼接 [3]， 可以减少源图像间色差对融合结果的影 响。但是以上这两种方法对于存在有明显色彩和亮度 差异的图片， 融合后的全景图像就会失真。因此， 在进 行 图 像 拼 接 之 前 需 要 曝 光 校 正 。 Pedro M.Q. Aguiar 等 直接计算和线性化的曝光校正之间进行迭代 [4]， 从而进 行图像的配准。 Matthew Uyttendaele 等把图像分为若干 进 行 融 合 。 Aseem Agarwala 和 Anat Levin 等 在 梯 度 域 块 [5]， 将每一块进行曝光校正， 然后再把这些校正过的块
2013 年 12 月 1 日 第 36 卷第 23 期
现代电子技术 Modern Electronics Technique
Dec. 2013 Vol. 36 No. 23
57
色差图像的数字图像拼接算法
王 利 1，易子川 2，潘中良 1，白鹏飞 2
510006； 510006） （1.华南师范大学 物理与电信工程学院，广东 广州 2.华南师范大学 华南先进光电子研究院，广东 广州
WANG Li1，YI Zi⁃chuan2，PAN Zhong⁃liang1，BAI Peng⁃fei2
tween two adjacent images with differences in colors and luminance could produce visible color difference and seams when the cent images and global color adjustment parameters of each color channel are calculated，and color correction for each image is registration is realized. 0⁃1 weighted fusion algorithm and average fusion algorithm are combined to realize the image fusion，and
道 的 调 节 参 数 g c， 则要使图像 i 的 c 通道的调节参数
n
2
i=1
（2）
下方程：
结合方程 （1） ， 将方程 （2） 求 导 等 于 0， 可转换成以
g c = ∑α c, i
i=1 n
∑α
i=1
Βιβλιοθήκη Baidu
n
2 c, i
（3）
得到色彩校正参数 α c, i 和全局调节参数 g c， 那么可 以对图像 P i 进行色彩校正：
Image stitching algorithm for images with color difference
(1. School of Physics & Telecommunication Engineering，South China Normal University，Guangzhou 510006，China； 2. South China Academy of Advanced Optoelectronics，South China Normal University，Guangzhou 510006，China）
SIFT（Scale Invariant Feature Transform）算 法 [9] 是
0⁃1 加权融合算法， 在重叠区域中， 权重函数 d1 由 1 渐变
到 0， 由此实现了在重叠区域平滑过 d 2 处由 0 渐变到 1， 渡。该方法的主要思想是： 在重叠部分由前一幅图像慢 定权值相加合成新的图像。假如 f1, f 2 分别表示两幅待
Abstract：An image stitching algorithm is proposed for the images with color difference because the image stitching be⁃
traditional algorithm is used，and the image stitching effect is affected seriously. The color correction coefficients between adja⁃ carried out by selection of appropriate color and brightness. SIFT and RANSAC algorithms are introduced and an accurate image a final panorama image is gotten. Experimental results show that the proposed algorithm can realize seamless fast stitching be⁃ tween images with color difference. In addition，the image fusion algorithm becomes easier than the traditional algorithm by re⁃ ducing the color difference of images. Keywords：image stitching；color correction；SIFT；image fusion
在实际获取图片的过程中， 由于拍摄时间的不同和
曝光强度不同， 所得到的相邻的待拼接图像之间的亮度 和色彩会存在一定的差异。若不进行色彩校正， 将会导 致拼接后的的图像存在肉眼可见的拼接缝， 直接影响拼 接图像的效果， 可以清晰地看到待拼接图像中存在的色 差导致拼接后的图片也有很明显的拼接缝， 这时就需要 对原图像进行色彩的校正， 从而提高拼接效果。 本文的例子中原图均是两幅图像的拼接， 但是此算 法同样适合于 n 幅图像的拼接。假设有 n 幅待拼接的 图像 P1, P 2 , …, P i , …, P n， 假设 P i - 1 和 P i 是相邻的两幅图 ˉi - 1 和 P ˉ i 是 这 两 幅 图 片 中 重 叠 的 区 域 ，c ∈ 片 ，P 则图片 P {R, G, B}, i = 1, 2, ⋯, n， 由以下公式得到：
图像拼接或者全景图像技术是指把同一场景的相 邻之间有重合区域的一系列图片拼接成一幅宽视角的、 与原始图像接近且失真小、 没有明显缝合线的图片， 以 满足人们浏览全景图片的需求。该技术正被应用于各 种领域， 如视频压缩、 视频索引、 目标跟踪 [1] 或者虚拟环 境的创建。 目前， 已经有许多算法都可以将同一场景图片中的
包括尺度空间极值、 特征点位置、 特征点方向和特征点
图1 算法实现的流程图
描述符。
第 23 期
王
利， 等： 色差图像的数字图像拼接算法
59
David G.Lowe 在 1999 年首先提出的用于目标识别的一个 方法， 首先对两幅图像进行尺度和灰度空间检测， 确定 关键点位置和所处尺度， 然后， 用关键点邻域梯度的主 方 向 作 为 方 向 特 征 生 成 关 键 的 SIFT 特 征 向 量 进 行 匹 配， 但是这种算法仍然存在误匹配。 2004 年， Lowe 提出 了尺度不变特征变换， 使其对尺度、 旋转、 亮度、 仿射、 噪 音等都具有不变性。 该方法主要是根据特征点的最近邻距离与次近邻距离 的比值来判断特征点间是否匹配， 取一个阈值， 如果低 于该阈值则认为特征点间匹配。 NN 方法的关键是搜索 特征点的最近邻和次近邻。如图 2 所示。 用最近邻算法 （NN） 对图像间的特征点进行匹配。
d1 ( x), d 2 ( x) 为加权函数，f 表示融合后的图 融合的图像，
[8]
每幅图片的像素平均值乘以一个可令最小化误差函数 本文提出的方法主要针对存在明显颜色和亮度差 异的一系列待拼接图片的拼接， 得到一幅无明显拼接缝 的全景图像。通常图像拼接的过程主要分为三个步骤： 图像配准、 图像对齐和图像融合。但是， 对于存在明显 色差的图像， 若直接进行拼接计算， 得到的融合图像存 在明显的拼接缝。因此， 在这种情况下， 需要对原图像 进行色彩校正。计算相邻图片间的色彩校正参数和每 个彩色通道的全局色彩调整参数， 选择适合的颜色和亮 度， 对每一幅图片进行色彩校正。然后， 对图像进行配 准计算。图像拼接中一个关键技术是图像融合， 即将一 系列图像融合为一幅全景图像并且肉眼看不到图片间 的拼接缝。本文采用基于余弦关系变换的加权融合算 法进行图像融合， 得到最终的全景图像。实验结果表 明， 本文算法对于存在色差的图片序列可以实现无缝快 速的拼接， 并且可根据需要调整图像的色彩和亮度。
收稿日期： 2013⁃08⁃06
基金项目： 广东省引进创新科研团队计划资助 （2011D039） ； 国家自然科学基金项目 （61072028）
58
现代电子技术 1.1 色彩和亮度校正
2013 年第 36 卷
中进行拼接 [6⁃7]， 从而避免了曝光的差异。 M. Brown 等将 最小的常量进行增益补偿 。
S c, i (s) = ( g c α c, i ) S c, i (s)
1 γ
式中： S c, i (s) 是指图像 P i 在通道 c ∈{R , G , B} 上在像素点
p 的像素值。
（4）
可根据图片使用场合的不同和个人的喜好， 在色彩 校正时调整参数， 选择适合的拼接效果。 1.2 图像配准 每 幅 图 片 都 有 其 确 定 的 SIFT 特 征 点 ， 这个特征点
c
校正参数和全局调整参数， 对待拼接的图片进行色彩校 正； 然 后 使 用 SIFT 和 RANSAC 算 法 进 行 图 像 配 准 ； 最 平均值法进行图像融合， 得到拼接图像。 后， 根据对融合速度的要求， 选择 0⁃1 加权融合算法或
α c, i
i
的 色 彩 校 正 参 数 α c, i 可
(s)
γ γ
∑S = ∑S
M M
c, i - 1
c, i
(s)
（1）
式 中 ：M 是 指 相 邻 图 像 的 重 叠 区 域 ；S c, i - 1 (s) 是 指 图 像
ˉ i - 1 中的像素点 S 的像素值；S c, i (s) 是指图像 P ˉ i 中的像 P
摘
要：针对有明显色彩和亮度差异的图片， 在进行传统的图像拼接后， 会产生肉眼可见的拼接缝， 严重影响拼接效
果。因此， 提出一种针对存在色差的图像拼接算法。首先， 计算相邻图片间的色彩校正参数和每个彩色通道的全局色彩调 整参数， 选择适合的颜色和亮度， 对每一幅图片进行色彩校正。其次， 引入 SIFT 和 RANSAC 算法， 实现了图像的准确配准。 最后， 采取 0⁃1 加权融合算法和平均融合算法结合进行图像融合， 得到最终的全景图像。实验结果表明， 由于已经进行图像 间的校正， 减少了待拼接图像的色差， 使得图像的融合更加简单。该算法对于存在色差的图片序列可以实现无缝快速的拼 接， 并且可根据需要调整图像的色彩和亮度。 关键词：图像拼接；色彩校正；SIFT；图像融合 中图分类号：TN911.73⁃34；TP391 文献标识码：A 文章编号：1004⁃373X （2013） 23⁃0057⁃04
1
色差图像的图像拼接算法
本文算法的实现流程如图 1 所示。首先计算色彩
素点 S 的像素值；γ 是指参数， 通常设定为 2.2。对于待
拼接的第一幅图片 P1， 设定 α c, i = 1。 为了避免图像色彩 过饱和， 又设定一个全局调节参数 g c， 用来调整整个待 拼接序列的色彩值。需要计算彩色图像 R , G , B 三个通
0
引
言
重叠部分提取出来并且快速的拼接成为一幅全景图片， 其中有许多算法可以得出令人满意的融合结果。 Ming⁃ Shing Su 等使用小波进行多尺度的融合 [2]， 但是这种方 法只是在重叠区域进行局部的融合处理， 无法保证图像 的 全 局 自 然 。 Anat Levin 等 采 取 梯 度 域 的 融 合 方 法 进 行图像拼接 [3]， 可以减少源图像间色差对融合结果的影 响。但是以上这两种方法对于存在有明显色彩和亮度 差异的图片， 融合后的全景图像就会失真。因此， 在进 行 图 像 拼 接 之 前 需 要 曝 光 校 正 。 Pedro M.Q. Aguiar 等 直接计算和线性化的曝光校正之间进行迭代 [4]， 从而进 行图像的配准。 Matthew Uyttendaele 等把图像分为若干 进 行 融 合 。 Aseem Agarwala 和 Anat Levin 等 在 梯 度 域 块 [5]， 将每一块进行曝光校正， 然后再把这些校正过的块
2013 年 12 月 1 日 第 36 卷第 23 期
现代电子技术 Modern Electronics Technique
Dec. 2013 Vol. 36 No. 23
57
色差图像的数字图像拼接算法
王 利 1，易子川 2，潘中良 1，白鹏飞 2
510006； 510006） （1.华南师范大学 物理与电信工程学院，广东 广州 2.华南师范大学 华南先进光电子研究院，广东 广州
WANG Li1，YI Zi⁃chuan2，PAN Zhong⁃liang1，BAI Peng⁃fei2
tween two adjacent images with differences in colors and luminance could produce visible color difference and seams when the cent images and global color adjustment parameters of each color channel are calculated，and color correction for each image is registration is realized. 0⁃1 weighted fusion algorithm and average fusion algorithm are combined to realize the image fusion，and
道 的 调 节 参 数 g c， 则要使图像 i 的 c 通道的调节参数
n
2
i=1
（2）
下方程：
结合方程 （1） ， 将方程 （2） 求 导 等 于 0， 可转换成以
g c = ∑α c, i
i=1 n
∑α
i=1
Βιβλιοθήκη Baidu
n
2 c, i
（3）
得到色彩校正参数 α c, i 和全局调节参数 g c， 那么可 以对图像 P i 进行色彩校正：
Image stitching algorithm for images with color difference
(1. School of Physics & Telecommunication Engineering，South China Normal University，Guangzhou 510006，China； 2. South China Academy of Advanced Optoelectronics，South China Normal University，Guangzhou 510006，China）
SIFT（Scale Invariant Feature Transform）算 法 [9] 是
0⁃1 加权融合算法， 在重叠区域中， 权重函数 d1 由 1 渐变
到 0， 由此实现了在重叠区域平滑过 d 2 处由 0 渐变到 1， 渡。该方法的主要思想是： 在重叠部分由前一幅图像慢 定权值相加合成新的图像。假如 f1, f 2 分别表示两幅待
Abstract：An image stitching algorithm is proposed for the images with color difference because the image stitching be⁃
traditional algorithm is used，and the image stitching effect is affected seriously. The color correction coefficients between adja⁃ carried out by selection of appropriate color and brightness. SIFT and RANSAC algorithms are introduced and an accurate image a final panorama image is gotten. Experimental results show that the proposed algorithm can realize seamless fast stitching be⁃ tween images with color difference. In addition，the image fusion algorithm becomes easier than the traditional algorithm by re⁃ ducing the color difference of images. Keywords：image stitching；color correction；SIFT；image fusion
在实际获取图片的过程中， 由于拍摄时间的不同和
曝光强度不同， 所得到的相邻的待拼接图像之间的亮度 和色彩会存在一定的差异。若不进行色彩校正， 将会导 致拼接后的的图像存在肉眼可见的拼接缝， 直接影响拼 接图像的效果， 可以清晰地看到待拼接图像中存在的色 差导致拼接后的图片也有很明显的拼接缝， 这时就需要 对原图像进行色彩的校正， 从而提高拼接效果。 本文的例子中原图均是两幅图像的拼接， 但是此算 法同样适合于 n 幅图像的拼接。假设有 n 幅待拼接的 图像 P1, P 2 , …, P i , …, P n， 假设 P i - 1 和 P i 是相邻的两幅图 ˉi - 1 和 P ˉ i 是 这 两 幅 图 片 中 重 叠 的 区 域 ，c ∈ 片 ，P 则图片 P {R, G, B}, i = 1, 2, ⋯, n， 由以下公式得到：
图像拼接或者全景图像技术是指把同一场景的相 邻之间有重合区域的一系列图片拼接成一幅宽视角的、 与原始图像接近且失真小、 没有明显缝合线的图片， 以 满足人们浏览全景图片的需求。该技术正被应用于各 种领域， 如视频压缩、 视频索引、 目标跟踪 [1] 或者虚拟环 境的创建。 目前， 已经有许多算法都可以将同一场景图片中的
包括尺度空间极值、 特征点位置、 特征点方向和特征点
图1 算法实现的流程图
描述符。
第 23 期
王
利， 等： 色差图像的数字图像拼接算法
59
David G.Lowe 在 1999 年首先提出的用于目标识别的一个 方法， 首先对两幅图像进行尺度和灰度空间检测， 确定 关键点位置和所处尺度， 然后， 用关键点邻域梯度的主 方 向 作 为 方 向 特 征 生 成 关 键 的 SIFT 特 征 向 量 进 行 匹 配， 但是这种算法仍然存在误匹配。 2004 年， Lowe 提出 了尺度不变特征变换， 使其对尺度、 旋转、 亮度、 仿射、 噪 音等都具有不变性。 该方法主要是根据特征点的最近邻距离与次近邻距离 的比值来判断特征点间是否匹配， 取一个阈值， 如果低 于该阈值则认为特征点间匹配。 NN 方法的关键是搜索 特征点的最近邻和次近邻。如图 2 所示。 用最近邻算法 （NN） 对图像间的特征点进行匹配。
d1 ( x), d 2 ( x) 为加权函数，f 表示融合后的图 融合的图像，
[8]
每幅图片的像素平均值乘以一个可令最小化误差函数 本文提出的方法主要针对存在明显颜色和亮度差 异的一系列待拼接图片的拼接， 得到一幅无明显拼接缝 的全景图像。通常图像拼接的过程主要分为三个步骤： 图像配准、 图像对齐和图像融合。但是， 对于存在明显 色差的图像， 若直接进行拼接计算， 得到的融合图像存 在明显的拼接缝。因此， 在这种情况下， 需要对原图像 进行色彩校正。计算相邻图片间的色彩校正参数和每 个彩色通道的全局色彩调整参数， 选择适合的颜色和亮 度， 对每一幅图片进行色彩校正。然后， 对图像进行配 准计算。图像拼接中一个关键技术是图像融合， 即将一 系列图像融合为一幅全景图像并且肉眼看不到图片间 的拼接缝。本文采用基于余弦关系变换的加权融合算 法进行图像融合， 得到最终的全景图像。实验结果表 明， 本文算法对于存在色差的图片序列可以实现无缝快 速的拼接， 并且可根据需要调整图像的色彩和亮度。
收稿日期： 2013⁃08⁃06
基金项目： 广东省引进创新科研团队计划资助 （2011D039） ； 国家自然科学基金项目 （61072028）
58
现代电子技术 1.1 色彩和亮度校正
2013 年第 36 卷
中进行拼接 [6⁃7]， 从而避免了曝光的差异。 M. Brown 等将 最小的常量进行增益补偿 。
S c, i (s) = ( g c α c, i ) S c, i (s)
1 γ
式中： S c, i (s) 是指图像 P i 在通道 c ∈{R , G , B} 上在像素点
p 的像素值。
（4）
可根据图片使用场合的不同和个人的喜好， 在色彩 校正时调整参数， 选择适合的拼接效果。 1.2 图像配准 每 幅 图 片 都 有 其 确 定 的 SIFT 特 征 点 ， 这个特征点