同一场景不同曝光图像的配准及HDR图像合成
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( Key L aboratory f or Precision and Non2t raditional M achi ni ng Technology of Mi nist ry of Education , Dalian U niversity of Technology , Dalian 116024)
增加其细节特征1 HDR 图像可以广泛地应用于增 强现实[2 ] ,基于图像的绘制 、建模及光照[325 ] ,航空 摄影 ,影视特技等领域1
HDR 图像可以利用专用相机直接拍摄获得 ,但 这种相机造价昂贵 ,难以普及1 另一种方法是利用 普通数码相机对同一场景定点拍摄多幅不同曝光的
照片图像 ,拟合出相机的光照响应曲线 ,以获得图像
图 1 边缘检测与中值二值化的结果
对于固定场景中的任意一点 ,因为比它亮的和 比它暗的点的个数是一定的 ,所以对于不同曝光的 2 幅照片图像中的任意一个对应像素 ,比它亮的与 比它暗的像素个数之比是一定的1 因此 ,如果图像 是灰度的 ,可以统计其直方图 ,并根据像素值的大 小 ,将所有像素分成个数相等或近似相等的 2 部分 ,
第 19 卷 第 4 期 2007 年 4 月
计算机辅助设计与图形学学报
J OU RNAL OF COMPU TER2A IDED DESIGN & COMPU TER GRAPHICS
Vol119 , No14
Apr1 , 2007
同一场景不同曝光图像的配准及 HD R 图像合成
华顺刚 王丽丹 欧宗瑛
Biblioteka Baidu
Abstract A met hod is proposed for aligning t he images taken wit h varying exposure time and f using t hem into a high dynamic range image in t his paper1 The main steps are as follows : First , t he images are fil2 tered by a median filter and binarized1 Then t he resultant binary images are represented by a pyramid , by which t he image t ranslation and rotation are carried out level by level for t he alignment1 By sampling t he aligned images , t he camera’s response curve , t hat is , t he f unction between t he grey value of a pixel and t he exposure time , is fitted by t he least squares met hod , and a high dynamic range image is const ructed1 The experiment s show t hat t he const ructed high dynamic range images are satisfactory1
4期
华顺刚等 :同一场景不同曝光图像的配准及 HDR 图像合成
529
的像素值与曝光量之间的映射关系 ,进而将不同曝 光的场景图像融合成一幅 HDR 图像1 但是普通数 码相机在拍摄过程中 ,不可避免地会出现抖动或偏 转等情况 ,导致序列图像间产生小的平移或旋转 ,致 使合成的 HDR 图像模糊不清 ,因此在拟合前应该 先进行图像配准1
其分界线为中值 M ,将图像二值化 , 0 , V < M
V 1 = 1 , V ≥ M , 其中 , V 1是二值化后的像素值 , V 是原图像的像素 值1 如果图像是彩色的 , 要先将其转换为灰度图再 进行中值二值化 , 或直接使用某通道分量作为灰度
530
计算机辅助设计与图形学学报
2007 年
(大连理工大学精密与特种加工教育部重点实验室 大连 116024) ( hsgang02 @dlut . edu. cn)
摘 要 提出了一种针对同一场景不同曝光的多幅照片图像的配准 、恢复光照响应曲线及高动态范围图像合成算 法1 首先将不同曝光的序列图像中值二值化 ,利用多尺度思想构造二值图像的金字塔序列并逐级比较 ,以实现多幅 图像间的平移配准和转角配准1 从配准后的序列图像中采样 ,根据最小二乘原理拟合出相机的光照响应曲线 ,并获 得图像中像素值与曝光量之间的映射关系 ,进而将不同曝光的场景照片图像融合成一幅高动态范围图像1 实验结果 表明 ,合成的高动态范围图像效果满意1
关键词 图像配准 ;高动态范围图像 ;图像金字塔 ;光照响应曲线 ;照度 中图法分类号 TP391
Alignment of Images with Varying Exposure Level from a Same Scene and HD R Image Construction
Hua Shungang Wang Lidan Ou Zongying
图像匹配是图像处理技术中的一项重要内容 , 针对不同的应用国内外已有多种算法1 刘卫光等[6 ] 采用三次线性插值技术 ,结合扩展频域相位相关方 法对光照度变化的多源图像进行配准1 芮挺等[7 ]利 用具有良好的稳定性和旋转不变性的奇异值作为匹 配特征 ,采用变模板分级匹配策略提高匹配效率和 鲁棒性1 李晓明等[8 ] 在全景图拼接中应用 Fourier2 Mellin 变换 ,通过计算图像间的相对旋转角度和比 例缩放因子来配准图像序列1 对于同一场景不同曝 光图像的配准问题 ,Ward[9 ]提出了一种快速的图像 配准方法 ,但该方法只能进行平移误差的配准 ,没有 考虑图像间转角误差的影响 ,存在一定的局限性1 本文针对文献 [ 9 ] 方法存在的问题 ,提出了一种快 速 、准确的图像配准算法 ,包括对图像进行上下 、左 右平移和转角的配准 ,有效地实现了平移和转角校 正 ,并在此基础上拟合出相机的响应曲线 ,将不同曝 光的照片图像融合成一幅场景的 HDR 图像1
收稿日期 :2006 - 06 - 20 ;修回日期 :2007 - 01 - 081 基金项目 :大连市科技基金 (2004166) 1 华顺刚 ,男 ,1964 年生 ,博士 ,副教授 ,主要研究方 向为 CAD &CG1 王丽丹 ,女 ,1981 年生 ,硕士研究生 ,主要研究方向为计算机图形学 、图像处理1 欧宗瑛 ,男 ,1936 年生 ,教授 ,博士生导师 ,主要 研究方向为 CAD &CG、模式识别1
Key words image alignment ; high dynamic range image ; image pyramid ; response curve ; irradiance
传统的数字图像中 ,每种颜色的深度是用 82bit 来存储 ,只能表示 256 个深度等级 ,图像表达范围有 限1与 之 不 同 , 高 动 态 范 围 ( high dynamic range , HDR) 图像[1 ]是一种可以表示实际场景中亮度大范 围变化的图像类型 ,图像的像素值 (一般用浮点小数 表示) 正比于实际场景中对应点的实际亮度值 ,可以 更好地记录和表达场景中亮区和暗区的光学特性 ,
由原始图像高度和宽度的较小值决定 , 要求末级图 像有一定的可分辨性 , 本文将图像的高度和宽度的 较小者缩小到 17～32 个像素之间1 图 2 所示为二 值图像缩小 4 次得到的 5 级金字塔图像1
图 2 图像金字塔
得到二值图像金字塔后 , 从末级图像对开始比 较1 将待配准图像在 ±1 像素的范围内水平和竖直 移动 (包括对齐 、上 、下 、左 、右 、左上 、左下 、右上 、右 下 9 个位置) ,与基准图像进行异或操作1 如果对应 像素不一致 (异或操作后值为 1) , 则视其为有差异1 对所有差异求和 (累计 1 的个数) , 差异和最小时所 对应的位置即为该级图像的最佳配准位置 , 返回此 处的偏移量 ( a , b) ; 回到上一级图像对 , 在 (2 a ±1 , 2 b ±1) 像素的范围内同理搜索最佳配准位置1 如 此反复 , 直至返回并比较顶级图像对 , 得到最终偏 移量1
配准的基本思想是从不同曝光的多幅图像中任 选一幅 (为了结果更为准确 ,建议选取曝光时间居中 的图像) 作为基准与其他各幅进行比较 ,得到各自的 相对偏移量1 111 图像二值化及去除噪声
为了校正照片图像的偏移 ,最直接的方法就是 比较图像中对象的边缘轮廓1 但是一般的边缘检测 算法对照片的曝光量很敏感 ,同一对象的边缘在曝 光量变化较大的照片序列中差异可能会很大 ,因此 边缘检测的方法不太适于本文研究的不同曝光的图 像配准 ,如图 1 所示1
噪声引入的误差主要产生在中值附近1 例如 , 对于原本应该略小于 (或大于等于) 中值的像素 , 二 值化时本应该赋值为 0 ( 或 1) , 但因为有噪声的干 扰 ,所以该像素可能会表现为略大于等于 (或小于) 中值 ,结果二值化时被误赋值为 1 (或 0) 1 对于像素 值与中值相差较大的像素 , 噪声的影响较小1 因此 , 只要去除中值附近的噪声 ,就可以有效地减小误差1 经实验 , 可以将像素值在中值附近 ±4 范围内的像 素赋值为 0 (黑) ,其他像素不变 ,由
0 , | V - M | ≤4 V 2 = V 1 , | V - M | > 4 计算1 其中 , V 2 是去噪后二值图像的像素值 , V 1 是 原二值图像的像素值 , V 是原图像的像素值 , M 是 中值1 这样就可以去除中值附近的噪声 , 有利于下 一步得到准确的配准结果1 112 平移配准 二值化后 ,图像的边界轮廓清晰地表现出来 ,通 过对这些二值图像进行操作 , 不断地平移待配准图 像并与基准图像比较 , 找到 2 幅图像差异最小的相 对位置 ,即视此处为 2 幅图像的最佳配准位置1 但是对于高分辨率图像而言 , 利用上述方法直 接平移 、比较会花费很多时间1 例如 , 假设 2 幅非定 点拍摄的图像相对偏移量为 ( 20 , 15) (单位 :像素) , 那么即使已知相对偏移的方向 , 也至少需要将其二 值图像移动并比较 20 ×15 = 300 次 , 再考虑到图像 的分辨率 ,计算量将是相当巨大的1 可见 , 这种方法 并不能很好地应用于高分辨率 、多幅图像的情况 ,尤 其是在实时绘制系统中 , 很难满足系统对绘制时间 的要求1 为了减小计算量 ,提高运算速度 ,可以采取下述 策略 : 1) 利用多尺度思想将 2 幅二值图像分别做成 图像金字塔序列[10 ] ,金字塔中的每一级图像都是将 上一级图像的高度和宽度缩小一半得到的 , 每一级 图像的大小都是上一级图像的 1Π41 金字塔的级数
值进行中值二值化1 图 1 所示为对同一场景不同曝 光的 2 幅彩色图像的灰度图分别进行边缘检测和中 值二值化后的结果1 可以看出 ,2 幅曝光不同的图像 边缘检测的结果差别很大 , 而中值二值化的结果基 本上是一致的 ,说明中值二值化可以应用于不同曝 光的图像配准1
如图 1 所示 ,待配准的 2 幅二值图像相差不多 , 但如果其中掺杂噪声 ,会使下一步的比较产生误差 , 所以应该进行去噪处理1
1 图像配准
为了获得 HDR 图像 ,首先要针对同一场景拍 摄一系列曝光不同的照片1 这些照片原则上要求定 点拍摄 ,但对于一般的手持相机 ,在拍摄时很难使相 机保持不动 ;即使用三脚架固定 ,也可能因为地面不 平或按快门时用力不等造成轻微的移动或旋转1 这 样会使响应曲线的拟合和图像融合产生误差 ,因此 为了得到高质量的融合效果 ,应该先对这些照片进 行位置配准1
增加其细节特征1 HDR 图像可以广泛地应用于增 强现实[2 ] ,基于图像的绘制 、建模及光照[325 ] ,航空 摄影 ,影视特技等领域1
HDR 图像可以利用专用相机直接拍摄获得 ,但 这种相机造价昂贵 ,难以普及1 另一种方法是利用 普通数码相机对同一场景定点拍摄多幅不同曝光的
照片图像 ,拟合出相机的光照响应曲线 ,以获得图像
图 1 边缘检测与中值二值化的结果
对于固定场景中的任意一点 ,因为比它亮的和 比它暗的点的个数是一定的 ,所以对于不同曝光的 2 幅照片图像中的任意一个对应像素 ,比它亮的与 比它暗的像素个数之比是一定的1 因此 ,如果图像 是灰度的 ,可以统计其直方图 ,并根据像素值的大 小 ,将所有像素分成个数相等或近似相等的 2 部分 ,
第 19 卷 第 4 期 2007 年 4 月
计算机辅助设计与图形学学报
J OU RNAL OF COMPU TER2A IDED DESIGN & COMPU TER GRAPHICS
Vol119 , No14
Apr1 , 2007
同一场景不同曝光图像的配准及 HD R 图像合成
华顺刚 王丽丹 欧宗瑛
Biblioteka Baidu
Abstract A met hod is proposed for aligning t he images taken wit h varying exposure time and f using t hem into a high dynamic range image in t his paper1 The main steps are as follows : First , t he images are fil2 tered by a median filter and binarized1 Then t he resultant binary images are represented by a pyramid , by which t he image t ranslation and rotation are carried out level by level for t he alignment1 By sampling t he aligned images , t he camera’s response curve , t hat is , t he f unction between t he grey value of a pixel and t he exposure time , is fitted by t he least squares met hod , and a high dynamic range image is const ructed1 The experiment s show t hat t he const ructed high dynamic range images are satisfactory1
4期
华顺刚等 :同一场景不同曝光图像的配准及 HDR 图像合成
529
的像素值与曝光量之间的映射关系 ,进而将不同曝 光的场景图像融合成一幅 HDR 图像1 但是普通数 码相机在拍摄过程中 ,不可避免地会出现抖动或偏 转等情况 ,导致序列图像间产生小的平移或旋转 ,致 使合成的 HDR 图像模糊不清 ,因此在拟合前应该 先进行图像配准1
其分界线为中值 M ,将图像二值化 , 0 , V < M
V 1 = 1 , V ≥ M , 其中 , V 1是二值化后的像素值 , V 是原图像的像素 值1 如果图像是彩色的 , 要先将其转换为灰度图再 进行中值二值化 , 或直接使用某通道分量作为灰度
530
计算机辅助设计与图形学学报
2007 年
(大连理工大学精密与特种加工教育部重点实验室 大连 116024) ( hsgang02 @dlut . edu. cn)
摘 要 提出了一种针对同一场景不同曝光的多幅照片图像的配准 、恢复光照响应曲线及高动态范围图像合成算 法1 首先将不同曝光的序列图像中值二值化 ,利用多尺度思想构造二值图像的金字塔序列并逐级比较 ,以实现多幅 图像间的平移配准和转角配准1 从配准后的序列图像中采样 ,根据最小二乘原理拟合出相机的光照响应曲线 ,并获 得图像中像素值与曝光量之间的映射关系 ,进而将不同曝光的场景照片图像融合成一幅高动态范围图像1 实验结果 表明 ,合成的高动态范围图像效果满意1
关键词 图像配准 ;高动态范围图像 ;图像金字塔 ;光照响应曲线 ;照度 中图法分类号 TP391
Alignment of Images with Varying Exposure Level from a Same Scene and HD R Image Construction
Hua Shungang Wang Lidan Ou Zongying
图像匹配是图像处理技术中的一项重要内容 , 针对不同的应用国内外已有多种算法1 刘卫光等[6 ] 采用三次线性插值技术 ,结合扩展频域相位相关方 法对光照度变化的多源图像进行配准1 芮挺等[7 ]利 用具有良好的稳定性和旋转不变性的奇异值作为匹 配特征 ,采用变模板分级匹配策略提高匹配效率和 鲁棒性1 李晓明等[8 ] 在全景图拼接中应用 Fourier2 Mellin 变换 ,通过计算图像间的相对旋转角度和比 例缩放因子来配准图像序列1 对于同一场景不同曝 光图像的配准问题 ,Ward[9 ]提出了一种快速的图像 配准方法 ,但该方法只能进行平移误差的配准 ,没有 考虑图像间转角误差的影响 ,存在一定的局限性1 本文针对文献 [ 9 ] 方法存在的问题 ,提出了一种快 速 、准确的图像配准算法 ,包括对图像进行上下 、左 右平移和转角的配准 ,有效地实现了平移和转角校 正 ,并在此基础上拟合出相机的响应曲线 ,将不同曝 光的照片图像融合成一幅场景的 HDR 图像1
收稿日期 :2006 - 06 - 20 ;修回日期 :2007 - 01 - 081 基金项目 :大连市科技基金 (2004166) 1 华顺刚 ,男 ,1964 年生 ,博士 ,副教授 ,主要研究方 向为 CAD &CG1 王丽丹 ,女 ,1981 年生 ,硕士研究生 ,主要研究方向为计算机图形学 、图像处理1 欧宗瑛 ,男 ,1936 年生 ,教授 ,博士生导师 ,主要 研究方向为 CAD &CG、模式识别1
Key words image alignment ; high dynamic range image ; image pyramid ; response curve ; irradiance
传统的数字图像中 ,每种颜色的深度是用 82bit 来存储 ,只能表示 256 个深度等级 ,图像表达范围有 限1与 之 不 同 , 高 动 态 范 围 ( high dynamic range , HDR) 图像[1 ]是一种可以表示实际场景中亮度大范 围变化的图像类型 ,图像的像素值 (一般用浮点小数 表示) 正比于实际场景中对应点的实际亮度值 ,可以 更好地记录和表达场景中亮区和暗区的光学特性 ,
由原始图像高度和宽度的较小值决定 , 要求末级图 像有一定的可分辨性 , 本文将图像的高度和宽度的 较小者缩小到 17～32 个像素之间1 图 2 所示为二 值图像缩小 4 次得到的 5 级金字塔图像1
图 2 图像金字塔
得到二值图像金字塔后 , 从末级图像对开始比 较1 将待配准图像在 ±1 像素的范围内水平和竖直 移动 (包括对齐 、上 、下 、左 、右 、左上 、左下 、右上 、右 下 9 个位置) ,与基准图像进行异或操作1 如果对应 像素不一致 (异或操作后值为 1) , 则视其为有差异1 对所有差异求和 (累计 1 的个数) , 差异和最小时所 对应的位置即为该级图像的最佳配准位置 , 返回此 处的偏移量 ( a , b) ; 回到上一级图像对 , 在 (2 a ±1 , 2 b ±1) 像素的范围内同理搜索最佳配准位置1 如 此反复 , 直至返回并比较顶级图像对 , 得到最终偏 移量1
配准的基本思想是从不同曝光的多幅图像中任 选一幅 (为了结果更为准确 ,建议选取曝光时间居中 的图像) 作为基准与其他各幅进行比较 ,得到各自的 相对偏移量1 111 图像二值化及去除噪声
为了校正照片图像的偏移 ,最直接的方法就是 比较图像中对象的边缘轮廓1 但是一般的边缘检测 算法对照片的曝光量很敏感 ,同一对象的边缘在曝 光量变化较大的照片序列中差异可能会很大 ,因此 边缘检测的方法不太适于本文研究的不同曝光的图 像配准 ,如图 1 所示1
噪声引入的误差主要产生在中值附近1 例如 , 对于原本应该略小于 (或大于等于) 中值的像素 , 二 值化时本应该赋值为 0 ( 或 1) , 但因为有噪声的干 扰 ,所以该像素可能会表现为略大于等于 (或小于) 中值 ,结果二值化时被误赋值为 1 (或 0) 1 对于像素 值与中值相差较大的像素 , 噪声的影响较小1 因此 , 只要去除中值附近的噪声 ,就可以有效地减小误差1 经实验 , 可以将像素值在中值附近 ±4 范围内的像 素赋值为 0 (黑) ,其他像素不变 ,由
0 , | V - M | ≤4 V 2 = V 1 , | V - M | > 4 计算1 其中 , V 2 是去噪后二值图像的像素值 , V 1 是 原二值图像的像素值 , V 是原图像的像素值 , M 是 中值1 这样就可以去除中值附近的噪声 , 有利于下 一步得到准确的配准结果1 112 平移配准 二值化后 ,图像的边界轮廓清晰地表现出来 ,通 过对这些二值图像进行操作 , 不断地平移待配准图 像并与基准图像比较 , 找到 2 幅图像差异最小的相 对位置 ,即视此处为 2 幅图像的最佳配准位置1 但是对于高分辨率图像而言 , 利用上述方法直 接平移 、比较会花费很多时间1 例如 , 假设 2 幅非定 点拍摄的图像相对偏移量为 ( 20 , 15) (单位 :像素) , 那么即使已知相对偏移的方向 , 也至少需要将其二 值图像移动并比较 20 ×15 = 300 次 , 再考虑到图像 的分辨率 ,计算量将是相当巨大的1 可见 , 这种方法 并不能很好地应用于高分辨率 、多幅图像的情况 ,尤 其是在实时绘制系统中 , 很难满足系统对绘制时间 的要求1 为了减小计算量 ,提高运算速度 ,可以采取下述 策略 : 1) 利用多尺度思想将 2 幅二值图像分别做成 图像金字塔序列[10 ] ,金字塔中的每一级图像都是将 上一级图像的高度和宽度缩小一半得到的 , 每一级 图像的大小都是上一级图像的 1Π41 金字塔的级数
值进行中值二值化1 图 1 所示为对同一场景不同曝 光的 2 幅彩色图像的灰度图分别进行边缘检测和中 值二值化后的结果1 可以看出 ,2 幅曝光不同的图像 边缘检测的结果差别很大 , 而中值二值化的结果基 本上是一致的 ,说明中值二值化可以应用于不同曝 光的图像配准1
如图 1 所示 ,待配准的 2 幅二值图像相差不多 , 但如果其中掺杂噪声 ,会使下一步的比较产生误差 , 所以应该进行去噪处理1
1 图像配准
为了获得 HDR 图像 ,首先要针对同一场景拍 摄一系列曝光不同的照片1 这些照片原则上要求定 点拍摄 ,但对于一般的手持相机 ,在拍摄时很难使相 机保持不动 ;即使用三脚架固定 ,也可能因为地面不 平或按快门时用力不等造成轻微的移动或旋转1 这 样会使响应曲线的拟合和图像融合产生误差 ,因此 为了得到高质量的融合效果 ,应该先对这些照片进 行位置配准1