高动态图像色调映射技术新进展
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Abstract: Traditional disp lay device couldn’t disp lay HDR I( high dynam ic range image) well subject to its dynam ic range lim itation, and this dynam ic range m ismatch must be overcome w ith a reasonable tone mapp ing method by comp ressing the dynam ic range in order to have better image disp lay quality. This paper summarized current HDR I tone mapp ing methods. First briefly introduced some concep ts of tone mapp ing method for high dynam ic range images. Then, described the classification of tone mapp ing operato rs. Based on tone mapp ing p rocessing methods, introduced three types of tone mapp ing operators: spatially uniform operator, spatially varying and m ixing operators. This paper also described various recent2developed methods and tech2 niques of these operators in details, pointed out the technical advantage of each method and deduced and concluded them. Fi2 nally, it described the app lication areas of this technique and its future develop ing direction. Key words: high dynam ic range image; tone mapp ing operato rs; recent development
根据算法应用范围不同又可分为静态和动态方法 。其中 静态方法用来处理单幅图像 ;动态的方法用来处理图像序 列 [5 ]或者应用到交互系统中 ,一般这种方法需要引入时间作 为相关量来模拟变化的过程 。
本文以第一种分类为主 ,辅以另两种分类方式 ,详细介绍 了目前高动态图像色调映射技术的最新进展 。
1 空域不变算法
·2422·
计算机应用研究
第 27卷
息相关的 ,从而使得同一幅图像映射到不同设备上可能得到不 同的结果 ; c)混合全局与局部算子的框架 [3, 4 ] ,这种方法能结 合上面两种算子各自的优势 ,从而获得较好的图像映射效果 , 但也增加了其实现的难度 。
根据算法采用的理论模型又可以分为 : a)基于经验模型 的算法 ,此类方法一般就是用图像处理方法对输入图像进行处 理 ,达到保持图像中的细节 、减小图像动态范围 、消除图像处理 后的各种失真等目的 ; b)基于感知的算法 ,这种方法采用 HVS 模型为基础 ,以尽可能保持人眼感知作为图像处理的目标 ,实 现高动态范围图像的映射 。这方面的研究工作一般要引入人 生理上的机制 。
2003年 , D rago等人 [7 ]提出了一种新颖的自适应对数映射 算法 。该算法的核心思想是根据 HDR 图像不同区域的内容 , 采用不同基数为底的对数曲线完成色调映射的过程 。例如 ,图 像中最暗的区域采用基数为 2的对数曲线 ,这样可以保持很好 的对比度和可见度 ;对于图像中最亮的区域 ,采用基数为 10的 对数曲线进行对比度压缩 ;而对于这两者之间的中间区域 ,其 对数的基数则根据亮度在 2～10进行平滑插值 。该算法是空 域不变的 ,其在处理速度上很快 ,并且不会产生光晕 ( halo)的 失真效果 ,可以处理较广动态范围的图像 。但是该方法是基于 经验模型 ,其结果图像要达到比较好的效果 ,需要调整基数差 值函数 。
引言
所谓动态范围 ( dynam ic range) ,是指环境中光照亮度级的 最大值和最小值之比 。在人们所处的现实环境中 ,动态范围是 很大的 ,如正午日光与夜晚星光就相差高达 10 个亮度等级 (1010 )以上 。平时人们接触到的纸张 、电视 、显示器等介质 ,其 亮度范围就要少得多 ,一般在 1～2个亮度级左右 。目前有很 多方法都可以合成高动态范围图像 ,例如可用摄像机对真实场 景进行多次曝光 ,再通过现有软件合成图像就能获得 HDR I; 或是先通过对现实环境建模 ,再用基于物理的算法如光线跟 踪 、辐射度 、全局光照明等方法进行绘制获取最终图像 。但即 使获取最精确的图像 ,当它在常规显示设备上显示出来后 ,与 人置身于真实环境中的感受仍有较大不同 ,这是因为绝大部分 常规的输出设备都只适用于显示相对比较小动态范围的图像 。 所以需要以某种方式对原来的高动态范围图像进行映射变换 , 使之更好地显示在只能显示低动态域的设备上 ,这种方式称为 色调映射 ( tone mapp ing)或者色调重建 ( tone rep roduction) 。
Recent tone mapp ing techniques for high dynam ic range images
WANG Zuo2sheng1 , ZOU Shao2fang2 , WANG Zhang2ye1
( 1. S ta te Key L abora tory of CAD &CG, Z hejiang U niversity, Hangzhou 310027, China; 2. S chool of A rts & D esign, Z hejiang U n iversity of S cience & Technology, Hangzhou 310023, Ch ina)
个步骤组成 : a)在 GPU 端进行图像的采样 ,获取到输入图像的 亮度分布 ,传输到 CPU 端 ; b)在 CPU 端利用采样图像进行色 调映射获得色调映射曲线 ; c)利用该曲线差值计算得到各种 系数 ,并作为纹理传到 GPU 端 ; d)在 GPU 端利用查找表进行 图像的重建工作 ,完成最终图像的生成 。这种框架能比之前大 部分的全局算子的处理速度提高 10 倍以上 ,而且易于实现 。 但是它只是针对全局算子的 ,所以仍保留全局算子的缺陷 ,如 无法保持图像中细节部分的信息等 。
色调重建这个概念首先是由 Tumblin等人 [1 ]在 1993年引 入到计算机图形学领域的 ; 之后 Devlin等人 [2 ]总结了该领域 出现的算子或方法 。由于当时受到硬件设备的限制 ,许多方法 并不能做到快速计算和应用 。随着设备计算能力的快速增长 和各种图形应用程序接口的改进 ,许多学者提出了各种适合硬 件加速的算法以及建立起可以提高图像快速映射的应用框架 , 还有加入符合人类视觉系统 ( human visual system , HVS)的各 种效果 。本文将介绍该领域的相关技术的最新进展 ,并指出各 种方法的优势及其尚存在的一些不足之处 。
收稿日期 : 2009212227; 修回日期 : 2010202213 基ห้องสมุดไป่ตู้项目 : 国家“973 ”计划资助项目 ( 2009CB320802 ) ; 国家自然科学基金资助项目 (60970075) ;国家“863”计划资助项目 (2007AA01Z316) ;浙江省自然科学基金杰出青年团队资助项目 (R407042)
Vol. 27 No. 7 Jul. 2010
高动态图像色调映射技术新进展 3
王作省 1 , 邹少芳 2 , 王章野 1
(1. 浙江大学 CAD&CG国家重点实验室 , 杭州 310027; 2. 浙江科技学院 艺术设计学院 , 杭州 310023)
摘 要 : 传统显示设备受自身动态范围限制 ,无法很好地显示高动态图像的效果 ,需要用色调映射方法进行合 理的动态域压缩 ,获得更好的图像显示质量 。综述了现有高动态图像的色调映射技术 ,首先简要介绍了高动态 图像色调映射方法的概念 ;再介绍了色调映射算子的分类 ,以色调映射处理方式为主分别介绍了空域不变算法 、 空域变化算法及混合算法这三大类算子近年来发展起来的各种新方法 ,并指出各种方法的技术优势及对此进行 了归纳总结 ;最后阐述了该技术的应用领域及其继续发展的方向 。 关键词 : 高动态图像 ; 色调映射算子 ; 最新进展 中图分类号 : TP391 文献标志码 : A 文章编号 : 100123695 (2010) 0722421204 doi: 10. 3969 / j. issn. 100123695. 2010. 07. 005
2004年 , Ram sey等人 [9 ]提出了一个在时间上自适应的色 调映射算子 ,它可以使映射处理后的视频在亮度上平滑过渡 , 同时保留所期望的亮度突变 。与以往的时间过渡方法不同 ,该 方法保留一个历史窗口 ,维护两个时间相关量 ———适应亮度和 索引值 。通过设定合理的阈值 ,使得这个索引值既能保持连续 帧之间的平滑过渡 ,又能体现场景的突变 ;但算法应该通过添 加更完整的低通滤波使索引值更合理地反映不同帧之间的场 景变化 。而且用于指定用户兴趣区域的交互方式也需要改进 , 最主要的是 ,该算法中时间相关量选取的可靠性尚不能充分 保证 。
作者简介 :王作省 (19852) , 男 , 浙江苍南人 , 硕士研究生 , 主要研究方向为计算机图形学 、虚拟现实等 (wangzuosheng@ cad. zju. edu. cn ) ; 邹少芳 (19682) ,男 ,讲师 ,主要研究方向为计算机美术 、图像处理 ;王章野 (19652) ,男 ,副教授 ,博士 ,主要研究方向为计算机图形学 、图像处理 、虚 拟现实和红外成像仿真等.
本类方法只需要统一的映射曲线 ,所以它计算简单快捷 , 但是却很难保持图像中的细节特征 ,容易丢失图像中局部的对 比度等信息 。
2002年 , A rtusi等人 [6 ]提出一种实时效率的全局色调映射 方法 ,该方法将色调映射看做一个黑盒 ,以高动态场景的 XYZ 空间量为输入 ,常规显示设备的 RGB 空间量为输出 。通过线 性系统来描述这个黑盒 ,并利用奇异值分解和多项式回归的方 法来模拟 ;再通过比对色调映射算子的输入输出数据反求这个 线性系统 ,得到该算子的具体系数 。这种方法思想明了 ,流程 清晰 。作者针对其线性系统提出了具有针对性的回归方法和 查询表 ,使得计算速度非常快 ,完全基于软件 ,同时又满足于实 时系统 。但是这种方法最大的问题也在于此 ,即将色调映射看 成一个线性系统是过于简单了 。另外该方法对于各种视觉感 知效果的模拟以及线性系统模拟的可靠性评述都显得主观 。
目前有很多方法都可以合成高动态范围图像例如可用摄像机对真实场景进行多次曝光再通过现有软件合成图像就能获得hdr或是先通过对现实环境建模再用基于物理的算法如光线跟踪辐射度全局光照明等方法进行绘制获取最终图像
第 27卷第 7期 2010年 7月
计算机应用研究 App lication Research of Computers
色调映射算子的分类
色调映射方法根据其处理方式主要分为以下几类 : a)全 局算子 ,又称空域不变 ( spatially uniform )算子 ,即对图像的所 有像素应用同一个映射曲线 ,如最简单的映射就是将图像的最 高和最低亮度值同显示设备的最高值和最低值分别对应起来 , 中间部分用线性插值获取 ; b)局部算子 ,又称空域变化 ( spa2 tially varying)算子 ,即每个像素的映射曲线都是同邻域像素信
2003年 , A rtusi等人 [8 ]提出了一种只基于全局算子应用的 统一框架 。该 框 架 通 过 分 析 现 有 的 系 统 硬 件 结 构 , 在 GPU ( graphics p rocessing unit,可编程图形单元 )上进行简单但耗时 的运算 ,如图像的采样和重建 ;在 CPU 端实现色调重建工作 , 便于嵌入现有的各种色调映射方法 。该方法并不修改原来的 图像渲染流程 ,而是对 HDR图像实行后处理操作 ,因此可以在 应用现有硬件的同时又保证算法的通用性 。其处理框架由四
根据算法应用范围不同又可分为静态和动态方法 。其中 静态方法用来处理单幅图像 ;动态的方法用来处理图像序 列 [5 ]或者应用到交互系统中 ,一般这种方法需要引入时间作 为相关量来模拟变化的过程 。
本文以第一种分类为主 ,辅以另两种分类方式 ,详细介绍 了目前高动态图像色调映射技术的最新进展 。
1 空域不变算法
·2422·
计算机应用研究
第 27卷
息相关的 ,从而使得同一幅图像映射到不同设备上可能得到不 同的结果 ; c)混合全局与局部算子的框架 [3, 4 ] ,这种方法能结 合上面两种算子各自的优势 ,从而获得较好的图像映射效果 , 但也增加了其实现的难度 。
根据算法采用的理论模型又可以分为 : a)基于经验模型 的算法 ,此类方法一般就是用图像处理方法对输入图像进行处 理 ,达到保持图像中的细节 、减小图像动态范围 、消除图像处理 后的各种失真等目的 ; b)基于感知的算法 ,这种方法采用 HVS 模型为基础 ,以尽可能保持人眼感知作为图像处理的目标 ,实 现高动态范围图像的映射 。这方面的研究工作一般要引入人 生理上的机制 。
2003年 , D rago等人 [7 ]提出了一种新颖的自适应对数映射 算法 。该算法的核心思想是根据 HDR 图像不同区域的内容 , 采用不同基数为底的对数曲线完成色调映射的过程 。例如 ,图 像中最暗的区域采用基数为 2的对数曲线 ,这样可以保持很好 的对比度和可见度 ;对于图像中最亮的区域 ,采用基数为 10的 对数曲线进行对比度压缩 ;而对于这两者之间的中间区域 ,其 对数的基数则根据亮度在 2～10进行平滑插值 。该算法是空 域不变的 ,其在处理速度上很快 ,并且不会产生光晕 ( halo)的 失真效果 ,可以处理较广动态范围的图像 。但是该方法是基于 经验模型 ,其结果图像要达到比较好的效果 ,需要调整基数差 值函数 。
引言
所谓动态范围 ( dynam ic range) ,是指环境中光照亮度级的 最大值和最小值之比 。在人们所处的现实环境中 ,动态范围是 很大的 ,如正午日光与夜晚星光就相差高达 10 个亮度等级 (1010 )以上 。平时人们接触到的纸张 、电视 、显示器等介质 ,其 亮度范围就要少得多 ,一般在 1～2个亮度级左右 。目前有很 多方法都可以合成高动态范围图像 ,例如可用摄像机对真实场 景进行多次曝光 ,再通过现有软件合成图像就能获得 HDR I; 或是先通过对现实环境建模 ,再用基于物理的算法如光线跟 踪 、辐射度 、全局光照明等方法进行绘制获取最终图像 。但即 使获取最精确的图像 ,当它在常规显示设备上显示出来后 ,与 人置身于真实环境中的感受仍有较大不同 ,这是因为绝大部分 常规的输出设备都只适用于显示相对比较小动态范围的图像 。 所以需要以某种方式对原来的高动态范围图像进行映射变换 , 使之更好地显示在只能显示低动态域的设备上 ,这种方式称为 色调映射 ( tone mapp ing)或者色调重建 ( tone rep roduction) 。
Recent tone mapp ing techniques for high dynam ic range images
WANG Zuo2sheng1 , ZOU Shao2fang2 , WANG Zhang2ye1
( 1. S ta te Key L abora tory of CAD &CG, Z hejiang U niversity, Hangzhou 310027, China; 2. S chool of A rts & D esign, Z hejiang U n iversity of S cience & Technology, Hangzhou 310023, Ch ina)
个步骤组成 : a)在 GPU 端进行图像的采样 ,获取到输入图像的 亮度分布 ,传输到 CPU 端 ; b)在 CPU 端利用采样图像进行色 调映射获得色调映射曲线 ; c)利用该曲线差值计算得到各种 系数 ,并作为纹理传到 GPU 端 ; d)在 GPU 端利用查找表进行 图像的重建工作 ,完成最终图像的生成 。这种框架能比之前大 部分的全局算子的处理速度提高 10 倍以上 ,而且易于实现 。 但是它只是针对全局算子的 ,所以仍保留全局算子的缺陷 ,如 无法保持图像中细节部分的信息等 。
色调重建这个概念首先是由 Tumblin等人 [1 ]在 1993年引 入到计算机图形学领域的 ; 之后 Devlin等人 [2 ]总结了该领域 出现的算子或方法 。由于当时受到硬件设备的限制 ,许多方法 并不能做到快速计算和应用 。随着设备计算能力的快速增长 和各种图形应用程序接口的改进 ,许多学者提出了各种适合硬 件加速的算法以及建立起可以提高图像快速映射的应用框架 , 还有加入符合人类视觉系统 ( human visual system , HVS)的各 种效果 。本文将介绍该领域的相关技术的最新进展 ,并指出各 种方法的优势及其尚存在的一些不足之处 。
收稿日期 : 2009212227; 修回日期 : 2010202213 基ห้องสมุดไป่ตู้项目 : 国家“973 ”计划资助项目 ( 2009CB320802 ) ; 国家自然科学基金资助项目 (60970075) ;国家“863”计划资助项目 (2007AA01Z316) ;浙江省自然科学基金杰出青年团队资助项目 (R407042)
Vol. 27 No. 7 Jul. 2010
高动态图像色调映射技术新进展 3
王作省 1 , 邹少芳 2 , 王章野 1
(1. 浙江大学 CAD&CG国家重点实验室 , 杭州 310027; 2. 浙江科技学院 艺术设计学院 , 杭州 310023)
摘 要 : 传统显示设备受自身动态范围限制 ,无法很好地显示高动态图像的效果 ,需要用色调映射方法进行合 理的动态域压缩 ,获得更好的图像显示质量 。综述了现有高动态图像的色调映射技术 ,首先简要介绍了高动态 图像色调映射方法的概念 ;再介绍了色调映射算子的分类 ,以色调映射处理方式为主分别介绍了空域不变算法 、 空域变化算法及混合算法这三大类算子近年来发展起来的各种新方法 ,并指出各种方法的技术优势及对此进行 了归纳总结 ;最后阐述了该技术的应用领域及其继续发展的方向 。 关键词 : 高动态图像 ; 色调映射算子 ; 最新进展 中图分类号 : TP391 文献标志码 : A 文章编号 : 100123695 (2010) 0722421204 doi: 10. 3969 / j. issn. 100123695. 2010. 07. 005
2004年 , Ram sey等人 [9 ]提出了一个在时间上自适应的色 调映射算子 ,它可以使映射处理后的视频在亮度上平滑过渡 , 同时保留所期望的亮度突变 。与以往的时间过渡方法不同 ,该 方法保留一个历史窗口 ,维护两个时间相关量 ———适应亮度和 索引值 。通过设定合理的阈值 ,使得这个索引值既能保持连续 帧之间的平滑过渡 ,又能体现场景的突变 ;但算法应该通过添 加更完整的低通滤波使索引值更合理地反映不同帧之间的场 景变化 。而且用于指定用户兴趣区域的交互方式也需要改进 , 最主要的是 ,该算法中时间相关量选取的可靠性尚不能充分 保证 。
作者简介 :王作省 (19852) , 男 , 浙江苍南人 , 硕士研究生 , 主要研究方向为计算机图形学 、虚拟现实等 (wangzuosheng@ cad. zju. edu. cn ) ; 邹少芳 (19682) ,男 ,讲师 ,主要研究方向为计算机美术 、图像处理 ;王章野 (19652) ,男 ,副教授 ,博士 ,主要研究方向为计算机图形学 、图像处理 、虚 拟现实和红外成像仿真等.
本类方法只需要统一的映射曲线 ,所以它计算简单快捷 , 但是却很难保持图像中的细节特征 ,容易丢失图像中局部的对 比度等信息 。
2002年 , A rtusi等人 [6 ]提出一种实时效率的全局色调映射 方法 ,该方法将色调映射看做一个黑盒 ,以高动态场景的 XYZ 空间量为输入 ,常规显示设备的 RGB 空间量为输出 。通过线 性系统来描述这个黑盒 ,并利用奇异值分解和多项式回归的方 法来模拟 ;再通过比对色调映射算子的输入输出数据反求这个 线性系统 ,得到该算子的具体系数 。这种方法思想明了 ,流程 清晰 。作者针对其线性系统提出了具有针对性的回归方法和 查询表 ,使得计算速度非常快 ,完全基于软件 ,同时又满足于实 时系统 。但是这种方法最大的问题也在于此 ,即将色调映射看 成一个线性系统是过于简单了 。另外该方法对于各种视觉感 知效果的模拟以及线性系统模拟的可靠性评述都显得主观 。
目前有很多方法都可以合成高动态范围图像例如可用摄像机对真实场景进行多次曝光再通过现有软件合成图像就能获得hdr或是先通过对现实环境建模再用基于物理的算法如光线跟踪辐射度全局光照明等方法进行绘制获取最终图像
第 27卷第 7期 2010年 7月
计算机应用研究 App lication Research of Computers
色调映射算子的分类
色调映射方法根据其处理方式主要分为以下几类 : a)全 局算子 ,又称空域不变 ( spatially uniform )算子 ,即对图像的所 有像素应用同一个映射曲线 ,如最简单的映射就是将图像的最 高和最低亮度值同显示设备的最高值和最低值分别对应起来 , 中间部分用线性插值获取 ; b)局部算子 ,又称空域变化 ( spa2 tially varying)算子 ,即每个像素的映射曲线都是同邻域像素信
2003年 , A rtusi等人 [8 ]提出了一种只基于全局算子应用的 统一框架 。该 框 架 通 过 分 析 现 有 的 系 统 硬 件 结 构 , 在 GPU ( graphics p rocessing unit,可编程图形单元 )上进行简单但耗时 的运算 ,如图像的采样和重建 ;在 CPU 端实现色调重建工作 , 便于嵌入现有的各种色调映射方法 。该方法并不修改原来的 图像渲染流程 ,而是对 HDR图像实行后处理操作 ,因此可以在 应用现有硬件的同时又保证算法的通用性 。其处理框架由四