一种高动态范围图像可视化算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 24 卷 第 11 期 2007 年 11 月
计 算 机 应 用 研 究 Application Research of Computers
Vol. 24 No. 11 Nov. 2007
一种高动态范围图像可视化算法*
李晓光
香港 ) 摘 要 : 提 出的 自适 应 HDR 图 像可 视化 算法中 , 输入 图像 被 分 解 为基 本 层 和 细 节 层。 该 算 法 将整 体 明 暗 效 果
Abstract: High dynamic range ( HDR) image is designed to depict the full visual dynamic range of the real-world scenes. A visualization algorithm was necessary when displaying HDR images on the standard output devices. A novel algorithm based on spatial and statistical information was proposed for the display of HDR images. The algorithm could deal with the problems of overall impression preservation and visual details reproduction. The trade-off between these two issues could be achieved a balance through the adaptive enhancement of details. Experimental results show the superior performance of the approach in terms of visual quality. Key words: HDR image; visualization of image; tone mapping 效果 ; 但是 , 全局映射会造 成细节 信息的 严重损 失。局 部映 射 算法比全局映射更灵活, 它 不是一 对一映 射 , 像素的 映射结 果 取决于其空间相邻的像素。现 有的局 部映射 结果倾 向于增 强 局部较小的对比度 , 压缩相 对较大 的对比 度 , 从而能 保持几 乎 所有的可视细节信息 , 而场景的整体明暗效果往往没有作为关 注的重点。由于局部映射没有 保持原 场景图 像中的 像素亮 度 大小顺序 , 许多算法结果中 均出现 了不同 程度的 噪声 , 如在 较 强边缘附近出现晕轮现象。这 类算法 的运算 复杂度 也比全 局 映射要高。 理想的 HDR 图像显示算法应当追求显示效果尽可能接近 真实场景带给人眼的视觉感受 , 因此要兼顾可视细节信息的保 持和整体明暗对比度的体现。这两方面是相互矛盾的 , 算法应 当自适应地达到这两方面的平衡。 人眼对场景中细节的关 注是非 常敏感 的。只有人 眼视 网 膜中央凹处视觉最敏锐 , 这种敏感性是限制在视场中很小的局 部范围内的。可视细节的 保持是 个局部 性的问 题。现 有局 部 映射方法利用了图像中局部邻域的空间信息 , 即每个像素的映 射结果与它邻域内的信息有很大关系 , 这种灵活的映射方式有 利于可视细节信息的保持。在 接受场 景的整 体明暗 对比度 刺
0
引言
真实场景所展现的亮度 值具有 非常宽 广的动 态范 围。从
夜空中的星光到耀眼的太阳 , 场景发出的亮度幅度涵盖了超过 九个数量级 ( 109 cd/ m2 ) 的动态范围。人眼视 觉系统能够 同时 感知约五个数量级范围的场景亮度 , 人眼通过动态调整机制来 感知真实世界。随着成像技术和计算机图形图像技术的发展 , 高动态范围图像 ( high dynamic range image, HDR) 已经 可以 通 过光谱记录仪器或多幅同一场 景具有 不同曝 光时间 的图像 序 列合成而获得。这种图像可以 同时记 录处于 场景中 非常亮 和 非常暗的区域中的可视细节信息 , 这些细节信息在普通低对比 度图像中很容易丢失。然而 , 现有的标准显示设 备 ( 如 CRT 显 示器 ) 仅能显示 约两个 数量 级动 态 范围 的 亮度。在 标准 显 示 设备上显示这些高动态范围图像之前 , 必须对它们进行对比度 压缩。现有的 HDR 图像可视化 方法主 要分为 两种 [ 1] , 即全 局 映射
基 金项 目 : 国 家自然 科学 基金资 助项 目 ( 60472036, 60431020, 60402036) ; 北京 市 自然 科
学基金 资助项 目 ( 4042008) ; 教 育部 博士点 基金 资助项 目 ( 20040005015) 作 者简介 : 李 晓光 ( 1980 - ) , 男 , 北京 人 , 博士研 究生 , 主 要研究 方向 为图像 视频 信号处 理 ( lxg@ emails. bjut. edu. cn) ; 沈兰 荪 ( 1938- ) , 男 , 教授 , 博导 , 主要 研究 方向为 图像 编码、 处理 、 传 输与 应用、 光谱 信号 的检测 与处 理等 ; LAM Kin-man( 1962- ) , 男 , 副教 授 , 博导 , 主 要研究 方向 为人脸 识别 、 图像、 视频 信号 处理及 计算 机视觉 .
Algorithm for visualization of high dynamic range images
LI Xiao-guang , SHEN Lan-sun , LAM Kin-man
1, 2 1 2
( 1 . Signal & Information Processing Laboratory, Beijing University of Technology, Beijing 100022 , China; 2 . Centre for Multimedia Signal Processing, Dept. of Electronic & Information Engineering, Hong Kong Polytechnic University, Hong Kong, China)
提出的快速双向滤波器对输入图像进行对数域分解:
I( x, y) = log( max( L w( x, y) , 0. 0001) Ibase ( x, y) = bil_filter( I( x, y) ) I detail ( x, y) = I( x, y) - I base ( x, y) ( 1) ( 2) ( 3)
对基本层进行线性限 制直方 图调整 [ 4] 。 这种调 整充分 利 用了图像直方图中的统计信息 , 增强整体明暗对比度的同时限 制了对比度增强的程度不会过大 , 在实际应用中能保持令人满 意的图像整体 明暗 对比 度视觉 感受。文 献 [ 4] 给出 了算 法 伪 代码。这里选择线性限制直方图调整处理基本层 , 并非为了得 到相应的处理结果 , 而是要计算调整后的直方图映射曲线以及 将映射关系与空间位置关 联起来 的映射 图。 映射曲 线用于 指 导细节层的增强 , 映射图用于映射细节增强后的图像。 对基本层进行线性限制直方图调整 :
1, 2
, 沈兰荪 , 林健文
1
2
( 1. 北京 工业 大学 信 号与 信息处 理研 究室 , 北京 100022; 2. 香 港 理 工大 学 电 子 工 程 及 资 讯学 系 多 媒体 中 心 ,
的显 示看 做整 体问题 , 对表 示亮 度的基 本层 采用 基于 整体 统 计 信息 的 直 方 图 调 整算 法 处 理 ; 可 视细 节 信 息 的 保 持作 为局 部问 题 , 算法 采用 自适 应细节 增强 算法 处理 细节 层。 通过定 义映 射图 对细 节增 强后 的图 像 进 行最 终 映 射 , 将两 方面 结合 起来 得到 最终 结果。 实验 结果 表明 , 该 算法 能对 HDR 图像进 行较 高视 觉质 量的 显示 。 关键 词 : 高 动态 范围 图像 ; 图 像显 示 ; 图 像映 射 中图 分类 号 : TP391 文 献标 志码 : A 文 章编 号 : 1001 - 3695( 2007) 11- 0303- 03
・ 304・
计 算 机 应 用 研 究 1. 2 计算基本层映射曲线以及映射图
第 24 卷
激时 , 人眼则不可能仅仅依赖视网膜中央凹处的成像来获得整 体印象 , 整个视网膜在产生总体视觉印象中发挥作用。笔者将 这一方面看做整体问题 , 显然 , 通过图 像的整 体统计 信息来 解 决 HDR 图像整体明暗对比度的显示问题更加合理。基于以上 的分 析 , 本 文 提 出 了 空 间 信 息 与 统 计 信 息 相 结 合 的 自 适 应 HDR 图像显示算法。
[2～ 4]
Fra Baidu bibliotek和局部映射
[ 5 ～10]
。全局映射 算法通 过像素 间点到 点
的对应函数 ( 曲 线 ) 对 HDR 图像 中的 每个 像素 进行 映 射。这 种映射是一对一的 , 即原 HDR 图像中 取值相 同的像 素映射 为 同一结果。其优点在于计算速度快 , 能够保持良好的整体明暗
收 稿日期 : 2006- 09- 11 ; 修返 日期 : 2006- 12- 20
bi < b bi
( 7)
进一步计算基本层的映射结果 :
IDbase = min( Ibase ) + [ max( Ibase ) - min( Ibase ) ] ×P( I base ) ( 8)
映射图定义为
g( x, y) = IDbase ( x, y) /[ I base ( x, y) - min( Ibase ) + 1] ( 9)
f( b) = lin_ceiling( f base ( b) ) ( 6)
1
本文算法
本文算法首先是将图像 分解为 细节层 和基本 层。细节 层
表示局部细节信息 , 基本 层表示 整体明 暗亮度 , 分解 后的图 像 可以进行分别处理。利用统计信息对基本层进行直方图调整 , 得到全局映射 的映 射曲 线。本文 算法选 择了 文献 [ 4] 中 提 出 的线性限制直方图调整算法 , 实际上也可采用其他能够产生满 意的整体明暗视觉效果的 调整算 法。将这种 全局映 射关系 通 过映射图记录下来 , 根据 映射曲 线斜率 , 对原 输入图 像中的 细 节进行自适应增强 , 以保持可视细节信息。细节增强后的图像 由映射图映射得到最终结 果。映射图 记录了 映射曲 线所反 映 的全局映射关系 , 但在最终映射中映射是根据空间位置而不是 像素值进行的。这样可以在具 体像素 值被细 节增强 过程改 变 的情况下 , 保持全局映射产生的总体明暗效果。算法在图像分 解中利用了局部 空间 信 息 , 基本 层 映射 中应 用 了全 局统 计 信 息, 而在自适应细节增强中结合应用了空间信息和统计信息。 1. 1 图像分解 图像分解的主要目的是将图像分解为表示局部细节信息的 细节层和表示整体亮度变化的基本层。算法采 用了 F. Durand 等人
其中 : 分母常数 1 是为了避免分母为 0。g( x, y) 记录了图像 中 每一像素点的变换比例关系, 是对特定直方图调整的另一种描 述方式。它将保持整体对比度 的全局 映射和 像素空 间位置 联 系起来。
Iout ( x, y) = g( x, y) ( Iin ( x, y) + 1 ) ( 10 )
[ 8]
其中 : 函数 lin_ceiling 表示 线性 限制直 方图 调整 过程 ; fbase ( b) 为基本层 Ibase 的直方 图, 将 输入图 像像素 取值范 围分 割为 256 个等间隔区间计算得到 ; f( b) 为调整后的直方图。 计算映射曲线 , 即调整后的累积分布:
P( b) = f( bi ) /T, T = f( bi )
计 算 机 应 用 研 究 Application Research of Computers
Vol. 24 No. 11 Nov. 2007
一种高动态范围图像可视化算法*
李晓光
香港 ) 摘 要 : 提 出的 自适 应 HDR 图 像可 视化 算法中 , 输入 图像 被 分 解 为基 本 层 和 细 节 层。 该 算 法 将整 体 明 暗 效 果
Abstract: High dynamic range ( HDR) image is designed to depict the full visual dynamic range of the real-world scenes. A visualization algorithm was necessary when displaying HDR images on the standard output devices. A novel algorithm based on spatial and statistical information was proposed for the display of HDR images. The algorithm could deal with the problems of overall impression preservation and visual details reproduction. The trade-off between these two issues could be achieved a balance through the adaptive enhancement of details. Experimental results show the superior performance of the approach in terms of visual quality. Key words: HDR image; visualization of image; tone mapping 效果 ; 但是 , 全局映射会造 成细节 信息的 严重损 失。局 部映 射 算法比全局映射更灵活, 它 不是一 对一映 射 , 像素的 映射结 果 取决于其空间相邻的像素。现 有的局 部映射 结果倾 向于增 强 局部较小的对比度 , 压缩相 对较大 的对比 度 , 从而能 保持几 乎 所有的可视细节信息 , 而场景的整体明暗效果往往没有作为关 注的重点。由于局部映射没有 保持原 场景图 像中的 像素亮 度 大小顺序 , 许多算法结果中 均出现 了不同 程度的 噪声 , 如在 较 强边缘附近出现晕轮现象。这 类算法 的运算 复杂度 也比全 局 映射要高。 理想的 HDR 图像显示算法应当追求显示效果尽可能接近 真实场景带给人眼的视觉感受 , 因此要兼顾可视细节信息的保 持和整体明暗对比度的体现。这两方面是相互矛盾的 , 算法应 当自适应地达到这两方面的平衡。 人眼对场景中细节的关 注是非 常敏感 的。只有人 眼视 网 膜中央凹处视觉最敏锐 , 这种敏感性是限制在视场中很小的局 部范围内的。可视细节的 保持是 个局部 性的问 题。现 有局 部 映射方法利用了图像中局部邻域的空间信息 , 即每个像素的映 射结果与它邻域内的信息有很大关系 , 这种灵活的映射方式有 利于可视细节信息的保持。在 接受场 景的整 体明暗 对比度 刺
0
引言
真实场景所展现的亮度 值具有 非常宽 广的动 态范 围。从
夜空中的星光到耀眼的太阳 , 场景发出的亮度幅度涵盖了超过 九个数量级 ( 109 cd/ m2 ) 的动态范围。人眼视 觉系统能够 同时 感知约五个数量级范围的场景亮度 , 人眼通过动态调整机制来 感知真实世界。随着成像技术和计算机图形图像技术的发展 , 高动态范围图像 ( high dynamic range image, HDR) 已经 可以 通 过光谱记录仪器或多幅同一场 景具有 不同曝 光时间 的图像 序 列合成而获得。这种图像可以 同时记 录处于 场景中 非常亮 和 非常暗的区域中的可视细节信息 , 这些细节信息在普通低对比 度图像中很容易丢失。然而 , 现有的标准显示设 备 ( 如 CRT 显 示器 ) 仅能显示 约两个 数量 级动 态 范围 的 亮度。在 标准 显 示 设备上显示这些高动态范围图像之前 , 必须对它们进行对比度 压缩。现有的 HDR 图像可视化 方法主 要分为 两种 [ 1] , 即全 局 映射
基 金项 目 : 国 家自然 科学 基金资 助项 目 ( 60472036, 60431020, 60402036) ; 北京 市 自然 科
学基金 资助项 目 ( 4042008) ; 教 育部 博士点 基金 资助项 目 ( 20040005015) 作 者简介 : 李 晓光 ( 1980 - ) , 男 , 北京 人 , 博士研 究生 , 主 要研究 方向 为图像 视频 信号处 理 ( lxg@ emails. bjut. edu. cn) ; 沈兰 荪 ( 1938- ) , 男 , 教授 , 博导 , 主要 研究 方向为 图像 编码、 处理 、 传 输与 应用、 光谱 信号 的检测 与处 理等 ; LAM Kin-man( 1962- ) , 男 , 副教 授 , 博导 , 主 要研究 方向 为人脸 识别 、 图像、 视频 信号 处理及 计算 机视觉 .
Algorithm for visualization of high dynamic range images
LI Xiao-guang , SHEN Lan-sun , LAM Kin-man
1, 2 1 2
( 1 . Signal & Information Processing Laboratory, Beijing University of Technology, Beijing 100022 , China; 2 . Centre for Multimedia Signal Processing, Dept. of Electronic & Information Engineering, Hong Kong Polytechnic University, Hong Kong, China)
提出的快速双向滤波器对输入图像进行对数域分解:
I( x, y) = log( max( L w( x, y) , 0. 0001) Ibase ( x, y) = bil_filter( I( x, y) ) I detail ( x, y) = I( x, y) - I base ( x, y) ( 1) ( 2) ( 3)
对基本层进行线性限 制直方 图调整 [ 4] 。 这种调 整充分 利 用了图像直方图中的统计信息 , 增强整体明暗对比度的同时限 制了对比度增强的程度不会过大 , 在实际应用中能保持令人满 意的图像整体 明暗 对比 度视觉 感受。文 献 [ 4] 给出 了算 法 伪 代码。这里选择线性限制直方图调整处理基本层 , 并非为了得 到相应的处理结果 , 而是要计算调整后的直方图映射曲线以及 将映射关系与空间位置关 联起来 的映射 图。 映射曲 线用于 指 导细节层的增强 , 映射图用于映射细节增强后的图像。 对基本层进行线性限制直方图调整 :
1, 2
, 沈兰荪 , 林健文
1
2
( 1. 北京 工业 大学 信 号与 信息处 理研 究室 , 北京 100022; 2. 香 港 理 工大 学 电 子 工 程 及 资 讯学 系 多 媒体 中 心 ,
的显 示看 做整 体问题 , 对表 示亮 度的基 本层 采用 基于 整体 统 计 信息 的 直 方 图 调 整算 法 处 理 ; 可 视细 节 信 息 的 保 持作 为局 部问 题 , 算法 采用 自适 应细节 增强 算法 处理 细节 层。 通过定 义映 射图 对细 节增 强后 的图 像 进 行最 终 映 射 , 将两 方面 结合 起来 得到 最终 结果。 实验 结果 表明 , 该 算法 能对 HDR 图像进 行较 高视 觉质 量的 显示 。 关键 词 : 高 动态 范围 图像 ; 图 像显 示 ; 图 像映 射 中图 分类 号 : TP391 文 献标 志码 : A 文 章编 号 : 1001 - 3695( 2007) 11- 0303- 03
・ 304・
计 算 机 应 用 研 究 1. 2 计算基本层映射曲线以及映射图
第 24 卷
激时 , 人眼则不可能仅仅依赖视网膜中央凹处的成像来获得整 体印象 , 整个视网膜在产生总体视觉印象中发挥作用。笔者将 这一方面看做整体问题 , 显然 , 通过图 像的整 体统计 信息来 解 决 HDR 图像整体明暗对比度的显示问题更加合理。基于以上 的分 析 , 本 文 提 出 了 空 间 信 息 与 统 计 信 息 相 结 合 的 自 适 应 HDR 图像显示算法。
[2～ 4]
Fra Baidu bibliotek和局部映射
[ 5 ～10]
。全局映射 算法通 过像素 间点到 点
的对应函数 ( 曲 线 ) 对 HDR 图像 中的 每个 像素 进行 映 射。这 种映射是一对一的 , 即原 HDR 图像中 取值相 同的像 素映射 为 同一结果。其优点在于计算速度快 , 能够保持良好的整体明暗
收 稿日期 : 2006- 09- 11 ; 修返 日期 : 2006- 12- 20
bi < b bi
( 7)
进一步计算基本层的映射结果 :
IDbase = min( Ibase ) + [ max( Ibase ) - min( Ibase ) ] ×P( I base ) ( 8)
映射图定义为
g( x, y) = IDbase ( x, y) /[ I base ( x, y) - min( Ibase ) + 1] ( 9)
f( b) = lin_ceiling( f base ( b) ) ( 6)
1
本文算法
本文算法首先是将图像 分解为 细节层 和基本 层。细节 层
表示局部细节信息 , 基本 层表示 整体明 暗亮度 , 分解 后的图 像 可以进行分别处理。利用统计信息对基本层进行直方图调整 , 得到全局映射 的映 射曲 线。本文 算法选 择了 文献 [ 4] 中 提 出 的线性限制直方图调整算法 , 实际上也可采用其他能够产生满 意的整体明暗视觉效果的 调整算 法。将这种 全局映 射关系 通 过映射图记录下来 , 根据 映射曲 线斜率 , 对原 输入图 像中的 细 节进行自适应增强 , 以保持可视细节信息。细节增强后的图像 由映射图映射得到最终结 果。映射图 记录了 映射曲 线所反 映 的全局映射关系 , 但在最终映射中映射是根据空间位置而不是 像素值进行的。这样可以在具 体像素 值被细 节增强 过程改 变 的情况下 , 保持全局映射产生的总体明暗效果。算法在图像分 解中利用了局部 空间 信 息 , 基本 层 映射 中应 用 了全 局统 计 信 息, 而在自适应细节增强中结合应用了空间信息和统计信息。 1. 1 图像分解 图像分解的主要目的是将图像分解为表示局部细节信息的 细节层和表示整体亮度变化的基本层。算法采 用了 F. Durand 等人
其中 : 分母常数 1 是为了避免分母为 0。g( x, y) 记录了图像 中 每一像素点的变换比例关系, 是对特定直方图调整的另一种描 述方式。它将保持整体对比度 的全局 映射和 像素空 间位置 联 系起来。
Iout ( x, y) = g( x, y) ( Iin ( x, y) + 1 ) ( 10 )
[ 8]
其中 : 函数 lin_ceiling 表示 线性 限制直 方图 调整 过程 ; fbase ( b) 为基本层 Ibase 的直方 图, 将 输入图 像像素 取值范 围分 割为 256 个等间隔区间计算得到 ; f( b) 为调整后的直方图。 计算映射曲线 , 即调整后的累积分布:
P( b) = f( bi ) /T, T = f( bi )