影片数字化修复图像质量评价方法(下)

影片数字化修复图像质量评价方法(下)
Majed chambah;白晓飞
【摘要】@@ 六、关于无参考画面质量评价指标rn这里我们要做的是开发一种评价工具来检测视觉质量(或者说视觉上的损失).我们首先指定一种特定的损伤来进行试验,如影片颜色褪色.正如我们上文提到的那样,影片褪色可以认为是颜色色偏、对比度损失以及颜色饱和度、色度的偏离.
【期刊名称】《现代电影技术》
【年(卷),期】2010(000)004
【总页数】5页(P34-37,24)
【作者】Majed chambah;白晓飞
【作者单位】法国兰斯大学CReSTIC实验室;中国电影资料馆
【正文语种】中文
六、关于无参考画面质量评价指标
这里我们要做的是开发一种评价工具来检测视觉质量(或者说视觉上的损失)。

我们首先指定一种特定的损伤来进行试验, 如影片颜色褪色。

正如我们上文提到的那样, 影片褪色可以认为是颜色色偏、对比度损失以及颜色饱和度、色度的偏离。

因此在评估影片褪色损伤以及颜色校正后的结果时, 我们就要针对色偏、色度偏离、以及影片正常状态等三种情况分别进行判断。

1、客观工具
其实图像质量概念很类似于图像自然度的概念。

正如前Eastman Kodak 公司科学家Ralph M Evans说到那样, “你不反感的图像就是好图像”。

在很多不同的领域都曾有关于图像自然度的研究。

在图像质量评价领域, 也曾将很多客观工具用于主观评价过程中, 目的就是减少主观判断对质量评价可靠性的影响。

当我们提到颜色褪色的修复技术时, 应该注意的是, 颜色校正正常的图像RGB 曲线与原图像的RGB 曲线形状十分接近。

实际上, 很多损伤如噪点颗粒等都会在颜色修复过程中被引入, 也因此会反映到RGB 曲线的形状上, 形成均衡效应。

而我们所说的工具就是据此评估修复图像自然度的。

正常修复图像的RGB 曲线应该与原图像的曲线类似, 而产生均衡效应不正常修复图像, 它所呈现出的RGB 曲线在形状上显得十分不自然。

(如图1 所示)
图1 (a)原始褪色图像的颜色曲线 (b)不正确修复的颜色曲线 (c)正确修复的颜色曲线
由于图像褪色情况十分复杂, 因此最应该关注的评价指标是色调偏差与色度偏离。

我们的评估工具是基于色轮图(HPH)开发的。

色轮图将图像中的所有色调都反映在一个色调环上, 每种色调都按照其色调值表现为聚集向中心的辐射状图形。

通过这种图像, 我们能够很容易的得知每条辐射线所代表的颜色, 因此色轮图可以很好的表现色度偏离情况。

而且其每条辐射线的长度与相同色调的总数是成比例的, 这样就可以据此得知图像的主色调是什么了。

在图2 中显示了色轮图在评估图像主色调及色度偏离时的用处。

2、客观评价方法
图2 (a)图1 中原始褪色图像的色轮图(b)图1 中正确修复图像的色轮图
客观评价方法就是利用上述这些客观工具来轮流进行客观的无参考图像质量评价工作。

在使用这些工具时, 我们还需利用标准的数据分析及统计方面的技术(包括主成分分析以及循环统计法等)。

七、自动颜色均衡模型
自动颜色均衡(简称ACE)是一种自动化数字图像增强算法。

这套算法是依据人眼视觉成像系统进行开发的, 它在增强图像效果的同时校正图像的颜色, 且不依靠任何的图像原始信息。

图3 AC E 模型的运行方式
图3 显示的是ACE 模型的基本运行方式。

首先, 需要对色度空间的颜色进行重新计算, 然后进行动态影调还原缩放, 并设定输出范围执行精确的影调映射。

在第一阶段, 主要是进行反差的增强,这一过程需按像素距离进行加权, 而其结果是一种局部-整体的滤波。

在第二阶段, 进行图像动态范围的最大化处理, 并进行全局光亮度的正常化处理。

在运行这种算法过程中, 不需要任何用户管理、数据统计、准备等工作。

在图3 中, I 为输入图像, R为中间处理结果, O 为输出图像。

在第一阶段, 进行色度与空间的转换过程中, 会根据图像内容对每个像素进行重新计算, 并输出图像R, 该图像近似于人眼视觉看到的图像, 其每个像素点都是按每个色度通道进行分别计算的。

在第二阶段, 需要将中间像素序列R 映射成最终的输出图像O。

在这一阶段需要进行简单的动态最大化处理(线性缩放), 而在输出阶段会根据每个通道不同的相对亮度感应值即灰度值去选用不同的参考值。

至于更多的细节请查阅参考文档中所列的相关内容。

ACE 模型的一个重要特性是准幂等性, 即如果将通过ACE 模型的信号再次接入ACE 模型, 那么结果不会发生任何变化。

换句话说, 一次滤波即可完成视觉效果的正常化, 并输出十分稳定的结果。

1、试验准备
在进行试验之前, 我们首先需要准备三组测试画面。

第一组画面是一组不同版本的
单帧室外风景图片(如图4)。

这些不同版本的图片是由图像处理软件通过调节对比度、色调平衡等参数而得到的。

第二组画面是一组用数码相机以不同白平衡及曝
光量拍摄的潘卡彩色检测片(如图5)。

而第三组画面包含不同的图像：室内、户外、夜景、褪色的电影画面等(如图6)。

因为无参考图像质量检测就是要发现原片与经ACE 处理后图片间的区别, 因此所
有图像在处理过程中都需使用一个标准的参数配置, 即使是对参数的微调也会造成定性或不定性的结果, 因此在这个试验过程中不能有任何的参数变化。

此外, 由于
这项试验是为了研究不同的检查指标, 因此要求绝对的数值结果是没有意义的。

图4 第一组测试画面(a)原片(b)颜色还原效果(c)微红光源(d)微绿光源(e)微蓝光源(f)高反差(g)低反差(h)暗部变暗(i)画面变暗(j)画面变亮
图5 第二组测试画面(详细介绍见表2)
图6 第三组测试画面(详细介绍见表3)
我们采用D65 光源下CIELAB 色彩空间的色差ΔE 作为检测原片与ACE 版本图片间差别的检测指标(可称为ACE 差或DAF)。

当然我们还需要对每组图片都进行两
次主观质量评价。

在第一次主观评价时采用单刺激连续质量评价法(SSCQE), 即依
次观看各张原片, 且不显示ACE 版的图片。

试验人员需要对图像感官质量进行瞬
间判断, 并依据5档评价标准由“最差” 到“最好” 对影片进行评分。

第二次主观评价采用双刺激连续质量评价法(DSCQS), 即试验人员观看多组原片与ACE 版图片的对比, 且每组播放原片与ACE 版图片的顺序随机变换。

试验人员在
不知道哪个是原片的情况下, 选择每组图片中较好的一张, 按照从“更差”到“更好” 等5 档评价标准进行打分, 并按1 到5 分的方式进行计算。

2、试验结果
(1)第一组试验
表1 中给出了每版图片的DAF 值以及根据DAF 值进行的评价打分值, 此外还包括
试验人员根据视觉效果进行的评价打分值。

如果图像质量很差, 那么其DAF 评价分就会很低, 相对的,图像质量好的图片其DAF 评分就会很高。

为了判断DAF 评级相对视觉感觉是否准确, 我们计算了DAF 评分与视觉评分间的比例关系, 并得到0.63 这个值, 可以说是一个相对比较高的分数, 因此证明了我们的初步工作是有效的。

然而, 需要特别强调的是视觉评分是主观的, 表1 第一组试验结果很大程度上取决于看片的观众。

(2)第二组试验
我们第二组试验使用的是放在大理石表面的潘卡纸卡, 并采用透过窗户的太阳光作为光源。

在拍摄的时候, 我们拍摄两张图片, 一张是正常的, 另一张是曝光不足(0.7 EV)的。

表2 中提供了原片与经过ACE处理的图片评分。

表1 第一组试验结果图片DAF 值评分DAF视觉原片21.11 5 2颜色还原17.87 2 1微红光源18.80 3 7微绿光源19.55 4 8微蓝光源33.62 8 5高反差45.65 10 9=低反差17.41 1 3暗部变暗23.15 6 4图片变暗44.49 9 9=图片变亮26.63 7 6 表2 第二组试验结果图片编号白平衡曝光值DAF 值1 5500k-0.7 37.78 2 5500k 0 22.14 3 Neon-0.7 38.20 4 Neon 0 23.95 5 Sunlig ht-0.7 38.54 6 Sunlig ht 0 23.69 7 Automatic-0.7 34.65 8 Automatic 0 21.90
通过上面的表格我们可以发现, 低DAF 值对应的图片都是正确曝光的, 此外无色偏的图片其DAF 值也很小。

最低的DAF 值对应图片是色彩平衡最好的, 也就是采用自动白平衡处理并正确曝光的那张图片。

(3)第三组试验
按照上文所提到的, 我们让观众对比ACE 版的图片与原片, 并根据“更差” (-2)到“更好”(+2)的5 档评价标准去打分。

同样为了判断DAF值相对视觉感觉是否准确, 我们计算了DAF 评分与视觉评分间比例关系, 得到-0.40 这个值, 该值相对而言并不是很高。

(4)讨论
DAF 值与其他无参考图像质量检测指标间的关系我们在这里不再介绍, 如有兴趣请参看参考文档中的相关内容, 已知的结论是DAF 值与其他检测指标之间的联系并不紧密, 在参考文档里有很多针对这些检测指标对比关系的研究报告, 其中也包括对DAF 的研究, 以及这些参数与视觉质量评价间的关系。

其中一个逐步回归程序给出了一个依照3个检测指标进行视觉质量评价的模型：包括DAF与其他2 种无参考图像质量检测指标, 研究结果证明了DA F 可以对其他检测指标进行补充, 其应用于视觉质量评价方面的效果十分明显。

我们将上述的研究程序应用在DAF 与视觉比较上(即在原片与ACE 版图片间进行比较)进行评分对比(见表3 第4 列)。

得到的结果并没有什么意义, 部分原因是因为试验人员给出的视觉评分各不相同, 一些观众认为ACE 版的图片质量更好,而另一些人则认为原片效果更出色(这就是为什么一些图片视觉比较评分接近于0, 而标准差却很高)。

表3 中给出相关的检测打分以及DAF 值。

表3原片编号DAF 值原片打分(a)原片与AC E版间视觉比较评分(b)1 41.76 2.95 0.53 2 14.69 3.55 0.56 3 36.01 2.73-0.56 4 23.74 2.91 0.56 5 14.45 2.64 0.22 6 49.09 1.91 0.89 7 39.36 2.09 1.33 8 23.42 3.64-0.31 9 65.57 1.64 0.89 10 36.08 3.41-0.17 11 11.25 2.32 1.22 12 17.39 2.50 1.50 13 16.90 2.18 0.39 14 16.22 2.05 1.56 15 59.67 2.02 0.56 16 30.07 1.98 1.67 a 1 很差2 差3 可以接受4 好5 很好b -2 更差-1 较差0一样1较好2更好
八、总结
很多图像质量检测参数都能有效的对图像质量进行客观的评价, 这非常有助于提高对修复图像质量评价的效率。

ACE 差(DAF)检测指标是基于图像质量越差, 其ACE 版图像的修正就越多的想法而开发的, 这种想法与我们实际的视觉感觉是一致的, 本文证明的图像质量检测参数能够很好的反映观众的视觉感受, 并透过试验证明了
DAF 可以在无参考图像质量评价过程中起到重要作用, 且可以有效的协助其他检测指标完成图像质量评价工作。

参考文献：
1.J M Reilly, Storage Guide for Colour Photog raphic Materials,The New York State Prog ram for the Conservation and Preservation of Library Research Materials(Albany, N Y：New York State Library, 1998).
2.P reservation and Reuse of Motion Picture Film M aterial for Television, Guidance for Broadcasters Tech 3289-E(European Broadcasting Union, March 2001).
3.M C ham bah, A Rizzi, C Gatta, B Besserer and D Marini,P roc.SPIE/IS&T Electronic Im aging 2003, Santa C lara, CA, 5008(2003)138-149.
4.O Buisson, B Besserer, S Boukir and F Helt, Deterioration Detection For Digital Film Restoration, Proc.C onf.on Computer Vision and Pattern Recognition(CVPR 1997).
5.E Decenciè re, Pr oc.IEE Seminar on Digital Restoration of Film and Video Archives(Jan 2001)1/1-1/
6.
6.C Cui, Proc.8th World Multi-Conf.on Sy stemics, Cybernetics and Informatics(SCI 2004)(Colour Image Processing and Applications Invited Session), Orlando, FL (2004).
7.R Govil, Proc.IS&T Image Processing, Image Quality, Image Capture, Sy stems Conf., Portland, O R(1998)1-3.
8.S N Yendrikhovski, F J Blommaert and H de Ridder in Colour Imaging：Vision and T echnology, Ed.L W MacDonald and M R Luo(New York：Wiley and Sons, 2000)363-382.
9.M Chambah, C Saint Jean and F Helt, Proc.SPIE/IS&T Electronic Imaging
C onf.(Image Quality and Sy stem Performance II),San José , C A(Jan 2005)220-231.
10.M Chambah, C Saint Jean, F H elt and A Rizzi, Proc.SPIE/IS&T Electronic Imaging C onf.(Imag e Quality and Sy stem Performance III), San José , C A(Jan 2006)245-256.。