无参考图像质量评价综述

无参考图像质量评价综述
作者：林海祥,张炘
来源：《电脑知识与技术》2009年第28期
(1.南昌大学信息工程学院,江西南昌 330029;2.南昌大学科学技术学院,江西南昌 330029)
摘要:图像质量评价是图像处理领域的热门研究课题之一。

图像质量评价研究的目标是设计算法,给出和人的主观视觉感受相符合的评价结果。

在客观图像质量评价的几种方法中,由于无参考图像质量评价方法的灵活性,该方法正受到越来越多的关注。

文章首先概述了图像质量评价的相关知识,并从无参考图像质量度量方法和评价算法等角度对无参考图像质量评价进行分析,最后概括了无参考图像质量评价发展的现状及其发展趋势。

关键词:无参考;主观视觉;图像质量度量;图像质量评价;图像处理
中图分类号:TP391文献标识码:A文章编号:1009-3044(2009)28-8043-04
A Survey of No Reference Image Quality Assessment
LIN Hai-xiang1, ZHANG Xin2
(rmation Engineering College of NanChang University, Nanchang 330029, China;
2.Science and Technology College of NanChang University, Nanchang 330029, China)
Abstract: Image quality assessment is one of the most popular research issues in the field of image processing. Its objective is to design algorithms which can give the objective evaluation results that in line with the human’s subject perception. With good flexibility, no reference image quality assessment is being given more and more attention. Firstly, the related knowledge about image quality assessment is summarized. Then, the measurement and the assessment of the no reference image quality are analyzed. At last, its status quo and the trends of future research is summarized.
Key words: no reference; subject perception; image quality measurement; image quality assessment; image processing
图像是人类获取信息的重要途径,其所承载的信息远比其它形式的信息更贴切、更丰富。

图像质量表示图像向人或设备提供信息的能力[1],直接关系着所获取信息的充分性与准确性。

然而,图像在获取、处理、传输和存储的过程中,由于各种因素的影响,将不可避免的产生图像的降质问题,这给信息获取或图像的后期处理带来了极大的困难。

因此,在图像处理的相关领域建立图像质量评价机制具有重大的意义。

图像质量评价涉及到人类视觉系统(Human Vision System, HVS)相关知识。

人眼视觉的某些特性,如视觉非线性、对比度敏感度、视觉多通道和带通等,直接或间接地与图像各种信息的处理有关[2-3]。

人类视觉系统是一个非常复杂的成像系统,至今对人眼视觉系统的研究还处于非常低级的阶段,很多过程难以用物理模型或数学模型来表述。

因此,图像质量评价还处于初级阶段[4]。

图像质量评价可分为主观质量评价和客观质量评价两类。

人是图像的最终接收者,因此,主观质量评价是最为可靠的图像质量评价方法。

最常用的方法是MOS(Mean Opinion Score),该方法对所有的观察者给出的分数进行加权平均。

但是主观质量评价有两个很明显的缺点。

首先,该方法极费时费力。

主观质量评价方法需组织人力对图像质量进行评价,评价结果很容易受到个人主观因素的影响,并且当图像数量巨大时,该方法就更为耗费时间。

其次,该方法不能自动实现,不能嵌入实际的图像或视频处理系统中,比如流媒体播放、视频会议等。

主观质量评价主要用来作为样本训练的数据和衡量客观评价结果的好坏。

客观质量评价是指使用一个或多个图像的度量指标,建立与图像质量相关的数学模型让计算机自动计算得出图像质量,其目标是客观评价结果与人的主观感受相一致[5-7]。

根据是否对原始图像进行参考及参考的程度,客观质量评价又可分为以下三种类型[8]:1)全参考方法(Full Reference,FR),需要完整的原始图像作为评价的参考;2)半参考方法(Reduced Reference,RR),需要原始图像的部分信息作为评价的参考;3)无参考方法(No Reference,NR),不需要借助任何参考图像,依靠待评价图像本身各种信息进行质量评价。

由于全参考方法和半参考方法需要有原始图像信息作参考,且这两种方法得到的结果往往不能很好的反映人的主观感受[9-14],所以无参考方法正受到越来越多的关注。

无参考图像质量评价又称为“盲评价”(Blind Assessment),是一个比较新的研究领域,所取得的成果还非常有限[8]。

无参考图像质量评价的难点在于:首先,存在许多无法量化的因素[15],比如,美学、认识联系、知识、上下文等;其次,对人类视觉系统的了解还相当有限,图像的理解水平仍然比较低,为无参考图像质量评价建立模型比较困难。

1 无参考图像失真度量
目前,无参考图像失真度量一般是针对某一种或几种类型的失真[16],如模糊效应、分块效应、噪声效应等。

1.1 模糊效应度量
模糊是一种常见的失真现象,其表现是边缘的平滑效应。

引起模糊的原因有很多,如图像压缩、拍摄时运动、聚焦不准、镜头失常等。

从频域的角度看,模糊往往是高频分量的不足。

模糊效应的度量一般是基于模糊会产生边缘的平滑效应的现象。

Pina Marziciano等提出通过测量
边缘点宽度并以此宽度作为图像模糊度的方法[17]。

此外,文献[18]也是根据模糊图像的边缘平滑特性,提出图像的模糊度测量方法。

1.2 分块效应度量
分块效应一般是由离散余弦变换压缩算法带来的降质效应。

JPEG图像便是采用离散余弦变换压缩算法。

客观评价分块效应对于图像、视频压缩系统的发展、优化和评估都很重要。

分块效应的度量一般是基于相邻分块间的差异提出来的。

较早提出无参考图像分块效应度量的是Zhou Wang[19]。

他通过横向和纵向对图像进行快速傅立叶变换来估计块边缘强度。

Zhou Wang等在2002年的时候又提出对JPEG图像沿水平方向计算差分信号,通过分块边缘的平均差分估计分块效应的方法[14]。

Guang Zhai等 [20]也提出一种计算分块间边界差异的方法。

1.3 噪声效应度量
数字图像中往往存在各种类型的噪声。

产生噪声的原因可能有几种,与生成图像的方法有关,如:图像的处理过程、图像数据的传输、获取图像数据的电子设备等。

噪声效应度量一般是通过对局部平滑度的测量进行,如Xin Li[21]认为,一个像素点如果破坏了一个局部的平滑度,则该像素点可以被认为是噪点。

通过对一个像素点与其周围八个像素点的信息比较判断其是否为噪点。

除了上述三种常见的度量方法外,还有其它一些模型。

如通过估计原始离散余弦变换系数来估计噪声的方法[22];利用小波系数的统计模型来计算特征的方法[15];基于自然场景统计对JPEG2000图像质量评价的方法等[23]。

可以看出,多数无参考图像质量评价方法所选择的反应图像质量的特征都有比较强的针对性。

当然,仅仅评价某一种降质效应并不能很好的反应图像的整体质量,应该综合考虑多种因素进行评价。

2 无参考图像质量评价算法
对图像失真效应的度量只能反应出图像的失真程度,并不能直观的反应出人的主观感受。

一般将失真效应的度量结果与主观测试值相结合,得出客观质量评价值,最常用的两种方法是基于函数拟合方法和基于机器学习方法。

2.1 基于函数拟合方法
函数拟合是指,在掌握大量观察数据的基础上,利用数理统计方法建立因变量与自变量之间的关系函数表达式。

在无参考图像质量评价中,根据从样本中提取的特征值结合图像质量的主
观测试值构造预测函数,以此函数评价图像质量。

使用这类方法的文章有文献[14]、文献[15]、文献[22-25]等,主要是针对JPEG图像的评价方法和针对JPEG2000图像的评价方法。

2.1.1 JPEG图像评价方法
JPEG算法的压缩过程是,首先对图像分成统一大小的分块(一般是8×8分块),对每个分块采用离散余弦变换(DCT),接着对DCT系数进行压缩。

由于压缩过程中存在各种误差,因此压缩后的图像会产生模糊效应和分块效应。

Zhou Wang等在2002年提出的针对JPEG图像的分块效应和模糊效应的算法便是采用函数拟合方法[14]。

首先,从水平方向和垂直方向对图像的分块效应、模糊效应及图像的零相交比率(zero-crossing rate)进行度量,分别获得特征向量B、A和Z;接着,通过特征向量构造图像质量的评价函数:
■(1)
其中,α、β、γ1、γ2、γ3为待定参数,可通过非线性回归方式得出最佳值。

非线性回归时, 输入值为主观评价值;测试时,S为函数的输出值,即客观评价值。

2.1.2 JPEG2000图像评价方法
JPEG2000与JPEG不同,JPEG2000采用小波变换,其主要的失真效应是模糊和振铃,出现在图像中比较明显的边缘上,因此JPEG2000图像失真与图像内容有关。

对JPEG2000失真效应的度量方法也与JPEG不同,一般是基于边缘信息等。

如在2004年时,Hanghang Tong等[24]使用PCA方法抽取边缘点的局部特征Ld(i,j),利用局部特征对图像失真进行度量:
■(2)
构造质量评价函数:
■(3)
其中,α、β、γ为待定参数,结合主观测试值,使用非线性回归方式得出最佳值;2008年
时,Z.M.Parvez Sazzad等[25]也基于像素失真、边缘信息等进行失真度量,利用函数拟合方法构造质量评价函数。

2.2 基于机器学习方法
基于机器学习方法的无参考图像质量评价算法的基本思路是:在训练阶段,通过主观测试值对图像按质量进行分类;抽取反应图像质量的特征向量,以此特征向量和其所对应的图像质量类别构建质量分类器。

在测试阶段,将以同样方法抽取的特征向量作为分类器的输入值,分类器的输出值即为图像质量的客观评价值。

这类方法的特点是可以借助机器学习领域所取得的研究成
果,改进客观质量评价结果。

使用这类方法的文章有文献[26-31],主要是针对JPEG图像的评价,大致可以分为基于统计特征的方法和基于HVS特性的方法两类。

2.2.1 基于统计特征的方法
该方法以图像中的原始像素值对图像的各种失真效应进行度量,作为机器学习的原始特征向量。

Huitao Luo提出对视觉感兴趣区域进行评价并以此作为图像质量的方法:首先对感兴趣区域的模糊度、亮度、噪声进行度量,接着采用RBF神经网络进行质量评价。

Yanwei Yu等 [49]分别度量图像的分块效应和模型效应并以此作为机器学习特征,然后采用广义回归神经网络来评价JPEG图像质量。

2.2.2 基于HVS特性的方法
该方法提取HVS特性作为机器学习的特征,如R.Venkatesh[36]、Suresh[23]等提取边缘振幅、边缘长度、背景活跃度和背景亮度作为机器学习的特征,分别使用两种机器学习方法进行质量评价:串行可裁减径向基函数神经网络和极限学习机。

表1列出了几种基于机器学习方法的实验结果统计,包括实验数据和实验结果等。

3 总结
本文在分析相关文献资料的基础上,综述了无参考图像质量评价方法的发展状况。

目前,无参考图像质量评价方法具有以下几个特点:1)针对性强;2)从单纯的客观评价算法转变为与人类视觉系统特性相结合的算法;3)基于机器学习方法的算法逐渐增多。

1) 针对性强。

无参考图像质量评价方法提取的特征一般都是反映某种类型的失真,如分块、模糊、噪声等。

其缺点是必须预先清楚图像的失真类型或图像所使用的压缩算法。

这在一定程度上限制了无参考图像质量评价方法的发展。

因此,研究一种通用性比较好的算法成为今后发展的一个趋势。

2) 从单纯的客观评价算法转变为与人类视觉系统特性相结合的算法。

由于无参考图像质量评价方法一般是从图像中提取反应图像质量的特征统计量,而这些特征统计量会受到图像内容的影响。

比如,从两张给人的主观感受一致,内容不一样的图像中提取的特征统计量的差别可能很大,这会造成客观评价结果不准确的现象。

如果在评价算法中考虑人类视觉系统特性,则其评价结果会有很大改善[32]。

虽然目前对人类视觉系统特性的研究还不是很深入,但是,Zhou Wang 指出,即使在评价算法中考虑最简单的人类视觉系统特性都会取得很好的效果[33]。

许多人也注意到了这一点,在近来提出的全参考或部分参考图像质量评价方法中一般都考虑到了人类视觉系统的特性。

3) 基于机器学习的算法逐渐增多。

在无参考图像质量评价常用的两种方法中,非线性回归方法在使用的样本数量,花费的时间上都较机器学习方法来得少。

但是,非线性回归方法有几个缺点。

首先,回归函数的构造带有比较大的主观性,所构造的函数是否是最好的还有待验证;其次,表征图像质量的特征与主观测试值之间的关系是很复杂的,用几个简单的函数并不能很好的表达这种关系。

因此,越来越多的人趋向于基于机器学习的方法来解决这个问题。

这类算法可以借助机器学习领域所取得的研究成果,使客观评价结果与主观评价结果尽可能一致。

总体来说,无参考图像质量评价方法还是一个比较新的研究领域,所取得的研究成果还非常的有限,还未形成一套标准的方法。

不过,由于无参考图像质量评价方法所具备的各种优点,该方法正逐渐受到关注(视频质量专家组将该方法的标准化作为其未来的一个工作方向[34]),具有广阔的应用前景。

参考文献:
[1] Abdou I E, Dusuassoy N J. Survey of image quality measurements [C]. United States: proceedings of ACM Fall joint computer conference,1986:71-78.
[2] Taylor, Christopher C, . Image quality assessment with a Gabor pyramid model of the human visual system [C]. United States: Human Vision and Electronic Imaging, 1997.6, Proc. SPIE, Vol. 3016:58-69.
[3] Wang Z, Sheikh H R, Bovik A C. Objective video quality assessment. In: The Handbook of Video Database: Design and Applications[M]. United States: CRC Press, 2003:1041-1078.
[4] Montag E D, Fairchild M D. Fundamentals of Human Vision and Vision Modeling in Digital Video Image Quality and Perceptual Coding[M]. United States: CRC Press, Boca Raton, FL, 2006.
[5] Sheikh, Sabir H R, Bovik M F, et al. A Statistical Evaluation of Recent Full Reference Image Quality Assessment Algorithms[J]. IEEE Transactions on Image Processing, 2006, Vol.15:3440-3451.
[6] VQEG members. RRNR-TV Group test plan [EB/OL].
/vqeg/meetings/10-04_meeting,2004.
[7] Zhou Wang, Alan C. Bovik, Ligang Lu. Why Is Image Quality Assessment So
Difficult[C].United States: IEEE International Conference on Acoustics, Speech, & Signal Processing, 2002(4):3313-3316.
[8] Wang Z, Cormack L, et al. Laboratory for Image & Video Engineering [EB/OL].
/research/quality, 2002.
[9] Zhou Wang, Alan C. Bovik, Hamid R. Sheikh, etc. Image Quality Assessment: From Error Visibility to Structural Similarity [J]. IEEE Transactions on Image Processing, 2004, Vol.13:600-612.
[10] Zhou Wang, Bovik A C. A Universal Image Quality Index [J]. Signal Processing Letters, IEEE, 2002(9):81-84.
[11] Hamid Rahim Sheikh, Alan C.bovik. Image Information and Visual Quality [J]. IEEE Transactions on Image Processing, 2006(15):430-444.
[12] Shnayderman A, Alexander Gusev, Ahmet M.Eskicioglu. An SVD-Based Gray-Scale Image Quality Measure for Local and Global Assessment [J]. IEEE Transactions on Image Processing, 2006, Vol.15:422-429.
[13] Deepak S.Turaga, Yingwei Chen, Jorge Caviedes. No reference PSNR estimation for compressed pictures [J]. Signal Processing, 2004(19):173-184.
[14] Zhou Wang, Hamid R. Sheikh, Alan C. Bovik. No-Reference Perceptual Quality Assessment of JPEG Compressed Images [C]. United States: International Conference on Image Processing, 2002, vol.1:477-480.
[15] Sheikh H R, Wang Z, Cormack L K, et al. Blind quality assessment for JPEG2000 compressed images [C]. Thirty-Sixth Annual Asilomar Conference on Signals, Systems and Computers, 2002(2):1735-1739.
[16] Wang Zhou, Simoncelli Eero P. Reduced-reference image quality assessment using a wavelet-domain natural image statistic model [J]. Human Vision and Electronic Imaging X,
2005(5666):149-159.
[17] Marziliano P, Dufaux F, Winkler S, et al. A No-Reference Perceptual Blur Metric [C]. United States: International Conference on Image Processing, 2002(3):57-60.
[18] Ong E, Lin W S, Lu Z K. No-reference JPEG-2000 image quality metric [C]. United States: Proceedings of the 2003 International Conference on Multimedia and Expo, 2003(1):545-553.
[19] Zhou Wang. Blind Measurement of Blocking Artifact in Images [C].Canada: International Conference on Image Processing, 2000, Vol.3:981-984.
[20] Guangtao Zhai, Wenjun Zhang, Xiaokang Yang, etc. No-reference noticeable blockiness estimation in images [J]. Signal Processing: Image Communication, 2008(23):417-432.
[21] Xin Li. Blind Image Quality Assessment[C]. United States: International Conference on Image Processing, 2002(1):449-452.
[22] Tomas Brandao, Maria Paula Queluza. No-reference image quality assessment based on DCT domain statistics[J]. Signal Processing, 2008, Vol.88:822–833.
[23] H.R.Sheikh, A.C.Bovik, L.Cormack. No-Reference Quality Assessment Using Natural Scene Statistics: JPEG2000[J]. IEEE Transactions on Image Processing, 2005, Vol.14:1918-1927.
[24] Hanghang Tong, Mingjing Li, Hong-Jiang Zhang, etc. No Reference Quality Assessment for JPEG2000 Compressed Images[C]. Singapore: International Conference on Image Processing, 2004, Vol.5:3539-3542.
[25] Z.M. Parvez Sazzad, Y. Kawayoke, Y. Horita. No reference image quality assessment for JPEG2000 based on spatial features[J]. Signal Processing, 2004(23):257-268.
[26] Suresh S, Babu R V, Kim H K. No-Reference Image Quality Assessment using Modified Extreme Learning Machine Classifier[J]. Applied Soft Computing Journal (2007),
doi:10.1016/j.asoc.2008.07.005.
[27] Venkatesh R, Sureshb S, Perkis R. No-reference JPEG-image quality assessment using GAP-RBF[J]. Signal Processing,2007(12):1493-1503.
[28] Yanwei Yu, Zhengding Lu, Hefei Ling, et al. No-Reference Perceptual Quality Assessment of JPEG Images Using General Regression Neural Network [J]. Lecture Notes in Computer Science, 2006(3972):638-645.
[29] Luo Hui-tao. A training-based no-reference image quality assessment algorithm[C]. Singapore: International Conference on Image Processing, 2004(5):2973- 2976.
[30] Venkatesh R, Perkis R. An HVS-Based No-Reference Perceptual Quality Assessment Of JPEG Coded Images Using Neural Networks [C]. Italy: IEEE International Conference on Image Processing, 2005(1):433-439.
[31] Gastaldo P, Parodi G. No-Reference Quality Assessment of JPEG Images by Using CBP Neural Networks[C]. Canada: International Symposium on Circuits and Systems, 2004(5):772-775.
[32] Eskicioglu A M, Fisher P S. Image quality measures and their performance[J]. IEEE Transactions on Communication, 1995(43):2959-2965.
[33] Zhou Wang. Objective Image/Video Quality Measurement-A Literature Survey
[EB/OL].(1998-10-
19)./~bevans/courses/ee381k/projects/fall98/zhou/literatureSurvey.pdf.
[34] Webster A. Progress and Future Plans for vqeg [EB/OL].
/docbox/Workshop/2008/2008_06_STQWORKSHOP/VQEG_ArthurWebster.pdf/ 2008.。