基于初级视皮层视觉特性的图像质量评价方法

基于初级视皮层视觉特性的图像质量评价方法
张琪;张先鹤;龚丽
【摘要】针对现有的图像质量评价方法多从特征提取角度考虑图像的失真,忽视初级视皮层是视觉信息处理和认知推理的前提的问题,受人类视觉系统特性的启发,提出一种基于初级视皮层视觉特性的图像质量评价算法;该方法基于对初级视皮层视觉特性的学习,利用初级视皮层中感受野对视觉感知信息的稀疏编码特性,提取模拟初级视皮层感受野特性的基函数,结合独立成分分析和结构相似度算法构建一种初级视觉相似性测度法,并在LIVE图像数据库中进行实验.结果表明,该模型的预测结果与主观质量评价有很好的一致性,并优于已有的结构相似度算法.
【期刊名称】《济南大学学报（自然科学版）》
【年(卷),期】2019(033)005
【总页数】7页(P403-409)
【关键词】图像质量评价;独立成分分析;初级视觉特性;结构相似度
【作者】张琪;张先鹤;龚丽
【作者单位】湖北师范大学机电与控制工程学院,湖北黄石 435002;湖北师范大学机电与控制工程学院,湖北黄石 435002;中石油管道有限责任公司西气东输分公司,湖北武汉 430074
【正文语种】中文
【中图分类】TP391
图像在获取、压缩、处理、传输、存储、显示过程中很容易失真[1-2]，因此人们
一直致力于研究图像质量评价方法，希望能设计出自动、精确感知和识别图像质量，以符合人类视觉感受的方法。

现有的图像质量评价方法都还处于探索阶段，大多从特征提取角度考虑图像失真,却忽视了人类视觉系统强大的处理复杂信息的能力。

人类视觉系统处理了人脑所接受到的80%的外界信息，是最重要的感觉系统[3]。

大量资料显示，视觉系统中初级视皮层V1区对图像质量评价方法的研究起着重要作用，并且，越来越多的证据表明，初级视皮层能够抽取形状特征，可以提取图像的颜色、形状及方向等信息[4]，因此，研究和模拟人类视觉系统中初级视皮层的
视觉特性，对图像质量的评价具有重要的意义。

主视皮层V1区的感受野能够对视觉感知信息实现稀疏表示，因此V1区的神经元对这些刺激表达采用的是稀疏编码(sparse coding)原则[5-6]。

Olshausen等[7-8]构建了稀疏编码模型，验证了自然图像经过稀疏编码后得到的基函数可以很好地模拟V1区简单细胞的感受野的3个响应特性，即空域的局部性、时域与频域的选择性和方向性。

Bell等[9]把独立分量分析(ICA)用于自然图像数据分析，认为ICA就是一种特殊的稀疏编码方法。

本文中将研究基于初级视皮层视觉特性的图像质量评价方法，并提出一种新的算法——初级相似性测度法；在LIVE图像数据库中实验验证训练出的自然图像基函数的局部性、选择性、方向性，以便更好地模拟简单细胞的响应特性，并且与部分现行的图像质量评价算法进行比较。

1 初级相似性测度法
1.1 算法结构
初级相似性测度法(PRIVISE)结合独立分量分析技术和经典算法来构建初级视觉相
似性测度算法模型，首先训练得到模拟初级视皮层视觉特性的基函数，然后用独立
分量分析技术分解自然图像的独立分量，并用经典算法结构相似度法来对误差归一化。

实验过程如下：以自然图像为训练样本，学习所得基函数，如图1所示；然后，用独立分量分析技术对图像进行分解，如图2所示；最后，用学习所得的基函数对预处理后的参考图像和失真图像进行独立分量分析技术分解，并由信道分离出参考图像和失真图像的特征图像分量，再相对应地进行误差归一化，得出最终评价值，如图3所示。

图1 基函数提取框架图
图2 独立分量分析的分解过程
q1, q2, …, qn为评价系数。

图3 根据参考图像对失真图像的质量评价过程
1.2 图像预处理
将图像分别进行中心化、白化等预处理，消除图像中无关信息，以降低问题的复杂性[10]。

1.3 基函数提取[11]
1)随机抽取图像块。

用窗口对多幅彩色图片随机抽取n个彩色图像块，构成图像样本数据集X,X的每一列对应一副彩色图像。

2)预处理。

构造白化矩阵，降低计算复杂度。

利用混合信号相关矩阵的特征值分解实现白化处理。

首先进行相关矩阵特征值分解，即EDET，其中D=diag(d1,
d2, …, dn)是EDET的特征值为对角元素的对角矩阵,E是EDET的单位范数特征向量为列的矩阵。

则取白化矩阵V为
式中：其排序使得对应的特征值满足d1≥d2≥…≥dn。

设是采样数据X经过预处理后的数据，有
3)独立分量分析算法学习迭代。

基于预处理后数据的m×m型分离矩阵求得一个
估计系数U为
即
式中：B为基于原数据的m×n型ICA分离矩阵；为基于白化数据的m×m型ICA 分离矩阵。

4)基函数。

根据独立分量分析算法X=AS，X为图像的数据，S为从X中估计得到的独立分量[12]。

对预处理后的图像块进行训练，得出训练后的基函数A,
矩阵A的每一个列向量都表示一个基函数。

图4所示为根据初级相似性测度算法提取出来的基函数。

从图中明显看出，基函
数能够提取图像的颜色、形状和方向，具有局部性、选择性和方向性。

图4 训练出的基函数
该结果与V1区的简单细胞感受特性相吻合，说明独立分量分析方法适用于图像基函数的估计，能在一定程度上模拟V1区简单细胞的信息处理过程。

1.4 图像分解
对预处理后的图像进行顺序采样。

将采集的每个子窗口转变为列向量,得到自然图
像的输入数据集合X。

根据ICA的统计模型X=AS,可以得到S=WX,W是A的逆
矩阵。

根据S=WX计算基函数对输入自然图像相应的稀疏编码系数Si，也就是简单细胞对自然图像的响应。

根据初级视皮层神经元响应的稀疏性，设置合适的阈值，并将小于阈值的系数置0，得到新的稀疏编码系数和图像序列X新的估计值X′，
利用通过图像主要特征估计得到的图像序列X′重构图像，此为图像的重构过程[13-15]。

用训练的基函数分解出n幅独立图像，这一过程为自然图像的特征提取，即图像为自然图像的特征图像。

自然图像就是由这n幅特征图像线性组合而成的，
其中每幅图像分解出的特征图像数由基函数决定[16]。

1.5 误差归一化
对分解出n幅图像的参考图像和失真图像，相对应地用图像质量评价算法分别对它们进行误差归一化，如图5所示，得出评价系数q，即q1,q2,…,qn。

然后根据综合各个子图块的图像评价值得到图像统一的评价值Q。

在本实验中，所采用的误差归一化方法是应用比较广泛、效果比较好的结构相似度法(SSIM)[17]。

q1, q2, q3为评价系数； Q为评价值。

图5 参考图像和失真图像的误差比较
2 实验结果及分析
为了验证初级视觉相似性测度算法的有效性，将算法用于大量的各种失真图像的质量评价，并将结果与人类主观评价结果相比较。

实验是在美国德克萨斯大学奥斯汀分校LIVE试验室提供的LIVE数据库中进行。

这数据中共有982张图像，其中有29张参考图像、233张JPEG格式的压缩失真图像、227张JPEG2000格式的压缩失真图像、174张高斯模糊失真图像、174张高斯白噪声失真图像和174张快衰落失真图像，此外还有与这982张图像对应的主观差异评分(DMOS)值。

实验采用25×1 323型的彩色基函数，如图6所示。

对像素为768×512×3的彩色自然图像进行分解，生成25幅特征图像。

图6 彩色基函数图
图7所示为一幅彩色的赛车手原始图像，对它进行ICA分解，生成了25幅分解图像，如图8所示。

实际上，图7显示的彩色图像是由图8中25幅图像线性组合而成，当人们看到彩色自然图像时，初级视皮层感受野看到的是这些具有形状、颜色和方向特征的图像线性组合而成。

为了进一步验证初级视觉相似性测度算法的有效性，对数据库中所有图片进行ICA 分解，而后用SSIM来检测分解后图像的差异性。

将多幅失真图像的客观评价值与对应的主观评价值IMOS相比较，并画出散点图，观察它们分布的规律。

其中，
散点图中用的主观差异评分值IDMOS是各图像的主观差异分数，与主观评价值IMOS的关系为IDMOS=100-IMOS。

那么，对于图中的点，IDMOS的值越大，说明失真程度越大，也就是图像质量越差。

图7 原始图像
图8 原始图像的分解图像
2.1 实验结果
用初级视觉相似性测度算法对经过ICA算法信道分解后的参考图像和失真图像进行差异评价,需要对全部982张图像中的5类失真图像进行质量评价,评价结果如图9所示,实验的相关参考系数[18]见表1。

(a)JPEG2000格式失真图像(b)JPEG格式失真图像(c)高斯白噪声失真图像(d)高斯模糊失真图像(e)快衰落失真图像(f)全部图像图9 初级视觉相似性测度算法对图像质量的评价结果
2.2 结果分析
为了分析客观评价值与主观评价值的相关关系，对实验结果进行线性拟合，结果见图9。

从图中可以看出，基于初级视皮层视觉特性的图像质量评价方法在一定程度上与人类主观评价具有相关性，能够模拟初级视皮层视觉特性。

表1 初级视觉相似性测度算法实验参数表图像类型相关系数均方误差均方根误差秩相关系数JPEG2000失真图像0.939 57.276 48.353 50.968 4JPEG失真图像0.944 76.518 47.958 20.952 1高斯白噪声失真图像0.909 18.005 29.155 00.969 5高斯模糊失真图像0.902 67.997 79.361 30.961 6快衰落失真图像
0.868 69.151 510.948 2 0.931 8全部图像0.914 17.959 19.375 00.955 0
基于初级视皮层视觉特性的图像质量评价方法是结合独立分量分析技术和经典算法来构建方法模型，提出初级视觉相似性测度算法。

该算法在前人基础上有所改进，分析本实验得出的结果与经典算法的斯皮尔曼秩相关系数(SROCC)，结果如图10
所示。

图10 5种算法的秩相关系数(SROCC)条形图
SROCC值越大，说明算法越有效[19]。

从图10中可以看出，用初级视觉相似性
测度算法归一化算出的SROCC值尽管比特征相似度算法和视觉信息保真度算法的稍小，但是比结构相似度算法和峰值信噪比算法的值大得多。

重点比较初级视觉相似性测度算法和结构相似度算法的SROCC值，在初级视觉相似性测度中的
JPEG2000、高斯白噪声和高斯模糊失真图像的SROCC值大于结构相似度算法的，JPEG、快衰落失真图像的小于结构相似度算法的，但是全部图像综合后的SROCC 值大于结构相似度算法的，因此本文中提出的基于初级视皮层视觉特性的评价方法即初级视觉相似性测度算法较传统的结构相似度算法有较大的改进，同时也验证了该算法的有效性。

3 结论
在充分考虑初级视皮层视觉特性的基础上,本文中提出初级视觉相似性测度算法来
评价图像质量。

该算法根据人类视觉系统信息处理机制以及初级视皮层V1区简单细胞和复杂细胞的感受野特性,通过对稀疏编码的研究,在初级视皮层视觉特性与图
像信息之间建立联系；然后通过提取自然图像的基函数,发现基函数与初级视皮层感受野特性一样具有提取颜色、形状和方向的特性；最后,通过训练出的基函数模拟初级视皮层,进一步验证模型的有效性。

下一步可以采用更多的数据库来改善和
验证初级视觉相似性测度算法的有效性,并可以将此方法应用在图像融合、去噪、分割、超分辨率等领域中。

参考文献:
【相关文献】
[1] WANG Z, BOVIK A C. Modern image quality assessment[M]. New York: Morgan & Claypool Publishing Company, 2006.
[2] WANG Z, SHEIKH H R, BOVIK A C. Objective video quality assessment[M]//FURHT B, MARQURE O. The Handbook of Video Databases: Design and Applications. [S.l.]: CRC Press, 2003: 1041-1078.
[3] PURVES D, MONSON B B, SUNDARARAJAN J, et al. How biological vision succeeds in the physical world[J]. Proceedings of National Academy of Sciences, 2014, 111(13):4750-4755.
[4] OLSHAUSEN B A. Principles of image representation in visual cortex[M]//CHALUPA L M, MERNER J S. The Visual Neurosciences. Cambridge: MIT Press, 2003: 1603-1615.
[5] 严春满. 图像稀疏编码算法及应用研究[D]. 西安：西安电子科技大学, 2012.
[6] HUBEL D H, WIESEL T N. Receptive fields and functional architecture of monkey striate cortex[J]. Journal of Physiology, 1968, 195(1): 215-243.
[7] OLSHAUSEN B A, FIELD D J. Sparse coding with an over-complete basis set: a strategy employed by V1?[J]. Vision Research, 1997, 37(23): 3311-3325.
[8] OLSHAUSEN B A, FIELD D J. How close are we to understanding V1?[J]. Neural Computation, 2005, 17: 1665-1699.
[9] BELL A J, SEJNOWSKI T J. The “independent components” of natural scenes are edge filters[J]. Vision Research, 1997, 37(23): 3327-3338.
[10] 姚旺, 刘云鹏, 朱昌波. 基于人眼视觉特性的深度学习全参考图像质量评价方法[J]. 红外与激光工程, 2018, 47(7): 39-46.
[11] 田甜. 独立成分分析及其在特征提取中的应用研究[D]. 西安：西安电子科技大学, 2017.
[12] 陈红艳, 马上. 基于ICA的稀疏编码算法在图像处理中的应用[J]. 成都信息工程学院学报, 2013, 28(5): 481-484.
[13] HYVRINEN A, OJA E. Independent component analysis: algorithms and applications[J]. Neural Networks, 2000,13: 411-430.
[14] van HATEREN J H, RUDERMAN D L. Independent component analysis of natural image sequences yields spatiotemporal filters similar to simple cells in primary visual cortex[J]. Proc R Soc Lond: B, 1998, 265: 2315-2320.
[15] CAYWOOD M S, WILLMORE B, TOLHURST D J. Independent components of color natural scenes resemble V1 neurons in their spatial and color tuning[J]. J Neurophysiol, 2004, 91(6)：2859-2873.
[16] DOI E, INUI T, LEE T W, et al. Spatiochromatic receptive field properties derived from information: theoretic analyses of cone mosaic responses to natural scenes[J]. Neural Computation, 2003, 15(2): 397-417.
[17] 胡志峰. 基于小波变换图像去噪及边缘检测研究[D]. 南昌：东华理工大学, 2018.
[18] 詹忆冰. 基于视觉感知特性的图像质量评价方法研究[D]. 合肥：中国科学技术大学, 2018.
[19] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.。