基于Z搜索共生矩阵的彩色图像检索算法

基于Z搜索共生矩阵的彩色图像检索算法
张红军;王凤领;林继明
【摘要】针对图像检索中难以有效对色彩丰富的彩色图像检索、特征维数过高等问题,提出一种基于Z搜索的彩色图像检索算法.将图像的每个颜色通道划分为子块,在每个块中,通过Z搜索技术得到每对像素的强度关系,对每个颜色通道构建Z搜素的共生矩阵(Z-co-occurrence matrix,ZCM),从图像空域中提取特征并存储所有最接近的块;在相似测量阶段,通过ZCM的比较,查询图像与数据库图像的相似性,完成目标图像检索.实验结果表明,与当前检索算法相比,所提算法具有更高的查准率和查全率,在图像包含相同纹理或者色彩丰富的彩色图像时,具有更好的检索性能.%For the problem that the image retrieval is difficult to search the color rich image and the feature dimension is too high,a color image retrieval algorithm based on Z search was proposed.Each color channel of the image was divided into N * N blocks,in each block,the intensity relation of each pair of pixels was obtained using Z search technique,a Z search matrix for each color channel (Z-co-occurrence matrix,ZCM) was constructed,and the features were extracted from the image space domain and each relation of the nearest block was stored.The similarity between the query image and the database image was compared through ZCM to retrieve images.Experimental results show that compared with the current search algorithm commonly used,the proposed algorithm has higher precision and recall,especially for the images contain same textures or rich color,it has better retrieval performance.
【期刊名称】《计算机工程与设计》
【年(卷),期】2018(039)004
【总页数】6页(P1136-1141)
【关键词】图像检索;Z搜索;共生矩阵;方向强度;像素强度;相似度量
【作者】张红军;王凤领;林继明
【作者单位】贺州学院数学与计算机学院,广西贺州 542899;贺州学院数学与计
算机学院,广西贺州 542899;桂林电子科技大学计算机与控制学院,广西桂林541004
【正文语种】中文
【中图分类】TP391
0 引言
基于图像内容的检索(CBIR)技术的核心是如何准确提取图像特征，常用的图像特征有纹理、颜色、形状和空间关系等[1]。

图像检索已经成为当前图像处理的热点，
广泛应用于计算机视觉与信息检索[2,3]。

如符祥等[4]提出了基于兴趣点为特征的
图像检索技术，根据兴趣点的局部灰度信息，对兴趣点的局部Zernike进行计算，然后通对兴趣点局部Zernike矩的欧式距离进行比较，寻找出最优匹配点，消除
无相关的兴趣点，然后根据兴趣点的空间离散度对图像内容的相似度计算。

然而，其提取的相似区域并不一定就是人们感兴趣的区域，没有将基于人机交互的相关反馈技术应用到检索算法中，容易产生语义鸿沟现象。

陈文兵等[5]提出了基于轮廓
特征点的图像检索算法，用平均偏移与局部极值点来表示其特征向量，通过测量其
相似度来完成检索，但是对具有几何形变的图像以及特征不变性的图像检索性能很不稳定。

共生矩阵对图像颜色，纹理和形状特征具有良好的表达能力，不仅能在颜色信息中描述边缘，同时也能在边缘信息中很好描述颜色特征。

本文基于共生矩阵，利用Z 搜索技术，图像的每个通道被划分为多个大小为N*N块，在每个块中，通过对像素Z扫描获得纹理特征，每个色彩通道能够得到一个M*M的Z扫描共生矩阵，
存储所有最接近的块的每个关系的概率。

比较查询图像与数据库图像的相似性。

最后，在常用的彩色图像库中进行验证。

1 共生矩阵模型
Nhu等提出[6]了基于彩色直方图分析特征提取的CBIR技术，每个彩色图像可以
被用来获得一个颜色直方图，以呈现的颜色分布特征。

一般来说，颜色直方图有
N个二进制数以积累在图像中出现的J颜色的概率，但用于相似测量任何两幅图像的N可能很大，大大增加了计算复杂度。

在该算法中，利用k-均值聚类技术将所有图像中J个颜色分为K个集群，在每个集群中，中心颜色通过计算的平均颜色
来表示的，因此，通过累积图像中K颜色的发生的概率得到了一个颜色的直方图。

该技术的优点是计算复杂度是非常低的，通过提取图像的全局特征来减少在不同的图像的移位，旋转和扭曲的影响。

共生矩阵(CM)是一种在图像特征空间域应用广泛的分析技术，在CBIR中，共生
矩阵通常被用于描述一对像素之间的特征变化的关系[7]。

CM中行与列是对称的，CM中的每个元素记录了每一行和列的在整个图像的映射关系。

在一个图像中，当一对像素被映射到CM对角线区域时，那么其很大可能为图像的平滑区域。

因此，CM的对角为均匀区域，非对角一般为形状区域，如图1所示。

图1 共生矩阵的元素结构
CM的特性是通过在基于CBIR相似测量的分析和计算决定的，当一个靠近CM对
角线元素，它意味着在图像的空间域变化很小，对基于CBIR的特征提取研究具有重要意义。

颜色相关图(color correlogram，CC)[8]是图像颜色分布的另一种表示。

CC不仅
反应了某种颜色的像素数量占整个图像的概率，同时表现了不同颜色间的相关性。

将图像的J个颜色量化为C1，C2，…，CJ，那么图像可得到J*J种关系，对于图
像I(x,y)，CC(i,j,k)表示为
CC(i,j,k)=P[I(x1,y1)∈Ci]I(x2,y2)∈Ci;k=max(|x1-x2|,|y1-y2|)
(1)
式中：Ci∈{C1,C2,…,CJ}， k为图线中两像素间的距离。

为了反映图像中颜色关系，利用颜色相关图矩阵(co-lour co-occurrence matrix，CCM)，CCM中包含了所有颜色关系概率的矩阵，在多个颜色通道图像中，每个
颜色通道是独立分析颜色关系，因此，对于每个颜色都具有一个多维的CCM。

CC 的不足使没有考虑边缘和形状特征，对轮廓和纹理查询较弱。

此外，CCM大小取决于颜色量化水平，例如，128颜色图像的CCM的大小为128*128，对于多色
调的图像会导致CCM大小巨大，增加了计算复杂性。

Jhanwar将图像分成2*2子块，利用Peano搜索技术扫描每个块从而获得最小像素变化[9]。

在每个块中，一个搜索路径称作为搜索图案，设搜索路径从每个块中
的最左上角开始的，总共有6中搜索图案，分别为Z，U，C，N，γ和α，如图2所示。

在非重叠块，一个N*N图像具有N/2*N/2种图案，通过分析每个块的搜
索图案提取局部特征并且计算每个图案的概率创建图案共生矩阵(motif co-occurrence matrix，MCM)进行相似测量，实验结果表明了该方法具有更好的检索效率和精度。

图2 6种不同搜索图案
本文提出了一种彩色图像检索方案，对于一幅图像，按照Z搜索技术进行顺序提
取N*N子块的方向强度特征，并且将所有方向强度概率存储在ZCM用于彩色图像的相似测量。

2 本文图像检索算法
基于内容的图像检索机制是利用特征之间的相似性来决策两个目标的接近度[10]。

在提出的方法中，利用Z搜索技术从图像空间域中提取特征，根据Z搜索技术得到了每对像素的强度关系，通过强度关系构建了查询图像与图像库的ZCM，利用ZCM进行相似性测量。

图3为本文算法流程。

图3 本文算法流程
通常情况下，彩色图像存储在RGB空间里，RGB是人类视觉系统中最为熟知的。

因此，本文以RGB图像为例进行研究。

RGB由红色IR(x,y)、绿色IG(x,y)和蓝色IB(x,y)这3种颜色通道组成[11]，x,y分别为每个像素的坐标。

在人眼视觉中对红色，绿色和蓝色的感知各不同，为了让检索结果更接近人类的视觉，在每个颜色通道独立地进行处理和分析，设每个颜色的权重分别为ωR，ωG，ωB。

在本文所提出的方案中，所有的通道被认为是一个灰色的图像，并可以被认为是在二维域。

为了更精确地提取和分析特征，每个颜色通道被划分为N×N图像块B，对每个块分析可得到一个特征值，每个块中的像素定义为bi,j，i,j为B的坐标值。

在每个块中，所有像素按照Z形方向进行扫描。

在每次扫描中，将当前像素和下一个像素比较，比较的结果存在两种可能：一种是当前像素大于或等于下一个像素；另一种是当前像素小于下一个像素。

考虑到所有N×N块，需进行K次比较，K计算如下
K=(N-1)×N+(N-1)=(N+1)×(N-1)
(2)
那么通过K次比较，可得到2K种可能。

例如2×2的块，需要进行3次比较，存在8种可能情况。

为了分析空间域中每一对相近块之间的强度关系，构建了一个
共生矩阵(co-occurrence matrix，CM)，在本文中，CM是通过Z形扫描得到的
元素，称之为ZCM，如果块大小为N×N，那么ZCM的大小可表示为
ZCM=2(N+1)(N-1)×2(N+1)(N-1)
(3)
每个ZCM的值ZCMC(i,j)可通过以下公式表达
ZCMC(i,j)=P[IC(x1,y1)∈Pi|IC(x2,y2)∈Pj]
(4)
式中：IC(x,y)表示在图像I的C颜色通道的当前像素，IC(x2,y2)为IC(x1,y1)的下
一个像素，Pi与Pj为第i和j次概率。

为了降低相似测量成本，将所有颜色通道结合形成一个综合矩阵ZCMT(i,j)，定义如下
ZCMT(i,j)= ωR×ZCMR(i,j)+ωG×ZCMG(i,j)+
ωB×ZCMB(i,j)
(5)
式中：ZCMR(i,j)、ZCMG(i,j)、ZCMB(i,j)分别为红色、绿色和蓝色矩阵，ωR、
ωG、ωB分别为对应的颜色通道权重，考虑3种颜色在视觉中的影响，ωR、ωG、ωB分别设置为0.299,0.587,0.144。

对于一个2×2块，设其中的4个像素分别为P1，P2，P3，P4，如图4(a)所示。

对每个块进行3次比较，可得到8种结果，如图4(b)所示。

图4 2*2块中8种比较关系
因此，通过对每一对相近块的共生关系的搜集来构建8×8的ZCM。

在相似测量阶段，设数据库图像为ID，查询图像为Iq，ID与Iq的距离为
D(ID,Iq)，定义如下
根据式(6)可知，数据库中与查询图像相似图像越多，查询计算的D(ID,Iq)越小。

3 实验与讨论
为了对提出的检索算法的性能进行测试，利用常用的图像检索数据库COREL进行测试[12]，每种图像尺寸为384*256。

在COREL图像库中包含的10种类型彩色图像(非洲、海滩、建筑、公共汽车、恐龙、大象、花卉、马、山川和食物)，每种类型含有100张图像组成的共1000幅，如图5所示。

实验条件为：Intel i5四核处理器，2.14 GHz，4GRAM，WIN7操作系统的PC，借助Matlab2010进行仿真测试。

为了体现提出算法的性能，将文献[4]、文献[5]两种算法为对照组进行性能对比。

为了具体量化这些算法的检索性能，引入查准率P(Ii)，查全率R(Ii)，以及平均查准率和平均查全率作为评价依据[13]。

设数据库中的第i个图像Ii，P(Ii)表示为
(7)
式中：Nr是正确检索图像的数量，N为总图像数量。

图5 Corel图像库
R(Ii)为正确检索与所有检索图像的比，定义如下
(8)
式中：Nc是所有检索得到图像的总数。

对于一个数据库表示为
(9)
对于数据集Nq的表示如下
(10)
图6(a)为以公共汽车为目标的查询图像，图6(b)、图6(c)、图6(d)分别为本文算
法与文献[4]、文献[5]算法得到的查询结果。

根据图6(b)～图6(d)可知，本文算法检索得到的结果中与目标查询图像相似度最高，所检索图像与查询图像特征的特征点匹配度良好，如图6(b)所示。

图6(c)和图6(d)中得到的检索结果相对于图6(b)
出现了更多的误匹配的图像，得到了和公共汽车图像无关的建筑、非洲、山川等图像，如图中粗框所示。

说明了本文算法检索性能更精确。

主要原因是本文算法中采用了Z搜索技术得到了每对像素的强度关系，构建每个颜色通道的Z搜素的共生
矩阵(Z-co-occurrence matrix，ZCM)，从图像空间域中提取特征并存储所有最
接近的块的每个关系的概率，根据得到的ZCM进行相似度量，获得了较为准确的检索图像。

而文献[4]算法中提取的相似区域并不一定就是人们感兴趣的区域，由
于计算机获取的图像的视觉信息与用户对图像理解的语义信息的不一致性而导致的低层和高层检索需求间的差异，产生语义鸿沟现象。

图7为不同算法的P-R曲线。

从图7中得出，本文算法P-R曲线表现良好，本文的检索性能相对其它算法优异。

为了量化所提算法的检索性能，在文献[12]中的COREL数据库进行了测试，最终获取其平均查准率和平均查全率，如图8与表1所示。

由图8可知，本文算法的
和优于文献[4]和文献[5]算法，另外，根据表1，本文算法在k=20时，其检索性
能最佳，在相同类别图像中，其查准率要高于文献[4]和文献[5]技术，对其它检索
目标，其检索准确率同样具有一定的优势。

通过上述实验结果与定量测量数据得出，本文提出的图像检索算法具有优异的性能，实验中获得了较好的P-R曲线，具有优异的平均查准率和平均查全率，在检索返
回图像为k=20时测量数据库中不同类型图像的查准率显示花朵、公交车、非洲和
食物的查准率相对其它类型图像较高。

主要原因是因为本文算法中采用了Z搜索技术得到了每对像素的强度关系，对每个颜色通道构建一个Z搜索的共生矩阵，从图像空间域中提取特征并存储所有最接近的块的每个关系的概率，并在相似测量阶段，通过ZCM比较查询图像与数据库图像的相似性得到检索图像。

表1 k=20查准率结果分类查准率(k=20)本文算法文献[4]文献[5]马
71.7665.4558.86大象82.4271.9868.47海滩72.6954.7552.87花朵
92.5181.5680.34建筑73.5674.4671.35恐龙81.3573.4772.45非洲
86.9878.5675.62公共汽车85.6176.2175.43食物87.6578.9280.53山川
82.8771.3270.21
图6 3种不同算法的检索结果
图7 P-R曲线
4 结束语
在提出的方法中，对每个颜色通道构建一个共生矩阵，CM能够在颜色信息中较好地描述边缘，同时也能够在边缘中表示颜色信息，利用Z搜索技术从图像空间域中提取特征。

根据Z搜索技术得到了每对像素的强度关系，通过强度关系构建了ZCM，完成图像检索任务。

实验数据验证了所提技术具有较好的检索性能，获得了较好的P-R的曲线结果，具有较好的平均查准率与平均查全率，对色彩丰富的图像具有更大的优势。

图8 平均查准率与平均查全率
参考文献：
[1]WU Xiaosheng,SUN Junding.Image retrieval based on region of interest[J].Laser & Infrared,2013,43(2):221-224(in Chinese).[毋小省,孙君顶.基于感兴趣区域的图像检索方法[J].激光与红外,2013,43(2):221-224.]
[2]Andrew R Cohen,Paul MB Vitanyi.Normalized compression distance of
multisets with applications[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2015,37(8):1602-1614.
[3]ZHUANG Ling,ZHUANG Yueting,WU Jiangqin.Image retrieval approach based on sparse canonical correlation analysis[J].Journal of
Software,2012,23(5):1295-1304(in Chinese).[庄凌,庄越挺,吴江琴.一种基于稀疏典型性相关分析的图像检索方法[J].软件学报,2012,23(5):1295-1304.]
[4]FU Xiang,ZENG Jiexian.Image retrieval method based on interest points matching and space distribution[J].Chinese Journal of
Lasers,2013,37(3):774-778(in Chinese).[符祥,曾接贤.基于兴趣点匹配和空间分布的图像检索方法[J].中国激光,2013,37(3):774-778.]
[5]CHEN Wenbing,CHENG Haiyan,CHEN Yunjie.Image retrieval method based on contour feature point[J].Computer Engineering,2012,38(12):197-200(in Chinese).[陈文兵,成海燕,陈允杰.一种基于轮廓特征点的图像检索方法[J].计算机工程,2012,38(12):197-200.]
[6]Nhu Van Nguyen,Alain Boucher,Jean-Marc Ogier.Keyword visual representation for image retrieval and image annotation[J].International Journal of Pattern Recognition and Artificial Intelligence,2015,29(6):155-165.
[7]SANG Qingbing,LI Chaofeng,WU Xiaojun.No-reference blurred image quality assessment based on gray level co-occurrence matrix[J].Pattern Recognition and Artificial Intelligence,2013,26(5):492-497(in Chinese).[桑庆兵,李朝锋,吴小俊.基于灰度共生矩阵的无参考模糊图像质量评价方法[J].模式识别与人工智能,2013,26(5):492-497.]
[8]SHEN Xinning,WANG Xiaolong,DU Jianhong.An image retrieval
algorithm based on color auto correlation and mutual
information[J].Computer Engineering,2014,40(2):259-262(in Chinese).[沈新宁,王小龙,杜建洪.基于颜色自相关图和互信息的图像检索算法[J].计算机工
程,2014,40(2):259-262.]
[9]Jhanwar N,Chaudhuri S,Seetharaman G,et al.Content based image retrieval using motif co-occurrence matrix[J].Image Visual
Computer,2014,22(8):1211-1220.
[10]ZOU Bin,PAN Zhibin,HU Sen.Image retrieval method based on local projection and block LBP feature[J].Journal of Image and
Graphics,2012,17(6):671-677(in Chinese).[邹彬,潘志斌,胡森.基于局部投影与块LBP特征的图像检索[J].中国图象图形学报,2012,17(6):671-677.]
[11]TIAN Xiaoping,XU Xiaojing,WU Chengmao.Low illumination color image enhancement algorithm based on LIP model[J].Journal of Xi’an University of Posts and Telecommunications,2015,20(1):9-13(in Chinese).[田小平,徐小京,吴成茂.基于LIP模型的低照度彩色图像增强新算法[J].西安邮电大学学报,2015,20(1):9-13.]
[12]Besiris D,Zigouris E.Dictionary-based color image retrieval using multiset theory[J].Journal of Visual Communication and Image Representation,2013,24(7):1155-1167.
[13]Rao LK,Rao DV.Local quantized extrema patterns for content-based natural and texture image retrieval[J].Human-Centric Computing and Information Sciences,2015,26(5):1-24.。