前沿技术讲座论文

由现有的基于内容的图像搜索技术引发的几点思考

一、背景

09年法国网站JDN 公布了法国视角的“2009年互联网十人趋势”(Lestendances du Weben 2009)一文，其中位列第一的就是“图像搜索”。图片搜索相信大家都不会陌生．常用的百度、谷歌、搜狗等搜索引擎均提供图片搜索，但是这里提到的图像搜索和图片搜索还并不是一回事，随着互联网应用的飞速发展，人们已不只是满足于普通的图片搜索了。用户更加需要智能化的可识别图像搜索。尽管图像搜索在商业搜索引擎市场极为流行，但其搜索结果都是采用与图像相关的文本信息而获得。

JDN举了三个网站作为例子和2009年的发展方向：1．具有图像人脸识别的 Polar Rose 相关介绍；2．图片反盗版网站 TinEye 上传图像或输入图像的链接地址，就可以帮助你找到这张图像在网络上的信息和踪迹，从而起到反盗版作用；3．产品图像匹配购物网站Like．com Like．com 的技术优势在于通过图像搜索而非文字，它的特别之处在于，能够帮助用户通过上传商品图像来完成难以用文字描述的图像搜索。

图像搜索包括两个部分：首先是图像分析，其次是图像检索系统的设计。图像分析要求对视觉特征进行提取，现有的方法主要有基于颜色，如颜色直方图、颜色矩、颜色集等；基于纹理，如粗糙度、对比度、方向度、线像度、规整度和粗略度；基于形状，如利用整个形状外边界，利用整个形状区域及基于内角、基于笔画的等等。现有的基于内容的图像检索系统主要是已开发的一些搜索引擎，如QBIC、Virage、Photobook、VisualSEEK、MARS、PhotoNavigator、PhotoEngine等。

二、几种图像分析方法

随着图像数据量的不断丰富和人们需求的不断提高，基于内容的图像检索技术成为一个重要研究课题。研究了基于颜色相关图与LBP算法的图像检索算法，利用颜色相关图与LBP 算法分别提取图像的颜色特征与纹理特征，实现了图像的检索，实验结果说明了算法的有效性。LBP算法纹理特征是一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，图像中的纹理特征主要有共生灰度矩阵、Tamura纹理、自回归纹理模型、共生矩阵(cooccurrence matrix)、Gabor变换、统计地形特征等多种方法，LBP是基于图像空间域局部关系的图像纹理描述算法。使用LBP算法提取纹理特征。计算由客户端延伸到服务端，并在此基础上通过改进的过程处理语义描述和服务间传输来实现算法迁移。服务模型验证使用缓冲区分析处理算法，将算法以服务方式发布并在客户端中对服务算法进行调用，以实现地理空间信息服务处理功能。通过过程处理服务为客户端提供一系列地理空间数据处理操作功能，可以实现从简单空问分析操作到复杂模型计算等功能面向分布式网络环境的服务化拓展与提升，为地理空间数据和服务计算提供了新的途径。

对小波域图像颜色和纹理特征的提取方法进行研究，在图像颜色特征提取方面，提出一种基于分块的HS1分量低频子带颜色特征提取方法，该方法首先根据人眼对图像的关注度对图像进行分块，对每一块的HS1分量的小渡分解低频子带的颜色特征进行提取，并通过加权获得图像的颜色特征；在图像纹理特征提取方面，提出一种基于高频子带灰度一差分基元共生矩阵的二阶统计量和各子带方向特征的纹理特征提取方法，增加了方向特性的纹理特征对图像纹理的刻画更加精细；在此基础上，提出一种综合利用所提出图像颜色和纹理特性的图像检索算法，提高了图像的检索精度。

特征提取由于对图像内容的描述比较片面，缺乏足够的分辨能力，在图像有较大变化的场合常不能取得理想的检索效果。提出了一种基于图像颜色和纹理的图像检索方法，颜色特征采用颜色矩，纹理特征采用小波多尺度高频子带的方差特征。采用组合特征进行图像检索，选择MPEG推荐的AN 方法对两种特征间的权值分配进行分析。该方法特征维数低，计算简单，

不需要对图像进行量化，比单独使用颜色矩或小波纹理特征进行图像检索，其效果更好。通过分析特征之间的权值分配方法，了解到总相似度中各特征的重要程度与图像本身的特点有关。这为下一步研究相关反馈和图像检索中的学习机制奠定了基础。但是本方法不具有旋转、平移等不变性，同时也没有考虑图像颜色的空间分布信息，因而也具有局限性。

在基于内容的图像检索中，一个关键的问题是图像视觉内容的表述。而传统的颜色，形状和纹理特征对于图像内容的表述尚且不够完备。为进一步提高检索准确率，针对人眼视觉特性，该文提出了一种基于多尺度相位特征的图像检索方法。该方法首先采用尺度空间理论得到图像的多尺度描述，然后通过复数可调滤波(complexsteerable filteri )提取图像的多尺度相位信息并利用直方图投影获取全局统计的多尺度相位特征。在通用数据库COREL 5000上的实验结果表明，该特征相对经典的颜色特征提高至少5％检索准确率，且能对之提供有效补充。基于内容的图像检索在很大程度上依赖于描述图像的视觉内容所采用的特征。故从人类视觉系统的原理出发，提出了一种多尺度相位特征。该特征从不同于传统的颜色、形状和纹理的角度对图像的视觉内容进行了全新的阐释。并且在通用数据库上的结果表明了该特征的有效性以及对传统特征的极强的补充性。然而，由于多尺度相位特征本身的局限性，它是针对灰度图像的，所以在对彩色图像的内容进行描述时，变换为灰度图像进行处理无疑会丢失很多非常重要的信息。而这个信息对于图像视觉内容的完全描述是必不可少的。将来可以考虑深入研究人类视觉系统对彩色图像感知的原理，相应地提出更良好的彩色特征从而完全地描述图像的视觉内容，进一步提高图像的检索准确率。

《基于颜色和形状特征的图像检索方法》提出了一种基于颜色和形状特征的图像检索方法。在对HSV颜色模型量化的基础上，提取颜色直方图作为图像的颜色特征。在提取形状特征时，结合颜色量化结果，利用图像分割提取图像的形状特征，利用两特征的加权距离计算图像之间的相似度，而后进行图像检索。实验结果表明，该方法取得了较好的检索效果。本文提出了一种有效的基于图像颜色和形状特征的图像表示方法及相应的检索技术。实验结果表明，本文的方法具有较好的检索性能，其检索结果能较好地接近于人的视觉感知结果。当然，在图像检索系统中，仅仅利用图像的颜色和简单的形状特征是不够的，还需要利用图像的纹理、形状等信息。若能将图像的多种特征有效地集成到图像检索系统中，将会使图像检索的质量和性能得以极大的提高。

把兴趣点和边缘作为图像中用户关注的线索，设计出一种基于兴趣点和边缘特征的图像检索新方法。它综合考虑了图像的全局形状特征、颜色及其空间分布信息，不仅克服了单一特征无法真正表征图像的缺陷，同时保证了检索算法对图像旋转、平移的识别不变性。进行检索时，可根据兴趣点的数目自适应地改变兴趣点和边缘特征的相似性权重，增加了系统的有效性。与同类方法相比较表明，该方法有效提高了图像检索的准确率。

一种基于流行排序的区域图像检索方法提出了一种结合多示例学习和流行排序的图像检索方法，将图像检索作为多示例学习框架下的流行排序，通过给出适合图像在包空间的有效度量方式，将流行排序的方法和多示例学习有效结合起来，从而获得更准确的检索结果。实验结果表明，运用流行排序的区域图像检索方法是可行的，同时，检索结果与传统的区域图像检索方法相比，检索率得到了明显的提高。为了获得更好的性能，采用图像在包

空间的平均Hausdorff距离进行度量，同时运用流形排序方法整体考虑所有图像在特征空间的相关性，利用特征空间中的潜在流形分布结构，对相应图像进行排序。实验结果表明，这个图像检索方法是可行的，同时检索率得到了明显的提高。

采用信息熵描述图像的颜色和纹理特征，构造图像信息熵元组，以“螺旋方式”重新编码，参与遗传操作，采用颜色熵和纹理熵联合的欧氏距离测量图像的相似性，提出一种设计遗传算子图像检索的方法。试验验证，该方法在图像检索过程中非常有效。在检索过程中，借助于遗传算法的优化特性，随着进化次数的增加，通过遗传操作逐渐接近目标，收敛到全