WEB图像语义特征的分析与提取研究及实现【文献综述】

毕业设计文献综述计算机科学与技术WEB图像语义特征的分析与提取研究及实现一、前言部分随着网络和多媒体技术的发展，在互联网上出现了海量的WEB图像。

基于内容的图像检索技术（CBIR）得到了蓬勃发展，但是传统的CBIR系统没有考虑图像的语义信息。

另一方面，由于WEB图像的特征维数高，运算复杂度高，从提高检索精度或分类正确率的角度而言，都不可能将所有提取的特征都能用于检索或分类。

在提取多种图像语义特征的基础上，提出采用互信息的方法分别研究单一的语义特征和多种特征组合的鉴别力，并分析特征之间的互补或冗余关系，从而进行特征的选择。

因此，对图像语义特征进行分析和提取成为这一领域最前沿的研究热点之一。

基于内容的图像检索希望采用图像处理与计算机视觉技术自动地从图像中获得语义内容。

由于图像语义的内在复杂性，目前还难以实现对图像语义的自动提取。

语义特征的提取，现在只是将图像的底层视觉特征映射到高层语义。

但不管如何，图像的底层特征的提取始终是关键。

而目前图像的特征提取主要从颜色、纹理、形状等几个方面提取图像的特征。

颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质[1]。

一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。

由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。

提取颜色特征常用的方法是利用颜色直方图表示图像颜色的分布特点，另外还有颜色集、颜色矩、颜色聚合向量和颜色相关图等表示图像的颜色特征，每一种表示方法各有其优缺点。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。

但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。

与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。

在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。

作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。

但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。

数字图像特别是遥感图像提取纹理特征[2][3]常用的方法有：灰度共生矩阵法，Gotlieb和Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性；另外还有几何法、模型法等。

小波变换法是信号处理的最新技术，用于纹理特征提取可以更精确地表示图像在垂直和水平方向的纹理细节。

通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征[3][4][5]。

图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。

边界特征法通过对边界特征的描述来获取图像的形状参数。

其中Hough变换检测平行直线方法和边界方向直方图方法是经典方法。

Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。

几何参数法；形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（shape factor）。

颜色、纹理和形状信息都只反映了图像某方面的特征。

如直方图具有平移、旋转、拉伸不变性，但却无法反映相关位置信息，且受光照影响，纹理、形状特征也具有类似的局限性，而为了提高用户查找所需的web图像的效率，根据单一特征查找效率明显是不够的。

因此要融合多个特征并根据用户感兴趣因素调节各特征权值来实现针对性图像检索[6]。

特征融合本质是对单一特征的扩充。

二、主题部分（阐明有关主题的历史背景、现状和发展方向，以及对这些问题的评述）传统的基于文本的图像检索技术是通过关键字或自由文本进行描述，查询操作是基于该图像的文本描述进行精确匹配或概率匹配。

基于文本的图像检索方式简单、易于理解，但检索时要指明文本特征。

由于人工注释图像的主观性和不准确性等弊端，因此这种传统的图像检索方法并不能满足用户的需要。

相对于基于文本的图像检索技术来说，基于内容的图像检索实现了自动化、智能化的图像检索和管理，主要利用了图像中的一些可视化信息，如颜色、形状、纹理等信息作为检索的途径，从而提高了检索的效率和准确性．因此得到越来越多人的关注。

20世纪90年代以来，基于内容的图像检索技术得到了迅猛的发展，“以图找图”的特点引起人们的兴趣。

以图像中包含的各类典型特征为客观检索对象，所用的图像特征分两类：一类为底层特征或物理特征．如颜色、纹理、形状等；另一类为高层特征或语义特征，即图像内容的语义描述以及各类物理特征之问的逻辑关系。

目前基于内容的图像检索技术主要以图像底层特征的相似性匹配检索为主．辅助以图像语义特征[7]。

目前，国内外已经对“如何通过单一的视觉特征进行检索从而得到更好的效果”进行了大量的研究，但是实验表明，基于多种特征综合CBIR的结果优于基于单一视觉特征CBIR的结果。

要综合多种视觉特征进行检索，就需要知道各个部分(包括特征、特征的描述以及描述向量中的各个分量)在检索中所占的比重，也就是该部分的权重。

确定权重的方法有以下两种：1)直接由用户给出；2)由系统初始化，通过用户对初始化查询结果的反馈对权重进行动态调整。

由于“高层概念和低层特征之间存在着巨大的差别”且“用户感知的主观性”，采用第一种方法的CBIR并不令人满意，如何通过用户的反馈对各特征在查询中的权重进行调整成为一个研究方向，Rui使用的就是这种方法[8]。

单一视觉特征的检索技术[3][7][8][9]1.基于颜色特征检索颜色是一种重要的视觉信息属性，相对于其他特征，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较强的鲁棒性，而且颜色特征计算简单，因此成为现有的检索系统中应用最广泛的特征。

基于颜色检索主要采用颜色直方图的方法。

颜色直方图代表3个颜色频道强度的联合概率，描述全局的颜色分布，对旋转以及位置变化不敏感。

1990年，Swain 和Ballard提出了直方图交的算法，从而为颜色检索奠定了基础。

利用颜色特征进行图像检索可以追溯到Swain和Ballard提出的颜色直方图法。

颜色直方图法的主要思想是根据相同颜色的像素个数在整幅图像中所占的比例，然后采用颜色直方图的交来度量两幅图像色彩的空间信息。

颜色直方图计算简单，而且具有尺度、平移及旋转不变性。

颜色直方图的主要缺点：它只包含了某一彩以出现的频数而丢失了像素所在的位置信息。

任一幅图像都能唯一的给出一幅与它相对应的直方图，但不同的图像可能有相同的直方图，也就是说直方图与图像是一对多的关系，这显然与人的视觉感应不符，即误检率较高。

为了克服颜色直方图的缺陷，提出了许多改进方法，如Pass等人提出的用图像的颜色聚合矢量CCV(color coherence vector)作为图像的颜色特征、Strickd 和Orenges提出的累计颜色直方图、色彩矩方法等。

其它基于颜色的方法还有许多，如颜色相关向量法、颜色相关图法、颜色集方法、颜色聚类法等等。

2.基于纹理特征检索基于纹理的检索适用于检索诸如水波、布匹、建材等类型的图像，通常采用统计方法、结构方法以及频谱分析方法进行。

统计方法主要用于分析像木纹、沙地、草坪等细致而不规则的物体，根据图像像素间灰度的统计性质对纹理规定出特征以及特征与参数间的关系。

结构方法适于像布料或砖瓦等一类元素组成的纹理以及排列比较规则的东西，根据纹理基元及其排列规则来描述纹理特征。

统计方法通常在频率域和空间域上进行。

在频率域上，主要采用傅立叶变换和小波分析。

傅立叶变换在能量谱上反映图像粗糙度和方向性；小波分析中采用Gabor滤波能够表现出最好的特征。

在空间域主要采用Haraliek和Shanmugam提出的共生矩阵法，共生矩阵的每个元素表示从灰度i像素点开始离开某固定位置t 的像素点灰度为j的概率。

该法的缺点在于矩阵很大且含有大量的冗余信息。

Tamura是纹理分析的另一主要方法，它定义了粗糙度、方向、归整等6种特征，每种特征相互独立且可视。

其优点在于几乎没有冗余信息，算法的效率比较高。

3.基于形状特征检索采用形状特征进行检索，用户可以通过勾勒图像的形状或轮廓，从图像库中检索出形状相似的图像。

基于形状特征的检索有两种：一种是分割图像经过边缘提取后得到目标的轮廓线。

针对这种轮廓线进行图像特征检索；另一种是基于图像的区域特征进行检索。

针对形状轮廓特征的描述方法主要有：边界直方图、链编码、曲率尺度空间、傅立叶描述符等，其中最典型的方法为傅立法描述符。

它的基本思想是用物体边界的傅立叶交换作为形状描述．利用区域边界的封闭性和周期性将工作问题转化为一维问题，从而提高了检索的效率。

针对区域特征的描述方法主要有形状的无关矩、区域的面积、形状的纵横比率。

对于基于形状的检索来说。

形状的提取、描述及匹配都是重点要解决的问题。

与基于颜色和纹理的检索方法相比较。

基于形状的检索方法比较困难。

基本组合的多特征检索[3][6][7][8]图像内容具有各种视觉特征及视觉对象的空间关系等，而人在观察图像时也不只是观察一个特征，而是会同时看到图像的颜色、形状等多个组合特征。

在用单一特征进行检索时，可能出现非常相似两幅图，但在语义上相差很大。

而采用组合特征检索法时可以在颜色、纹理、形状等几种查询特征中选择两种或两种以上的特征进行组合检索。

基于多特征组合检索便于用户更灵活、更有效地表达检索要求，提高检索的准确率。

该检索方法可分两种情况进行：一种是异步组合检索，另一种是同步组合检索。

基于组合检索方法与单一特征的检索相比，可以提高检索精度。

其缺点是检索精度调整和提高的过程是一个工人干预的过程，这过分依赖于人的主观判断，检索效率不高，不具有通用性。

因此，针对同步组合检索方法，对检索过程中特征的归一化自动进行调整，提高了人机交互相关反馈检索方法。

基于语义的图像检索[3][7][10]在基于内容的图像检索中,图像特征索引技术主要研究的是图像的视觉和形象特征,包括颜色及其分布关系、纹理、对象形状以及它们之间的空间关系等方面。

以图像的底层视觉和形象特征为索引对图像进行检索具有计算简单、性能稳定的特点,但目前这些特征都有一定的局限性。

为了实现更为贴近用户理解能力的自然而简洁的查询方式,并提高图像检索的精度,在CBIR(content based image retrieval)技术领域进行包含语义的检索方法的研究是十分必要的。