WEB图像语义特征的分析与提取研究及实现【文献综述】

毕业设计文献综述

计算机科学与技术

WEB图像语义特征的分析与提取研究及实现

一、前言部分

随着网络和多媒体技术的发展，在互联网上出现了海量的WEB图像。基于内容的图像检索技术（CBIR）得到了蓬勃发展，但是传统的CBIR系统没有考虑图像的语义信息。另一方面，由于WEB图像的特征维数高，运算复杂度高，从提高检索精度或分类正确率的角度而言，都不可能将所有提取的特征都能用于检索或分类。在提取多种图像语义特征的基础上，提出采用互信息的方法分别研究单一的语义特征和多种特征组合的鉴别力，并分析特征之间的互补或冗余关系，从而进行特征的选择。因此，对图像语义特征进行分析和提取成为这一领域最前沿的研究热点之一。

基于内容的图像检索希望采用图像处理与计算机视觉技术自动地从图像中获得语义内容。由于图像语义的内在复杂性，目前还难以实现对图像语义的自动提取。语义特征的提取，现在只是将图像的底层视觉特征映射到高层语义。但不管如何，图像的底层特征的提取始终是关键。而目前图像的特征提取主要从颜色、纹理、形状等几个方面提取图像的特征。

颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质[1]。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。提取颜色特征常用的方法是利用颜色直方图表示图像颜色的分布特点，另外还有颜色集、颜色矩、颜色聚合向量和颜色相关图等表示图像的颜色特征，每一种表示方法各有其优缺点。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法

匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。数字图像特别是遥感图像提取纹理特征[2][3]常用的方法有：灰度共生矩阵法，Gotlieb和Kreyszig 等人在研究共生矩阵中各种统计特征基础上，通过实验，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性；另外还有几何法、模型法等。小波变换法是信号处理的最新技术，用于纹理特征提取可以更精确地表示图像在垂直和水平方向的纹理细节。

通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征[3][4][5]。图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域。边界特征法通过对边界特征的描述来获取图像的形状参数。其中Hough变换检测平行直线方法和边界方向直方图方法是经典方法。Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法，其基本思想是点—线的对偶性；边界方向直方图法首先微分图像求得图像边缘，然后，做出关于边缘大小和方向的直方图，通常的方法是构造图像灰度梯度方向矩阵。几何参数法；形状的表达和匹配采用更为简单的区域特征描述方法，例如采用有关形状定量测度（如矩、面积、周长等）的形状参数法（shape factor）。

颜色、纹理和形状信息都只反映了图像某方面的特征。如直方图具有平移、旋转、拉伸不变性，但却无法反映相关位置信息，且受光照影响，纹理、形状特征也具有类似的局限性，而为了提高用户查找所需的web图像的效率，根据单一特征查找效率明显是不够的。因此要融合多个特征并根据用户感兴趣因素调节各特征权值来实现针对性图像检索[6]。特征融合本质是对单一特征的扩充。

二、主题部分（阐明有关主题的历史背景、现状和发展方向，以及对这些问题的评述）

传统的基于文本的图像检索技术是通过关键字或自由文本进行描述，查询操作是基于该图像的文本描述进行精确匹配或概率匹配。基于文本的图像检索方式简单、易于理解，但检索时要指明文本特征。由于人工注释图像的主观性和不准确性等弊端，因此这种传统的图像检索方法并不能满足用户的需要。相对于基于文本的图像检索技术来说，基于内容的图像检索实现了自动化、智能化的图像检

索和管理，主要利用了图像中的一些可视化信息，如颜色、形状、纹理等信息作为检索的途径，从而提高了检索的效率和准确性．因此得到越来越多人的关注。

20世纪90年代以来，基于内容的图像检索技术得到了迅猛的发展，“以图找图”的特点引起人们的兴趣。以图像中包含的各类典型特征为客观检索对象，所用的图像特征分两类：一类为底层特征或物理特征．如颜色、纹理、形状等；另一类为高层特征或语义特征，即图像内容的语义描述以及各类物理特征之问的逻辑关系。目前基于内容的图像检索技术主要以图像底层特征的相似性匹配检索为主．辅助以图像语义特征[7]。

目前，国内外已经对“如何通过单一的视觉特征进行检索从而得到更好的效果”进行了大量的研究，但是实验表明，基于多种特征综合CBIR的结果优于基于单一视觉特征CBIR的结果。要综合多种视觉特征进行检索，就需要知道各个部分(包括特征、特征的描述以及描述向量中的各个分量)在检索中所占的比重，也就是该部分的权重。确定权重的方法有以下两种：

1)直接由用户给出；

2)由系统初始化，通过用户对初始化查询结果的反馈对权重进行动态调整。

由于“高层概念和低层特征之间存在着巨大的差别”且“用户感知的主观性”，采用第一种方法的CBIR并不令人满意，如何通过用户的反馈对各特征在查询中的权重进行调整成为一个研究方向，Rui使用的就是这种方法[8]。

单一视觉特征的检索技术[3][7][8][9]

1.基于颜色特征检索

颜色是一种重要的视觉信息属性，相对于其他特征，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较强的鲁棒性，而且颜色特征计算简单，因此成为现有的检索系统中应用最广泛的特征。

基于颜色检索主要采用颜色直方图的方法。颜色直方图代表3个颜色频道强度的联合概率，描述全局的颜色分布，对旋转以及位置变化不敏感。1990年，Swain 和Ballard提出了直方图交的算法，从而为颜色检索奠定了基础。利用颜色特征进行图像检索可以追溯到Swain和Ballard提出的颜色直方图法。颜色直方图法的主要思想是根据相同颜色的像素个数在整幅图像中所占的比例，然后采用颜色直方图的交来度量两幅图像色彩的空间信息。颜色直方图计算简单，而且具有尺度、