情感语义图像检索技术研究

１引言

情感计算是一门新颖的而且富有挑战性的研究课题

［１］

，是

涉及到哲学、心理学、美学、人类学等的交叉学科。目前在情感计算理论和应用方面的研究已经浮出水面，而将情感计算运用在图像检索的初步研究中，国内外已发表过一些论文，主要集中在人的面部表情识别、机器人的情感行为和可穿戴式计算应用等研究领域。基于内容图像检索的研究正进行的如火如荼［４］。虽然这两方面的研究起步都比较晚，特别是情感计算，但也有了一些可喜的成果。

人类的情感从心理学角度上主要指人的心理反应。西方有的学者把情感分为基本的六种：羡慕、爱、恨、欲望、愉快和悲哀。而国内一直流行着“七情六欲”之说，《礼记－礼运》说：“喜、怒、哀、惧、爱、恶、欲七者弗学而能。”即所谓的七情。有研究显示，不同图像可以唤起人类不同的情感。对图像进行情感分类有助于建立和谐人机环境［７］

和情感计算领域的研究。在现实世界中的情感活动离不开周围的环境，而现实中的环境可以被认为是由一幅幅的图像组成的，所以对图像的情感研究是非常必要的。而且在实际应用中图像的情感研究也有着相当广阔的前景，可以运用于艺术、

装潢、机器人和游戏开发等领域。本文对图像进行情感分类，实现图像的情感语义检索。用

户可以使用多范例图来进行检索情感相似图或使用文本描述的方式来进行检索。为了增加特征到语义的映射和图像匹配的效率，利用多范例图进行检索是一种行之有效的方法。在多范例图中，我们把要查询的相似图划分到相关组中，需要过滤掉的图像则放到相反组。

本文分为三部分，首先介绍了情感语义检索系统总体结构，主要分为特征向量的提取、表示，低阶可视化特征向高阶语义特征的映射，以及情感空间和用户接口的介绍；其次主要分析图像的情感语义，详细阐述情感语义模型的结构和功能；最后对由２５００幅数字图像组成的数据集仿真实验，分析了实验结果，并且提出今后的研究方向。

２系统总体结构设计

图像检索系统主要研究的内容是基于数字图像处理基础

上的视觉特征提取、多维索引以及检索系统设计等［７］，本文也不例外，检索系统的总体结构如图１，主要分为三个部分，其中关键技术为图像的特征抽取、表示，图像低阶可视化特征向高阶语义特征的映射阶段以及情感模型的建立。下面作详细的介绍。

作者简介：李海芳（１９６４－），女，副教授，硕士生导师，在读博士，研究方向为：信号与信息处理，数据挖掘。焦丽鹏（１９８１－），男，硕士研究生，主要研

究方向为图像检索、智能信息处理。

情感语义图像检索技术研究

李海芳

焦丽鹏

陈俊杰

王

莉

贺

静

（太原理工大学计算机与软件学院，太原０３００２４）

Ｅ－ｍａｉｌ：ｓｘｌｈｆ１２３＠１６３．ｃｏｍ

摘

要

图像中所蕴涵的丰富语义仅用若干低级物理特征是不能进行完整描述的，而且在语义映射时也会有信息丢失，

因而产成“语义鸿沟”是在所难免的。将多特征融合，建立情感语义模型，分析情感的概念解析功能对提高智能信息检索的精度和效率是非常必要的。论文讨论了图像的颜色、纹理等特征的提取与表示，低阶图像可视化特征到高阶图像语义特征的映射过程，图像的情感语义分类，建立了情感语义模型，实现对基于情感语义图像的检索。对由２５００幅数字图像组成的数据集进行了实验，并对实验结果进行分析，部分结果是令人满意的，而且提高了基于内容图像检索的精度。关键词

语义鸿沟

基于内容的图像检索

情感计算

情感语义

特征提取

文章编号１００２－８３３１－（２００６）１８－００８２－０４文献标识码Ａ中图分类号ＴＰ３９１

ＲｅｓｅａｒｃｈｏｆＡｆｆｅｃｔｉｖｅＳｅｍａｎｔｉｃｓＲｅｔｒｉｅｖａｌＢａｓｅｄｏｎＣｏｎｔｅｎｔ

ＬｉＨａｉｆａｎｇＪｉａｏＬｉｐｅｎｇＣｈｅｎＪｕｎｊｉｅＷａｎｇＬｉＨｅＪｉｎｇ

（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＳｏｆｔｗａｒｅ，ＴａｉｙｕａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔａｉｙｕａｎ０３００２４）

Ａｂｓｔｒａｃｔ：Ｔｈｅａｂｕｎｄａｎｔｓｅｍａｎｔｉｃｃｏｎｔａｉｎｅｄｉｎｔｈｅｉｍａｇｅｓｃａｎｎｏｔｂｅｅｎｄｅｓｃｒｉｂｅｄｃｏｍｐｌｅｔｅｌｙｏｎｌｙｕｓｉｎｇｓｏｍｅｌｏｗ－ｌｅｖｅｌｐｈｙｓｉｃａｌｆｅａｔｕｒｅｓ，ａｎｄｓｏｍｅｉｎｆｏｒｍａｔｉｏｎｗｉｌｌｂｅｌｏｓｔｉｎｔｈｅｓｅｍａｎｔｉｃｍａｐｐｉｎｇ，ｓｏｉｔｉｓｕｎａｖｏｉｄａｂｌｅｔｏｐｒｏｄｕｃｅｔｈｅ“ｓｅｍａｎｔｉｃｇａｐ”．Ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｉｍｐｒｏｖｅｔｈｅｐｒｅｃｉｓｉｏｎａｎｄｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｉｎｔｅｌｌｅｃｔｉｖｅｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌｂｙｓｙｎｃｒｅｔｉｚｉｎｇｍｕｌｔｉ－ｆｅａｔｕｒｅｓ，ｅｓｔａｂｌｉｓｈｉｎｇｔｈｅａｆｆｅｃｔｉｖｅｓｅｍａｎｔｉｃｍｏｄｅｌａｎｄａｎａｌｙｚｉｎｇｔｈｅｉｄｅａ－ａｎａｌｙｓｉｓｆｕｎｃｔｉｏｎｏｆｅｍｏｔｉｏｎ．Ｆｅａｔｕｒｅｓｅｘｔｒａｃｔｉｎｇａｎｄｅｘｐｒｅｓｓｉｎｇｏｆｉｍａｇｅ’ｓｃｏｌｏｒ，ｔｅｘｔｕｒｅ，ｅｔｃ．，ｍａｐｐｉｎｇｐｒｏｃｅｓｓｆｒｏｍｔｈｅｌｏｗ－ｌｅｖｅｌｉｍａｇｅｖｉｓｕａｌｆｅａｔｕｒｅｓｔｏｔｈｅｈｉｇｈ－ｌｅｖｅｌｉｍａｇｅｓｅｍａｎｔｉｃｆｅａｔｕｒｅｓ，ａｎｄｔｈｅｅｍｏｔｉｏｎｓｅｍａｎｔｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｔｈｅｉｍａｇｅｓａｒｅｄｉｓｃｕｓｓｅｄ，ｅｍｏｔｉｏｎｓｅｍａｎｔｉｃｍｏｄｅｌｉｓｅｓｔａｂｌｉｓｈｅｄ，ｔｈｅｒｅｔｒｉｅｖｉｎｇｂａｓｅｄｏｎａｆｆｅｃｔｉｖｅｓｅｍａｎｔｉｃｉｍａｇｅｓｉｓａｃｈｉｅｖｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｔｈｅｄａｔａｓｅｔｃｏｍｐｏｓｅｄｏｆ２５００ｄｉｇｉｔａｌｉｍａｇｅｓｉｓｅｘｐｅｒｉｍｅｎｔｅｄｗｉｔｈ，ａｎｄｔｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｈａｖｅｂｅｅｎａｎａｌｙｚｅｄ，ｓｏｍｅｏｆｗｈｉｃｈａｒｅｓａｔｉｓｆｉｅｄ，ａｎｄｔｈｅｐｒｅｃｉｓｉｏｎｂａｓｅｄｏｎｃｏｎｔｅｎｔｉｍａｇｅｒｅｔｒｉｅｖｉｎｇｈａｓｂｅｅｎｉｍｐｒｏｖｅｄ．Ｋｅｙｗｏｒｄｓ：ｓｅｍａｎｔｉｃｇａｐ，ＣＢＩＲ，ａｆｆｅｃｔｉｖｅｃｏｍｐｕｔｉｎｇ，ａｆｆｅｃｔｉｖｅｓｅｍａｎｔｉｃｓ，ｆｅａｔｕｒｅａｂｓｔｒａｃｔｉｏｎ