基于自然语言处理的图片情感语义检索研究精品PPT课件

系统研发
• 本系统一myecplise作为开发平台，tomcat作 为服务器开发，使用SQLServer数据库。其 界面为：
例子：高兴
检索结果分析 方式：问卷调查
为更好满足学习和使用需求，课件在下载 后自由编辑，请根据实际情况进行调整
Thank you for watching and listening. I hope you can make great progress
举例: 接收情感词语“高兴”，生成三组PAD 值 “0.4 0.2 0.2; 0.4 0.2 0.1; 0.40 0.16 － 0.24”。
4)查找情感图像模块。接收( 一组或多组) PAD 值,根 据PAD 值计算情感图像库中所有情感图像与待查 询情感词的相关性,并按照相关性由大到小的顺序 排列情感图像，作为最终结
问句分析模块逻辑结构
检索系统
• 检索部分主要根据语义分Baidu Nhomakorabea部分输出的情感词对情感图像 库进行查询，最终返回用户希望查询的情感图像。该部分 分为情感词语映射PAD 模块和查找情感图像模块。
• 1）情感词语映射PAD模块。
查找情感图像模块
• 查找情感图像模块首先计算所有情感图像与待查 情感词的相关程度，再按照相关性由大到小排列 图像并输出给用户，作为最终查询答案。根据“ 欧氏空间距离越近就越相似”的原理系统进行计 算，认为情感图像与待查情感词在PAD 空间的欧 氏距 离越近就越能够代表该情感词，因此呈现给用户 的情感图像是按照欧氏空间距离由小到大排列的 。公式为：
如图：
各个子模块的功能如下
• 1) 问句分词模块。输入问句，利用ICTCLAS( 中国科学院计 算技术研究所汉语词法分析系统) 分词接口，对问句进行 分词，输出已经分词的问句。 举例: 输入自然问句“请问，关于高兴的图片有些什么?” ，则分词后的结果为“请问/v ，/w 关于/p 高兴/a 的/u 图 片/n有/v 些/q 什么/r ? /w”。
感词语; ( 2) 以“哈工大同义词词林”编码前三级相同( 经反
复尝试，发现编码前三级相同进行扩展较为合理) 作为规则，中文OCC 情感词进行同义词扩展; ( 3) 在扩展的同义词中，删除冗余部分以及非情感词 部分，并对重复出现的情感词进行合并; ( 4) 加入中文情感词与24 个OCC 情感词映射的相关 信息，形成最终的中文情感词词表。
果输出给用户。
举例: 接收三组PAD 值“0. 4 0.2 0.2; 0.4 0.2 0.1; 0.40 0.16 － 0.24”，最终输出与“高兴”相关性由 大到小排列的一系列情感图像。
中文情感词词表的建立
构建中文情感词词表的过程如下: ( 1) 将24 个OCC 英文情感词语翻译为对应的中文情
• 2）：在利用OCC与PAD模型之间的映射关系 ，建立情感模型。
• 3）将常用情感词和以PAD为情感标识的情 感图像分别于该模型进行映射。
系统设计与实现
• 1）问句处理部分：将输入的情感图像相关 问句进行分词，并分析出用户希望查找的 感情词。问句分词模块主要采用ICTCLAS 作 为分词接口，且采用计算所一级标注集对 分词进行词性标注。
2）查询情感图片部分：将常用情感词通过同 义词关系与24个OCC情感词进行映射，分成 了24类，利用Patrick Gebhard的“Mapping of OCC emotions into PAD space”将其映射到PAD 空间。利用欧式距离计算每张图片与待查 情
感相关性，并排序。例如：
系统总体结构与流程
语义分析
1）语义分析部分主要对输入的自然语言问句进行分 词、浅层语义分析，最终输出一个可以代表用户希 望查询情感的情感词。该部分由问句分词模块和问 句分析模块组成。
2）语料库的建设：采取由实验人员对情感图像提问 的方法，以此进行问句的采集工作。（问卷调查） 。
3）该文对情感图像领域中问句相关的语义块及其识 别规则等进行了定义，再利用这些已经定义的组块 和规则进行问句的浅层语义分析，并按照形式化的 描述方式进行输出，最终得到问句向量
OCC模型和PAD模型
OCC模型：认知情感模型，将情感分为24种情 感状态。
PAD模型：该模型 认为情感 具有愉悦度、激 活度和优势度3个维度，所以将所以的情感 映射到三维空间中。从而将其量化。
总体框架：
情感模型映射机制
机制介绍：
• 1）：自然语言处理对用户输入问句进行分 析，得到用户待查找的情感词。
基于自然语言处理的图片情感语义检索研究
总体思想：
运用自然语言处理对问句进行浅层 语义分析，并建立一个情感映射模 型，实现常用情感词与该模型以及 该模型与情感图像之间的映射。另 外对检索结果进行排序并输出。
先介绍几个概念： 1）图像所蕴含的信息通过图像特征进行描 述；
对于图像特征，由下至上可分为三个层次 : 特征层、对象层和语义概念层。语义概念 层由低到高又可分为: 场景语义、行为语义 和情感语义，其中，情感语义是最能体现 观察者对图像的认知和感知，也最能反映 用户对检索图像的需求。
• 2) 问句分析模块。接收已经分词的问句，根据词表、语义 块规则等进行浅层语义分析，生成问句向量。举例: 接收 “请问/v ，/w 关于/p 高兴/a 的/u 图片/n 有/v些/q 什么/r ? /w”，则生成问句向量“QV = ( Con = 高兴，Pic = ?) ”。
3情感词语映射PAD 模块。接收问句向量，将问句向 量中的情感词语同PAD 空间相映射生成( 一组或多 组) PAD 值。