人机对话中的情感文本生成方法研究

人机对话中的情感文本生成方法研究

人机对话(Human-Computer Dialogue)作为人工智能领域的重要

问题,备受研究人员的关注。面向开放领域的对话生成是人机对话中

的一个重要问题,其目标是尽可能地使生成的对话回复更加自然、流

畅和多样。近年来,深度学习技术的不断进步极大地推动了对话生成

相关研究的发展,使得对话生成不再仅仅依靠模板匹配与检索等方式。目前基于深度学习的对话生成方法大多是采用Encoder-Decoder框

架的Seq2Seq模型,通过大量的数据来学习特征表示和回复生成策略。但是,这种方法容易生成内容单一甚至无意义的安全回复。针对现有

方法的不足,本文研究基于变分自编码器(Variational

Auto-Encoder,VAE)的文本对话生成方法,以提高模型回复的多样性,

并在此基础上嵌入情感因素,使得模型能够生成包含情感的回复,进

一步改善人机对话中的用户体验。本文的工作主要包括:针对现有基

于RNN(Recurrent Neural Network)的Seq2Seq模型对话生成质量较低的问题,本文研究基于变分自编码器的对话生成模型,将VAE过程

引入Seq2Seq模型的解码阶段,利用隐变量对文本语义的潜在分布进

行建模,同时结合注意力机制使得模型在解码阶段的每一个时间步都

能够“注意”到上下文中不同的部分。在NLPCC 2017 Shared Task 4对话数据集上的实验结果显示,在基于Unigram和Bigram的生成内容多样性指标上,该方法的性能相比于传统的Seq2Seq模型分别提高了0.7%和5.0%。针对现有的Seq2Seq模型往往无法生成包含情感文本

的问题,本文进一步研究嵌入情感因素的对话生成模型。首先,借鉴于

卷积操作的特点,提出一种基于卷积记忆网络的情感分类模型,该模型能够提取“多词语”级别的文本序列特征。然后,根据对话文本中不同的情感标签设计了不同的情感嵌入信息,并在VAE过程中将情感嵌入信息引入到隐变量的生成过程中,使得隐变量包含相应的情感信息。在NLPCC 2017 Shared Task 4的对话数据集上的实验结果显示,本文提出的情感文本对话生成模型能够根据指定的情感标签生成包含相应情感的回复,有效提高了生成文本的自然性,改善了人机对话系统的用户体验。同时,在NLPCC 2013和NLPCC 2014情感分类数据集上的实验结果显示,基于卷积记忆网络的情感分类模型性能优于目前主流方法。