基于知识的智能问答技术

题目：基于知识的智能问答技术（PDF）

作者：许坤，冯岩松（北京大学）————————————————————

作者简介：

许坤，北京大学计算机科学技术研究所博士生，研究方向为基于知识库的智能问答技术，已连续三年在面向结构化知识库的知识问答评测QALD-4, 5, 6中获得第一名。

冯岩松，北京大学计算机科学与技术研究所讲师。2011年毕业于英国爱丁堡大学，获得信息科学博士学位。主要研究方向包括自然语言处理、信息抽取、智能问答以及机器学习在自然语言处理中的应用；研究小组已连续三年在面向结构化知识库的知识问答评测QALD中获得第一名；相关工作已发表在TPAMI、ACL、EMNLP等主流期刊与会议上。作为项目负责人或课题骨干已承担多项国家自然科学基金及科技部863计划项目。分别在2014 和2015 年获得IBM Faculty Award。

引言

近年来，信息抽取技术的快速发展使得快速构建大规模结构化、半结构化知识库成为可能。一大批结构化知识库如雨后春笋般涌现出来，如Google Knolwedge

Graph （Freebase）、Yago，DBpedia、微软ProBase、搜狗知立方及百度等企业内部的知识图谱等。

同时，这些大规模知识库也被应用于关联检索、个性化推荐、知识问答等任务中。相比于传统基于文本检索的问答系统，利用知识库回答自然语言问题可以为用户提供更精确、简洁的答案，因此一直受到学术界和工业界的广泛关注。

目前基于知识库的问答技术可以大致分为两类。第一类基于语义解析的方法。这类方法通过学习相关语法将自然语言转问题转换成可以用来描述语义的形式化语言，如逻辑表达式等。构建这样的语义解析器需要大量的标注数据，例如，自然语言问题及其对应的语义描述形式。然而，针对Freebase这样大规模的结构化知识库，在实际中很难收集到足够多的高质量训练数据。另外，语义描述形式与知识库的结构之间的不匹配也是这类方法普遍遇到的一个问题，例如，在Freebase中并没有“爸爸”或“妈妈”这样的谓词关系，只有“父母”，因此，如果想表示“A 是B的母亲”这样的关系，则需明确表示为“”并且“”。

另一类知识问答技术是传统的基于信息检索的方法。这类方法不会将自然语言问题完全转换成形式化的语义描述，而是首先利用实体链接技术从知识库中收集候选答案集合，然后构建排序模型对候选答案进行排序。因为不需要完整地解析自然语言问题的语义结构，因此，这类方法构造训练数据的过程相对简单，只需收集问题答案对即可。实验表明,基于检索的方法对语义简单的自然语言问题比较有效，但是难以处理语义结构复杂的问题，尤其是包含多个实体和关系的自然语言问题。例如，对于自然语言问题“What mountain is the highest in North

America？”，检索类的方法由于缺乏对highest的正确解析，通常会将所有坐落在北美的山脉返回给用户。事实上，为了得到正确的答案，问答系统还需要根据山脉高度对候选答案进行排序，并选择海拔最高的山脉返回给用户。该过程通常需要人工编写解析规则对答案进行筛选，费时费力。此外，由于自然语言描述的多样性，人们也无法事先穷举所有这样的规则。

然而事实上，Freebase这样的结构化知识库希望存储关于真实世界的知识条目，而像维基百科页面这样的文本百科资源则存储支持这些事实的文本描述。例如，在维基百科页面中，我们可以找到一段与候选答案有关的文本

Denali (also known as Mount McKinley, its former official name) is the highest mountain peak in North America, with a summit elevation of 20,310 feet (6,190 m) above sea level。

很明显可以看出，这段文本描述可以帮助我们提升Denali 或者Mount McKinley 作为正确答案的置信度，并过滤掉候选集中的错误答案。正是受到这个发现的启发，我们提出同时利用结构化知识库与可信的文本百科资源，如维基百科页面，来回答知识类自然语言问题。

基于多种知识资源的问答技术框架

图1：针对问题who did shaq first play for的流程图

以样例问题who did shaq first play for的处理流程为例，图1展示了融合多种

知识资源的问答框架。该问答系统框架主要包含基于结构化知识库Freebase的问题求解和基于非结构化知识资源Wikipedia文本的浅层推理。

基于结构化知识库的问题求解

基于结构化知识资源的问题求解部分只需给出候选答案集合即可，因此既可采用基于语义解析的方法，也可以直接采用基于检索的方法来实现。这里我们采用的是基于检索的方案，主要包括实体链接，关系抽取，以及这两部分的联合消解三大部分。

1)实体链接

实体链接在知识类问题解析中扮演着十分重要的角色。我们采用词性POS序列来筛选问题中的所有实体候选，以前面的问题为例，我们可以利用POS序列NN 识别出实体shaq。对于识别出来的实体候选，我们使用实体链接工具S-MART 获取可以潜在链接到Freebase的5个候选实体。具体而言，对给定的实体候选，S-MART首先根据字符串相似度从Freebase中获取一些候选实体，然后利用统计模型根据知识库实体与实体候选之间的共现频率计算出一个得分并排序，最终给出实体链接结果。

2)关系抽取

关系抽取用于识别问句中的实体与答案（疑问词）之间的语义关系。我们使用多通道卷积神经网络来确定自然语言问题中实体与答案之间存在的关系。具体地讲，

我们使用两个通道，一个通道捕捉句法信息，另一个通道捕捉上下文信息。每个通道的卷积层接受一个长度不固定的输入，但是返回一个固定长度的向量（我们使用最大采样法）。这些固定长度的向量被拼接在一起形成最后softmax分类器的输入，该分类器的输出向量维度等于关系类别的总数，每一维的值等于映射到对应知识库谓词的置信度。

3)实体和关系的联合消歧

通常情况下的实体链接与实体关系抽取都是独立预测的，因而不可避免的会存在流水线框架下常见的错误传递现象。因此，我们提出了一种联合优化模型从实体链接和关系抽取的候选结果中选择一个全局最优的“实体-关系”配置。这个挑选全局最优配置的过程本质上可以被视作一个排序问题，即，“合理”的实体-关系配置在知识库中应更常见，应该有更高的得分。我们主要依赖从知识库中抽取的三类特征，即实体特征、关系特征和答案的特别特征。

基于Wikipedia文本描述的浅层推理

基于结构化知识库求解的候选答案集，我们从维基百科文本资源中收集候选答案的支持文本，并训练答案过滤器对候选答案集进行筛选，以得到更准确的答案。

1)数据预处理

具体地讲，我们首先从维基百科中找出描述自然语言问题中实体的页面。我们抽取维基百科页面的内容，并利用Wikifier识别句子中的维基百科实体，再利用