基于深度学习的问答系统研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
０ 引言
相较计算机学科的其他研究方向，问答系统研究发展相对较早，上世纪八九十年代的研究主要是 基于模版匹配。新世纪互联网的飞速发展，使得网上数据愈来愈多，这为研究人员提供了丰富的语料 资源，基于检索的聊天的机器人也开始流行起来。随着深度学习和人工智能的兴起以及现代计算机 计算能力的长足进步，利用深度学习算法训练模型成为可能。问答系统以及问答机器人在商业领域 的成功应用使得研究它的人越来越多，也成为自然语言处理（ＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ，ＮＬＰ）领域 最火的研究任务之一。
提及人工智能，就绕不开“图灵测试”。１９５０年，英国数学家、逻辑学家艾伦·麦席森·图灵提出 一种测试机器是不是具备人类智能的方法，“在一个人不接触对方的情况下，通过一种特殊的方式， 和对方进行一系列问答，如果在相当长的时间内，他无法根据这些问题判断对方是计算机还是人类” ［１］，则说明这个计算机具有智能。这已经成为判断机器智能与否的标准。
与国外的研究相比，国内的中文对话系统的研究在深度和广度上还存在着相当的差距。由于中 文天然的多语义问题以及没有英文单词直观的空格分词等问题，导致国外相对成熟的技术以及理论 成果不能直接应用到中文的研究中。１９９２年的第一届文本检测会议（ＴＲＥＣ－１）就提出了针对英语 问答系统的科学测评标准以及各种测语料。这为国外的研究者们提供了丰富的高质量语料资源，而 这恰恰是深度学习研究的必要条件。恰逢新世纪大数据时代，我国的 ＩＴ公司也占据了可观的数据资 源。此外，开源一词，在学术界备受推崇，这些使得我国科研人员在问答系统上的研究也已步入正轨。 在自然语言处理领域上北京大学、清华大学、哈尔滨工业大学、复旦大学等知名学府也取得了较好的 成绩。其中哈尔滨工业大学 ＨＩＴ［９］研发的语言技术平台 ＬＴＰ提供了包括词法、句法等中文处理核心 技术，为汉语对话、问答系统的研究奠定了基础。不得不提的是 ＳＣＩＲ的刘挺教授在 ２０１２年到 ２０１７ 年，发表的论文累计排名世界第 ８，而排名第六的是深度学习三巨头之一的 Ｂｅｎｇｉｏ．科大讯飞科开发 的语音识别相关工具已促成搜狗语音助手等国内许多聊天系统、对话系统。
第 ３９卷 第 １期
湖北师范大学学报（自然科学版） ＪｏｕｒｎａｌｏｆＨｕｂｅｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ）
Ｖｏｌ３９ Ｎｏ１，２０１９
基于深度学习的问答系统研究
徐 雄
（湖北师范大学 计算机科学与技术学院，湖北 黄石 ４３５０００）
摘要：描述了当前的部分问答系统，并对当前主流的应用于问答系统的深度学习理论进行研究，希望能够 将当前的深度学习模型应用于问答系统研究中，提升人们获取有效信息的效率。对当下的深度学习框架 经过对比分析，并在 ＴｅｎｓｏｒＦｌｏｗ下，采用广泛应用于自然语言处理领域的序列到序列模型实现一种问答系 统。序列到序列模型中的编码器和解码器可以采用不同的循环神经网络，文中描述了传统的循环神经网 络以及该模型的改进长度时记忆网络。在实现问答系统的对话生成测试时，为了保证对话生成时输出质 量并提高对话生成测试时模型的回复效果，在原有模型的基础上，采用注意力机制减少解码过程中有效信 息的丢失。由于深度学习模型训练时庞大的计算量会造成内存的严重损耗，同时也为了实现生成对话的 多样性，本文采用束搜索机制实现生成对话的多样性。 关键词：问答系统；循环神经网络；深度学习法 中图分类号：ＴＰ３７ 文献标识码：Ａ 文章编号：２０９６－３１４９（２０１９）０１－００１０－０９ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．２０９６－３１４９．２０１９．０１．００３
收稿日期：２０１８—０５—１４ 作者简介：徐雄（１９８３— ），男，湖北黄石人，讲师，主要从事人工智能研究．
·１０·
图。对于闲聊型问答系统，若想实现较好的会话体验必须建立在庞大而广泛的语料库。前些年端到 端的训练开始随着自然语言处理领域中深度学习和强化学习等算法的完善流行起来。针对基于检索 的问答系统，德国不莱梅大学的 ＮｉｎａＤｅｔｈｌｅｆｓ和 ＨｅｒｉｂｅｒｔｏＣｕａｙ＇ａｈｕｉｔｌ［４］等人在 ｗａｙｆｉｎｄｉｎｇ（户内导航 对话系统）领域利用分层强化学习进行文本生成。Ｗａｎｇ［５］等人利用高斯过程模型和 ｑｌｅａｒｎｉｎｇ算法 对特定任务的选择进行优化。针对开放领域的问答系统，前人做了许多研究，其中 ２０１４年 Ｇｏｏｇｌｅ Ｂｒａｉｎ［６］团队和 ＹｏｓｈｕａＢｅｎｇｉｏ［７］团队分别发表了一篇文章，两篇文章不谋而合的提出了解决机器翻译 的思路，也即 ｓｅｑ２ｓｅｑ模型。２０１５年 Ｋｙｕｎｇｈｙｕｎ、Ｂｅｎｇｉｏ和 Ｂａｈｄａｎａｕ在 ｓｅｑ２ｓｅｑ的基础上提出注意力 （ａｔｔｅｎｔｉｏｎ）机制［８］，提高了翻译的准确性。在工业界和学术界已经有一些比较成熟的问答系统。例 如微软“小冰”、苹果公司的“Ｓｉｒｉ”等。
世界上第一个人机问答系统 Ｅｌｉｚａ［２］由 Ｗｅｉｚｅｎｂａｕｍ于 １９６６年在 ＭＩＴ利用编码实现，实现的方式 主要是基于模版的匹配。当时主要应用于在临床医疗中，通过大量医患对话构建问答知识库后，它被 用来模拟医生为患者提供咨询服务。但实际上，Ｅｌｉｚａ并不能理解用户的真正含义，它时常会询问患 者的看法。１９９４年出现了第一个以娱乐闲聊为主的开放域问答系统 Ａｌｉｃｅ［３］，它由 Ｒｉｃｈａｒｄ博士在卡 内基梅隆大学研发。它基于模式匹配和应答模版进行语义理解，其本质是根据用户的输入，在数据库 中进行查询、匹配，不能理解上下文关系，难以理解结构复杂的句子的含义。根据问答系统所面向的 对象可分为开放领域的问答系统和面向具体任务的问答系统，根据问答系统的实现方式分为检索式 和生成式。对于任务型的问答系统需要大量的与该任务相关的知识，难点是如何理解用户的真实意
１ 深度学习ຫໍສະໝຸດ Baidu论基础
在自然语言处理与语音识别以及计算机视觉作为深度学习的重要领域。深度学习起源于人工神 经网络，但是受限于上世纪八十年代计算机硬件的发展水平，特别是计算机计算能力的不足，使得很 难构造较深的神经网络。而随着近些年利用 ＧＰＵ进行计算的流行，深度学习在自然语言处理领域也 开始有了较大的发展。由于计算机只能识别、存储二进制数，不能理解人类社会的自然语言。所以需 要输入的原始人类社会中的自然语言数据进行向量化处理，在时下的工业界，其主流方式是词嵌入。 将每个词语转化为固定维度的向量。对原始数据进行文本向量化处理之后，需要选择恰当的模型，并 且将向量化的文本数据输入选择的模型中。现有的深度学习模型种类繁多，常见的深度学习模型有 卷积神经 网 络 （ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，ＣＮＮ）、循 环 神 经 网 络 （ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ， ＲＮＮ）、深度神经网络（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ，ＤＮＮ）等。而在自然语言处理领域应用的最多的模型是 循环神经网络 ＲＮＮ．
相较计算机学科的其他研究方向，问答系统研究发展相对较早，上世纪八九十年代的研究主要是 基于模版匹配。新世纪互联网的飞速发展，使得网上数据愈来愈多，这为研究人员提供了丰富的语料 资源，基于检索的聊天的机器人也开始流行起来。随着深度学习和人工智能的兴起以及现代计算机 计算能力的长足进步，利用深度学习算法训练模型成为可能。问答系统以及问答机器人在商业领域 的成功应用使得研究它的人越来越多，也成为自然语言处理（ＮａｔｕｒａｌＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ，ＮＬＰ）领域 最火的研究任务之一。
提及人工智能，就绕不开“图灵测试”。１９５０年，英国数学家、逻辑学家艾伦·麦席森·图灵提出 一种测试机器是不是具备人类智能的方法，“在一个人不接触对方的情况下，通过一种特殊的方式， 和对方进行一系列问答，如果在相当长的时间内，他无法根据这些问题判断对方是计算机还是人类” ［１］，则说明这个计算机具有智能。这已经成为判断机器智能与否的标准。
与国外的研究相比，国内的中文对话系统的研究在深度和广度上还存在着相当的差距。由于中 文天然的多语义问题以及没有英文单词直观的空格分词等问题，导致国外相对成熟的技术以及理论 成果不能直接应用到中文的研究中。１９９２年的第一届文本检测会议（ＴＲＥＣ－１）就提出了针对英语 问答系统的科学测评标准以及各种测语料。这为国外的研究者们提供了丰富的高质量语料资源，而 这恰恰是深度学习研究的必要条件。恰逢新世纪大数据时代，我国的 ＩＴ公司也占据了可观的数据资 源。此外，开源一词，在学术界备受推崇，这些使得我国科研人员在问答系统上的研究也已步入正轨。 在自然语言处理领域上北京大学、清华大学、哈尔滨工业大学、复旦大学等知名学府也取得了较好的 成绩。其中哈尔滨工业大学 ＨＩＴ［９］研发的语言技术平台 ＬＴＰ提供了包括词法、句法等中文处理核心 技术，为汉语对话、问答系统的研究奠定了基础。不得不提的是 ＳＣＩＲ的刘挺教授在 ２０１２年到 ２０１７ 年，发表的论文累计排名世界第 ８，而排名第六的是深度学习三巨头之一的 Ｂｅｎｇｉｏ．科大讯飞科开发 的语音识别相关工具已促成搜狗语音助手等国内许多聊天系统、对话系统。
第 ３９卷 第 １期
湖北师范大学学报（自然科学版） ＪｏｕｒｎａｌｏｆＨｕｂｅｉＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅ）
Ｖｏｌ３９ Ｎｏ１，２０１９
基于深度学习的问答系统研究
徐 雄
（湖北师范大学 计算机科学与技术学院，湖北 黄石 ４３５０００）
摘要：描述了当前的部分问答系统，并对当前主流的应用于问答系统的深度学习理论进行研究，希望能够 将当前的深度学习模型应用于问答系统研究中，提升人们获取有效信息的效率。对当下的深度学习框架 经过对比分析，并在 ＴｅｎｓｏｒＦｌｏｗ下，采用广泛应用于自然语言处理领域的序列到序列模型实现一种问答系 统。序列到序列模型中的编码器和解码器可以采用不同的循环神经网络，文中描述了传统的循环神经网 络以及该模型的改进长度时记忆网络。在实现问答系统的对话生成测试时，为了保证对话生成时输出质 量并提高对话生成测试时模型的回复效果，在原有模型的基础上，采用注意力机制减少解码过程中有效信 息的丢失。由于深度学习模型训练时庞大的计算量会造成内存的严重损耗，同时也为了实现生成对话的 多样性，本文采用束搜索机制实现生成对话的多样性。 关键词：问答系统；循环神经网络；深度学习法 中图分类号：ＴＰ３７ 文献标识码：Ａ 文章编号：２０９６－３１４９（２０１９）０１－００１０－０９ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．２０９６－３１４９．２０１９．０１．００３
收稿日期：２０１８—０５—１４ 作者简介：徐雄（１９８３— ），男，湖北黄石人，讲师，主要从事人工智能研究．
·１０·
图。对于闲聊型问答系统，若想实现较好的会话体验必须建立在庞大而广泛的语料库。前些年端到 端的训练开始随着自然语言处理领域中深度学习和强化学习等算法的完善流行起来。针对基于检索 的问答系统，德国不莱梅大学的 ＮｉｎａＤｅｔｈｌｅｆｓ和 ＨｅｒｉｂｅｒｔｏＣｕａｙ＇ａｈｕｉｔｌ［４］等人在 ｗａｙｆｉｎｄｉｎｇ（户内导航 对话系统）领域利用分层强化学习进行文本生成。Ｗａｎｇ［５］等人利用高斯过程模型和 ｑｌｅａｒｎｉｎｇ算法 对特定任务的选择进行优化。针对开放领域的问答系统，前人做了许多研究，其中 ２０１４年 Ｇｏｏｇｌｅ Ｂｒａｉｎ［６］团队和 ＹｏｓｈｕａＢｅｎｇｉｏ［７］团队分别发表了一篇文章，两篇文章不谋而合的提出了解决机器翻译 的思路，也即 ｓｅｑ２ｓｅｑ模型。２０１５年 Ｋｙｕｎｇｈｙｕｎ、Ｂｅｎｇｉｏ和 Ｂａｈｄａｎａｕ在 ｓｅｑ２ｓｅｑ的基础上提出注意力 （ａｔｔｅｎｔｉｏｎ）机制［８］，提高了翻译的准确性。在工业界和学术界已经有一些比较成熟的问答系统。例 如微软“小冰”、苹果公司的“Ｓｉｒｉ”等。
世界上第一个人机问答系统 Ｅｌｉｚａ［２］由 Ｗｅｉｚｅｎｂａｕｍ于 １９６６年在 ＭＩＴ利用编码实现，实现的方式 主要是基于模版的匹配。当时主要应用于在临床医疗中，通过大量医患对话构建问答知识库后，它被 用来模拟医生为患者提供咨询服务。但实际上，Ｅｌｉｚａ并不能理解用户的真正含义，它时常会询问患 者的看法。１９９４年出现了第一个以娱乐闲聊为主的开放域问答系统 Ａｌｉｃｅ［３］，它由 Ｒｉｃｈａｒｄ博士在卡 内基梅隆大学研发。它基于模式匹配和应答模版进行语义理解，其本质是根据用户的输入，在数据库 中进行查询、匹配，不能理解上下文关系，难以理解结构复杂的句子的含义。根据问答系统所面向的 对象可分为开放领域的问答系统和面向具体任务的问答系统，根据问答系统的实现方式分为检索式 和生成式。对于任务型的问答系统需要大量的与该任务相关的知识，难点是如何理解用户的真实意
１ 深度学习ຫໍສະໝຸດ Baidu论基础
在自然语言处理与语音识别以及计算机视觉作为深度学习的重要领域。深度学习起源于人工神 经网络，但是受限于上世纪八十年代计算机硬件的发展水平，特别是计算机计算能力的不足，使得很 难构造较深的神经网络。而随着近些年利用 ＧＰＵ进行计算的流行，深度学习在自然语言处理领域也 开始有了较大的发展。由于计算机只能识别、存储二进制数，不能理解人类社会的自然语言。所以需 要输入的原始人类社会中的自然语言数据进行向量化处理，在时下的工业界，其主流方式是词嵌入。 将每个词语转化为固定维度的向量。对原始数据进行文本向量化处理之后，需要选择恰当的模型，并 且将向量化的文本数据输入选择的模型中。现有的深度学习模型种类繁多，常见的深度学习模型有 卷积神经 网 络 （ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ，ＣＮＮ）、循 环 神 经 网 络 （ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ， ＲＮＮ）、深度神经网络（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ，ＤＮＮ）等。而在自然语言处理领域应用的最多的模型是 循环神经网络 ＲＮＮ．