【CN109933661A】一种基于深度生成模型的半监督问答对归纳方法和系统【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910266295.X

(22)申请日 2019.04.03

(71)申请人 上海乐言信息科技有限公司

地址 200030 上海市徐汇区番禺路1028号

数娱大厦8楼

(72)发明人 褚善博　沈李斌　

(51)Int.Cl.

G06F 16/332(2019.01)

(54)发明名称

一种基于深度生成模型的半监督问答对归

纳方法和系统

(57)摘要

本发明公开了一种基于深度生成模型的半

监督问答对归纳方法和系统，该方法包括以下步

骤：通过候选问答对生成方法从输入的对话数据

中整理出候选问答对；通过采用基于深度生成模

型的问答对评价方法对所述候选问答对打分；根

据所述候选问答对打分结果利用问答对筛选方

法得到高质量问答对；通过半监督学习方式对所

述深度生成模型进行预先训练后再应用到所述

问答对评价方法中。通过以上方式能够进行自动

化的问答对归纳，极大减少了人工参与并获取高

质量的问答对。权利要求书4页 说明书13页 附图3页CN 109933661 A 2019.06.25

C N 109933661

A

权　利　要　求　书1/4页CN 109933661 A

1.一种问答对归纳方法，其特征在于，问答对归纳的自动化方法包括以下步骤：

通过候选问答对生成方法从输入的对话数据中整理出候选问答对；

通过采用基于深度生成模型的问答对评价方法对所述候选问答对打分；

根据所述候选问答对打分结果利用问答对筛选方法得到高质量问答对；

通过半监督学习方式对所述深度生成模型进行预先训练后再应用到所述问答对评价方法中。

2.一种问答对归纳方法，其特征在于，问答对归纳的自动化方法包括以下步骤：

通过候选问答对生成方法从输入的对话数据中整理出候选问答对；

通过采用基于深度生成模型的问答对评价方法对所述候选问答对打分；

根据所述候选问答对打分结果利用问答对筛选方法得到高质量问答对；

通过半监督学习方式对所述深度生成模型进行预先训练后再应用到所述问答对评价方法中。

3.根据权利要求1所述的问答对归纳方法，其特征在于，所述问答对评价方法使用的半监督学习方式训练的深度生成模型可采用序列到序列（Sequence to Sequence）的深度生成模型，如，基于Transformer的Sequence to Sequence模型，和基于LSTM和GRU等的 encoder、decoder的sequence to sequence模型，还可采用统计机器翻译中用到的生成模型。

4.根据权利要求3所述的问答对归纳方法，其特征在于，所述基于Transformer的Sequence to Sequence模型参数设置为：multi-head的数量设置为8，encoder和decoder中layer为6，进一步地，所述模型的输入端使用预训练的字向量拼接所述字的位置向量，进一步地，使用word2vec训练字向量，字向量维度设置为100。

5.根据权利要求3所述的问答对归纳方法，其特征在于，所述半监督学习方式训练的深度生成模型采用的可采用自学习(Self Learning)的半监督方法、基于EM（Expectation Maximization）算法的生成式半监督方法以及基于图的半监督学习等。

6.根据权利要求5所述的问答对归纳方法，其特征在于，所述采用自学习方式训练的基于Transformer的Sequence to Sequence模型训练步骤进一步包括：

通过问答对生成方法从训练用对话数据中获得训练数据，进一步，从中采样，其中，采样部分数据标记为“未审阅有效问答对”，生成数据集De，剩余部分标记为“未审阅问答对”，生成数据集Dw；

通过人工审阅过程对所述“未审阅有效问答对”数据集De进行审核，得到高质量的问答对数据集Dc；

使用所述数据集Dc与所述数据集Dw作为训练数据，采用所述自学习方式对所述基于Transformer的Sequence to Sequence模型进行训练。

7.根据权利要求6所述的问答对归纳方法，其特征在于，所述问答对生成方法可通过基于启发式规则实现，执行步骤进一步包括：

将训练用对话数据中问题语句和回复语句按照长度过滤，筛选出满足长度条件的对话语句；

按照位置顺序，分别判断每个回复语句在所述对话语句中是否位于两个问题语句之间，或者是否紧接最后一个问题语句且位于所述对话语句的结束句处，若是，寻找对应回复

2