机器阅读理解中观点型问题的求解策略研究

解 任 务 研 究 已 相 当 成 熟 ，并 取 得 较 好 效 果 ，但 针 对 选 择型阅读理解任务还有待进一步研究。因此本文以 选择型阅读理解为 任 务，选 用 ＡＩｃｈａｌｌａｇｅｒ ２０１８① 中 提供的观点型问题 数 据 集，目 标 是 为 了 让 机 器 能 够 正 确 理 解 文 本 语 义 并 给 出 相 关 问 题 的 正 确 答 案 。 ［５］ 但求解该观点型问题面临以下挑战：
Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｏｐｉｎｉｏｎ－ｐｒｏｂｌｅｍｓ ｏｆ ｍａｃｈｉｎｅ ｒｅａｄｉｎｇ ｃｏｍｐｒｅｈｅｎｓｉｏｎ，ａｎ ｅｎｄ－ｔｏ－ｅｎｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ ｉｓ ｐｒｏｐｏｓｅｄ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，Ｂｉ－ＧＲＵ ｉｓ ｕｓｅｄ ｔｏ ｃｏｎｔｅｘｔｕａｌｌｙ ｅｎｃｏｄｅ ｐａｓｓａｇｅｓ ａｎｄ ｐｒｏｂｌｅｍｓ．Ａｎｄ ｔｈｅｎ ｆｏｕｒ ｋｉｎｄｓ ｏｆ ａｔｔｅｎｔｉｏｎｓ，ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｃｏｎｃａｔｅｎａｔｅｄ ａｔｔｅｎｔｉｏｎ，ｔｈｅ ｂｉｌｉｎｅａｒ ａｔｔｅｎｔｉｏｎ ，ｔｈｅ ｅｌｅｍｅｎｔ－ｗｉｓｅ ｄFra Baidu bibliotekｔ ａｔｔｅｎｔｉｏｎ ａｎｄ ｍｉｎｕｓ ａｔｔｅｎｔｉｏｎ，ａｒｅ ａｐｐｌｉｅｄ ｗｉｔｈ ｔｈｅ ｆｕｓｉｏｎ ｏｆ Ｑｕｅｒｙ２Ｃｏｎｔｅｘｔ ａｎｄ Ｃｏｎｔｅｘｔ２Ｑｕｅｒｙ ａｔｔｅｎｔｉｏｎｓ ｔｏ ｏｂｔａｉｎ ｔｈｅ ｃｏｍｐｒｅ－ ｈｅｎｓｉｖｅ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｐａｓｓａｇｅ ａｎｄ ｔｈｅ ｐｒｏｂｌｅｍ．Ｔｈｉｓ ｍｏｄｅｌ ｆｕｒｔｈｅｒ ｅｍｐｌｏｙｓ ｔｈｅ ｍｕｌｔｉ－ｌｅｖｅｌ ａｔｔｅｎｔｉｏｎ ｔｒａｎｓｆｅｒ ｒｅａｓｏｎｉｎｇ ｍｅｃｈａｎｉｓｍ ｔｏ ｏｂｔａｉｎ ｍｏｒｅ ａｃｃｕｒａｔｅ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｓｅｍａｎｔｉｃｓ．Ｔｈｅ ａｃｃｕｒａｃｙ ｒｅａｃｈｅｓ ７６．７９％ ｏｎ ｔｈｅ ＡＩｃｈａｌｌａｇｅｒ ２０１８ｏｐｉｎｉｏｎ ｒｅａｄｉｎｇ ｃｏｍｐｒｅｈｅｎｓｉｏｎ Ｃｈｉｎｅｓｅ ｔｅｓｔ ｄａｔａ ｓｅｔ．Ｉｎ ａｄｄｉｔｉｏｎ，ｕｓｉｎｇ ｔｈｅ ｓｅｎｔｅｎｃｅ ｓｅｑｕｅｎｃｅ ａｓ ｉｎｐｕｔ，ｔｈｅ ｍｅｔｈｏｄ ｃｏｕｌｄ ｂｅ ｂｏｏｓｔｅｄ ｔｏ ａｎ ａｃｃｕｒａｃｙ ｏｆ ７８．４８％ ． Ｋｅｙｗｏｒｄｓ：ｄｅｅｐ ｌｅａｒｎｉｎｇ；ｍａｃｈｉｎｅ ｒｅａｄｉｎｇ ｃｏｍｐｒｅｈｅｎｓｉｏｎ；ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ；Ｂｉ－ＧＲＵ
第 ３３ 卷 第 １０ 期 ２０１９ 年 １０ 月
中文信息学报 ＪＯＵＲＮＡＬ ＯＦ ＣＨＩＮＥＳＥ ＩＮＦＯＲＭＡＴＩＯＮ ＰＲＯＣＥＳＳＩＮＧ
文 章 编 号 ：１００３－００７７（２０１９）１０－００８１－０９
Ｖｏｌ．３３，Ｎｏ．１０ Ｏｃｔ．，２０１９
机器阅读理解中观点型问题的求解策略研究
段 利 国 ，高 建 颖 ，李 爱 萍
（太原理工大学 信息与计算机学院，山西 太原 ０３００２４）
摘 要：针对机器阅读理解中观点型问题的求解，提出一个端到端深度学习模型，使用 Ｂｉ－ＧＲＵ 对文章和 问 题 进 行 上下文语义编码，然后运用基于拼接、双线性、点乘和差集４种函数的注意力加上 Ｑｕｅｒｙ２Ｃｏｎｔｅｘｔ和 Ｃｏｎｔｅｘｔ２Ｑｕｅｒｙ 两个方向注意力的融合算法获取文章和问题的综合 语 义 信 息，之 后 运 用 多 层 注 意 力 转 移 推 理 机 制 不 断 聚 焦 ，进 一 步获取更加准确的综合语义，最终将其与候选答 案 进 行 比 较，选 出 正 确 答 案。 该 模 型 在 ＡＩｃｈａｌｌａｇｅｒ２０１８ 观 点 型 阅 读理解中文测试数据集上准确率达到７６．７９％，性能超过基线系统。此外，该文尝试文章以句子序列作为 输 入 表 示 进 行 答 案 求 解 ，准 确 率 达 到 ７８．４８％ ，获 得 较 好 试 验 效 果 。 关 键 词 ：深 度 学 习 ；机 器 阅 读 理 解 ；注 意 力 机 制 ；Ｂｉ－ＧＲＵ 中 图 分 类 号 ：ＴＰ３９１ 文 献 标 识 码 ：Ａ
０ 引 言
机器阅读理解的发展能够极大促进自然语言处 理 领 域 的 进 步［１］，目 前 可 应 用 于 智 能 搜 索、智 能 问 答 、智 能 客 服 、智 能 音 箱 、语 音 控 制 等 场 景 ，具 有 较 大 的学术意义和实用价值。
阅读 理 解 任 务 从 答 案 角 度 划 分，大 致 可 分 为 完 形填空型［２］、选 择 型 和 ［３］ 片 段 抽 取 型 等 ［４］ 形 式。 目 前以 ＣＮＮ＆Ｄａｉｌｙｍａｉｌ数据集 为 代 表 的 完 形 填 空 型 阅读理解和以 ＳＱｕＡＤ 为代表 的片段抽取型阅读 理
收 稿日期：２０１９－０４－１９ 定稿日期：２０１９－０５－３０ 基 金 项 目 ：山 西 省 科 技 厅 省 基 础 研 究 计 划 项 目 （２０１８０１Ｄ１２１１３７）
Ａ Ｓｔｕｄｙ ｏｎ Ｓｏｌｕｔｉｏｎ Ｓｔｒａｔｅｇｙ ｏｆ Ｏｐｉｎｉｏｎ－Ｐｒｏｂｌｅｍｓ ｉｎ Ｍａｃｈｉｎｅ Ｒｅａｄｉｎｇ Ｃｏｍｐｒｅｈｅｎｓｉｏｎ
ＤＵＡＮ Ｌｉｇｕｏ，ＧＡＯ Ｊｉａｎｙｉｎｇ，ＬＩ Ａｉｐｉｎｇ （Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ，Ｔａｉｙｕａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｔａｉｙｕａｎ，Ｓｈａｎｘｉ ０３００２４，Ｃｈｉｎａ）
（１）该数据 集 是 从 搜 索 日 志 中 随 机 选 取，并 由 机 器 初 判 后 人 工 筛 选 生 成 ，以 自 然 语 言 形 式 表 示 ，主 要包括一些较为复 杂 的、需 要 综 合 考 虑 文 章 中 每 个
① ｈｔｔｐｓ：／／ｃｈａｌｌｅｎｇｅｒ．ａｉ／ｃｏｍｐｅｔｉｔｉｏｎ／ｏｑｍｒｃ２０１８