一种基于朴素贝叶斯的内容选择方法

收稿日期： 2017 － 04 － 25
基金项目： 北京市科委项目（ Z161100000216141 ） ； 中国传媒大学工科规划项目 （ 3132016XNG1605 ） mail： JPGONG@ cuc. edu. cn 中国传媒大学副教授． E作者简介： 龚隽鹏（ 1982 － ） ， 男（ 汉族） ， 重庆市人，
［7 ］ ［2 ］
朴素贝叶斯模型
［8 ］
是利用统 朴素贝叶斯算法基于贝叶斯定理 ， 计学的分类方法， 我们假设 topic 的特征项之间是相 互独立的， 利用概率求 topic 的类别。 topic 的最终 类别是由概率的最大值所在的类别指定 。 w2 ， ．．．， wm ｝ ， 我们假设话题 d = ｛ w1 ， 使用该 算法实现对文本 d 的分类， 转化成对 P （ C k | d） ， 其 如果 中 1 ≤ j ≤ n 的求解， P （ c k | d） = max｛ P （ c1 | d） P （ c2 | d） ， …， P（ cn | d） ｝ 则 d 属于 c k 。 计算公式如下： P（ cj | d） = = P（ cj ） P（ cj ） P（ d | cj ） P（ d）
表2 特征 f1 f2 f3 f4 内容选择特征 特征说明 场景中出现的话题实例的类型列表 。 上一个话题实例的类。 话题实例的类型。 属性取值。
气象信息， 其文本是天气预报的短文本。数据集收集 了 2009 年 2 月 7 日 － 2009 年 2 月 9 日期间， 人口超 过 1000 人的美国城市天气预报， 共计 3753 个城市， 文字和相应的数据来源均为 www． weather． gov。数据 集每天为每个城市创建 2 个记录， 共计 22000 条， 一 个场景是日间天气预报， 一个场景是夜间天气预报， 其内容主要由气温， 风速， 降雨概率等构成。 4． 2 实验设置 f1 + f2 ， f1 + f2 + f3 ， f1 + f2 我们分别使用特征 f1 ， + f3 + f4 的特征集进行测试， 考查不同特征对结果 的影响。 构建的数据集被分为两部分。 第一部分 20000 条被作为训练集（ development set） ， 第二部分 2000 条作为测试集（ test set） 。 4． 3 评价 评价标准使用精确率 （ precision ） 、 召回率 （ recall） 和 F1 值（ F1 － measure ） 。 4． 4 实验结果 实验结果如表 3 所示。
DOI:10.16196/ki.issn.1673-4793.2017.04.003
A Nave Bayes － based Content Selection Model
GONG Jun-peng1 ， CAO Juan2
（ 1． Faulty of Science and Technology， Communication University of China， Beijing 100024 ， China； 2． New Media Institute， Communication University of China， Beijing 100024 ， China）
Abstract ： This article proposes a new method for learning content selection rules． Central to this approach is the content select feature． The algorithm introduced in the article automatically train a nave bayes model from a set of concept features． The results indicate model suits the task well in specific domain． Key words： content selection； nave bayes； content feature 列标明实例的属性及其取值。其输入可看作是一个 〈topic， propertySet〉， 概念的名 － 值对的集合 Set 输 出是 一 个 被 选 中 的 概 念 名 － 值 对 的 子 集 Set selected〈topic， 〈topic， propertySet〉， 从 集 合 Set propertySet〉到集合 Set selected〈topic， propertySet〉的过 程 就 是 一 个 内 容 选 择 过 程。 其 中 子 集 Set selected〈topic， propertySet〉就是包含了最终向用户 需要交付的信息， 决定了最终生成的文本。 因此， 我们可以将内容选择的过程看作是一个 分类的问题或者是一个序列标注的过程 。 如果将内容选择的过程单纯考虑成一个分类的 过程， 我们的任务就是对输入的名 － 值对集合 Set 〈topic， propertySet〉中的每一条记录进行简单的
Label selected unselected unselected unselected unselected unselected selected unselected selected unselected unselected unselected unselected
Topic skyCover skyCover skyCover skyCover rainChance rainChance rainChance rainChance snowChance snowChance snowChance snowChance windDir
m
（ 1）
接研究端到端的工作。 Konstas
［6 ］
∏ 1 P（ w i |
P（ d）
cj ）
（ 2）
16
中国传媒大学学报自然科学版
第 24 卷
P （ c j ） 为类的先验概率， 即 P（ cj ） = cj 类 其中， topic 数 / 总 topic 数； 由于假设 topic 的特征项之间是 互相独立的， 则 P（ d | cj ） =
f3 主要体现当前话题类型出现的概率情况， 例 如， 降水出现的概率很大， 通常是会被提到的。 与话题节点属性相关的规则 f4 主要体现不同取值情况下， 话题被选择的情 况。
∏ 1 P（ w i |
m
c j ） ； P（ d）
对于所有的类均为常数， 对分类的结果没有影响， 不 做计算。 3． 2 特征选择
3
内容选择算法
本文提出 的 内 容 选 择 算 法 框 架 如 图 1 所 示。 主要思想如下： 在首先根据数据集进行结构特征的 计算， 并训练相应的分类器。 最后， 对于特定场景， 可通过分类器得到最终结果。
2
相关在用自然语言交流时总是先想好说什么 类似， 内容选择在自然语言生成的系统中总是作为 相较于文 第一个模块出现。 Sripada 的工作指出， 字拼写等其他错误， 文本中信息的不恰当是用户更 不能接受的。 在早期经典的内容选择方法中， 内容选择的问 题通常被考虑成真正内容索要陈述的内容和描述内 ［3 ］ 容的结构两个方面。 Moore 的工作将内容选择的 算法和文档结构的算法集成在一起进行考虑 。文献 ［ 2， 4， 5］ 将内容选择和文档结构的工作看作一个流 水线工作的两个阶段。 近些年来， 出现了很多使用机器学习的方法 ， 直 的工作研究了一 个直接从语料库训练文本生成模型， 直接完成内容 选择和文本生成的工作。 Shang 研究定义了一个 深度学习网络， 通过语料训练了一个语义编码器， 自 动生成自然语言。
第 24 卷，第 4 期 2017 年 8 月
中国传媒大学学报自然科学版 SCIENCE AND TECHNOLOGY） JOURNAL OF COMMUNICATION UNIVERSITY OF CHINA（
Vol 24，No 4 Aug，2017
一种基于朴素贝叶斯的内容选择方法
1 2 曹娟 龚隽鹏 ， （ 1． 中国传媒大学理工学部 ， 北京 100024 ； 2． 中国传媒大学新媒体研究院， 北京 100024 ）
1
引言
内容选择是自然语言生成中的一个重要任务。 在自然语言生成系统中， 我们通常将特定某一次内 容生成的上下文称为场景 Scenarios 。不同的场景， 生成的文本也相应不同。 在某场景下， 提供的信息 通常和领域、 用户等不同的内容相关， 我们将选择恰 当的信息提供给用户的过程叫做内容选择 。 表 1 是一个内容选择的实例， 对于出现的概念 实体包括天空遮蔽情况、 降雨概率、 降雪概率和风 向， 每个概念对应了 1 到多个实例； 表格第一列标明 概念是否选中； 表格第二列标明所属概念； 表格第三
第4期
龚隽鹏等： 一种基于朴素贝叶斯的内容选择方法
15
｛ selected， unselected｝ 二 分 类 的 标 注。 内 容 选 择 的 问题也由此转换为分类问题， 对于每个概念实体实 例的二分类标注。 但事实上， 对于某些受限领域的 内容选择， 也可以考虑成对一般文档的多标签标 注
［1 ］
4
4． 1
试验及分析
实验数据 WeatherGov 数据集包含了地区天气预报的详细
在传统的内容选择的工作中， 内容选择的方法 是通过定义一个内容选择的规则集合 ＲuleSet。 如 果从监督学习系统的角度考虑， 系统通过语料库学 习到相应的内容选择规则 ＲuleSet， 特别的， 在监督 学习系统中， 我们可以将这些 ＲuleSet 看作样本的 某种特征。 对于所有的内容选择规则 Ｒule， 我们可以认为 是一个关于结构数据的函数 f， 函数 f 将话题映射到 False ｝ 的二值空间。 是否包含某一 至取值为｛ True， 知识节点 的 决 策 过 程， 不考虑外部的领域知识库 Domain Knowledge 和用户知识库 User knowledge ， 仅 由输入的语料数据决定。规则通常是对实例节点本 身的取值进行判定， 例如： 一个异常的温度通常是值 得报道的。但有的时候规则也受其相关的节点的内 容影响， 例如： 如果报道了降雨， 通常也会报道降雨 的数量。 通过对语料库进行分析和验证后， 使用如表 2 的限定规则。