【泰迪杯】通用论坛正文提取

所选题目： C

综合评定成绩：评委评语：

评委签名：

通用论坛正文提取

摘要：

在如今的大数据时代，伴随着互联网和移动互联网的高速发展，在线产生的数据总量不断攀升，其所蕴含的大量信息已成为各行各业的一个重要的数据分析来源。其中论坛类网页数量和涉及的信息越来越多，充分挖掘这类信息对社会舆论和情感分析、企业决策和政策制定等具有重要的现实意义。而各论坛网页风格不一，如何从海量的差异论坛网页中提取有价值的信息是目前互联网数据处理一个急需解决的问题。

本次数据挖掘目标旨在根据论坛网页的特性，提出一种全新的通用论坛正文提取方法。整个过程主要分为5个步骤：

第一步：数据的清洗。附件中有些url存在错误，体现为三类：网页找不到、本帖被删除了以及404的错误码，针对这些网页不做正文提取的处理。

第二步：无用标签的清洗。html网页存在部分非正文的区域，它们大多都是一些js脚本、css样式以及html注释信息，这些标签里面的内容没有价值，事先清除这些标签可以缩小正文区域的搜索范围。

第三步：关键词定位和噪声过滤。关键词指的是时间文本。首先利用BeautifulSoup工具查找出满足时间格式的文本，并将这些时间文本划分为目标时间和正文时间。正文时间出现在主题帖或回复帖的正文内容中，不能帮助定位目标区域，因此将其视为噪声，做相应的过滤处理。将过滤后的时间文本作为目标时间，生成关键词向量。

第四步：目标内容区域定位。首先，以DOM树解析各个论坛网页，分析DOM解析树中包含关键词的节点的路径特征，寻找各路径特征的最大公共子序列，定位所有关键词节点的最近公共父亲节点。其次，在下递归寻找目标区域，有且仅包含一个时间关键词的为目标区域，不包含时间关键词的为非目标区域。

第五步：目标内容提取。目标内容包括作者，主题、正文和发表时间。发表时间选取上述的关键词；主题信息通过定位