基于主题型页面的正文信息抽取技术研究

基于主题型页面的正文信息抽取技术研究

摘要：Web页面信息通常包含大量无关结构和HTML标记，而页面主题信息通常淹没其中，如何快速获取Web页面主题信息。本文提出了一种抽取策略，首先判定是否为主题型页面，然后提取网页正文信息，最后利用正则表达式滤除内容块中HTML标记和无关文字。实验结果表明：该方法能准确地完成主题型网页的正文抽取任务。

关键词：主题型页面；网页标题；正文抽取

在电子商务和电子政务迅猛发展的今天，Web已经成为当今最大的信息资源库，如何从这一资源库的海量数据中筛选出用户关心的信息就成为一个富有挑战性的课题。我们在浏览网页时，通常会发现两类内容：一类内容表达的是页面的主要内容，比如一张博客页面中的博文部分，这类内容属于“主题”内容；另一类则是与主题无关的内容，比如广告、产品推介以及导航链接等，这一类我们则称之这“噪音”内容。尽管这些噪音内容对浏览互联网的用户起到某些功能性作用，它却严重妨碍了用户对网页主题信息的提取。如何才能提高Web 数据的可用性，快速抽取页面文本信息是解决这一问题的可选方案。

目前，网页信息抽取有多种方式，信息抽取的核心就是从Web页面所包含的无结构或半结构信息中提取用户感兴趣的数据，并将其转化为更为结构化、语义更为清晰的格式。FU YAN[1]以内容块中链接文本的特征和多少来判断网页正方，这一算法对于非链接效果不好。语义文本单元STU[2](Semantic Textual Unit）模型采用分块思想，缩短定位时间，却没有抽出主题信息且改变了源网页的结构和内容。RIPB（recognizing Informative Page Blocks）算法[3]最后通过内容块图片和文字所占的比重来确定网页正文，在冗余信息中包含较多文字时效果不好。KIMY[4]通过HTM（HTML Tree Matching Algorithm）算法来计算文档树的相似度并删除噪声结点，该算法对于采用同一模板产生的页面效果不够理想。

为此，本文提出了一种实现简单、通用性较强的基于主题型网页的正文信息抽取算法。该算法首先判定是否为主题型页面，然后提取网页正文信息，最后通过正则表达式和简单算法删除并滤除HTML标记。

1、主题型页面判定

主题型网页就是指内容能充分表达主旨的页面，即：网页通过文字描述一件或多件事物，有一明确主题，比如新闻网页就是典型的主题页面，和非主题型页面相比，它一般具有三个特征：文字（非锚记文本）较多、统一资源定位符URL较长和链接较少。

鉴别一个网页是否为主题型页面，可以通过对网页进行二元分类来实现。二元分类包含

三个阶段：第一阶段，根据主题型网页的重要特征进行分类，这一阶段不需要复杂算法，只需设置好特征阈值；第二阶段，对在第一阶段中无法确定分类的网页，提取更多的特征，利用分类器（如支持向量机）进行进一步的分类。第三阶段：经过上面两个阶段的分类之后，对主题型网页进行信息块抽取，根据抽取结果的反馈，进一步筛选网页，去掉非主题型网页。具体流程参见图1：

图1 二元分类三个阶段

在第一阶段之前，可以利用HTML分析工具（HtmlParser）去除页面脚本代码、锚记文本和噪音文本。在具体判定时，要依据页面的中文句号和逗号的数目、URL层数、URL目录型以及是否包含某些特殊关键字来设定具体阈值。抽样测试表明，在主题型页面中，句号和逗号数目绝大多数超过20个，且URL层数为多于两个。

2、主题页面正文信息抽取

众所周知，HTML页面的编写具有很强的灵活性与随意性，每个设计者均可按自己的思路设计，这就导致页面呈现出异构性，给信息的抽取带来了困难，但就主题型网页而言，网页正文标题和网页正文的布局无外乎两种情况：在同一域块和不在同一域块。主题型网页通

常利用大量的文本来介绍，而且这部分文本中绝大部分都是PlainText，即：最终在浏览器中所表现出来的文本，并且这些文本不是跳往其他页面的链接。

2.1提取页面正文标题

通过对新华网、腾讯、凤凰等大型门户网站的分析，可以看出多数网页均包含标题、文摘、超链接等可供用户检索的信息，并且这类网站结构稳定，结构相似，页面标题基本上集中出现在两个位置，一处是页面标题域块，另一处则是正文区域。

对于主题型页面，若要提取页面标题，则可通过删除head区域无关内容来实现。Head 区域主要用于存放三种内容：网页标题、能被浏览器识别但不显示的文本属性、搜索引擎关键词，因此，在这一域块中，如果在