利用正则表达式解析新闻网页的算法研究

２ 新闻网页的特征以及结构分析 新闻网页是具有很强开发价值的一类网页，它具 页新闻。 由于这些网页在各大网站所起的作用相似，而且 有时效性强、信息量大、结构稳定、更新快、需求广 所以这类网页的结构相当稳定，而且不会 泛、实用价值高等特点。考虑到这些特点，对新闻网 功能相近，
们是各大门户网站或新闻网站用来提供用户检索新闻 之用的新闻页面，这类新闻页面包含符合检索条件的 若干条新闻记录，这些条新闻记录有标题、文摘、出 处以及超链 ，可以用来指引用户查阅新闻全文。这类 新闻网页其实就是各大网站给自己站内的所有新闻网 页编的 “ 索引” ，能起到很好的说明和指示的作用。 因此，只要能处理好这类有关某一主题的新闻网页， 实际上就等于处理了绝大部分的与这一主题相关的网
适用于大批量地统一处 页的处理如果按照传统的网页解析方法 ，不仅效率 受到某一个具体网站的约束， 理。比如新浪网和搜狐网，百度网等新闻网页就基本 低 ，效果也不会理想。 而有一类新闻网页更为特殊也更具有代表性 ，它 一样。下面是新浪网站一个新闻网页的实际例子 ：
＜ ｔ ｌ． ． ｈａ＞．． ／ ａ＞ ｂｄ＞ ．＜ ｅｄ ．．＜ ｅｄ ＜ ｏｙ ｈｍ＞． ． ． ．． ｈ
一天坑科考活动始末 ＜ｆ ｔ＜ ＞ ｆ ｔ ｒ ＃ ３３＞ ｉ ０ １ ５１ １： ＜ｉ ／ ｎ ＜ｒ．，我们架一些绳梯 ，然后 ／ ｎ ／ ＜ｏ ｃｌ ＝ ３ ３３＜ ２０／ ／ ９ ２／ ＜ｆ ｔ ｂ ． ｏ＞ ａ ｎ ｏ ｏ ３ ＞ ０ ７ ２ ＞ ｏ＞ ＞ ．
再利用绳索，用垂直降落技术 ，这种技术叫 Ｓ Ｔ Ｒ ，单绳垂直降落技术。… 然后再结合我们现在比较先进的 Ｓ Ｔ技术， Ｒ
工具 Ｓ Ｔ ／ｎ ＜ ＞ ｆ ｔ ｒ＃ ３３＞ ｉ ０１ ４１ １： ＜＞／ｎ ＜ｒ． Ｒ ＜ ｏｔ ａ ＜ｏ ｃｌ＝３ ３３＜ ２０／ ／ ５ ６／ ＜ｏｔ ｂ 二 ｆ＞ ｎｏ ｏ ３ ＞ ０ ３ ５ ｉ ｆ ＞ ＞ 最大问题，这次中外联合科考队将使
用目 前世界上最先进的攀岩工具 Ｓ Ｔ ＜＞ ＞ Ｒ Ｒ ． ＜ｂ Ｓ Ｔ包括上升 ＜ ＞ ＞下降手柄等一系列工具组成 ，攀岩者通过它借 ｂ ／ ｂ ＜ｂ ／
两个＜－ｑｂ ｄｂｇ ！－ ｏ ｕ 分类＝ －ｕ ｅ 科技二 大众科技一＞ ／＞．．／ ｄ＞二 ／ｍ＞ ＜ １．．＜ ｏｙ． ＜ ｔｌ ｕ ．． ｂ ｈ
可以看出，这类网页的结构很清晰，而我们所需 可见 ，这类网页具有非常明显的结构特征 ，对此 要的也就是那些一个个新闻信息单元里面的内容。为 结构展开如下： 此，我们完全不需要按照传统的解析网页的方法来一
－ 款超级跑车对比测试 ＜ｆ ｔ ／ ＜ｏｔｏ ｒ ＃ ３３＞ ｉ２０／ ／１ ０ ２／ ＜ｆ ｔ＜ｒ… － ２ ／ ｎ ＜ａ ｆ ｃｌ ＝ ３ ３３ ＞ ０２１ １ １： ＜ ＞ ／ｎ ｂ 大堆 “ ｏ ＞ ＞ ｎ ｏ ３ ＜ ２ ２ ｉ ｏ＞ ＞ 肌肉”发达的美
国两座超级跑车中， 道奇蛙蛇＜＞ ＞ ｏｇ＜＞ ＞ ｉ ｒｂ ＜ ＞Ｒ ＜＞ ＞０ ＜ ＜ Ｄ ｄｅｂ ＜ Ｖｐ ＜＞ Ｓ Ｔ ｂ ＜ｂ１ 和雪佛兰克尔维特＜＞ ＞ ｈｖ － ｂ ／ ｂ ／ ｂ ｅ ／ ｂ ／ ＜ ＜ Ｃ ｅｒ ｂ ／ ｂ ｏ
助 自身的．
＜－ｑｂ ｅｕ 分类 ＝科技： ｄｂｇ ！－ ｏ －ｕ 大众科技 一＞
＜ ＞ 厄１
＜ｌ ａ １ ＞ａ ｒ＝ ｔ：ｕ ． ．ｍｃｎ ｓ０２１ １３ ９．ｔ ＂ ｅ ＿ｌ ｋ ｏ ｃｓ ｆ ＞ － ５＜ ｈ ｆ ｈｐ／ ｔｓａｏ ．／ ｗ／ ０－ － ／ ５０ｈ ｌｔｇ＝ｂ ｎ＞ｆ ｔ ｓ ｌ 峰会 ｕ ｌｓ １ ｃｓ ｅ ＂ｔ／ ｏｉ ｃ ｎ ｅ ２ ２ １ １ ｓｍ ａ ｔ ａ ＜ ｎ ｌ ＝ ５ ａ ｎ ｒ ａ
０ ５０ －７ 收稿 日期 ：２ ０ － １１
程冲（ ８－ １ １ ，南京农业大学信息学院情报学专业硕士研究生；黄水清 （ ６－， ９ ） １ ４） 北京大学图书馆学情报学系硕士研究生毕业， ９ 南京 作者简介 ：
农业来自百度文库学信息学院副院长 、教授。
农业图书情报学刊 ： 网络与信息资源建设
第１ ７卷
果，得分为 “ 、 “ 好” 一般” “ 、 差”的文本块网页分 别为 ３％， ％， ％。也就是说 ，高达 １％的清洗 １ ５ ０ １ ９ ９ 结果是完全不能接受的［ ［ ２ ｌ ０ 本文将提出一种专用于新闻网页的正则表达式解 析网页的算法。这种算法避开了网页清洗技术的缺 陷，简便易行，效率很高，准确性也很高。
Ａ ｒ ２０ ｐ． ５ ０
利用正则表达式解析新闻网页的算法研究
程 冲，黄水清
（ 南京农业大学 信息科技学院，南京 ２０９ ） １０５ 摘 要：分析 了新闻网页的结构特征 ，提 出了一种利用正则表达式来解析新闻网页的算法，避开了网页清洗算法不 易实现的缺点，并对该算法的速度和准确性进行 了测评 ，给出了测评结果。 关键词：新闻网页；正则表达式
＜ｌ ＝ ５ ａ ＝ ｔ：ｅ ｓ ．ｍｃｏ ２７．ｔ ＂ ｅ ｂ ｋ＜ ｎｃｓ ｆ ＞ １ ＜ ｈ ｆ ｈｐ／ｃ． ａｏ ．／６８４ｈ ｌｔｇ＝ ｎ＞ｆ ｔ ＝ｌ 背景资料： ｕｃｓ １ ＞ ｒ ＂ｔ／ ｈｉ ｃ ｎ ／ ｌｓ ａ ｅ ｔ ｎ ｓｍ ａ ｔ ｌ ｒ ａ ｏ ｌｓ ５ ａ 先进的攀岩
中图分类号 ：Ｇ ５ ２０ 文献标识码 ：Ａ 文章编号 ：１０ － ２８ ０５ ０－ ０５ ０ ０２ １４ （ ０ ） ００－ ４ ２ ３
Ｓ ｄ ｏ Ａｇｒｈ ｏＡ ａ ｚＮ ｗ Ｗｅ ａｅｂ Ｅｐ ｉ ｔ ｅｕｒ ｒ ｓｎ ｆ ｌ ｅ ｓ Ｐｇｓ ｘｌｔｇ Ｒｇｌ Ｅｐ ｓｏ ｔ ｙ ｌ ｉｍ ｎ ｙ ｅ ｕ ｎ ｏｔ ｂ ｙ ｏｉ ｈ ｎ ｅ ａ ｘ ｅ ｉ Ｃ Ｅ Ｇ ｏｇＨ Ａ Ｇ ｉｉ Ｈ Ｎ Ｃ ｎ， Ｎ Ｓｕｇ ｇ ｈ Ｕ ｈ －ｎ
Ａ ｓａｔＴｉｐｐｒ ｕｓ ｔ ｃａ ｃｒｔｓ ｈ ｎｗ ｗ ｂ ｅ， ｐ ｐｕｄ ａ ｒｈ ｏ ｅｐ ｉ ｇ ｕ ｒ ｂ ｒ ： ａｅｄ ｃｓ ｓ ｈｒ ｔｉｉ ｏｔ ｅ ｓ ｐｇｓａｄ ｏｎｓ ｇ ｉｍ ｘｌｔ ｒ ｌ ｅ－ ｔｃ ｈ ｓ ｉ ｅ ｈ ｓ ｅ ａ ｅｓｃ ｆ ｅ ｅ ａ ｎ ｒ ｏ ａ ｏｔ ｆ ｏｉ ｅ ａ ｘ ｌ ｎ ｇ
第 １卷 第 ４ ７ 期 ２０ 年 ４ ０５ 月
农业图书情报学刊
Ｖｏ．７ Ｎｏ４ ｌ ， ． １
Ｊｕ ａ ｏ Ｌ ｒ ｄ ｏ ａｏ Ｓｉ ｃ ｉ Ａ ｉ ｌｒ ｏｒ ｌ ｉａ ａ Ｉ ｒ ｔｎ ｅ ｅ ｎ ｃ ｔ ｅ ｎ ｆ ｒ ｎ ｎ ｍ ｉ ｃ ｎ ｓ ｇ ｕｕ ｂｙ ｆ ｒ
（ｏｅｅ ｎ ｒ ａｏ Ｔｃｎｌ ｙ ａ ｉ ｇｃｌｒ Ｕ ｉ ｓ ， ｊ ｇ ０５Ｃ ｉ ） Ｎ ｎｎ Ａ ｒｕｕ ｌ ｖｒｔ Ｎ ｎｎ ２０９， ａ Ｃ ｌｇ ｏＩ ｏ ｔｎ ｈｏ ｇ， ｊ ｇ ｉ ｔ ａ ｎ ｅ ｉ ａ ｉ １ ｌ ｆ ｍ ｉ ｅ ｏ ｆ ｙ ｈ ｎ
Ｋ ｙ ｒｓｎｗ ｗ ｂ ｅｒ ｕ ｒ ｒ ｓ ｎ ｅ ｗ ｄ： ｓ ｐｇ； ｌ ｅｐｅ ｉ ｏ ｅ ｅ ａ ｅ ａ ｘ ｓｏ ｇ
等非关键信息块； 从链接块中区分相关链接块、导航 １ 问题的提出 ２０ ０２年 ，中国大约有 ５ ００万 网页和 ５万个 链接块、广告链接块等不同内容。经过上述处理后 ， ０ ｂ页面在结构和语义上都被划分为细粒度的信息 Ｗｅ 站点【 ， ｂ １ 而且网页数量还在以惊人的速度递增。 Ｗｅ ］ 这些海量网页中蕴含着巨大的信息资源，如果能及时 块 ，从而使后续的信息加工处理工作得以顺利进行 而又准确地处理这些网页就相当于拥有了开启 Ｉ ｅ ［１ ｎｒ ３ ｔ－ ｎｔ ｅ资源库的钥匙。网页处理已经成为网络信息资源 国内学者周源远等人开发了一个实验系统 Ｐｇ－ ａｅ 处理过程中一个极为重要的部分。 Ｅｔｃ来完成Ｗｅ 页面的相关清洗工作［ 。但是由 ｘａ ｒｔ ｂ ［ ２ ］ 网页处理首先需要分解出网页中的有用信息单元 于网页中包含的信息的形式多样化，有文本、图片、 和无效 （ 或作用不大）单元 ，往往采用网页清洗技 动画、音频、视频等多种信息形式，以及网页中存在 严重的冗余与无序的现象，并且信息内容本身也是不 术。 使得网页清洗算法繁杂、不易实现，其清 所谓网页清洗 ，就是从 Ｗｅ ｂ页面中划分出精确 断更新的， 的信息单位，并根据 Ｗｅ ｂ页面信息加工的后续应用 洗结果也不能完全使人满意。 周源远等人对随机选取的 ７４ Ｗｅ ４ 个 ｂ页面 （ 页 的需求 ， 将页面中不需要的部分去除，将需要的部分 面大小总和为 ７ Ｋ ）进行 了网页清洗测试 。随 ９４ Ｂ ７ 提取出来［ ２ １ ０ ０ 个页面进行人 网页清洗主要分三步 ：首先是去除页面中的注 后 ，又从清洗的结果中随机选取了 １０ 指页面提取正确 ） 、一 释、脚本 、样式表等无关信息。然后再将页面划分为 工评分 ，分为三个等级 ：好 （ 指有少量一般性错误，但从整体上来看，可以接 若干块，包括文本块、链接块、图像块等。最后按照 般 （ 、差 （ 指有严重错误或误差较多， 难以接受） 。结 语义对各块作进一步区分，如从文本块中区分出广告 受）
ｌ＜＞ ＞ ｏｖｔ＜ ＞ ＞ ０ 无疑是最具代表二 ｂ ＜ｂ ｅ ｂ ＜ｂＣ ｒ ｅｂ ＜ｂＺ ６ ｔ ／ ｅ ／ ＜ ＞ ＞实际上 ／
＜－ｑｂ ｅｕ 分类 ＝ ｄｂｇ ！－ ｏ －ｕ 汽车 一＞
＜ ｕ＞ ／ｌ
＜ｌ ａ １ ＞ａ ｒ＝ ｔ：ｅ ｓ ．ｍｃ ｏ ７５．ｔ ＂ ｅ ＿ｌｋ ｏ ｃ ＝ ５ ＝１ ＜ ｈ ｆ ｈｐ／ｃ． ａｏ ．／６３６ｈ ｌｔｇ＝ｂ ｎ＞ｆ ｔ ｓ ｌ 探险神秘地下世界 ｕ ｃｓ ５ ｌｓ ｅ ＂ ｔ／ ｈｉ ｃ ｎ ／ ｔ ｎ ｓｍ ａ ｔ ａ ＜ ｎ ｌ ｆ ＞ ｒ ｓ ａ
ｐ ｓｏ ｔａａ ｚ ｎｗ ｗ ｂ ｅ ｗ ｉ ａｏ ｓ ｄ ａｖｎ ｇ ｔ ｔ ｈｒ ｔｒ ｌｅ ａ ｏｉｍ ａａ ｚ ｇ ｓ ｒ ｓ ｎ ｎｌ ｅ ｓ ｐｇｓ ｈ ｈ ｉ ｔ ｉｄａｔ ｅ ｉ ｓ ｏ ｉ ｔ ｌ ｒｈ ｏ ｎｌ ｉ ｎｗ ｅ ｉ ｏ ｙ ｅ ｅ ａ ， ｃ ｖ ｄ ｈ ｓ ｅ ａ ｈ ｔ ａ ａ ｉ ｄ ｅ ｚ ｈ ｇ ｔ ｆ ｙ ｎ ｅ ａ ｅ ｗ ｂ ｅ． ｈ ｓ ｅ ｅｉ ａ ｔ ｔ ｓｅｄ ｔ ａｃｒ ｙ ｈ ａ ｏｔ ， ｔ ｎ ｅｔ ｏｔ ｍ ． ｅ ｐｇｓ ｔ ａ ｔ ， ｔ ｅ ｈ ｐｅ ａｄ ｃｕ ｃ ｏｔ ｓ ｒ ｍ ａｄ ｇ ｓ ｕ ｏ ｅ ａ Ａ ｔ ｍ ｉ ｔ ｅ ｄ ｅ ｍ ｈ ｓ ｅ ｎ ｈ ｓ ｅ ａ ｆ ｌ ｉ ｉ ｇ ｈ ｎ ｈ ｉ ｈ ｃ ｅ ｖ ｅ
步步地细化网页， 要把＜ｌ ＝１ ． ／＞ 而只 ＜ ｃｓ １ ＞． ｕ 这 ｕ ｌｓ ５ ． ａ ＜１
些信息单元直接匹配出来即可，而且这些信息单元里 面 同样 也 是 结 构 化 的 ，下 面 就 是 某 一 个 ＜１ ｕ
ｃ ｓ １５ －＜ｕ ｌ ｓ １＞二 ／ ＞片断： ａ＝ １
＜１ ｃ ｓ １ ＜ ｒ－ｈｐ／ ｈ ｉ ． ｍ ｓ １ ＞ａ ｈ ｆ＂ ｔ／ ｃ． ａ ｏ ． ｕ ｌ － ５ ａ ｅ－ ｔ ：ｅ ｓ ｃ ｔ ｎ ｃ／６８４ｈ ｌａ ｅ ＿ｌ ｋ ＜ ｎｃ ｓ ｆ ＞背景 ｎ ／ ７．ｔ ＂ｒ ｔ ｂ ｎ＞ ｔ ｓ ｌ ｏ ２ ｓｍ ｔｇ ＝ ａ ｆ ｌ＝５ ｏ ａ 资料 ：先进 的攀岩工具 Ｓ Ｔ／ｎ ＜ ＞ｆ ｔ Ｒ ＜ ｏｔ ／ ＜ｏ ｃｌ ｆ＞ａ ｎ ｏ －