基于Web结构的网站新闻采集系统的设计与实现

Ｂｔ ｙｅ口Ｐ ｇ Ｄ ｔ ＝ＷＣＤｏ ｎｏｄ ｔ （ ｅ ｕ１ ａ ｅ ａａ ． ｗ ｌａ Ｄａａ ｗ ｂ ｒ ； ）
Ｈｔ Ｃｏ ｅ ｍｌ ｄ ＝ Ｅｎ ｏ ｉ ｇ Ｄｅ ａ ｌ Ｇｅ Ｓ ｉ ｇ ｃ ｄ ｎ ． ｆ ｕｔ ｔ ｔ ｎ ． ｒ
页 面结 构具 有一 些特 定规 则 ，如 页面 内容 往往 是 以
第３ ３卷第 ２期 ２１ ０２年 ３ 月
Ｖ １３ Ｎｏ ｏ． ． ３ ２ Ｍａ． ０２ ｒ２ １
井 冈山大学 学报（ 自然 科学版） Ｊ ｕ ａ ｏ ｉ ｇ ｎ ｓａ ｉｅｓ ｙ（ ｔ ａ Ｓ ｉ ｃ） ｏ ｒ ｌ ｆＪ ｇ ａｇｈ ｎ Ｕｎｖ ｒ ｔ Ｎａ ｒｌ ｃｅ ｅ ｎ ｎ ｉ ｕ ｎ ５ ４
Ｗ Ｃ． ｅ ｅ ｆ ｌ Ｃｒ ｄ ｎ ｉｌ ｃ ｅＤｅ ａ ｌ ｅ ｅ Ｃｒ ｄ ｎ ａｓ ｉ ＝ ｅ ｅ ｔ Ｃａ ｈ ． ｆ ｕ ｔ ｄ ｎ ａ Ｃｒ
ｔａｓ ｉｌ ；
信 息 ，因此 影 响抽取 效率 和准确 度 。 １ 本文 工作 内容 ． ４
虽 然 网页类 型和 结构 不 同 ，但一 个 网站 中 的各
文章编号 ：１７ ．０ ５２ １）２ ０ ５ －４ ６ ４８ ８（０ ２０ — ０ 采集系统 的设计 与实现
陈建 国
（． 南大 学软件 学院 ，湖南 ， 长沙 １湖 ４ ０ ８ ；２ 厦 门理工 学院 ，福 建 ，厦 门 １０２ ． ３ １２ ） ６０１
将 这些 Ｕ Ｌ放 入一 个采 集 队列 ，顺序 读取 Ｕ Ｌ以 Ｒ Ｒ
１ ＷＥ Ｂ信息采集和 新闻采集
１１ Ｗｅ ． ｂ信息 采集 Ｗｅ ｂ信 息采集 是指 通过 Ｗｅ 页面 之 间的链接 ｂ 关系 ，从 Ｗｅ ｂ上 自动地 获取 页面信 息 ，并且 随着链
获 取 目标 网页 ，调用采 集和 过滤 规则 在信 息页面 中 进 行信 息识 别和提 取 ，最后 将采 集得 到 的新 闻信 息 和 相 关数据 保存 到数据 库或 其他进 一 步加工 。
（ ）实现 基于 Ｗｅ ３ ｂ结构 的新 闻采 集 系统 。
块 。核 心算法 代 码如 下 （ Ｃ＃） ：
／ ＜ｓ ｍ ｍａ ｙ ／ ｕ ／ ｒ： ＞ ／ Ａｌ ｏ ｉ ｍ ｆ ｎ ｏ ｍａ ｉ ｎ Ｂｌ ｃ ｑ ｉｉ ｏ ／ ｇ ｒｔ ｏ ｆ ｒ ｔ ｏ ｋＡｃ ｕ ｓ ｎ ／ ｈ Ｉ ｏ ｉ ｔ ／ ＜ ｓ ｍ ｍａ ＞ ／ ／ｕ ／ ｙ ｒ
Ｋｅ ｒ ｓ ｉｆｒ ｔ ｎｇ ｔ ｅｉｇ Ｗｅ ｔｕ ｔｒ ；ｅ ｌｒ ｘ ｒｓｉｎ ； ａａｍｉ ｎ ； ｅ ａ ｅｉ ｇ ｙｗｏ ｄ ：ｎ ｏ ｍａｉ ａｈ ｒｎ ； ｂ ｓ ｃｕ ｅ ｒ ｇ ａ ｐｅ ｓｏ ｓ ｄ ｔ ｎ ｇ ｎ ｗｓｇ ｔ ｒ ｏ ｒ ｕ ｅ ｉ ｈ ｎ
（） １ 页面采 集算 法 ： 通过 Ｕ Ｌ加 载一 个页 面 ， Ｒ 然后 获得 页面 的源 代码 ［】 ｍ。该算 法将 用于 加载新 闻 列表 页和 新 闻 内容页 。核 心算法 代码 如下 （ Ｃ＃） ：
Ｉ ＜ｕ Ｉ ｓ ｍｍａ ｙ Ｉ ｒ＞ ／ Ａｌ ｏ ｉ ｍ ｆ ｅ ｆ ｒ ｔ ｎ Ｇａｈ ｒ ｇ ／ ｇ ｒｔ ｏ Ｗ ｂ ｉ ｏ ｍａ ｉ ｔ ｅ ｉ ／ ｈ ｎ ｏ ｎ ／ ＜ ｓ ｍｍａ ｙ ／ ／ｕ ／ ｒ＞
基于语义信息抽取技术［：由于 Ｈ ＭＬ标志缺 ９ １ Ｔ
乏对 数据 本 身 的描述 ，又 因为数 据 受描述 语法 ，文
化 区域和 应用 领 域等 方面 的 限制 ，缺 乏足 够 的语义
Ｗ＿ Ｃ ｉ ｔ ｅ ｌ ｎ ｂ ｅ ＷＣ＝ｎ ｗ Ｗｌ Ｃ ｉ ｔ） ｅ ｅ ｌ ｎ （ ｂ ｅ ；
井 冈山大学学报（ 自然科学版）
５ ５
习【ｏ ４ 】 基 于包 装器 归纳 方式 的信 息 抽取 【：该 系统语 ５ Ｊ 义和 模 式信 息是 用户 附加 的 ，通过 感 兴趣信 息 的左 右边 界 实现 信息 的定位 ，该方 法仅 仅使 用语 义 项 的 上下 文 来 定位信 息并没 有 使用语 言 的语法 约 束 【。 ｂ Ｊ
结果表 明，该模型工作 良好，可以 自动化 、高效率地采集新闻信息 。
关键词 ：信息采集 ；Ｗ ｂ结构；正则表达式 ；数据挖掘 ；新 闻采集 ｅ
中图分类号 ：Ｔ ２ 矿． Ｐ７ ２
文献标识码：Ａ
ＤＯ ： ．９ ９ ．ｓ． ７ — ０ ５ ０ ２０ ．１ Ｉ Ｏ３ ６￣ｉ ｎ１ ４ ８ ８ ． １ ． ０４ Ｉ ｓ ６ ２ ２
取得一定成果，总结如下： 基于 自然 语 言处 理 Ｌ： 要适 用于 含 有 大量 文 ３ 主 】 本的 Ｗｅ 页面 ， ｗ＿ 文档视为文本进行处理的， ｂ 将 ｅ ｂ 抽取 的实现没有利用 Ｗｅ ｂ文档独特于普通文本的 层次特性． 获得有效的抽取规则需要大量的样本学
收稿 日期 ：２ １－ １１ ；修改 日期 ：２ １—２ １ ０ ２０ —７ ０ ２ ０— ８ 作者 简介 ：陈建 １ １８ 一， 男， 建泉 州人， 师， ￣（９ ５） 福 讲 硕士 ， 要从 事软 件开 发及数 据挖 掘研 究（－ ｉ ｘｘ６２ ＠１３ｃｍ ． 主 Ｅｍａ ：ｕ ｌ１５ ６ ． ） ｌ ｏ
ＤＥＳ ＧＮ Ｉ ＡＮＤ Ｍ Ｐ Ｉ ＬＥＭ ＥＮ，． ｏＮ Ｉ ＴＩ ＇ Ａ ｏＦ ＮＥＷ Ｓ ＧＡＴＨＥＲＩ ＮＧ ＹＳ Ｓ ＴＥＭ ＢＡＳ ＥＤ ｏＮ ＥＢ Ｓ Ｗ ＴＲＵＣＴＵＲＥ
ＣＨＥＮ ｉ ｎ．ｕ Ｊａ － ｏ ， ｇ
（．ｏ ｗａｅ ｃｏ ｌｆ ｕａ ｉｅｓｙＣ ａｇｈ， ｕ ａ ４ ０ ８， ｈ ａ２ Ｘａ ｎＵ ｉｅｓｙ ｆ ｅｈｏｏｙＸｉ ｎ Ｆｊ ｎ ３ １２， ｈｎ） １ Ｒ ｒ ｈ ｏ ｏ Ｈ ｎｎ ｖｒｉ， ｈｎ ｓａＨ ｎｎ １０２ Ｃ ｉ ；． ｉ Ｓ Ｓ Ｕｎ ｔ ｎ ｍｅ ｎｖｒｔ Ｔ ｃｎ ｌｇ， ａ ， ｕｉ ６０ １Ｃ ｉ ｉ ｏ ｍｅ ａ ａ
１３ 研 究现 状 ．
目前 ， 内外关 于 Ｗｅ 息采集 技术 的研 究 已 国 ｂ信
接， 使用广度优先遍历算法不断地向所需要的 Ｗｅ ｂ
页 面查 找、扩 展 的过程 【。 】 Ｊ １ 新 闻采集 ． ２ 新 闻采 集是 Ｗｅ ｂ信息 采集在 网络新 闻领域 的应 用 ［。 ２ 其核 心实现 过 程如下 ： 】 由采 集入 口 ＵＲ Ｌ开始 ，
摘
要 ：在深入研 究网络信息采集技术 的基础上，提 出一个基于 Ｗｅ ｂ结构 的新闻采集模型。该模型加载 采集 入口
地址后 ，通过信 息采集和过滤算法确定新闻列表 页，结合正则表 达式技术 自动识别新闻 内容页的链接 地址 ，访 问
目标新 闻内容页 ， 用采集算法 自 使 动提取新 闻 息数据 。同时 ，它可 以过滤在此页面 中嵌入的广 告等信息 。 信 实践
）
模型；
（ ）页面 采 集算 法 ，信 息块 采集 算 法 和 信 息 ２
块过 滤 算法 研 究 ；
（ ）信息块采集算法：该算法接收三个参数 ： ２ 信 息块 代码 、 采集 开始 标志 和采集 结 束标志 ： 正 使用
则表 达 式技 术进 行信 息 匹配 ，以确 定要 采集 的信 息
一
（ａ ｅ ｔ） Ｐ ｇ Ｄａ ； ａ Ｗ ＣＤｉ ｏｅ ） ． ｓ ｓ （； ｐ Ｓ ｓｉｎＡ ａ ｄ ｎ（； ｅｓ ．ｂ ｎ ｏ ） ｏ
ｒ ｔ ｒ ｍｌ ｅｕ ｎＨｔ Ｃｏｄ ； ｅ
种 结 构化 的方 式 来组织 ，所 以我 们 可 以根 据 ｗｅ ｂ
结 构进 行 网络新 闻信 息 的提 取和采 集 ，研 究 ｗｅ ｂ结 构 ，结合 正 则表达 式 ，通过 页面 结构 的模 式 匹配 实 现数 据 提取 和 收集 。本文 的主要任 务 ： （ ）设计 一个 基于 Ｗｅ 构 的新 闻采集 系 统 １ ｂ结
基于本体的信息采集方法【：利用对数据本身 ７ 】 的描述信息实现抽取，较少依赖 网页结构。 基 于 查询 的 Ｗｅ 息提 取［： ｂ信 ８ 使用 Ｗｅ １ ｂ的相关
技术 解 决 Ｗｅ ｂ的 问题 ， 由于 Ｗｅ ｂ抽 取规 则 的形式
／ ／ ＜ ａ ａ ｎ ｍｅ ｗｅ ｕ ｌ＞ ａ ｅ ＵＲＬ ｆｒ ／ ｐ ｒｍ ａ ＝” ｂ ｒ” Ｐ ｇ ｏ
Ａｂ ｔａ ｔ ｓｒ ｃ ：Ｏｎ ｔ ｅｂ ｓｓｏ ｅ ｔ ｔｄ ｉ ｇ ｔｅｔｃ ｎ ｌ ｇ ｆｗｅ ｎ ｏｍａｉｎ ｇ ｔｅｉ ｇ ａ ｗｅ ｔｕ ｔｒ —ａ ｅ ａ ｉ ｆｄ ｐｈ ｓ ｙｎ ｅ ｈ ｏｏ ｙ ｏ ｂ ｉｆｒ ｔ ａ ｒｎ ， ｂ ｓ ｃｕ ｅｂ ｓｄ ｈ ｕ ｈ ｏ ｈ ｒ ｎ ｗｓｇ ｔｅｉ ｇｍｏ ｅ ｒ ｐ ｓ ｄ Ｉｌａ ｅｇ ｔｅ ｉｇｅ ｔｙａ ｄｅ ｓ ｆ ｄｔ ｅｎ ｗｓｌ ｔ ａ ｅｗｉ ｅｉ ｏ ｍａｉｎ ｅ ａｈ ｒ ｄ ｌｓｐ ｏ ｏ ｅ ．ｔｏ ｄｔ ａｈ ｒｎ ｎｒ ｄ ｒ ｓ， ｎ ｅ ｓ ｇ ｔ ｔ ｒ ｔ ｎ ｉ ｈ ｉ ｈ ｉ ｐ ｈｈ ｎ ｆ ｏ
ｇ ｔ ｅ ｉ ｇ ａ ｄ ｆ ｔ ｒａｇ ｒｔｍ ， ｄ ｎ ｉ ｎ ｒ ｖ ｅ ｎ ｗｓｃ ｎ ｅ ｔ ａ ｅ ｌ ｋ ａ ｄ ｅ ｓａ ｃ ｒ ｉ ｇ ｔ ｅｒ ｌｓｓ ｔ ａｈ ｒ ｎ ｌ ｌｏ ｉ ｎ ｉ ｅ ｈ ｉｅ ｔ ｙａ ｄｉ ｆ ｍｐ ｏ ｅ ｔ ｅ ｏ ｔ ｎ ｇ ｉ ｄ ｓ ｃ ｏ ｄ ｎ ｏｔ ｅ ｅ ｈ ｐ ｎ ｒ ｈ ｕ ｂ ｃ ｕ ｓｔ ｎ ａ ｄ ｔ ｅ ｒ ｇ ｌ ｒｅ ｐ ｅ ｓｏ ｃ ｎ ｌ ｇ ｕ ｏ ｔ ａ ｌ ． ｕ ｔ ｅ ｍｏ ｅ ｉ ｌ ａ ｅ ｔ ｒ ｅ ａ ｅ ｎ ｗｓ ｙ ａ ｑ ｉｉ ｏ ｎ ｈ ｅ ｕ ａ ｘ ｒ ｓ ｉ ｎ ｔ ｈ ｏ ｏ ａ ｔ ｍ ｉ ｌ Ｆ ｒ ｒ ｒ ， ｔ ｏ ｄ ｔ ａ ｇ ｔ ｇ － ｅ ｉ ｅ ｙ ａ ｃ ｙ ｈ ｈ ｐ ｃ ｎ ｅ ｔｐ ｇ ， ａ ｈ ｒｔ ｅ ｎ ｗｓ ｉ ｆ ｒ ｔ ｎ ｗｉ ｈ ｌ ｏ ｉ ｍ ｕ ｏ ｔ ａ ｌ． ｅ ｓ ｍｅ ｔ ，ｉ ｃ ｎ ｆｌ ｒａ ｙ ｏ ｔ ｎ ａ ｅ ｇ ｔ ｅ ｈ ｅ ｎ ｏ ｍａ ｉ ｔ ｔ ｅ ａｇ ｒ ｈ ａ ｔ ｍ ｉ ｌ Ａｔ ｈ ａ ｉ ｏ ｈ ｔ ａ ｃ ｙ ｔ ｍｅ ｔ ａ ｔ ｎ ｉ ｅ ｉ ｆ ｒ ｔｏ ｈ ｔ ｉ ｓ ｔ ｉ ｈ ｓ ｐ ｇ ｕ ｈ ａ ｍｂ ｄ ｅ ｄ ｅ ｔ ｉ ｇ ｍｅ ｓ ｇ ｓ ｒ ｃ ｉａ ｅ ｕ ｔ ｈ ｗ ｈ ｔ ｔ ｅ ｎ ｏ ｍ ｉ ｎ ｔ ａ ｓ ｅ ｎ ｔ ｉ ａ ｅ ｓ ｃ ｓ ｅ ｅ ｄ ｄ ａ ｖ ｒ ｓｎ ｓ ａ ｅ ．Ｐ ａ ｔ ｌ ｒ ｓ ｌ ｓ ｏ ｔ ａ ｈ ａ ｉ ｃ ｓ ｐｏ ｏ ｅ ｒ ｐ ｓ ｄｍｏ ｅ ｗｏ ｋ ｗｅ ｌ ｎ ａｈ ｒ ｎ ｗｓ ｎ ｏ ｍａ ｉ ｎ ｅ ｃ ｅ ｔ ｎ ｕ ｏ ｔ ａｌ ． ｄ ｌ ｒ ｓ ｌ ａ ｄｇ ｔ ｅ ｓ ｅ ｉ ｒ ｔ ｆ ｉｎ ｌ ａ ｄａ ｔ ｍａ ｉ ｌ ｆ ｏ ｉ ｙ ｃ ｙ
Ｇａ ｈ ｒ ／ ａ ａ ｔ ｅ ＜ ｐ ｒ ｍ＞ ｐ ｂ ｉ ｔ ｎ ｔ ＲＳ ｕ ｌ ｓ ｉ ｇ Ｇｅ ｃ ｒ Ｓ
—
—
Ｈｔ Ｃ ｄ ｓｉｇｗ ｕ１ ｍｌｏｅ（ ｎ ｅ ｒ ｒ ｔ ｂ ）
和感兴趣信息的定位方式各不相同，因此均不具有
通用性 。
｛
ｓ ｉ ｇＨｔ Ｃｏ ｅ ： ｔｎ ｒ ｍｌ ｄ ＝