基于Heritrix的网页内容过滤抓取
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
学 院Biblioteka Baidu网 站 （ ｔ ：ｗ ｗｚ ｕｅ ｕｃ ／ 作 为 内 容 定 向爬 取 的 ｈｔ ／ ｗ ． ． ．ｎ） ｐ／ ｑ ｄ
｝
ｒ ｔ ｎ ｔｕ ； ｅ ｕｒ ｒ ｅ
ｌ
ｒ ｔ ｍ ａｓ ； ｅ ｕ ｆ ｌｅ
信 息 源 。 肇 庆 学 院 网 站 的 网址 作 为种 子 ， 行 经 过 扩 把 运 展 的 Ｈ ｒｒ 。 察 Ｈ ｒｒ ｅｉｉ 观 ｔｘ ｅｉｉ 抓 取 结 果 。 过 程 中 。 定 ｔｘ的 指 搜 索 的 Ｕ Ｌ的范 围 条件 ： Ｒ Ｒ Ｕ Ｌ中 包 含 有 ｚｕ ，即 肇 庆 ｑ 学 院 的 相 关 网 页 ：网 页 文 件 格 式 约 定 必 须 包 含 “ ． Ｈ Ｍ ” “ Ｓ ” “ Ｈ ”“ Ｓ Ｘ 等 有 用 的 网页 信 息 文 Ｔ Ｌ 、． Ｐ 、． Ｐ 、． Ｐ ” Ａ Ｐ Ａ
搜 索 引 擎 中 核 心 部 件 之 一 是 网 页 收 集 ．它 又 称 网 页爬 虫 （ ｂＣａ ｌ ）它 实 际 上 是 一 程 序 能 自动地 浏 览 Ｗｅ ｒ ｅ ． ｗ ｒ 和 收 集 网页 爬 虫 的设 计 目标 是 尽 可 能 及 时地 ． 可能 更
多 地 抓 取 网 络 中 的 各 种 网 页数 据 。 般 还 具 通 用 性 。 一 各
关 的 内容 。Ｈｅｉ ｉ 用 的 是 模 块 化 的设 计 ． 由控 制 ｒｒ ｔ ｘ采 并 器 类 （ ｒｗｌｏ ｔ ｌ ｒ类 ） 协 调控 制 每 个 模 块 Ｈｅｉ ｉ Ｃ ａ Ｃ ｎｒ ｌ ｏｅ 来 ｒｒ ｔｘ 的组 织 结 构 如 图 １所 示 Ｃ ａ ｌ ｏ ｔ ｌ ｒ类 是 整 个 爬 虫 的 总控 制 者 ． 制 整 ｒｗ Ｃ ｎｒ ｌ ｏｅ 控
本 ：网页 内容 指 定 下 载 到 本 地 的 网 页 文本 须 含 有 一 个
｝ １ ）
由 于有 些 网页 链 接 ， 别 是 动 态链 接 ， 表 达 式 并 特 其 非 正 则 表 达 式 ， 于 此 类 连 接 ， 法 使 用 ｕｉ ｏｔ ｎ （． 对 无 ｒｃｎａ ｓ” ． ｉ
ａｐ ） 方 法 ， 得 我 们 所 需 的 所 有 文 本 ， 以 只 能 选 ｓ” 的 获 所
或 多个特定 的关键词 。 例如文本须含有“ 肇庆 ”“ 、化学 ”
两个 关 键 词
择 淘 汰法 ． 然 存 在 某 些 不 足 ， 至 少 还 是 利 大 于 弊 。 虽 但 而在 内容 过 滤 ，我 们 编 写 了一 个 Ｃ ｎ ｎ ｉｅ 类 ， ｏｔ ｔ ｈ ｒ ｅＦ 其 类 继 承 Ｆｌ ｒ ， 过 对 外 部 传 来 的 关 键 词 组 ， 网 ｉｅ 类 通 ｔ 对 页内容进行检查 ， 如果 包 含关 键 词 组 的 ， 网页 文 本 将 此
ｅ ｓ ｌｅ
｛
ｉ ！ｃｎ ｎ． ｎａ ｓｋｙ ］） ｆ ｏｔ ｔｏ ｔｎ （ｅ［） （ ｅ ｃ ｉ ｉ
ｒ ｕｍ ｅｔ ’ ： ”
ｒ ｔ ｒ ａｓ ； ｅｕ ｎ ｆｌｅ
ｌ
ｒｔ ｅ ｕｍ ｏ ｔ ｎ ； ｃ ｎｅ ｔ
ｌ
ｒ ｔ ｍ ｒ ｅ ｅｕ ｔｕ ；
／ 入 代 码 片 段 ／ 写
Ｆ ｌ ｉ ｔ ｅ ｆ＝ｎ ｗ ｉ （ ｅ ｔ ｅＰ ｔ （ ） ｅ Ｆｌ ｄ ｓ． ｔａｈ ） ； ｅ ｇ
ｌ
ｐ ｂｉ ｓ ｔ ｏｌａ ｒ ｉｅ（ｔｎ ｅＵ Ｌ Ｓｒ ｇ口 ｕ ｌ ｔｉ ｂｏｅｎｕｌ ｈ ｒＳｒ ｇｋｙ Ｒ ， ｔｎ ｃ ａｃ Ｆ ｉ ｉ
ｋ ｙ ｉ Ｓｒ ｇｕｉ ｅ Ｆｌ ｔ ｎ ｒ） ｅ， ｉ
增 加 过 滤 处 理 功 能 。 这 些 功 能 扩 展 的 实现 是 通 过 面 向 对 象分 析 与 设 计 技 术 ． 定 义 类 对
Ｈｅｉ ｉ ｒｒ ｔ ｘ中相 关的 类 进 行 继 承 。在 校 园 网范 围 内运 行 Ｈｅｉ ｉ 行 网 页收 集 实验 。实验 结 果 ｒｒ ｔｘ进
ｆｓｃｏｅ ） ｏ ．ｌｓ （ ；
ｒｐａ ｉ．ｌｓ （ ； ｅ ｌｙｓ ｏｅ ） ｃ
｛ ｉ ！ ｒｃｎａ ｓｋｙ ｉ ［）； ｆ ｕｉ ｏ ｔｎ （ｅＦｌ ｉ ） （ ． ｉ ｅ】
ｅｓ ｌｅ
）
ｒ ｔ ｒ ｆｌｅ ｅｕ ｎ ａ ｓ ；
３ 实 验
为 了检验我们扩展类 的有效性 ．本文选取 了肇 庆
的部 分 截 图 ， 照 之 前 设 置 ， 含 “ 庆 ” “ 学 ” 个 按 包 肇 、化 两
包 含有 “ｑ ” ｚｕ ：
实现的代码片段 ：
／ ／ 传参 代码 片段
Ｒ ｐａ Ｉ ｐ ｔｔ ａ ｅ ｌｙ ｎ ｕ Ｓ ｒ ｍ ｒ ｐ ａ ｉ ｅ ｅ ｌ ｙｓ ＝ ｒ ｃｓｇ ｔ ｏ ｔ ｎ Ｒ ｐ ａ Ｉ ｐ ｔ ｅ ｉ．ｅ Ｃ ｎ ｅ ｔ ｅ ｌｙ ｎ ｕ —
图 ６ Ｈ ｒｒ 是 ｅ ｔｘ在 抓取 特 定 文 本 格 式 的部 分 截 图 ． ｉｉ 其 中包 括 ：． ｍ ”“ ｈ ” “ ｓ ”“ ｈ ” “ ｓｘ ； “ ｔ ｌ 、． ｔ 、． ｐ 、． ｐ 、． ｐ ” ｈ ｓ ｍｌ ａ ｐ ａ
在 文 献 中 ． 于 垂 直 搜 索 引 擎 的研 究 和设 计 方 面 ． 大 关 有 量 的工 作 ［１ 在 商 业 领 域 ． ５ 而 － ９ 有像 句 酷 网这 样 的主 题 搜 索 引 擎 ， 搜 索 引 擎 专 注 于 中英 、 日 、 １ 双 语 例 该 中 英 ３的
句 搜 索 网 站
被 写入 本 地 硬 盘 。
图 ４是 Ｈ ｒｒ ｅ ｔｘ在 Ｍ Ｅ ｌ ｓ ｉｉ ｙ ｃ ｐｅ中启 动 ． 组 件 初 设 ｉ 各 化 的部 分 截 图， 各 组 件 启 动 顺 序 ： 印证 图 ５是 Ｈ ｒｒ ｅ ｔｘ在 按 域 名 抓 取 的 过 滤 ．创 建 的 类 ｉｉ 域 名 文 件 夹 的 部 分 截 图 ． 照 实 验 配 置 ， 个 文 件 夹 都 按 每
现代计算机
２ １ ．７下 ０ ２０
｛
ｆｒ ｉｔｉ ｏ （ｎ ＝０； ｉ＜ｋ ｙ ｉ ． ｎ ｔ ｉ ＋ ｅ Ｆｌ １ ｇｈ； ＋ ） ｅｅ
ｆｒｉｔｉ ｏ （ｎ ＝０；＜ｋ ｙ１ｎ ｈ；＋ ｉ ｅ． ｇ ｅｔ ｉ＋）
｛ ｉ ！ ｒｃｎａ ｓｋ ｙ ｉ ［）； ｆ ｕｉｏｔｉ （ｅＦｌ ｉ ） （ ． ｎ ｅ】
ＦｌＯｕｐ ｔｔｅ ｍ ｓ＝ｎ ｗ ＦｌＯ ｔｕＳｒａ ｉ） ｉ ｅ ｔｕＳｒａ ｆ ｏ ｅ ｉ ｕｐ ｔｔ ｍ（ｆ； ｅ ｅ
ｔ ｒ ｙ｛
ｒｐａ ｉ．ｒａｅ ｉ （ｏ ， ｏ ｔｎ ） ｅ ｌｙｓ ｅ ｔＦｌ ｆｓ ｃ ｎｅ ｔ ； ｅ ｅ Ｓ ｓｅ ｏ ｔ ｒ ｔ （ Ｆｌ ａ ｒａｅ： ｆ ： ｙ ｔｍ．ｕ． ｉ ｌ ” ｉ ｈ ｓｃｅ ｔ ”＋ｔ） ｐｎ ｎ ｅ
一
些 开 源 的 网 页爬 虫 比较 有影 响 的 开 源 网 页 爬 虫 例 如 Ｈｅｉ ｉ Ｎ ｔｈ， ｒｒ ｔｘ、 ｕｃ 都是 通 用 的 网页 爬 虫 。网 页爬 虫 当然 也
是 垂 直搜 索 引 擎 的 核 心 部 件 之 一 为 了 实 现 垂 直 搜 索 引 擎 所设 定 的 主 题 内容 搜 索 ．因 此需 要 对 网 页 爬 虫 所 收 集 的 网页 范 围进 行 定 制 主 题 内容 的搜 索 这 样 做 不 仅 可 以节 省 网络 带 宽 ．而 且 还 可 以剔 除 不 符 合 内 容 要 求 的 网页 ， 快 处 理 效 率 。对 于 通 用 的 网页 爬 虫 ， 这 加 在
表 明 ， 增 的过 滤 功 能 运 行 有 效 。 新 关键 词 ：垂 直 搜 索 引 擎 ；网络 爬 虫 ； ｒｒ ；内容过 滤 Ｈｅｉｉ ｔｘ
０ 引 言
伴 随 互 联 网 技 术 的快 速 发 展 ．搜 索 引擎 应 运 而 生 了 。 索 引擎 就是 一 个 对 Ｉｔｍｅ 上 的 各 种 信息 资 源进 搜 ｎ ｅ ｔ 行 搜 集 整 理 ． 后 根 据 用 户 的查 询 请 求 把 搜 索 的 结 果 以 然 网页 的方 式 反 馈 给 用 户 的 系 统 ．该 系 统 可 以搜 索 和 处 理 的 信 息 包 括 网页 、 图片 、 他 格 式 的 文件 ｌ 搜 索 引 擎 其 ｌ Ｊ 。
１ Ｈｅ ｉｉ 介 ｒｒ ｔｘ简
Ｈｅｉ ｉ 一 款 基 于 Ｊｖ ｒｔｘ是 ｒ ａ ａ语 言 开 发 的 开 源 的 爬 虫
框 架 。被 用 来 获 取 完 整 的 、 确 的 、 点 内 容 的 深 度 复 精 站 制 ． 括 获 取 图像 以及 其 他非 文 本 内 容 ． 取 并 存 储 相 包 抓
可 以满 足 用 户 的 需 求 但 是 面 对 互 联 网信 息量 的 日益 增 多 ． 询 返 回结 果 变 得 越 来 越 不 够 准 确 ． 够 精 准 。 查 不 为 了 应 对 这 方 面 的挑 战 ．垂 直 搜 索 引擎 作 为 一 种 解 决
方 案 被 提 出 了【 。和 通 用 的 搜 索 引 擎例 如 百 度 、 歌 相 谷 比 ， 直 搜 索 引 擎 专 注 于特 定 的搜 索 领域 和 搜 索 需 求 。 垂
｛
ｉ ｕｉ ｏ ｔ ｎ （ ｅ Ｕ Ｌ Ｉｒ ｃ ｎａ ｓ ” ｏ ａ ” ） ｆ ｒｃ ｎａ ｓ ｋ ｙ Ｒ ）ｕ ． ｔｉ （ｔ ｂ ｏ ） （ ． ｉ ｌ ｏ ｎ ａ ｉ
｛
ｆｒ ｉｔｉ ｏ （ｎ ＝０； ＜ｋ ｙ ｉ ． ｎ ｈ；＋ ｉ ｅ Ｆｌ １ ｇ ｅｅ ｔ ｉ＋）
｝ ｎｌ ｉ ｙ｛ ｆ ａｌ
Ｕ Ｌ 均 衡 处 理 各 个 Ｗｅ访 问 ． 存 着爬 虫 的状 态 。 Ｒ ． ｂ 保
种 商 业 搜 索 引擎 都 开 发 了 自 己的 网 页 爬 虫 ．但 也 有 一
收 稿 日期 ：０ ２ ０ —１ ２１— ６ ５ 修 稿 日 期 ：０ ２ ７ ５ ２ １ —０ —１
作 者 简介 ： 陈锦 伟 （９ ８ ， ， 东潮 安 人 ， 科 ， 究方 向 为 搜 索 引 擎 、 算 机 网络 １８ 一） 男 广 本 研 计
个 抓 取 工 作 的 起 点 ． 定 整 个 抓 取 任 务 的开 始 和结 束 。 决 Ｃ ａ ｌｏｔ ｌ ｒ Ｆｏｔ ｒ获 取 Ｕ Ｌ ｒｗＣ ｎｒ ｌ 从 ｒｎｉ ｏｅ ｅ Ｒ ．传 递 给 线 程 池
（ ｏＰ ｏ ） 的 Ｔ ｅ ｈｅ ｄ处 理 。 Ｔ ｅ ｏ １中 ｏ Ｔ ｒａ Ｆ ｏ ｔ ｒ边 界 控 制 器 ） 要 确 定 下一 个 将 被 处 理 的 ｒｎｉ （ ｅ 主
基 于 Ｈ ｒｒ ｅｉｉ ｔｘ的网页 内容 过滤抓取
陈锦伟 ． 徐 勇
（ 庆 学 院数 学 与信 息 计 算 科 学 学 院 ， 庆 ５ ６ ６ ） 肇 肇 ２ ０ １
摘 要 ：在 深 入 研 究 开 源 网 页爬 虫— — Ｈｅｉ ｉ ｒｒ ｔｘ系 统框 架和 源代 码 的基 础 上 ． 对其 搜 索 内容 和 范 围
图 ７是 Ｈｅｉ ｉ ｒｒ ｔｘ内容 过 滤 后 写 到本 地 的文 本 内 容
Ｓｒａ ） ｔ ｍ（ ； ｅ Ｃ ｎｅ ｔ ｉｅ ｆ ｎ ｗ Ｃ ｎｅ ｔ ｉｅ （ ｅｔ＋” ｌ ｒ ） ｏ ｔｎＦｈ ｒｃ ＝ ｅ ｏ ｔｎＦｌ ｒｄ ｓ ｔ ｉｅ ｆｔ ” ； Ｓｒ ｇｃ ｎｅ ｔ ｅ ｌｙｓｃ ｉｖ Ｃｏ ｔｎ （ ； ｔ ｎ ｏ ｔｎ ＝ｒｐａ ｉ． ｅ ｅ ｎｅ ｔ ） ｉ ｈ
方 面 的 功 能 扩展 是 开 发 垂 直 搜 索 引 擎 的关 键 步骤
般 有 三个 主要 部件 ， ： 网页 收集（ ｂＣａ ｌ ｇ 即 ① Ｗｅ ｒｗｉ ） ｎ；
②索 引创 建（ ｄｘ ｇ； Ｉ ｅｉ ）③搜 索［像 百度 和谷歌 等都 是 ｎ ｎ ２ １ ，
搜索 引擎 的代表 对 于一般 的信息搜索 ． 百度和谷歌都
｝
ｒ ｔ ｎ ｔｕ ； ｅ ｕｒ ｒ ｅ
ｌ
ｒ ｔ ｍ ａｓ ； ｅ ｕ ｆ ｌｅ
信 息 源 。 肇 庆 学 院 网 站 的 网址 作 为种 子 ， 行 经 过 扩 把 运 展 的 Ｈ ｒｒ 。 察 Ｈ ｒｒ ｅｉｉ 观 ｔｘ ｅｉｉ 抓 取 结 果 。 过 程 中 。 定 ｔｘ的 指 搜 索 的 Ｕ Ｌ的范 围 条件 ： Ｒ Ｒ Ｕ Ｌ中 包 含 有 ｚｕ ，即 肇 庆 ｑ 学 院 的 相 关 网 页 ：网 页 文 件 格 式 约 定 必 须 包 含 “ ． Ｈ Ｍ ” “ Ｓ ” “ Ｈ ”“ Ｓ Ｘ 等 有 用 的 网页 信 息 文 Ｔ Ｌ 、． Ｐ 、． Ｐ 、． Ｐ ” Ａ Ｐ Ａ
搜 索 引 擎 中 核 心 部 件 之 一 是 网 页 收 集 ．它 又 称 网 页爬 虫 （ ｂＣａ ｌ ）它 实 际 上 是 一 程 序 能 自动地 浏 览 Ｗｅ ｒ ｅ ． ｗ ｒ 和 收 集 网页 爬 虫 的设 计 目标 是 尽 可 能 及 时地 ． 可能 更
多 地 抓 取 网 络 中 的 各 种 网 页数 据 。 般 还 具 通 用 性 。 一 各
关 的 内容 。Ｈｅｉ ｉ 用 的 是 模 块 化 的设 计 ． 由控 制 ｒｒ ｔ ｘ采 并 器 类 （ ｒｗｌｏ ｔ ｌ ｒ类 ） 协 调控 制 每 个 模 块 Ｈｅｉ ｉ Ｃ ａ Ｃ ｎｒ ｌ ｏｅ 来 ｒｒ ｔｘ 的组 织 结 构 如 图 １所 示 Ｃ ａ ｌ ｏ ｔ ｌ ｒ类 是 整 个 爬 虫 的 总控 制 者 ． 制 整 ｒｗ Ｃ ｎｒ ｌ ｏｅ 控
本 ：网页 内容 指 定 下 载 到 本 地 的 网 页 文本 须 含 有 一 个
｝ １ ）
由 于有 些 网页 链 接 ， 别 是 动 态链 接 ， 表 达 式 并 特 其 非 正 则 表 达 式 ， 于 此 类 连 接 ， 法 使 用 ｕｉ ｏｔ ｎ （． 对 无 ｒｃｎａ ｓ” ． ｉ
ａｐ ） 方 法 ， 得 我 们 所 需 的 所 有 文 本 ， 以 只 能 选 ｓ” 的 获 所
或 多个特定 的关键词 。 例如文本须含有“ 肇庆 ”“ 、化学 ”
两个 关 键 词
择 淘 汰法 ． 然 存 在 某 些 不 足 ， 至 少 还 是 利 大 于 弊 。 虽 但 而在 内容 过 滤 ，我 们 编 写 了一 个 Ｃ ｎ ｎ ｉｅ 类 ， ｏｔ ｔ ｈ ｒ ｅＦ 其 类 继 承 Ｆｌ ｒ ， 过 对 外 部 传 来 的 关 键 词 组 ， 网 ｉｅ 类 通 ｔ 对 页内容进行检查 ， 如果 包 含关 键 词 组 的 ， 网页 文 本 将 此
ｅ ｓ ｌｅ
｛
ｉ ！ｃｎ ｎ． ｎａ ｓｋｙ ］） ｆ ｏｔ ｔｏ ｔｎ （ｅ［） （ ｅ ｃ ｉ ｉ
ｒ ｕｍ ｅｔ ’ ： ”
ｒ ｔ ｒ ａｓ ； ｅｕ ｎ ｆｌｅ
ｌ
ｒｔ ｅ ｕｍ ｏ ｔ ｎ ； ｃ ｎｅ ｔ
ｌ
ｒ ｔ ｍ ｒ ｅ ｅｕ ｔｕ ；
／ 入 代 码 片 段 ／ 写
Ｆ ｌ ｉ ｔ ｅ ｆ＝ｎ ｗ ｉ （ ｅ ｔ ｅＰ ｔ （ ） ｅ Ｆｌ ｄ ｓ． ｔａｈ ） ； ｅ ｇ
ｌ
ｐ ｂｉ ｓ ｔ ｏｌａ ｒ ｉｅ（ｔｎ ｅＵ Ｌ Ｓｒ ｇ口 ｕ ｌ ｔｉ ｂｏｅｎｕｌ ｈ ｒＳｒ ｇｋｙ Ｒ ， ｔｎ ｃ ａｃ Ｆ ｉ ｉ
ｋ ｙ ｉ Ｓｒ ｇｕｉ ｅ Ｆｌ ｔ ｎ ｒ） ｅ， ｉ
增 加 过 滤 处 理 功 能 。 这 些 功 能 扩 展 的 实现 是 通 过 面 向 对 象分 析 与 设 计 技 术 ． 定 义 类 对
Ｈｅｉ ｉ ｒｒ ｔ ｘ中相 关的 类 进 行 继 承 。在 校 园 网范 围 内运 行 Ｈｅｉ ｉ 行 网 页收 集 实验 。实验 结 果 ｒｒ ｔｘ进
ｆｓｃｏｅ ） ｏ ．ｌｓ （ ；
ｒｐａ ｉ．ｌｓ （ ； ｅ ｌｙｓ ｏｅ ） ｃ
｛ ｉ ！ ｒｃｎａ ｓｋｙ ｉ ［）； ｆ ｕｉ ｏ ｔｎ （ｅＦｌ ｉ ） （ ． ｉ ｅ】
ｅｓ ｌｅ
）
ｒ ｔ ｒ ｆｌｅ ｅｕ ｎ ａ ｓ ；
３ 实 验
为 了检验我们扩展类 的有效性 ．本文选取 了肇 庆
的部 分 截 图 ， 照 之 前 设 置 ， 含 “ 庆 ” “ 学 ” 个 按 包 肇 、化 两
包 含有 “ｑ ” ｚｕ ：
实现的代码片段 ：
／ ／ 传参 代码 片段
Ｒ ｐａ Ｉ ｐ ｔｔ ａ ｅ ｌｙ ｎ ｕ Ｓ ｒ ｍ ｒ ｐ ａ ｉ ｅ ｅ ｌ ｙｓ ＝ ｒ ｃｓｇ ｔ ｏ ｔ ｎ Ｒ ｐ ａ Ｉ ｐ ｔ ｅ ｉ．ｅ Ｃ ｎ ｅ ｔ ｅ ｌｙ ｎ ｕ —
图 ６ Ｈ ｒｒ 是 ｅ ｔｘ在 抓取 特 定 文 本 格 式 的部 分 截 图 ． ｉｉ 其 中包 括 ：． ｍ ”“ ｈ ” “ ｓ ”“ ｈ ” “ ｓｘ ； “ ｔ ｌ 、． ｔ 、． ｐ 、． ｐ 、． ｐ ” ｈ ｓ ｍｌ ａ ｐ ａ
在 文 献 中 ． 于 垂 直 搜 索 引 擎 的研 究 和设 计 方 面 ． 大 关 有 量 的工 作 ［１ 在 商 业 领 域 ． ５ 而 － ９ 有像 句 酷 网这 样 的主 题 搜 索 引 擎 ， 搜 索 引 擎 专 注 于 中英 、 日 、 １ 双 语 例 该 中 英 ３的
句 搜 索 网 站
被 写入 本 地 硬 盘 。
图 ４是 Ｈ ｒｒ ｅ ｔｘ在 Ｍ Ｅ ｌ ｓ ｉｉ ｙ ｃ ｐｅ中启 动 ． 组 件 初 设 ｉ 各 化 的部 分 截 图， 各 组 件 启 动 顺 序 ： 印证 图 ５是 Ｈ ｒｒ ｅ ｔｘ在 按 域 名 抓 取 的 过 滤 ．创 建 的 类 ｉｉ 域 名 文 件 夹 的 部 分 截 图 ． 照 实 验 配 置 ， 个 文 件 夹 都 按 每
现代计算机
２ １ ．７下 ０ ２０
｛
ｆｒ ｉｔｉ ｏ （ｎ ＝０； ｉ＜ｋ ｙ ｉ ． ｎ ｔ ｉ ＋ ｅ Ｆｌ １ ｇｈ； ＋ ） ｅｅ
ｆｒｉｔｉ ｏ （ｎ ＝０；＜ｋ ｙ１ｎ ｈ；＋ ｉ ｅ． ｇ ｅｔ ｉ＋）
｛ ｉ ！ ｒｃｎａ ｓｋ ｙ ｉ ［）； ｆ ｕｉｏｔｉ （ｅＦｌ ｉ ） （ ． ｎ ｅ】
ＦｌＯｕｐ ｔｔｅ ｍ ｓ＝ｎ ｗ ＦｌＯ ｔｕＳｒａ ｉ） ｉ ｅ ｔｕＳｒａ ｆ ｏ ｅ ｉ ｕｐ ｔｔ ｍ（ｆ； ｅ ｅ
ｔ ｒ ｙ｛
ｒｐａ ｉ．ｒａｅ ｉ （ｏ ， ｏ ｔｎ ） ｅ ｌｙｓ ｅ ｔＦｌ ｆｓ ｃ ｎｅ ｔ ； ｅ ｅ Ｓ ｓｅ ｏ ｔ ｒ ｔ （ Ｆｌ ａ ｒａｅ： ｆ ： ｙ ｔｍ．ｕ． ｉ ｌ ” ｉ ｈ ｓｃｅ ｔ ”＋ｔ） ｐｎ ｎ ｅ
一
些 开 源 的 网 页爬 虫 比较 有影 响 的 开 源 网 页 爬 虫 例 如 Ｈｅｉ ｉ Ｎ ｔｈ， ｒｒ ｔｘ、 ｕｃ 都是 通 用 的 网页 爬 虫 。网 页爬 虫 当然 也
是 垂 直搜 索 引 擎 的 核 心 部 件 之 一 为 了 实 现 垂 直 搜 索 引 擎 所设 定 的 主 题 内容 搜 索 ．因 此需 要 对 网 页 爬 虫 所 收 集 的 网页 范 围进 行 定 制 主 题 内容 的搜 索 这 样 做 不 仅 可 以节 省 网络 带 宽 ．而 且 还 可 以剔 除 不 符 合 内 容 要 求 的 网页 ， 快 处 理 效 率 。对 于 通 用 的 网页 爬 虫 ， 这 加 在
表 明 ， 增 的过 滤 功 能 运 行 有 效 。 新 关键 词 ：垂 直 搜 索 引 擎 ；网络 爬 虫 ； ｒｒ ；内容过 滤 Ｈｅｉｉ ｔｘ
０ 引 言
伴 随 互 联 网 技 术 的快 速 发 展 ．搜 索 引擎 应 运 而 生 了 。 索 引擎 就是 一 个 对 Ｉｔｍｅ 上 的 各 种 信息 资 源进 搜 ｎ ｅ ｔ 行 搜 集 整 理 ． 后 根 据 用 户 的查 询 请 求 把 搜 索 的 结 果 以 然 网页 的方 式 反 馈 给 用 户 的 系 统 ．该 系 统 可 以搜 索 和 处 理 的 信 息 包 括 网页 、 图片 、 他 格 式 的 文件 ｌ 搜 索 引 擎 其 ｌ Ｊ 。
１ Ｈｅ ｉｉ 介 ｒｒ ｔｘ简
Ｈｅｉ ｉ 一 款 基 于 Ｊｖ ｒｔｘ是 ｒ ａ ａ语 言 开 发 的 开 源 的 爬 虫
框 架 。被 用 来 获 取 完 整 的 、 确 的 、 点 内 容 的 深 度 复 精 站 制 ． 括 获 取 图像 以及 其 他非 文 本 内 容 ． 取 并 存 储 相 包 抓
可 以满 足 用 户 的 需 求 但 是 面 对 互 联 网信 息量 的 日益 增 多 ． 询 返 回结 果 变 得 越 来 越 不 够 准 确 ． 够 精 准 。 查 不 为 了 应 对 这 方 面 的挑 战 ．垂 直 搜 索 引擎 作 为 一 种 解 决
方 案 被 提 出 了【 。和 通 用 的 搜 索 引 擎例 如 百 度 、 歌 相 谷 比 ， 直 搜 索 引 擎 专 注 于特 定 的搜 索 领域 和 搜 索 需 求 。 垂
｛
ｉ ｕｉ ｏ ｔ ｎ （ ｅ Ｕ Ｌ Ｉｒ ｃ ｎａ ｓ ” ｏ ａ ” ） ｆ ｒｃ ｎａ ｓ ｋ ｙ Ｒ ）ｕ ． ｔｉ （ｔ ｂ ｏ ） （ ． ｉ ｌ ｏ ｎ ａ ｉ
｛
ｆｒ ｉｔｉ ｏ （ｎ ＝０； ＜ｋ ｙ ｉ ． ｎ ｈ；＋ ｉ ｅ Ｆｌ １ ｇ ｅｅ ｔ ｉ＋）
｝ ｎｌ ｉ ｙ｛ ｆ ａｌ
Ｕ Ｌ 均 衡 处 理 各 个 Ｗｅ访 问 ． 存 着爬 虫 的状 态 。 Ｒ ． ｂ 保
种 商 业 搜 索 引擎 都 开 发 了 自 己的 网 页 爬 虫 ．但 也 有 一
收 稿 日期 ：０ ２ ０ —１ ２１— ６ ５ 修 稿 日 期 ：０ ２ ７ ５ ２ １ —０ —１
作 者 简介 ： 陈锦 伟 （９ ８ ， ， 东潮 安 人 ， 科 ， 究方 向 为 搜 索 引 擎 、 算 机 网络 １８ 一） 男 广 本 研 计
个 抓 取 工 作 的 起 点 ． 定 整 个 抓 取 任 务 的开 始 和结 束 。 决 Ｃ ａ ｌｏｔ ｌ ｒ Ｆｏｔ ｒ获 取 Ｕ Ｌ ｒｗＣ ｎｒ ｌ 从 ｒｎｉ ｏｅ ｅ Ｒ ．传 递 给 线 程 池
（ ｏＰ ｏ ） 的 Ｔ ｅ ｈｅ ｄ处 理 。 Ｔ ｅ ｏ １中 ｏ Ｔ ｒａ Ｆ ｏ ｔ ｒ边 界 控 制 器 ） 要 确 定 下一 个 将 被 处 理 的 ｒｎｉ （ ｅ 主
基 于 Ｈ ｒｒ ｅｉｉ ｔｘ的网页 内容 过滤抓取
陈锦伟 ． 徐 勇
（ 庆 学 院数 学 与信 息 计 算 科 学 学 院 ， 庆 ５ ６ ６ ） 肇 肇 ２ ０ １
摘 要 ：在 深 入 研 究 开 源 网 页爬 虫— — Ｈｅｉ ｉ ｒｒ ｔｘ系 统框 架和 源代 码 的基 础 上 ． 对其 搜 索 内容 和 范 围
图 ７是 Ｈｅｉ ｉ ｒｒ ｔｘ内容 过 滤 后 写 到本 地 的文 本 内 容
Ｓｒａ ） ｔ ｍ（ ； ｅ Ｃ ｎｅ ｔ ｉｅ ｆ ｎ ｗ Ｃ ｎｅ ｔ ｉｅ （ ｅｔ＋” ｌ ｒ ） ｏ ｔｎＦｈ ｒｃ ＝ ｅ ｏ ｔｎＦｌ ｒｄ ｓ ｔ ｉｅ ｆｔ ” ； Ｓｒ ｇｃ ｎｅ ｔ ｅ ｌｙｓｃ ｉｖ Ｃｏ ｔｎ （ ； ｔ ｎ ｏ ｔｎ ＝ｒｐａ ｉ． ｅ ｅ ｎｅ ｔ ） ｉ ｈ
方 面 的 功 能 扩展 是 开 发 垂 直 搜 索 引 擎 的关 键 步骤
般 有 三个 主要 部件 ， ： 网页 收集（ ｂＣａ ｌ ｇ 即 ① Ｗｅ ｒｗｉ ） ｎ；
②索 引创 建（ ｄｘ ｇ； Ｉ ｅｉ ）③搜 索［像 百度 和谷歌 等都 是 ｎ ｎ ２ １ ，
搜索 引擎 的代表 对 于一般 的信息搜索 ． 百度和谷歌都