搜索引擎中网络蜘蛛的研究与实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｌａ ｅ ｏ ｃ ｓｔ ｒ ｕｇ ｎｔｙ ｗｅ ｄ ｒ ｓ ｈｅ ｎ ｌ ｚ ｈ ｂ ｐ ｇ ｎｄ ｇ ｔｔ ｅ ｌｎｋ ，ｔ ｎ ｔ ｂ ｓ ｉ ｅ ｘ ｎ ｔ ｏ ｄｓｒ ｓ ｕｒ ｅ ｈ ｏ ｈ ａ ｅ ｒ ｂ ａ ｄ ｅｓ，ｔ ｎ ａ ａ ｙ ｅ ｔ ｅ ｗｅ ａ ｅ ａ ｅ ｈ ｉ ｓ ｈｅ ｈｅｗｅ ｐ ｄ ｒｅ ｐａ ｄｓｉ－
Ａｂ ｔ ａ ｔ ｈ ｂ Ｓ ｉ ｅ ｈ ａ ｅａ ｄ ｋ ｙ ｔ ｎ ｅ ｎ ｔｓ ａ ｃ ｎ ｉ ｅ Ｔ ｉ ｐ ｐ ｒｉ ｌ ｍｅ ｔ ｔ ｅ ｗｅ ｐ ｄ ｒ ａ ｄ ｄ ｗ — ｓｒ ｃ ：Ｔ ｅ Ｗｅ ｐ ｄ ｒｉ ｔ ｅ ｂ ｓ ｎ ｅ ｏ Ｉ ｔｒ ｅ ｅ ｒｈ ｅ ｇｎ ． ｈ ｓ ａ ｅ ｓ ｍｐ ｅ ｎ ｓ ｈ ｂ ｓ ｉ ｅ 。 ｎ ｏ ｎ
ｓ ｌ ｗ ｔ ｈ Ｉ ｎ ｔ ｅ ｗａｔ ｇ ｑ ｅ ｅ Ｔ ｓ ｔｅ ａ ｉ ｔ ｆｔ ｅＳ ｉ ｅ ｏ ｇ ｔｗ ｂ ｒ ｓ ｕ ｃ ｓ ａ ｄ ｄ ｓ ｕ ｓ ａ ｏ ｔｔ ｅ ｐ ｕ ｅ ｎ ｅｆ ｉ ｔ ｅ ＵＲ ｉ ｈ ｉ ｎ ｕ ｕ ． ｅ ｔ ｈ ｂ ｌ ｙ ｏ ｐ ｄ ｒｔ ｅ ｅ ｅ ｏ ｒ ｅ ， ｎ ｉ ｓ ｂ ｕ ｌ ｓ ｓａ ｄ ｈ Ｓ ｉ ｉ ｈ ｃ ｈ
络 资 源 ，并 对 其 分 析 ，获 得 包含 的 其他 链 接 ，利 用这 些链 接 向 整 个 网络 扩散 ，下 载 其 他 资 源。 测 试 了蜘 蛛 程 序 抓 取
网页的能力，并对 多线程 实现的利弊进行讨论 ，总结 了常 用的算法搜 索策略 ，提 出了后 续的研究方向。 关键词 ： 搜 索引擎 ；网络蜘蛛 ；多线程 ； 索策略 搜
电脑 编 程 技 巧 与 维 护
搜 索引擎 中 网络蜘 蛛 的研 究与实现
毛晓 蛟
（ 南京师范大学强化培养学院 ，南京 ２ ０４ ） １０ ６
摘 要 ： 网络 蜘蛛 程序 是 搜 索 引 擎 工作 的 基 础 和 关键 ， 实现 了抓 取 网络 资 源 的 网络 蜘 蛛 程 序 ，通过 入 口 网址 下 栽 网
３ 网页抓取 的 多线 程实现
在 ｃ ＃中 ，网 页下 载可 以用 Ｈ ｔＷｅＲ ｑ ｅｔ 来 实 现 ，该 ｔ ｐ ｂ ｅｕ ｓ类
２ 工 作 原 理
网 络 蜘 蛛 的基 本 思 想 是 利 用 一 个 或 多 个 网 址 来 获 得 更 多 的Ｕ Ｌ Ｒ ，通 过 这 些 Ｕ Ｉ下 载 网络 资 源 ，然 后 进 行 分 析 ，找 到 Ｒ
ｍｉ ｕｓ ｓｏ ｎ ｅ ｆｍｕｈｉｈ ｅ ｄｉ ．Ａｌｏ ｄｉｃ ｓ ａ ｏ ｏ ｓ ａ ｃ ｔａｅ ｙ ｉ ｅ ｄ ｒ ａ ｄ ｐ ｓ ｆｒ ｒ ｒ ｃｉ ｎ ｆｆｒｈ ｒｒ － ｔ ｒ ａ ｎｇ ｓ ｓ ｕｓ ｂ ｕｔｓ ｍｅ ｅ ｒ ｈ ｓｒ ｔｇ ｎ Ｗ ｂ Ｓｐｉｅ ， ｎ ｕｔ ｏ ｗａ ｄ ｄｉｅ ｔｏ ｓ ｏ ｕ ｔ ｅ ｅ ｓａｃ ｅ ． ｅ ｒ ｈ ｓ Ｋｅ ｙ ｗｏｒ ｓ：Ｓｅ ｒ ｈｅ ｉ ｄ ａ ｃ ｎｇｎｅ；Ｗ ｅ ｐｄｅ ｂ ｓ ｉ ｒ；ｍｕ ｔ ｅ ｄｎｇ；ｓ ａ ｃ ｔａ ｅ ｙ ｈｉｈｒ ａ ｉ ｅ ｒ ｈｓｒ ｔ ｇ
１ 引言
随着互联 网的高速发 展 ，网络信 息越来 越多 。 目前列 大
其 作 流 程 如 图 １ Ｊ ： 。
多数互联 网用户来说 ，搜索 引擎是其 获得各种 数据 的重要 途
径 。搜索 引擎 以一定 的策略在 互联 网中搜集 、发现 信息 ，对 信息进行理解 、提取 、组织 和处 理 ，并为用户提供检 索服务 ， 从 而起到信息 导航 的 目的 ，著 名的搜索 引擎有 Ｇ ｏｌ、Ｂ ｉｕ ｏｇｅ ａｄ
等 。 Ｇ ｏｌ 过 程 序 不 断 地 从 网 络 下 载 网 页 ，然 后 利 用 一 些 ｏｇ ｅ通
智能算法分 析这些 网页 ，最后 对这些 数据进行 索引 ，形成 了
一
套 完整 的 、基 本 无 需 人 Ｔ ＿ 的 搜 索 引 擎 。 Ｔ预
网络蜘蛛程序 是搜索 引擎 的核心 部分之 一 ，它 主要用 于 采集 网页信息 ，是实现搜索引擎 的第 一步 ，也是重要 的一步 。
类 使 用 户 能够 直 接与 使 用 Ｈｔ ｔ ｐ的服 务 器 进 行信 息 的交 互 。
Ｗｅ Ｒ ｓｏｓ 象 是 来 自 Ｉｔ ｎｔ 源 的 响 应 ，ቤተ መጻሕፍቲ ባይዱ 通 过 Ｇ ｔ ｅ ｂ ｅｐ ｎｅ对 ｎｅ ｅ 资 ｒ ｅＲ —
其 中包含 的其 他 ＵＲ Ｌ，依此 类 推 ，直纠 没有 可 下 的 Ｕ Ｌ为 Ｒ
止 ，具体 流程如下 。 首先 网络 蜘蛛获得一 个 Ｕ Ｌ Ｒ ，根据数据 库 的记 录判 断该 Ｕ Ｌ是否处 理过 ，如 果没有 ，则下载对 应 网页 ，并 进行 网页 Ｒ
Ｒｅ ｅ ｒ ｈ ａ ｄ Ｉ ｌｍｅ ｔ ｆＳ ａｃ ｇｎ ｅ ｐｄ ｒ ｓ ａｃ ｎ ｍｐ ｅ ｎ ｅ ｒｈ Ｅｎ ｉｅＷ ｂ Ｓ ｉｅ ｏ
Ｍ ｉｏ ａ ＡＯ Ｘ ａｊ ｏ ｉ
（ ｎｉｇＮ ｒ ｌ ｎｖｒｔ ｔ ｓ ｃｔ ｎＣ ｌ ｒ ｏｌ ｅ， ａｊ ｇ １０ ６ Ｎａｊ ｏｍａ Ｕ ｉｅｓｙＩ ｅ ｉ ａ ｏ ｕｔ ｅＣ ｌ ｇ Ｎ ｎｉ ２０ ４ ） ｎ ｉ ｎｎｆ ｉ ｉ ｕ ｅ ｎ
正如 它的名 字那样 ，网络蜘 蛛在 互联 网 内，通过 网页链 接 ， 从 一 个 网 页爬 到 另 外 一 个 网 页 ，并 收 集 网 页 内 容 ， 再 分 析 其 中的 链 接 ，进 入 另 一 个 页 面 。 理 论 上 ， 网络 蜘 蛛 可 以 收 集 全
图 １
球所有服务器上的 网页信息 。
Ａｂ ｔ ａ ｔ ｈ ｂ Ｓ ｉ ｅ ｈ ａ ｅａ ｄ ｋ ｙ ｔ ｎ ｅ ｎ ｔｓ ａ ｃ ｎ ｉ ｅ Ｔ ｉ ｐ ｐ ｒｉ ｌ ｍｅ ｔ ｔ ｅ ｗｅ ｐ ｄ ｒ ａ ｄ ｄ ｗ — ｓｒ ｃ ：Ｔ ｅ Ｗｅ ｐ ｄ ｒｉ ｔ ｅ ｂ ｓ ｎ ｅ ｏ Ｉ ｔｒ ｅ ｅ ｒｈ ｅ ｇｎ ． ｈ ｓ ａ ｅ ｓ ｍｐ ｅ ｎ ｓ ｈ ｂ ｓ ｉ ｅ 。 ｎ ｏ ｎ
ｓ ｌ ｗ ｔ ｈ Ｉ ｎ ｔ ｅ ｗａｔ ｇ ｑ ｅ ｅ Ｔ ｓ ｔｅ ａ ｉ ｔ ｆｔ ｅＳ ｉ ｅ ｏ ｇ ｔｗ ｂ ｒ ｓ ｕ ｃ ｓ ａ ｄ ｄ ｓ ｕ ｓ ａ ｏ ｔｔ ｅ ｐ ｕ ｅ ｎ ｅｆ ｉ ｔ ｅ ＵＲ ｉ ｈ ｉ ｎ ｕ ｕ ． ｅ ｔ ｈ ｂ ｌ ｙ ｏ ｐ ｄ ｒｔ ｅ ｅ ｅ ｏ ｒ ｅ ， ｎ ｉ ｓ ｂ ｕ ｌ ｓ ｓａ ｄ ｈ Ｓ ｉ ｉ ｈ ｃ ｈ
络 资 源 ，并 对 其 分 析 ，获 得 包含 的 其他 链 接 ，利 用这 些链 接 向 整 个 网络 扩散 ，下 载 其 他 资 源。 测 试 了蜘 蛛 程 序 抓 取
网页的能力，并对 多线程 实现的利弊进行讨论 ，总结 了常 用的算法搜 索策略 ，提 出了后 续的研究方向。 关键词 ： 搜 索引擎 ；网络蜘蛛 ；多线程 ； 索策略 搜
电脑 编 程 技 巧 与 维 护
搜 索引擎 中 网络蜘 蛛 的研 究与实现
毛晓 蛟
（ 南京师范大学强化培养学院 ，南京 ２ ０４ ） １０ ６
摘 要 ： 网络 蜘蛛 程序 是 搜 索 引 擎 工作 的 基 础 和 关键 ， 实现 了抓 取 网络 资 源 的 网络 蜘 蛛 程 序 ，通过 入 口 网址 下 栽 网
３ 网页抓取 的 多线 程实现
在 ｃ ＃中 ，网 页下 载可 以用 Ｈ ｔＷｅＲ ｑ ｅｔ 来 实 现 ，该 ｔ ｐ ｂ ｅｕ ｓ类
２ 工 作 原 理
网 络 蜘 蛛 的基 本 思 想 是 利 用 一 个 或 多 个 网 址 来 获 得 更 多 的Ｕ Ｌ Ｒ ，通 过 这 些 Ｕ Ｉ下 载 网络 资 源 ，然 后 进 行 分 析 ，找 到 Ｒ
ｍｉ ｕｓ ｓｏ ｎ ｅ ｆｍｕｈｉｈ ｅ ｄｉ ．Ａｌｏ ｄｉｃ ｓ ａ ｏ ｏ ｓ ａ ｃ ｔａｅ ｙ ｉ ｅ ｄ ｒ ａ ｄ ｐ ｓ ｆｒ ｒ ｒ ｃｉ ｎ ｆｆｒｈ ｒｒ － ｔ ｒ ａ ｎｇ ｓ ｓ ｕｓ ｂ ｕｔｓ ｍｅ ｅ ｒ ｈ ｓｒ ｔｇ ｎ Ｗ ｂ Ｓｐｉｅ ， ｎ ｕｔ ｏ ｗａ ｄ ｄｉｅ ｔｏ ｓ ｏ ｕ ｔ ｅ ｅ ｓａｃ ｅ ． ｅ ｒ ｈ ｓ Ｋｅ ｙ ｗｏｒ ｓ：Ｓｅ ｒ ｈｅ ｉ ｄ ａ ｃ ｎｇｎｅ；Ｗ ｅ ｐｄｅ ｂ ｓ ｉ ｒ；ｍｕ ｔ ｅ ｄｎｇ；ｓ ａ ｃ ｔａ ｅ ｙ ｈｉｈｒ ａ ｉ ｅ ｒ ｈｓｒ ｔ ｇ
１ 引言
随着互联 网的高速发 展 ，网络信 息越来 越多 。 目前列 大
其 作 流 程 如 图 １ Ｊ ： 。
多数互联 网用户来说 ，搜索 引擎是其 获得各种 数据 的重要 途
径 。搜索 引擎 以一定 的策略在 互联 网中搜集 、发现 信息 ，对 信息进行理解 、提取 、组织 和处 理 ，并为用户提供检 索服务 ， 从 而起到信息 导航 的 目的 ，著 名的搜索 引擎有 Ｇ ｏｌ、Ｂ ｉｕ ｏｇｅ ａｄ
等 。 Ｇ ｏｌ 过 程 序 不 断 地 从 网 络 下 载 网 页 ，然 后 利 用 一 些 ｏｇ ｅ通
智能算法分 析这些 网页 ，最后 对这些 数据进行 索引 ，形成 了
一
套 完整 的 、基 本 无 需 人 Ｔ ＿ 的 搜 索 引 擎 。 Ｔ预
网络蜘蛛程序 是搜索 引擎 的核心 部分之 一 ，它 主要用 于 采集 网页信息 ，是实现搜索引擎 的第 一步 ，也是重要 的一步 。
类 使 用 户 能够 直 接与 使 用 Ｈｔ ｔ ｐ的服 务 器 进 行信 息 的交 互 。
Ｗｅ Ｒ ｓｏｓ 象 是 来 自 Ｉｔ ｎｔ 源 的 响 应 ，ቤተ መጻሕፍቲ ባይዱ 通 过 Ｇ ｔ ｅ ｂ ｅｐ ｎｅ对 ｎｅ ｅ 资 ｒ ｅＲ —
其 中包含 的其 他 ＵＲ Ｌ，依此 类 推 ，直纠 没有 可 下 的 Ｕ Ｌ为 Ｒ
止 ，具体 流程如下 。 首先 网络 蜘蛛获得一 个 Ｕ Ｌ Ｒ ，根据数据 库 的记 录判 断该 Ｕ Ｌ是否处 理过 ，如 果没有 ，则下载对 应 网页 ，并 进行 网页 Ｒ
Ｒｅ ｅ ｒ ｈ ａ ｄ Ｉ ｌｍｅ ｔ ｆＳ ａｃ ｇｎ ｅ ｐｄ ｒ ｓ ａｃ ｎ ｍｐ ｅ ｎ ｅ ｒｈ Ｅｎ ｉｅＷ ｂ Ｓ ｉｅ ｏ
Ｍ ｉｏ ａ ＡＯ Ｘ ａｊ ｏ ｉ
（ ｎｉｇＮ ｒ ｌ ｎｖｒｔ ｔ ｓ ｃｔ ｎＣ ｌ ｒ ｏｌ ｅ， ａｊ ｇ １０ ６ Ｎａｊ ｏｍａ Ｕ ｉｅｓｙＩ ｅ ｉ ａ ｏ ｕｔ ｅＣ ｌ ｇ Ｎ ｎｉ ２０ ４ ） ｎ ｉ ｎｎｆ ｉ ｉ ｕ ｅ ｎ
正如 它的名 字那样 ，网络蜘 蛛在 互联 网 内，通过 网页链 接 ， 从 一 个 网 页爬 到 另 外 一 个 网 页 ，并 收 集 网 页 内 容 ， 再 分 析 其 中的 链 接 ，进 入 另 一 个 页 面 。 理 论 上 ， 网络 蜘 蛛 可 以 收 集 全
图 １
球所有服务器上的 网页信息 。