面向主题的快速搜索引擎的设计与研究

配每个 Ｕ Ｌ一 个 相 关 性 消 息 值 ｑ 并 给 每 个 Ｕ Ｌ Ｒ ， Ｒ
网页抓 取 、 网页 预 处 理 、 网页 分类 和 网 页选 择 ， 相等的相关度值 ， 到后面将要计算到的值较大 ， 初 定 、 始 页面 会 人 为 地 根 据 主 题 进 行 筛 选 ， 主 题 的 紧 如 图 ２所示 。 与
第 ２ 第 ３期 ０卷 ２ １ 年 ６月 ０１
淮
阴
工
学
院学Biblioteka 报 Ｖ０， ｌ２０ Ｎｏ． ３
Ｊ ｕ ｎ ｌｏ ａ ｙｎ Ｉ ｓｉ ｔ ｆＴ ｃ ｎ ｌ ｇ ｏ ｒ ａ ｆＨｕ ｉ ｉ ｎ ｔ ｕ ｅ ｏ ｅ ｈ ｏｏ ｙ ｔ
Ｊ ｎ ２ １ ｕ ．０ １
面 向主题 的快速搜 索 引擎的设计 与研究
Ａｂ ｔ ａ ｔ ｈ ｓ ｐ ｐ ｒｍａ ｅ ｎ ａ ａｙ ｉ ａ ｄ ｃ ｍｐ ｒｓ ｎ ｏ ｅ ｔ ｃ ｎ ｑ ｅ ｆｔ ｅ ｐ ｅ ｅ ｔｐ ｐ ｌｒｓ ａ ｃ ｎ ｉ ｅ ｓ ｒ ｃ ：Ｔ ｉ ａ ｅ ｋ ｓ ａ ｎ ｌ ｓｓ ｎ ｏ ａ ｉｏ ｆｔ ｅ ｈ ｉ ｕ ｓｏ ｒ ｓ ｎ ｏ ｕａ ｅ ｒ ｈ ｅ ｇｎ ｈ ｈ
进行比较 ， 其结果分为三种情况 ： ①相关度值 大于相关度 阈值 ， 父网页 的相 且 关性消息 ｑ 值等于初始值 ， 则直接传递父网页的 ｑ
值 给子 网 页 。
主题爬虫算法
＜识 结 描 ＞ ＼ 别 果 述／ ＼
／
＼
② 相 关 度 值 大 于 相 关 度 阈值 ， 父 网页 的相 且 关 性消 息 ｑ值小 于初 始 值 ， 恢 复 ｑ值 为 初 始 值 ， 则
ａ ｃ ｒ ｃ ａｉ ｒ ｉｈ ｒｔ ａ ｈ ｔｏ ｅ ｏ ｄ ｎ ｒ ｅ ｒ ｈ ｅ ｇｎ ，ｗｈｃ ａ ｅ ｆ ｒ ｅ ｘ ｅ ｄ ｄ ｔ ｌ ｋｎ ｓｏ ｃ ｕ ａ ｙ ｒ ｔ ａ ｅ ｈ ｇ ｅ ｈ ｎ ｔ ａ ｆ ｈ ｒ ｉ ａ ｙ ｓ ａ ｃ ｎ ｉ ｅ ｏ ｔ ｉｈ ｃ ｎ ｂ ｕ ｔ ｒｅ ｔｎ ｅ ｏ ａ ｌ ｉｄ ｆ ｈ ｏ ｅ ａ ｄ ｃ ｍｍｅ ｃ ａ ｂ ｉ ｓ ｗ ｔ ｏ ｅ ｅ ｅ ｃ ａ ｕ ． ｍｃ ｎ ｏ ｒ ｉ ｗｅ ｓｔ ｉ ｓ ｍｅ ｒ ｆｒ ｎ ｅ ｖ ｅ ｌ ｅ ｈ ｌ
ｓ ａ ｃ ｎ ｉ ｏ ｓ ｔｓｙ ｔ ｅ ｎ ｓ ｏ ｉｆｒ ｎ ｓ ｒ ｔ ｉｆｒ ｎ ｐｅ ｉｌｙ ａ ｄ ｈ ｂ ｅ ．Ｔｈ ｓ ｓ ａ ｃ ｎ ｉ ｅ ｅ ｒ ｈ ｅ ｇｎｅ ｔ ａ ｉｆ ｈｅ ｄ ｍａ ｄ ｆｄ ｆｅ ｅ ｔｕ ｅ ｓ ｗｉ ｄ ｆｅ ｅ ｔｓ ｃ ａｔ ｎ ｏ ｂｉｓ ｈ ｉ ｅ ｒ ｈ ｅ ｇｎ ｈａ ｈ ｈ ｒ ｃｅ ｓｉｓ ｏ ｉ ｈ ｅｆｃｅ ｃ ｓｔ ｅ ｃ ａ ａ ｔ ｒ ｔｃ ｆｈ ｇ ｆｉ ｉｎ ｙ，ｐ ａ ｔｃ ｂ ｌ ｙ ａ ｄ ｌ ｗ ｏ ｔｗｈｉｈ ｃ ｎ ｍａ ｅ ｒ ｈ ａ ｄ ｔ ｓ ｆａｌｔ ｉ ｒ ｃ ｉａ ｉｉ ｎ ｏ ｃ ｓ ｔ ｃ ａ ｋｅ ｓ ａ ｃ ｎ ｅ ｔｏ ｌ ｈｅ ｄｏ ｓｉ ｌ ｍｅ ｔｃ ｗｅｌ—ｋ ｏ ｂ ｉｅ ｎ ｗｎ ｗｅ ｓｔｓ，ａ ｄ ｔ ｅ ｅ ｐｅ ｍｅ ａ ａ ｉ ｄ ｃ ｔ ｓｔ ａ ｈｉ ｅ ｒ ｈ ｅ ｇｎｅ ｄ ｔ ｅ ａｌａ ｄ ｔ ｎ ｈ ｘ ｒ ｎｔｄ ｔ ｎ ｉ ａｅ ｈ ｔｔ ｓｓ ａ ｃ ｎ ｉ ￣ ａａ ｒ ｃ ｎ ｈｅ ｉ ｌ
势之一。
收稿 日期 ： ０ １ ０ ０ ２ １ — ４— ８ 作者简介 ：张安 妮（ ９ ９一） 女 ， １７ ， 山东东营人 ， 硕士 ， 工程 师 ， 主要从事 电子 政务 、 数据挖掘研究 。
（） ２ 对网页或数据的分析与过滤 ； （ ） Ｕ Ｌ的搜索策略 。 ３对 Ｒ
第 ３期
被 放进 完 成 队列 。
图 １ 主 题 爬 虫 搜 索 框 架
面 向主题 爬 虫 搜 索 框 架 见 图 １ 具 体 算 法 如 ，
下 ：
（ ）将初 始 页 面 Ｕ Ｌ集 合 放 进 等 待 队列 ， １ Ｒ 分
２ 搜 索 引 擎模 型 设 计
该搜索引擎模 型设计 分为五个模 块 ： 主题 确
规则进 行 排序 ， 等候 爬 虫 的抓取 。
抓 取 队列 ： Ｒ Ｕ Ｌ在 抓 取 时被 放 进 抓 取 队 列 ， 目 的是 防止 Ｕ Ｌ被 同时多 次抓 取 。 Ｒ
错 误 队列 ： 抓 取 过 程 中 出错 的 Ｕ Ｌ被 保 存 在 Ｒ
到错误 队列 。
完成 队列 ： 一个 Ｕ Ｌ被爬 虫完 全 抓取 之 后 ， Ｒ 就
必 须 核查链 接 和文 档 ， 以防 网页被 重复 抓取 。
评 价 主 题 网络 爬 虫 系 统 的 指 标 主 要 有 两 个 ： 爬 准率 （ ｒｃｓ ｎ 和爬 全率 （ ｅａ ） Ｐｅｉ ｏ ） ｉ Ｒｃｌ 。 １
爬 准 率 ： ｒｃｓ ｎ＝采 集 的 目标 网 页 数／ 爬 Ｐｅｉｏ ｉ 总
技术和 Ｗｅ 信息的迅速发展 ， ｂ 从上世纪 ９ Ｏ年代初 网络爬 虫是 一个 功能 强 大 的 自动提 取 网页 程 开始 逐渐 发 展 起 来 的 。一 般 地 ， 索 引 擎 是 指 根 序 ， 搜 通过 请求 站点 上 的 Ｈ ＭＬ文 档 访 问某 一 站 点 ， Ｔ 据一 定 的策 略 、 用 特 定 的计 算 机 程 序 搜 集 互 联 遍历 Ｗｅ 间 ， 一个 站 点移 动到 另 一个 站 点 ， 运 ｂ空 从 自 网上 的信息 ， 在对信息进 行组织和处理后 ， 为用户 动建 立 索 引 ， 加 入 到 网页 数 据 库 中。 网络 爬 虫 并 提供 检 索服务 。 进 入某个 超 级 文 本 时 ， 用 Ｈ ＭＬ语 言 标 记 结 构 利 Ｔ 随着 网络信 息技术 的高速发展 ， 搜索引擎 的 来搜索信 息及获取 指 向其他 超级文本 的 Ｕ Ｌ地 Ｒ 关注点从如何找到更 多的信息转移到如何找到准 址 ， 可以完全不依赖用户干 预实现 网络 上的 自动 确、 有用 的 信 息 ， 准 率 成 为 搜 索 引 擎 的 首 要 目 查 “ 行” 爬 和搜 索 。 标， 而这正是 综合 型搜 索 引擎 面临 的问题 所在 。 主题爬 虫还 要解 决 的主要 问题 ： 于是 ， 为查 询 某 一 主 题 或 学 科 信 息 的 主题 搜 索 专 （） １ 对抓 取 目标 的定 义 ； 引擎便应运而生 ， 并成为搜索 引擎 发展的 主要 趋
中图分类号 ： Ｐ ９ Ｔ ３ 文献标 识码 ： Ａ 文章编号 ：１０ ７ ６ （０ １ ０ ０ １ ０ ０ ９— ９ １ ２ １ ）３— ０ ２— ４
ＯｎＦ ｓ ｅ ｒｈ Ｅ ｇｎ ｓ ｎａ ｄ Ｒｅｅ ｒｈＢ ｓｄｏ ｕ ｊｃ — ｒｅ ｔｄ ａ ｔ ａ ｃ ｎ ｉｅＤｅｉ ｎ ｓａ ｃ ａｅ ｎ Ｓ ｂｅｔ—ｏ ｉｎｅ Ｓ ｇ
张安妮 ， 姜华 ， 郝相莲 ：面 向主题 的快速搜索 引擎 的设 计与研究
１ ３
抓取 目 标定义是网页分析算法与 Ｕ Ｌ 索策 Ｒ 搜 略的基础 ， 网页分析算法 和排序算法是 决定搜 而 索 引擎所 提供 的服 务 形 式 和爬 虫 网 页抓 取 行 为 的
关键 ， 两部分 算 法是 紧密 相关 的 。 这
主题确定 ： 采用主题词集来确立主题 ， 对每个 主题 词指 定不 同的权 值 。权 值 设 置 采 用 特 征 提 取
和手 工设 置两 种方 法 。
网页 抓 取 ： 题爬 虫 由给 定 的一 个 链 接 集 开 主
１ ４
淮 阴 工
学 院
学
报
始 。按照链 接 的 权 重 次 序 进 行 检 索 ， 些 网页 被 这 传 递 到预 处 理 模 块 。对 重 定 向链 接 和 镜 像 站 点 ，
张 安妮 ， 姜 华 ， 相 莲 郝
（ 山东黄河信息 中心 ，济南 ２ ０ １ ） ５０ ３ 摘 要 ： 目前 流行的搜索 引擎 技术进行分 析 、 对 比较 ， 采用 面向主题 的优 化网络爬虫算 法 ， 设计 能更好地满 足用 户不同专业
和爱好需 求的主题搜索引擎 。该搜 索引擎具有高效 、 用、 实 低成本等优 点 ， 可对 国内各大知 名网站进行 搜索测试 。实验结 果表 明 ， 该搜索引擎 的数据 查全率和查准率都 高于普通 搜索引擎 ， 可以进一 步推广应用到各类办公 、 商务网站上。 关键词 ：主题 ； 搜索引擎 ； 网络爬虫
（） ４ 下载网页到本地磁盘 ， 并建立索引 ， 然后
将 Ｕ Ｌ地 址放 进完 成 队列 。 Ｒ （ ）利用解 析 器解 析 出 网页 中的链 接 与对 应 ５
的链接 文本 ， 计算 链 接地 址相 关度值 。
抽取特征信息
查询搜索引擎
（ ）将第 四步得 到 的相关度 值 与相关 度 阈值 ｆ ６
密 度较 高 。
（ ）对 等 待 队列 中 的 Ｕ Ｌ 先 根据 ｑ值 大 小 ２ Ｒ ，
排 序 ， 根 据相关 度 的大 小排 序 。 再
（） ３ 根据第二步排好序的等待队列 ， 将排序最
前 的 Ｕ Ｌ拿 出放 进抓取 队列 ， 虫 开始抓 取 。 Ｒ 爬
网站 内不 同主题 网页
ｔｃｎ ｌｇ ， ｎ ｙ ｕｉｇ ｓｂｅｔ—ｏ ｅ ｔ ｐｉ ｉ ｄ ｎ ｔｏｋ ｒｐ ｌ ａ ｏｉ ｍ，ｄｓ ｎ ｕｊｃ —ｏ ｅｔｄ ｅｈ ｏ ｙ ａ ｄ ｂ ｓ ｕ ｊｃ ｏ ｎ ｉ ｄ ｒ ｎｅ ｏｔ ｚ ｅ ｒ ｅ ｔｅ ｌ ｒｈ ｍ ｅ ｗ ｉ ｇ ｔ ｅｉ ｓｓｂｅｔ ｒ ｎｅ ｇ ｉ
传递 ｑ 值给子网页。
图 ２ 搜索引擎模型设计
③相关度值小于相关度阈值 ， 则将父网页的 ｑ （＜ ＜ ） ０ ｑ １ 值乘以遗传基因 比例 ｍ， 传递子网页的
相 关性 消息 值 ｑ ｍ。
（ ）将 Ｕ Ｌ ｑ值 和 相 关 度 值 放 进 等 待 队列 ， ７ Ｒ 、 重 复第 二 步 。
网页 预处 理 ： 取 网 页 先存 人 本 地 硬 盘 ， 用 行 网页 数 ； 抓 利
网页 清洗 工 具 （ ：ｔｙ 对 网页 代 码 进 行 纠 错 及 如 Ｊｄ ） ｉ
规 范 化处 理 。文 本 预 处 理 技 术 用 于 规 范 化 文 本 ，
Ｗ ｅ ｐ ｉ ｓＯ ｐ ｉ ｉａ ｉ ｎ Ａｌ ｏ ｉｈｍ ｂ Ｒｅ ｔｌ ｔｍ ｚ ｔｏ ｇ ｒｔ ｅ
Ｚ ＨＡＮＧ —ｎ ，ＪＡＮＧ Ｈｕ ，ＨＡＯ Ｘｉｎ Ａｎ ｉ Ｉ ａ ａ ｇ—ｌ ｎ ｉ ａ
（ｈｎｏｇＹ ｌｗＲｖｒ ｎ ｒ ｔ ｎＣ ｎｅ， ｉａ ５０３， ｈｎ ） Ｓａｄｎ ｅｏ ｉ ｆ ｍａｏ ｅｔ Ｊｎｎ２０ １ Ｃ ｉａ ｌ ｅ Ｉｏ ｉ ｒ
Ｋｅ ｙ ｗｏｒ ｓ：ｔ ｍｅ； ｅ ｃ ｎ ｉ ｅ； ｂ ｒ ｐｔ ｅ ｄ ｈｅ ｓ ａ ｈ ｅ ｇｎ ｗｅ ｅ ｉ ｓ ｒ ｌ
Ｏ 引言
ＷＥ Ｂ搜索 引擎 （ｅｒｈＥ ｇｎ ） 随着 Ｉｔ ｎｔ Ｓａｃ ｎｉｅ 是 ｎｅ ｅ ｒ
１ 面 向主题 的优化爬虫算法设计
１ １ 网络 爬 虫 的 工作 原 理 ．
（ ）算法结束。 ８
１２ 主 题 爬 虫 抓 取 算 法 ．
爬虫 抓 取 过 程 中使 用 了 四个 队 列 ， 别 是 等 分 待 队列 、 抓取 队列 、 错误 队列 、 成 队列 。 完
等待 队列 ： 爬虫解析到 的 Ｕ Ｌ先被保存到等 Ｒ 待队列中， 在等待 队列 中的 Ｕ Ｌ按照特定的排序 Ｒ