基于遗传算法的聚焦爬虫搜索策略

［ ｓｒｃ］Ｉ ｒｅ ｒｖ ｈ ｅｒｈｅ ｃｅ ｃ ｆ ｏｕ ｅ ｒｗｌ ｂｓｄｏ ｃ ｅＧｅｅｉ Ａｌｏｉ ｍ（ ＧＡ）ｔｉ ｐｐｒｐｏ ｏ ｅ ｌｂ ｌ Ａｂ ｔａ ｔ ｎｏｄ ｒｏｉ ｏ ｅｔｅｓａｃ ｆ ｉｎｙｏ ｃ ｓｄｃａ ｅ ａｅ ｎＮｉ ｎ ｔ ｇ ｒｈ Ｎ ｔ ｍｐ ｉ ｆ ｈ ｃ ｔ ，ｈｓ ａ ｅ ｒｐ ｓｓａｇｏ ａ
［ ｙｗｏ ｄ ｌ ｆｃ ｓｄｃａ ｅ； ｅ ｅｉ ａｇｒｔｍ； ｉ ｅ ｔｐｃ ｅｅ ａｃ Ｋｅ ｒ ｓ ｏ ｕｅ ｒｗｌ ｇ ｎｔ ｌｏｉ ｒ ｃ ｈ ｎｃ ；ｏ ｉｒｌｖｎ ｙ ｈ
ｌ 概 述
聚焦 爬虫是专 为查询某一领域或主题信息而 出现 的网页 抓取工具 。不 同于通 用搜索 引擎 ，由于聚焦爬 虫抓取 的内容 只 限于特定 的主题 或专门领域 ，因此其在搜索过程 中无须对 整个 Ｗｅ ｂ进行遍历 ，只需选择与主题相 关的页面进行 访问。 相对于通 用网络爬虫 ，聚焦 网络爬虫需要解决 的关键 问题是
文献标识码：Ａ
中 图分类号： Ｐ １１ Ｔ ３１ ３ ．
基 于遗传 算 法的聚焦爬 虫搜 索策略
曾广朴 ，范会联
（ 长江 师范学院数学与计算机学 院 ，涪陵 ４ ８ ０ ） ０ ０ １
摘
要 ： 了提高聚焦爬 虫的搜索效率 ， 出一种结合 内容评价 和链接 结构搜索策略的优点并利 用小 牛境遗 传算法进行全局寻优 的搜索策 为 提
ｏ ｔｍｉ ａ ｉ ｎ ｆ ｓ ａ ｃ ｓｒ ｔ ｇ ｉ ｈ ｃ ｍｂ ｎ ｓ ｈ ａ ｖ ｎ ａ ｅ ｏ ｔ ｎ ｖａ ｕ ｔ ｎ ａ ｄ ｌ ｋ ｓｒ ｃ ｕ ．ＵＲＩ ｅ ｒ ｈ ｄｉｅ ｔ ｎ ｉ ｕ ｄ ｄ ｂ ｐ ｉ ｚ ｔｏ ｏ ｅ ｒ ｈ ｔａ ｅ ｙ ｗｈ ｃ ｏ ｉ ｅ ｔ ｅ ｄ ａ ｔ ｇ ｓ ｏｆ ｃ ｎ ｅ ｔ ｅ ｌ ａ ｉ ｎ ｉ ｔ ｕ ｔ ｌ ｏ ｎ ｅ ｓ ａ ｃ ｒ ｃ ｉ ｓ ｇ ｉ ｅ ｙ ｏ ｉ ｐ ｏ ｎ ｅ ｇ ｎ ｔ ｐ ｒ ｔ ｒ ｎ ｍ ｒ ｖｉ ｇ ｔ ｅ ｅ ｉ ｏ ｅ ａ ｏ ｓａ ｄ ＮＧＡ． ｍ ｐ ｒ ｄ ｗｉ ｔ ｅ ｌ ｏ ｉｈ ， ｘ ｅ ｉ ｎ ａ ｅ ｕ ｔ ｎ ｉ ａ ｅ ｔ ａ ｓｓ ｒ ｔ ｇ ａ ｉ ｈ ｒｐ ｅ ｉｉ ｎ ａ ｄ ｈ ｃ Ｃｏ ａ ｅ ｔ ｏ ｈ ｒａ ｇ ｒｔ ｍｓ ｅ ｐ ｒ ｍｅ ｔ ｌｒ ｓ ｌｓｉ ｄ ｃ ｔ ｈ ｔ ｈｉ ｔａ ｅ ｙ ｈ ｓｈ ｇ ｅ ｒ ｃ ｓｏ ｎ ｈ ｔ ｒ ｃ ｌ ｉ ｅ ｒ ｈ ｎｇｔ ｅｔ ｐ ｃ ｐ ｇ ｓ ｅ ａ ｌ ｎ ｓ ａ ｃ ｉ ｈ ｏ ｉ ａ ｅ ．
评价 ，主要利用 了 Ｗｅ ｂ网页文本内容 、ＵＲ Ｌ字符 串、锚文字
等文字 内容信息 ，典 型的代 表是 Ｂ ｓ ｉ ｔ算法 Ｊ ｅｔ ｒ Ｆｓ 。该类算法
的优点是具有较好 的理论基 础且计算简单 。但 由于 这类方法 忽略 了链接结构信息 ，因此在预 测链 接价值 的准确 性方面存
在一些不足 。
Ｓｅ ｒ ｈ Ｓ ｒ ｔ ｇ ｆＦｏ ｕｓ ｄ Ｃｒ ｗｌ ｒＢａ ｅ ｎ Ｇｅ ｔｃＡｌ ｒ ｔ ａ ｃ ｔ ａ ｅ ｙ ｏ ｃ ｅ ａ ｅ ｓ ｄ ｏ ｎｅ ｉ ｇｏ ｉｈｍ
ＺＥＮ Ｇ ｕａ Ｇ ｎｇ— ｐｕ，Ｆ Ｎ ｕｉｌａ Ａ Ｈ —ｉ ｎ
（ ｃ ｏ ｌ ｆ ｔ ｅ ｔ ｓ ｎ ｍｐ ｔｒＹ ｎ ｔｅ ｒ ｌ ｎｖ ｒｉ Ｆ ｌ ｇ４ ８ ０ Ｓ ｈ ｏ ｈ ｍａｉ ｄＣｏ ｕ ｅ， ａ ｇｚ ｍａ Ｕ ｉｅ ｓ ｏ Ｍａ ｃａ Ｎｏ Ｗ， ｕ ｉ ０ ） ｎ １ ０
引入 一 种 既能 保 证 种 群 多样 性 、 能 保 证 算 法 高 效 性 的机 制 。 又 近 年 来 人 们 将 生物 学 中 小 生 境 现 象 引入 遗 传 算 法 ， 其 最 优 保
以文 献 【—］ 代 表 的基 － Ｗｅ 链 接 结 构 的 搜 索 策 略 通 过 ４５为 ｆ ｂ 分 析 Ｗｅ 面 之 间 的相 互 引片 关 系 确 定 网页 的 重 要 性 ， 而 ｂ页 ｊ 进
决定待爬行 ＵＲ Ｌ的访问次序 以获得更高的查全率和查准率 。
２ 相 关 研究 工作现 状
２１ 小 生境遗传 算法 的基本 思想 ． 经典遗传 算法 的主 要问题是容易产生最终并不 能保 证收
敛到全 局最优解 、 而是过早地 收敛到某个局部极值点 的现象 。 出现这一现象 的根 源在 于该 算法在进行粗 略搜索 时容易 丢失 最优解 ，进行精细 搜索 时容易陷入局部最 优解 。因此 ，需要
第 ３ 卷 第 １ 期 ６ １
Ｖ Ｌ３６ ｏ
・计算机来自工程 ２１ ０ ０年 ６月
Ｊｕｎ ２ ０ ｅ ０１
Ｎｏ １ ．
Ｃ ｏｍ ｐｕｔ ｒ Ｅｎ ｎｅ ｒ ｎｇ ｅ ｇｉ ｅ ｉ
人工 智能 及 识别 技术 ・
文章编号：１０— ４８ ００１ ’ ６—０ ｏｏ ０ ２（ １ 】 ｏ ７ ＿ ２ ）— １ ３
略。改进遗 传算子和小 生境遗传算法 ，将 待搜索的 网页 ＵＲＬ作为遗传 个体 ，采用概率变迁规则 和小 生境淘 汰运算引导搜索方向 。实验结 果证 明，与聚焦爬虫的其他实现技术 相比 ，该策略在抓取主题 相关 网页时具有更高 的查 准率和查全率 。 关键词 ：聚焦爬虫 ；遗传算法 ；小 生境 ；主题相关度
如何 判 断一 个 网 页 是 否 与 主 题 相 关 以 及 如 何 根 据 主 题 相 关 度
ＵＲ Ｌ的爬行 次序 。 目前常 用的聚焦爬行策 略主要有 ２类Ｌ： ２ Ｉ
基 于 内容 评 价 的搜 索 策 略和 基 于 Ｗｅ 接 结 构 的 搜 索策 略 。 ｂ链 基 于 内容 评 价 的搜 索 策 略起 源 于 文 本 检索 中对 文 本相 似 度 的