基于改进遗传算法的聚焦爬虫设计
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于改进遗传算法的聚焦爬虫设计
范会联;李献礼;曾广朴
【期刊名称】《计算机工程与科学》
【年(卷),期】2010(32)5
【摘要】本文提出以爬行控制器和页面分析过滤器为核心的聚焦爬虫设计方法.从待检索主题出发,在以改进的遗传算法为基础并结合内容评价和链接结构搜索策略优点的爬行策略引导下,以待爬行URL作为遗传个体,基于主题词集的向量空间模型评估个体适应度,引入新的URL实现交叉、变异操作,将具有相同URL前缀的链接按小生境处理.实践证明,该爬虫具有较好的性能.
【总页数】4页(P126-129)
【作者】范会联;李献礼;曾广朴
【作者单位】长江师范学院数学与计算机学院,重庆,408100;长江师范学院网络信息中心,重庆,408100;长江师范学院数学与计算机学院,重庆,408100
【正文语种】中文
【中图分类】TP391.3
【相关文献】
1.基于遗传算法的聚焦爬虫搜索策略设计与研究 [J], 陈悦;陈运;杨义先;胡迪
2.基于设计模式的改进遗传算法设计与实现 [J], 廖伟;周先华;邱国庆
3.基于改进遗传算法的地震后重建工程造价模型改进设计 [J], 胡丹萍;陶学明
4.基于改进SVM算法的聚焦爬虫设计与实现∗ [J], 乔平安; 田晶晶; 任静
5.基于改进遗传算法的地震后重建工程造价模型改进设计 [J], 胡丹萍;陶学明
因版权原因，仅展示原文概要，查看原文内容请购买。