自适应最优搜索算法的网络蜘蛛的设计与实现
搜索引擎spider爬虫（蜘蛛）原理
搜索引擎spider爬⾍（蜘蛛）原理做SEO的⼈应该要对搜索引擎的基本原理有⼀些了解，从搜索引擎发现⽹址到该页⾯拥有排名，以及后续更新整个过程中，搜索引擎到底是怎么⼯作的？你都需要了解。
对于专业的算法不必进⾏深⼊的研究，但是对于搜索引擎⼯作中的⽣命⼒和算法原理要有个简单的认知，这样才能更有效地开展SEO⼯作，知其然也要知其所以然；当然也有⼀些朋友不懂这些，照样做昨有声有⾊，但是有对搜索引擎⼯作原理，懂总⽐不懂好⼀点。
以往的SEO书藉中对这内容讲解都⽐较简单，希望在些能够尝试结合SEO实际⼯作和现象，更进⼀步剖析⼀下搜索引擎的⼯作原理，其实当你了解了搜索引擎的⼯作流程、策略和基本算法后，就可以在⼀定程序上避免因为不当操作⽽带来的不必要处罚，同也可以快速分析出很多搜索引擎搜索结果异常的原因。
有搜索⾏为的地⽅就有搜索引擎，站内搜索、全⽹搜索、垂直搜索等都⽤到搜索引擎；接下来，本⽂会根据从业认知，讨论⼀下全⽂搜索引擎的基本架构。
百度、⾕歌等综合搜索巨头肯定有着更为复杂的架构和检索技术，但宏观上基本原理都差不多的。
搜索引擎的⼤概架构如图2－1所⽰。
可以分成虚线左右两个部分：⼀部分是主动抓取⽹页进⾏⼀系列处理后建⽴索引，等待⽤户搜索；另⼀部分是分析⽤户搜索意图，展现⽤户所需要的搜索结果。
搜索引擎主动抓取⽹页，并进⾏内容处理、索引部分的流程和机制⼀般如下：1.派出spider按照⼀定策略把⽹页抓回到搜索引擎服务器；2.对抓回的⽹页进⾏链接抽离、内容处理，削除噪声、提取该页主题⽂本内容等；3.对⽹页的⽂本内容进⾏中⽂分词、去除停⽌词等；4.对⽹页内容进⾏分词后判断该页⾯内容与已索引⽹页是否有重复，剔除重复页，对剩余⽹页进⾏倒排索引，然后等待⽤户的检索。
当有⽤户进⾏查询后，搜索引擎⼯作的流程机制⼀般如下：1.先对⽤户所查询的关键词进⾏分词处理，并根据⽤户的地理位置和历史检索特征进⾏⽤户需求分析，以便使⽤地域性搜索结果和个性化搜索结果展⽰⽤户最需要的内容；2.查找缓存中是否有该关键词的查询结果，如果有，有为最快地呈现查询，搜索引擎会根据当下⽤户的各种信息判断其真正需求，对缓存中的结果进⾏微调或直接呈现给⽤户；3.如果⽤户所查询的关键词在缓存中不存在，那么就在索引库中的⽹页进⾏调取排名呈现，并将该关键词和对应的搜索结果加⼊到缓存中；4.⽹页排名是⽤户的搜索词和搜索需求，对索引库中⽹页进⾏相关性、重要性（链接权重分析）和⽤户体验的⾼低进⾏分析所得出的。
蚁群算法在最优路径选择中的改进及应用
c law enforcement. Therefore, c congestion was ciency of the improved algorithm with the Dijkstra algorithm. Thus, it could simulate the optimal driving path with better performance, which was targeted and innovative.关键词：蚁群算法;实际路况;最优路径Key words ：ant colony optimization; actual road conditions; optimal path文／张俊豪蚁群算法在最优路径选择中的改进及应用0 引言在国务院发布的《国家中长期科学和技术发展规划纲要（2006-2020年）》中，将交通拥堵问题列为发展现代综合交通体系亟待解决的“三大热点问题”之一。
智能交通系统作为“互联网+交通”的产物，利用先进的科学技术对车、路、人、物进行统一的管控、调配，成为了当下各国缓解交通拥堵的一个重要途径。
路径寻优是智能交通系统的一个核心研究内容，可以有效的提升交通运输效率，减少事故发生频率，降低对城市空气的污染以及提升交通警察的执法效率等。
最著名的路径规划算法是Dijkstra算法和Floyd算法，Dijkstra算法能够在有向加权网络中计算得到某一节点到其他任何节点的最短路径；Floyd算法也称查点法，该算法和Dijkstra算法相似，主要利用的是动态规划思想，寻找加权图中多源节点的最短路径。
近些年，最优路径的研究主要集中以下几个方面：（1）基于A*算法的路径寻优。
A*算法作为一种重要的路径寻优算法，其在诸多领域内都得到了应用。
随着科技的发展，A*算法主要运用于人工智能领域，特别是游戏行业，在游戏中，A*算法旨在找到一条代价（燃料、时间、距离、装备、金钱等）最小化的路径，A*算法通过启发式函数引导自己，具体的搜索过程由函数值来决定。
SEO方法论
SEO方法论thkperson , 08:47 , SEO培训, 评论(0) , 引用(0) , 阅读(337) , Via 本站原创大家对搜索引擎都不会陌生，我们每天点击Google和百度的次数不上千也有上百次。
很多人把搜索引擎称为蜘蛛，非常形象，因为这只蜘蛛从数据库中网页出发，如同我们的浏览器访问网站一样抓取文件。
而且这只蜘蛛会一路爬行、抓取并且留下蛛丝马迹，用来跟踪网页上的链接，使得可以访问更多网页。
每发现一个新网址，蜘蛛就会把新网址录入数据库等待抓取。
跟踪网页链接是蜘蛛发现新网址的最基本方法，所以反向链接成为了搜索引擎优化的最基本因素之一。
蜘蛛除了抓取还做包括索引、搜索词处理、排序等事。
这些名词的背后是复杂程度让人无法想象的计算，但即使最好的搜索引擎在鉴别网页上也还无法与人相比，这就是为什么网站需要搜索引擎优化。
搜索引擎优化，英文为Search Engine Optimization，也就是常说的SEO，也就是在符合对网站有利及搜索引擎算法的基础上，使用网站内及网站外的优化手段，使网站在搜索引擎的关键词排名提高，从而获得目标搜索流量，进而产生直接销售或建立网络品牌。
没有SEO的帮助，蜘蛛便不能正确返回对网站来说最有用、有效的信息。
SEO是网络营销的一部分，SEO只是网站推广的手段之一，网站推广好了有了流量再配合适当的盈利手段，以及客户服务、后勤保障等一系列措施就能把网站运营好。
一般来说SEO的步骤包括：首先，确定关键词；然后是网站结构分析和调整；再然后是网站内容更新以及链接布置，关键词布置，友情链接；最后做网站流量分析。
记得《网络营销实战密码》的作者Zac说过，SEO是技能和方法，但因为它需要综合很多因素才能做，从某种意义上来说，它更像是技术与艺术的结合。
到底什么是SEO？除了大多数人所知的搜索引擎优化的概念之外，在具体的操作中，什么是SEO？搜索引擎优化是对网站结构、网页文字语言和站点间互动等进行合理规划部署，以改善网站在搜索引擎的搜索表现，进而增加客户发现并访问网站的可能性的这样一个过程。
最佳路径问题的计算智能算法
最佳路径问题的计算智能算法最佳路径问题是指在给定的网络图中，从一个起始点到一个目标点之间找到一条经过若干个中间节点的最短路径或最优路径。
该问题在实际生活中有广泛的应用，例如交通规划、物流配送、电路布线等领域。
为了解决最佳路径问题，计算智能算法被广泛应用。
一、遗传算法遗传算法是一种借鉴生物进化规律的计算方法，常用于求解最佳路径问题。
该算法的基本思想是通过模拟生物进化的过程，使用基因编码来表示路径，通过交叉、变异等操作对路径进行优化。
具体步骤如下：1. 初始化种群：随机生成一组初始路径作为种群。
2. 评估适应度：计算每个路径的适应度，即路径的长度或费用。
3. 选择操作：根据路径的适应度选择出一部分良好的个体。
4. 交叉操作：从选择的个体中随机选择两个父代，通过某种交叉方式生成新的子代路径。
5. 变异操作：对子代路径进行变异操作，引入随机扰动，增加路径搜索的多样性。
6. 替换操作：用新生成的子代路径替换部分原种群中的个体。
7. 终止条件：根据设定的终止条件，判断是否满足停止进化的条件，如达到最大迭代次数或找到最优解。
通过不断迭代，遗传算法能够逐步优化路径，找到最佳解。
然而，由于遗传算法是一种基于概率的优化算法，其结果并不一定是最优的，且可能陷入局部最优解。
二、蚁群算法蚁群算法是模拟蚂蚁觅食行为的计算算法，也常用于解决最佳路径问题。
该算法的基本思想是通过多个蚂蚁的合作，不断发现和留下信息素路径，从而引导其他蚂蚁选择更优的路径。
具体步骤如下：1. 初始化信息素：在网络图中的每条边上初始化一定量的信息素。
2. 蚂蚁移动：每只蚂蚁按一定规则选择移动的下一个节点，直到到达目标节点。
3. 信息素更新：蚂蚁到达目标节点后，根据路径的长度或费用更新经过的路径上的信息素。
4. 全局更新：每轮迭代结束后，根据信息素的更新规则对所有路径上的信息素进行全局更新。
5. 终止条件：根据设定的终止条件，判断是否满足停止搜索的条件，如达到最大迭代次数或找到最优解。
网络蜘蛛的研究与实现
［ 关键词 ］ 搜索 引擎 网络蜘蛛
１前 言 ．
ቤተ መጻሕፍቲ ባይዱ
搜 索算 法 种， ： 即 广度优先搜索和深度优先搜索 。 广度 优先搜 索 ， Ｂ ＳＢｅｄｈＦｒｔ ｅｒｈ ， 网络蜘蛛 先抓取起 即 Ｆ （ｒａｔ ｉ ａｃ）指 ｓＳ 始 网页 中链接 的所有 网页， 然后再选择其 中的一个链接 网页 ， 继续 抓取 在此 网页 中链接 的所有 网页。其特点是 ： 每次搜索指定点 ， 其所有 并将 未访问过 的近邻加入搜索队列 ， 循环搜索过程直 到队列为空 。 深度优先搜 索 ， Ｆ （ｅ ｔ Ｆｒ ｅ ｃ ） 网络 蜘蛛从起始 页开 即Ｄ Ｓ ｐ ｉ ｔ ａ ｈ， Ｄ ｈ ｓＳ ｒ 指 始， 由一个 链接一直 跟踪下去 ， 处理 完这 条线路再转入下 一个起始 页 ， 继续跟 踪链接 。其 目的是 达到被搜索结 构的叶结点 （ 些不包 含任 即那 何超链 接 的 Ｈ Ｍ 文件） Ｔ Ｌ 。深度优先搜 索 的优 点是能遍 历一 个 Ｗｅ 站 ｂ 点或深层嵌套 的文档集合 ， 缺点是 因为 Ｗｅ 结 构相当深 ， ｂ 有可能造成一 旦进去 ， 再也 出不来 的情况发生 。 广度 优先搜索算 法和深度优先搜 索算法 ， 由于遍 历网页 的次序不 同 ， 以搜 索性能有差别 。表 １ 分别采用广 度优先搜 索与深度 优先 所 是 搜索 的 网络蜘 蛛 ， 同样 爬取 ３ 深度的条件 下 ， 在 级 从同一 网址 出发 ， 多 站点模式运行 ３ 秒所得的结果。 Ｏ 表１ 广度优先与深度优先 广度优先
网络蜘螨昀砷究与实坝
李 浩 蒋 颤 （． 南农业 大 学工 学院 ２湖 南生物机 电职 业技 术 学院 ） １ 湖 ．
网络爬虫简介
(c) MetaCamp：是存储和管理信息结构 描述文件的服务器。作为一个应用 （application）部署在Tomcat等Servlet容器 中。 (d) DataStore：是存储和管理信息提取 线索、各种信息提取指令文件和信息提取结 果文件的服务器，集成Lucene v2.3.2技术， 能够为结果文件建立索引。作为一个应用 （application）部署在Tomcat等Servlet容器 中。
教育技术系
网络爬虫
1、网络爬虫简介 2、通用网络爬虫和聚焦爬虫
3、网络爬虫的抓取策略
4、几种常见的网络爬虫
5、Metaseeker
1、网络爬虫简介
1.1 定义
1.2 用途1.3 原理来自1.1 网络爬虫定义网络爬虫（Crawler）又被称为网页蜘蛛， 网络机器人，在FOAF社区中，更经常的被 称为网页追逐者，它是一种按照一定的规则， 自动的抓取万维网信息的程序或者脚本。
为了解决通用搜索引擎的局限性，定向 抓取相关网页资源的聚焦爬虫应运而生。聚 焦爬虫与通用爬虫不同，聚焦爬虫并不追求 大的覆盖，而将目标定为抓取与某一特定主 题内容相关的网页，为面向主题的用户查询 准备数据资源。
2.2 通用网络爬虫
通用网络爬虫从一个或若干初始网页 的URL开始，获得初始网页上的URL，在 抓取网页的过程中，不断从当前页面上抽 取新的URL放入队列，直到满足系统的一 定停止条件。
基于蚁群算法的网络路由最优路径判断模块设计与实现
基于蚁群算法的网络路由最优路径判断模块设计与实现徐虹;杨雅志;赵明【摘要】网络中节点的能量是有限的，网络拓扑结构具有波动性，导致传统网络路由算法不能有效适应这些变化，自组织性较差，无法及时获取最优路径，大大降低网络性能。
因此，设计基于蚁群算法的网络路由最优路径判断模块。
其以FPGA 为控制核心实现硬件设计，具体包括控制模块、存储器模块、寻求后续节点集模块、采集后续节点模块、状态调整模块、信息素调整模块和最优路径判断模块。
模块实现部分给出了蚁群算法的核心代码。
实验结果表明，所设计的最优路径判断模块具有较高的收敛速率，获取的路径更短，能够延长网络的运行周期。
%Since energy in the network node is limited,and the network topology has volatility,which cause that the tradi⁃tional network routing algorithm can not effectively adapt to these changes,the self⁃organizing is poor,the optimal path can not be got timely,and the network performance is reduced greatly,the optimal path judgment module based on ant colony algorithm for network routing is designed. The FPGA as the control core is used to realize the hardware design,including the control module, memory module,subsequent nodes set seeking module,subsequent node acquisition module,state adjustment module,informa⁃tion adjustment module,optimal path judgment module and multiplex selection module. The core code of ant colony algorithm is presented in the process of module implementation. The experimental result shows that the designed optimal path judgment module has high⁃speed convergence and shorter access path,and can lengthen the operation cycle of the network.【期刊名称】《现代电子技术》【年(卷),期】2017(040)004【总页数】4页(P36-38,43)【关键词】蚁群算法;网络路由;最优路径;FPGA【作者】徐虹;杨雅志;赵明【作者单位】成都工业学院信息与计算科学系，四川成都 611730;成都工业学院信息与计算科学系，四川成都 611730;成都工业学院信息与计算科学系，四川成都 611730【正文语种】中文【中图分类】TN711-34;TP393无线传感器网络（WSN）通常是由传感器节点构成的自组织网络，在军事、医疗、工业等领域应用广泛。
自组织网络中的自适应动态路由算法研究
自组织网络中的自适应动态路由算法研究自组织网络是由一组自主节点组成的网络系统，它们在互联网上没有中央控制器。
这些节点通过无线信号相互连接，构成了一个分布式的网络结构。
由于它的灵活性和可靠性，成为了现代网络的一个关键技术。
而自适应动态路由算法则是自组织网络中保障数据传输的一项核心技术，本文主要探讨自组织网络中的自适应动态路由算法的研究现状。
一、自组织网络简介自组织网络是一种分布式的网络系统，它的一个主要特点是没有中央控制器。
节点之间通过无线信号建立连接，并可以根据需要自动组建或解散网络。
自组织网络可以同时使用多种通信技术，例如移动节点和无线传感器网络。
这种网络结构能够提供高可靠性和灵活性，因为它们具有去中心化、分布式、无线连接、自治、可扩展和灵活性等特征。
目前，自组织网络已经在各个领域得到应用，例如车联网、无人机网络、智能家居等等。
二、动态路由算法概述动态路由算法是指在网络中最佳寻路算法，它利用不同节点之间的链路状况动态地选择最佳路径。
自适应动态路由算法就是在网络拓扑时发生变化时，能够自动确定新的路由表。
自适应动态路由算法的本质是通过路由选择器，根据网络拓扑变化和链路状况来动态调整节点之间的路由路径，以确保数据传输的高效性和可靠性。
三、自适应动态路由算法的分类根据网络的特点和适用场景不同，自适应动态路由算法可以分为以下几种类型。
1.状态-响应路由算法。
状态-响应路由算法是根据每个节点对当前链路状况进行监测和评估的。
当链路质量发生变化时，路由就会根据新状况进行优化。
每个节点将实时更新邻居之间的距离，而这个距离代表了从一个点到另一个点的链路状况。
例如，OSPF和BGP路由协议就是典型的状态-响应路由算法。
2.分布式虚拟路径路由算法。
分布式虚拟路径路由算法是指网络中的节点会形成一个虚拟网格，每个节点在路由时就按照一定的分布式算法来进行路由，例如Ad-Hoc On-Demand Distance Vector Protocol（AODV）和Destination-Sequenced Distance Vector（DSDV）。
最优路径问题的计算机智能算法优化设计
最优路径问题的计算机智能算法优化设计最优路径问题是指在图论中寻找从起始点到目标点的最短路径或者最小代价路径的问题。
这个问题是在许多实际应用中都存在的，比如导航系统、交通规划以及物流配送等领域。
为了高效地解决最优路径问题，计算机智能算法成为了一种重要的优化设计手段。
本文将探讨几种常见的计算机智能算法，并分析其在最优路径问题中的应用。
一、遗传算法在最优路径问题中的应用遗传算法是一种基于进化思想的优化算法，通过模拟自然界的进化过程，寻找问题的最优解。
在最优路径问题中，遗传算法可以被应用于寻找路径的优化设计。
遗传算法的基本思想是通过构建染色体表示路径的解空间，通过选择、交叉和变异操作，逐步优化路径的质量，使其逼近最优解。
首先，将起始点和目标点固定为路径的起点和终点，然后随机生成一组候选路径作为初始种群。
接着，根据适应度函数对每条路径进行评估，选择适应度较高的路径作为下一代种群的父代。
然后，通过交叉和变异操作产生新的解，并加入下一代种群。
重复进行选择、交叉和变异操作，直到达到终止条件。
最终，找到适应度最高的路径作为最优解。
二、蚁群算法在最优路径问题中的应用蚁群算法是一种模拟蚂蚁觅食行为的智能优化算法，通过模拟蚂蚁在搜索食物时释放的信息素，实现路径的优化设计。
在最优路径问题中，蚁群算法可以用于求解最短路径问题。
蚁群算法的基本思想是采用正反馈原则和贪婪策略。
首先，将每个路径都看作是一个蚂蚁，蚂蚁在搜索过程中根据信息素浓度和路径的长度进行决策。
信息素的释放和更新遵循正反馈原则，即经过的路径越短，释放的信息素越浓，反之越弱。
贪婪策略则是蚂蚁倾向于选择信息素浓度较高的路径。
在蚁群算法的搜索过程中，蚂蚁根据信息素浓度和路径长度进行路径选择，通过多次迭代搜索最优路径。
最终，搜索过程中信息素浓度最高的路径即为最优解。
三、粒子群优化算法在最优路径问题中的应用粒子群优化算法是一种模拟鸟群觅食行为的智能优化算法，通过模拟粒子在解空间中的迁移和搜索行为，实现路径的优化设计。
ZigBee网络Cluster-Tree优化路由算法研究
ZigBee网络Cluster－Tree优化路由算法研究引言无线通信和嵌入式微传感器技术的快速发展促进了无线传感器网络的崛起。
ZigBee协议基于IEEE 802．15．4无线标准制定，包括应用层、网络层、安全层等，实现了网络的自组织和自维护的功能。
在无线传感器网络中，节点的能量是有限的，如果节点在最后因为自身的能量消耗殆尽而死亡，将会对整个网络的传输性能造成很大影响。
因此，在实际应用中，根据不同的网络情况来选择最符合应用需求的路由协议，让路由协议根据网络拓扑选择合适的路径，平均分布节点的传输能量，降低网络的功耗是网络层必须要考虑的任务。
1 ZigBee 路由算法研究依据设备的能力，ZigBee网络中的设备可以分为全功能设备(Full Function Device，FFD)和半功能设备(Reduced Function Device，RFD)。
FFD能转发其他设备的数据帧，RFD则不能。
当FFD加入一个网络时，它可以作为协调器。
协调器会周期性地广播数据帧，周围的RFD能够发现并加入网络，形成一个星型拓扑网络。
在星型拓扑中，协调器负责控制整个网络，所有终端设备都直接与协调器通信，并且由它维护。
ZigBee网络层还支持树型和网状网络。
树型网络采用分级路由的策略在网络中传送数据和控制信息，而网状网络则可以进行点对点的通信。
在树型网络中，根节点(协调器节点)和所有的内部节点(路由器节点)是FFD，而RFD只能作为叶子节点(终端节点)。
当协调器或路由器加入网络时，它必须被分配唯一的网络地址。
1．1 网络地址分配ZigBee协议规范使用一个分布式地址方案分配网络地址，它设计为给每个潜在父节点提供一个有限的网络地址子块。
当一个设备成功加入网络后，其父节点给该节点自动分配一个唯一的网络地址。
1．2 ZigBee路由算法网络层支持Cluster-Tree、AODVjr和Cluster-Tree+AODVjr算法(以下简称C+A算法)等多种路由算法，因此ZigBee网络的路由协议兼具树型网络和网状网络的特性。
基于网络爬虫的搜索引擎设计与实现—毕业设计论文
本科毕业设计题目：基于网络爬虫的搜索引擎设计与实现系别：专业：计算机科学与技术班级：学号：姓名：同组人：指导教师：教师职称：协助指导教师：教师职称：摘要本文从搜索引擎的应用出发，探讨了网络蜘蛛在搜索引擎中的作用和地住，提出了网络蜘蛛的功能和设计要求。
在对网络蜘蛛系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络蜘蛛的程序，对其运行结果做了分析。
关键字：爬虫、搜索引擎AbstractThe paper，discussing from the application of the search engine，searches the importance and function of Web spider in the search engine．and puts forward its demand of function and design．On the base of analyzing Web Spider’s system strtucture and working elements．this paper also researches the method and strategy of multithreading scheduler，Web page crawling and HTML parsing．And then．a program of web page crawling based on Java is applied and analyzed．Keyword: spider, search engine目录摘要 (1)Abstract (2)一、项目背景 (4)1.1搜索引擎现状分析 (4)1.2课题开发背景 (4)1.3网络爬虫的工作原理 (5)二、系统开发工具和平台 (5)2.1关于java语言 (5)2.2 Jbuilder介绍 (6)2.3 servlet的原理 (6)三、系统总体设计 (8)3.1系统总体结构 (8)3.2系统类图 (8)四、系统详细设计 (10)4.1搜索引擎界面设计 (10)4.2 servlet的实现 (12)4.3网页的解析实现 (13)4.3.1网页的分析 (13)4.3.2网页的处理队列 (14)4.3.3 搜索字符串的匹配 (14)4.3.4网页分析类的实现 (15)4.4网络爬虫的实现 (17)五、系统测试 (25)六、结论 (26)致谢 (26)参考文献 (27)一、项目背景1.1搜索引擎现状分析互联网被普及前，人们查阅资料首先想到的便是拥有大量书籍的图书馆，而在当今很多人都会选择一种更方便、快捷、全面、准确的方式——互联网．如果说互联网是一个知识宝库，那么搜索引擎就是打开知识宝库的一把钥匙．搜索引擎是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术，用于帮助互联网用户查询信息的搜索工具．搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的．目前搜索引擎已经成为倍受网络用户关注的焦点，也成为计算机工业界和学术界争相研究、开发的对象．目前较流行的搜索引擎已有Google, Yahoo, Info seek, baidu等. 出于商业机密的考虑, 目前各个搜索引擎使用的Crawler 系统的技术内幕一般都不公开, 现有的文献也仅限于概要性介绍. 随着W eb 信息资源呈指数级增长及Web 信息资源动态变化, 传统的搜索引擎提供的信息检索服务已不能满足人们日益增长的对个性化服务的需要, 它们正面临着巨大的挑战. 以何种策略访问Web, 提高搜索效率, 成为近年来专业搜索引擎网络爬虫研究的主要问题之一。
tarantula算法
Tarantula 算法是一种基于遗传算法的路径规划方法，适用于机器人和自主车辆在不同环境中的导航和避障。
Tarantula 算法原名Spiderbot，由英国牛津大学机器人实验室开发，其核心思想是将遗传算法与机器人的实际运动学模型相结合，使机器人能够在复杂环境中自主导航。
Tarantula 算法的主要步骤如下：
1. 初始化种群：创建一群具有随机运动策略的机器人，每个机器人的运动策略表示为一条路径。
2. 评估适应度：根据机器人在环境中的碰撞情况和目标到达情况，计算每个机器人路径的适应度值。
适应度值越高，表示路径越好。
3. 选择操作：采用轮盘赌选择法，从当前种群中选择具有较高适应度值的机器人，生成新一代种群。
4. 交叉操作：在新一代种群中，随机选择两个机器人，将它们的路径进行交叉，生成新的路径。
交叉点可以是随机选择的，也可以是基于一定规则的。
5. 变异操作：在新生成的路径中，引入一定程度的随机变异，以保持种群的多样性。
6. 更新种群：根据新一代种群的路径质量和适应度值，更新原始种群。
7. 终止条件：当满足终止条件（如达到最大迭代次数或找到满足要求的路径）时，算法结束。
Tarantula 算法通过不断优化机器人的运动路径，使其在避开障碍物的同时，尽量靠近目标。
与其他路径规划算法相比，Tarantula 算法具有较好的全局搜索能力和适应性，适用于多种环境和场景。
浅谈蜘蛛抓取策略--广度优先和深度优先
浅谈蜘蛛抓取策略：广度优先和深度优先分析----名词释义及相关原理广度优先：是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。
这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。
深度优先：是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。
这个方法有个优点是网络蜘蛛在设计的时候比较容易。
影响蜘蛛抓取因素分析：网站收录良好与否跟蜘蛛爬行频繁次数、抓取页面有关是众所周知的，但是对于蜘蛛抓取了哪些页面我们不知道，那么我们只能依靠蜘蛛爬行过的访问日志进行分析了。
从日志中我们可以分析出很多的数据，那么今天笔者主要给大家讲解一下影响蜘蛛抓取的因素和爬行时间，不要小看这个日志，它可以帮助你知道网站对于蜘蛛来说，是不是意味着友好的状态，蜘蛛喜不喜欢自己的站，如果爬行量大的话，那么就可以简单的得出网站很合蜘蛛的胃口，如果蜘蛛几天都不来的话，那么就要检查一下，是不是网站没有蜘蛛喜欢的“食物”了，下面就说说影响抓取的有关要点：因素一，是否有网站地图网站地图对于蜘蛛来说就是一幅爬行路线图，当蜘蛛拥有了这张路线图的时候，那么在网站上爬行就不会那么的吃力，而且也不会有随时会转到头晕的感觉。
网站地图是专门给蜘蛛用的，目的就是减少蜘蛛爬行时间，加快蜘蛛爬行速度，毕竟，如果你的网站不配地图的话，就像自己去一个陌生的地方，没有地图，就要靠盲目的找了，这要花的时间多了多少，笔者不知道。
所以，同样的道理，网站地图对于蜘蛛来说也一样的重要，省什么都不要省了地图，他是战前的准备、战中的方向、战后的总结。
因素二，是否设置404页面很多的网站对于这个根本不在意，其实按笔者的实战心得来说，这个对于一个存在死链的网站有着很重要的意义，因为他可以帮网站告诉蜘蛛，当它爬到死角的时候，给他一条出来返生之道，404页面就是为了避免蜘蛛走进死胡同出不来而准备的，谁敢保证自己的网站不会有死链的出现，死链对于一个网站的影响是很重要的，如果网站的死链过多，而又缺少404页面，那么用站长工具查询分析的时候，你会发现，很多的页面都抓取错误，这一方面说明，网站对蜘蛛的友好度不够，让蜘蛛产生排斥的心理。
秋学期网络工程大作业互联网搜索的关键技术
09-10秋学期网络工程大作业互联网搜索的关键技术作者学号陈香1071000002作者学号蒋硕1071000011作者学号李欢欢1071000014作者学号李艳蕊1071000015作者学号隗和雪1071000037信息工程学院中文摘要搜索引擎是互联网搜索的重要技术，基于搜索引擎的网络爬虫技术和中文分词技术又是在搜索引擎技术中不可或缺的两大技术。
其中中文分词技术是计算机中文信息处理中的难题，而中文分词算法是其中的核心，但由于中英文环境中语素的不同特点，使得中文必须解决分词的问题。
本次学习研究的目的是了解搜索引擎技术和基于搜索引擎的网络爬虫技术和中文分词技术，并将中文分词的相关算法进行研究对比，方便日后选取最佳的技术进行搜索。
本次学习研究采用了网上查阅电子资料以及阅读书籍资料，通过学习，研究，讨论，整理和对比等方法。
本学习研究建构和论证了各种技术的工作流程和搜索策略，并对各种策略做了详细的案例分析，并且做了相应的对比。
各种技术都有自己的优缺点，在了解之后，采用最佳的搜索技术才是关键。
关键词：技术搜索引擎网络爬虫中文分词目录引言 (3)一. 搜索引擎技术 (4)1.什么是搜索引擎 (4)2.搜索引擎原理 (4)二. 基于搜索引擎的网络爬虫技术 (5)1.什么是网络爬虫技术 (5)2.网络爬虫原理 (6)3.网络爬虫搜索策略 (8)(1)宽度优先搜索策略 (8)(2)深度优先搜索策略 (9)(3)聚焦搜索策略 (10)4.网络爬虫的具体实现 (11)三. 基于搜索引擎中文分词技术 (12)1.什么是中文分词 (12)2.中文分词的过程 (13)3.中文分词算法的分类 (14)(1)基于字符串匹配的分词方法 (14)(2)基于理解的分词方法 (18)(3)基于统计的分词方法 (18)4．各种分词方法的优劣对比 (19)（1）歧义识别 (19)（2）新词识别 (20)（3）需要词典 (20)（4）需要语料库 (20)（5）需要规则库 (20)（6）算法复杂性 (21)（7）技术成熟度 (21)（8）实施复杂性 (21)（9）分词准确性 (21)（10）分词速度 (21)结论 (22)参考文献 (23)引言随着Internet的飞速发展和网上信息的迅速增加，各种各样的搜索引擎不断涌现。
自适应最优搜索算法的网络蜘蛛的设计与实现
第 ２ 第 １ 期 ７卷 １
２０ ０ ７年 １ １月
文 章 编 号 ：０ １ ９ ８ （０ ７ １ —２５ ０ １０ — ０ １ ２０ ） １ ８ ７— ３
计算 机应 用
Ｃｏ ｐ ｔｒ Ａｐｐ ｉａ ｉｎ ｍ ｕ ｅ ｌ ｔｏ ｓ ｃ
ｒ ａ ｅｅａ ｄｄｒｃ ｙｂ ｅｏ ・ ｐｃｐ ｅ ｏｌ ｅｆｅｂｃ ｏｇｔｅｌ ｋｃａ ｐ ａ ｌｔ ａｕ ｆｈ ｎ ｓ ｅ ｒ ｇｎｒ ｅ ｉ ｔ ｙｔ ｎｔ ｉ ａ ｓｗ ｕｄｂ ｄａｋａ ｎ ｎ －ｈｉ ｔ ｕｄ ｔ ａ ｅｖ ｅＱ ｏ ｅｌ ｋ ． ｗ ｄ ｔ ｅｌ ｈ ｏ ｇ ｅ ｌ ｈ ｉ ｎｏ ｅ ｌｈ ｌ ｔ ｉ
ｔｅ ｐ ｇ ｅ ｏ ｇ ｄ ｔ ｈ ｅ ｒ ｈ ｔ ｐｃ Ｆ ｒｈ ｒ Ｎｏ Ｈｏ Ｓ ａ ｃ ｈ ａ ｅ ｂ ｌ ｎ ｅ ｏ ｔ ｅ ｓ ａ ｃ ｏ ｉ ． ｕ ｔ ｅ ｎ ｇ ｅ ｒ ｈ Ｗｅ ｐ ｄ ｒ ｍａ ｅ ｏ ｌ ｅｉ ｃ ｅ ｎ ａ ｄ ｐ ｉｅ ｌａ ｎ ｎ ， ｔ ｅ ｂ ｓ ｉｅ ｄ ｎ ｉ － ｒ ｍｅ ｔ ａ ａ ｔ ｅ ｒ ｉｇ ｈ ｎ ｎ ｌ ｖ
ｉｐｅ ｅ ｔ ，ｗ ｉｈｄ ｃ ａｅ ｅｓａ ｈｎ ｒｅ ｅｒｅ ｉ ａ・ ・ｏ ｅｒｔ ｆ ｂｐｇ ａ ｓｄｔ ｊｄ ｅ ｈｔｅ ｏ ｍ ｌ ｎｅ ｍ ｄ ｈｃ ｅｒ ｓｄｔ ｒ ｉ ｇｅｄｄｇ ．Ｓｇ ｌｏｎ ｉ ｉ ｏ ａｅｗ ｓ ｅ ｇ ｅ ｒ ｒ ｔ ｅ ｈ ｅｃ ｇ ｅ ｎ ｔ ｓ ａ ｏ Ｗｅ ｕ ｏｕ ｗ ｈ ｏ ｎ
Ｖｏ ＿ ．１ ｌ ２７ Ｎｏ １ Ｎｏ ． ２ ０７ ｖ ｏ
自适应 最 优 搜 索算 法 的 网络 蜘 蛛 的设 计 与 实现
魏文国 ， 桂 园 谢
（． １广东技术师范学院 电子与信 息学院， 广州 ５０ ６ ； ２ 广 东技术师范学院 培训 中心， １６ ５ ． 广州 ５０６ ） １６５
网络爬行蜘蛛定义及原理讲解
网络爬行蜘蛛定义及原理讲解当“蜘蛛”程序出现时，现代意义上的搜索引擎才初露端倪。
它实际上是一种电脑“机器人”（Computer Robot），电脑“机器人”是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。
由于专门用于检索信息的“机器人”程序就象蜘蛛一样在网络间爬来爬去，反反复复，不知疲倦。
所以，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。
网络蜘蛛什么是网络蜘蛛呢？网络蜘蛛即Web Spider，是一个很形象的名字。
把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
这样看来，网络蜘蛛就是一个爬行程序，一个抓取网页的程序。
起源发展要说网络蜘蛛的起源，我们还得从搜索引擎说起，什么是搜索引擎呢？搜索引擎的起源是什么，这和网络蜘蛛的起源密切相关。
搜索引擎指自动从英特网搜集信息，经过一定整理以后，提供给用户进行查询的系统。
英特网上的信息浩瀚万千，而且毫无秩序，所有的信息象汪洋上的一个个小岛，网页链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为你绘制一幅一目了然的信息地图，供你随时查阅。
搜索引擎从1990年原型初显，到现在成为人们生活中必不可少的一部分，它经历了太多技术和观念的变革。
十四年前1994年的一月份，第一个既可搜索又可浏览的分类目录EINetGalaxy上线了。
在它之后才出现了雅虎，直至我们现在熟知的Google、百度。
但是他们都不是第一个吃搜索引擎这个螃蟹的第一人。
从搜索FTP上的文件开始，搜索引擎的原型就出现了，那时还未有万维网，当时人们先用手工后用蜘蛛程序搜索网页，但随着互联网的不断壮大，怎样能够搜集到的网页数量更多、时间更短成为了当时的难点和重点，成为人们研究的重点。
自适应选取算法
自适应选取算法自适应选取算法随着大数据时代的到来，数据量的爆炸性增长对数据处理和分析的要求也越来越高。
在这个领域中，选取算法自适应性的重要性尤为突出。
本文将按照不同的类别介绍几种常见的自适应选取算法。
1. 基于聚类的自适应选取算法聚类是数据分析领域中一种常见的方法。
基于聚类的自适应选取算法是利用聚类方法自动选取出最佳的一组特征来进行分析。
该算法可以根据不同数据集的特点自适应地调整参数，包括聚类数目、距离度量等，以获得更好的分析效果。
同时，该算法还可解决传统分类算法中特征选取的问题，提高了分类的精度和效率。
2. 基于模型的自适应选取算法该算法可以通过建立模型自适应地选取特征，并基于此模型来预测或分类数据。
该算法可以将分类或预测的精度最大化，同时减少特征的冗余和重复信息。
在大规模数据的处理中，该算法具有较高的效率和准确性。
3. 基于进化算法的自适应选取算法基于进化算法的自适应选取算法是一种基于自然选择和进化的搜索算法。
该算法通过建立初始种群和遗传操作来进行迭代优化，以确定最佳的特征子集并进行数据的分类或预测。
相比传统的特征选取算法，该算法可以避免局部最优解，并获得更优的全局解。
4. 基于检测器的自适应选取算法该算法是一种结合了特征提取和分类的方法。
通过选取不同的检测器，可以提取出不同的特征。
同时，可以对检测器进行调整以适应不同的数据集和预测或分类的任务。
该算法在人脸识别、图像识别和声音识别等方面得到了广泛的应用。
以上几种自适应选取算法虽然各具特色，但它们都有一个共同的优点，那就是可以根据具体的数据集和任务实现自适应调整，以提高数据处理和分析的效率和精度。
随着科技的不断进步和数据规模的不断扩大，自适应选取算法必将成为大数据处理和分析领域中的重要工具。
最优蜘蛛网结构
数学建模网络挑战赛承诺书我们仔细阅读了第五届“认证杯”数学中国数学建模网络挑战赛的竞赛规则。
我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。
我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。
我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。
如有违反竞赛规则的行为，我们将受到严肃处理。
我们允许数学中国网站()公布论文，以供网友之间学习交流，数学中国网站以非商业目的的论文交流不需要提前取得我们的同意。
我们的参赛队号为：1739参赛队员：队员1：队员2：队员3：参赛队教练员：参赛队伍组别：数学建模网络挑战赛编号专用页参赛队伍的参赛队号：# 1739竞赛统一编号（由竞赛组委会送至评委团前编号）：竞赛评阅编号（由竞赛评委团评阅前进行编号）：2012年第五届“认证杯”数学中国数学建模网络挑战赛题 目 蜘蛛网最优模型关 键 词 蜘蛛网 螺旋线 层次分析法 能量守恒摘 要：世界上有很多种类的蜘蛛，而大部分种类的蜘蛛都是通过结网来捕食食物的。
蜘蛛网的结构主要受外因和内因的影响，本文研究并建立合理的数学模型，确定出了蜘蛛网的最优结构，得出结果与实际情况基本相符。
首先，蜘蛛织网是由一根丝完成整个工作，为了构造合理的网状，设蜘蛛只有材料L ，已知L 的情况下易知圆的面积最大，即捕食面的面积最大值，得到最大圆面积为⎰=rdr 2S 11nd d max π，其中1d 为捕丝间距。
其次，由以上可以确定S 面积只与1d 有关，根据相关生物学家的资料查得影响蜘蛛网捕丝间距的因素，主要有风、湿度、空间、温度、食物状况等。
再运用层次分析的方法计算出各个因素对1d 的权重，从而计算出捕丝的间距。
然而，以上并没有计算出放射丝的间距。
自适应蚁群算法
自适应蚁群算法!张纪会（东北大学控制仿真中心·沈阳， ）高齐圣（青岛化工学院计算机系·青岛， ）徐心和（东北大学控制仿真中心·沈阳， ）摘要：蚁群算法是由意大利学者 等人首先提出的一种新型的模拟进化算法，初步的研究已经表明该算法具有许多优良的性质，为求解算杂的组合优化问题提供了一种新思路 此方法已经引起了众多学者的研究兴趣 但同时也存在着一些缺点，如需要较长的计算时间，容易出现停滞现象等 目前国内对此研究尚少，为此，本文对蚁群算法的研究现状作一综述，希望能够对相关研究起到一定的启发作用关键词：蚁群算法；强化学习；旅行商问题文献标识码：（ ， · ， ， ）（ ， · ， ， ）（ ， · ， ， ）： ， ， ， ， ，： ； ；引言（ ）本世纪 年代中期创立了仿生学，人们从生物进化的机理中受到启发，提出了许多用以解决复杂优化问题的新方法，如遗传算法、进化规划、进化策略等 蚁群算法是最近几年才提出的一种新型的模拟进化算法，由意大利学者等人首先提出来［ ］，他们称之为蚁群系统（ ），并用该方法求解旅行商问题（ ）［ ］、指派问题（ ）［ ， ］、 调度问题［ ， ］，取得了一系列较好的实验结果 受其影响，蚁群系统模型逐渐引起了其他研究者的注意，并用该算法来解决一些实际问题［ ， ］虽然对此方法的研究刚刚起步，但是这些初步研究已显示出蚁群算法在求解复杂优化问题（特别是离散优化问题）方面的一些优越性，证明它是一种很有发展前景的方法 鉴于目前国内尚缺乏这一方面的研究，本文对蚁群算法原理及其研究现状作一综述，希望能够对相关研究有所启发基本蚁群算法（ ）!基本蚁群算法的原理（ ）人工蚁群算法是受到人们对自然界中真实的蚁群集体行为的研究成果的启发而提出的一种基于种群的模拟进化算法，属于随机搜索算法 由意大利学者 等人首先提出［ ］ 等人首次提出该方法时，充分利用了蚁群搜索食物的过程与著名的旅行商问题（ ）之间的相似性，通过人工模拟蚂蚁搜索食物的过程（即：通过个体之间的信息交流与相互协作最终找到从蚁穴到食物源的最短路径）来求解 ，为了区别于真实蚂蚁群体系统，我们称这种算法为“人工蚁群算法”象蚂蚁这类群居昆虫，虽然单个蚂蚁的行为极其简单，但由这样的单个简单的个体所组成的蚁群群体却表现出极其复杂的行为，能够完成复杂的任务，不仅如此，蚂蚁还能够适应环境的变化，如：在蚁群运动路线上突然出现障碍物时，!基金项目：主题（ ）资助项目 收稿日期： ；收修改稿日期：第 卷第 期 年 月控制理论与应用， ，"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""文章编号： （ ）蚂蚁能够很快地重新找到最优路径蚁群是如何完成这些复杂的任务的呢？人们经过大量研究发现，蚂蚁个体之间是通过一种称之为外激素（）的物质进行信息传递从而能相互协作，完成复杂的任务蚁群之所以表现出复杂有序的行为，个体之间的信息交流与相互协作起着重要的作用蚂蚁在运动过程中，能够在它所经过的路径上留下该种物质，而且蚂蚁在运动过程中能够感知这种物质的存在及其强度，并以此指导自己的运动方向，蚂蚁倾向于朝着该物质强度高的方向移动因此，由大量蚂蚁组成的蚁群的集体行为便表现出一种信息正反馈现象：某一路径上走过的蚂蚁越多，则后来者选择该路径的概率就越大蚂蚁个体之间就是通过这种信息的交流达到搜索食物的目的［］!!!基本蚁群系统模型及其实现（）为了便于理解，我们以求解平面上个城市的问题（，，…，n表示城市序号）为例说明蚁群系统模型对于其它问题，可以对此模型稍作修改便可应用［］为模拟实际蚂蚁的行为，首先引进如下记号：设是蚁群中蚂蚁的数量，d ij（i，j，，…，n）表示城市和城市之间的距离，（）表示时刻位于城市的蚂蚁的个数，!（）（）表示时刻在连线上残留的信息量初始时刻，各条路径上信息量相等，设（）（为常数）蚂蚁（，，…，）在运动过程中，根据各条路径上的信息量决定转移方向，（）表示在时刻蚂蚁由位置转移到位置的概率，（）（）! "（）（），"，，{（）其中，｛，，…，｝表示蚂蚁下一步允许选择的城市与实际蚁群不同，人工蚁群系统具有记忆功能，（，，…，）用以记录蚂蚁当前所走过的城市，集合u k随着进化过程作动态调整随着时间的推移，以前留下的信息逐渐消逝，用参数表示信息消逝程度，经过个时刻，蚂蚁完成一次循环，各路径上信息量要根据下式作调整：（）·（）!，（）!!!，（）!表示第只蚂蚁在本次循环中留在路径上的信息量，!表示本次循环中路径上的信息量的增量!，若第只蚂蚁在本次循环中经过，，否则{（）其中，是常数，表示第只蚂蚁在本次循环中所走路径的长度在初始时刻，（）（），!（，，，…，），分别表示蚂蚁在运动过程中所积累的信息及启发式因子在蚂蚁选择路径中所起的不同作用表示由城市转移到城市的期望程度，可根据某种启发式算法具体确定根据具体算法的不同，（），!（）及（）的表达形式可以不同，要根据具体问题而定曾给出三种不同模型，分别称之为、、［］它们的差别在于表达式（）的不同在模型中：!，若第只蚂蚁在时刻和之间经过，，否则{（）在模型中：!，若第只蚂蚁在时刻和之间经过，，否则{（）它们的区别在于：后两种模型中，利用的是局部信息，而前者利用的是整体信息，在求解问题时，性能较好因而通常采用它作为基本模型参数，，，，可以用实验方法确定其最优组合算法的实现过程可参见文献［，］中的描述，这里省略"基本蚁群算法的优点与不足之处（）为了说明基本蚁群系统的优点与不足，文献［］给出用基本蚁群算法求解的典型实验结果，从这些结果可看出蚁群算法具有如下优点：）较强的鲁棒性：对基本蚁群算法模型稍加修改，便可以应用于其它问题；）分布式计算：蚁群算法是一种基于种群的进化算法，具有本质并行性，易于并行实现；）易于与其它方法结合：蚁群算法很容易与多种启发式算法结合，以改善算法的性能众多研究已经证明蚁群算法具有很强的发现较好解的能力，这是因为该算法不仅利用了正反馈原理，在一定程度上可以加快进化过程，而且是一种本质并行的算法，不同个体（）之间不断进行信息交流和传递，从而能够相互协作，有利于发现较好解蚁群算法可以解释为一种特殊的强化学习（：）算法［］公式（）反映了蚁群算法与学习算法之间的联系其中，相当于学习中的值，表示学习所得到的经验由某种启发式算法确定，如何将这两者结合起来，是提高蚁群算法效率的关键问题虽然蚁群算法有许多优点，但是，这种算法也存在一些缺陷，如：与其它方法相比，该算法一般需要较长的搜索时间，蚁群算法的复杂度可以反映这一点；而且该方法容易出现停滞现象（），即搜索进行到一定程度后，所有个体所发现的解完全一致，不能对解空间进一步进行搜索，不利于发现更好的解对于这两个问题，已经引起了许多研究者的注意，并提出了若干改善方法，如提出的［］，等人提出的［］#蚁群算法研究现状（）控制理论与应用卷作为一种新型的进化算法，提出不久后便引起了人们的关注，针对其不足之处，人们作了一些有效的研究，下面对此作一简述等人［，，］提出基本蚁群算法后不久，又提出一种更一般的蚁群算法，并称之为［，］在该算法中，个体I的移动规则为S=U!edr｛［AO（r，U）］［H E（r，U）］｝，g"g，依概率p I i选择S，{.（）AO值按照如下规则进行更新AO（r，S）#（-）·AO（r，S）+·（!AO（r，S）+·U!ed IAO（S，U））.（）式（），（）进一步揭示了与强化学习算法的联系文献［］研究了的性质，并研究了参数，，g对算法性能的影响实验结果表明，与基本蚁群算法相比，更具有一般性，而且更有利于全局搜索为了克服基本蚁群算法的不足，人们对其作了若干改进文献［，］提出（），其基本思想是仅让每一代中的最好个体所走路径上的信息量作调整，以加快收敛速度，这样便容易出现停滞现象，为了避免这一点，用-分支因子［］作为衡量群体多样性的一个指标，当-分支因子低于某一数值时，便对各个路径上的信息量作动态调整，以期望避免过早出现停滞现象.但是-分支因子计算起来比较复杂，而且对它的界限不容易把握，不便于应用.此外还有等提出的［］文献［］将蚁群算法与两交换方法有机结合，结果表明该方法可以大大提高基本蚁群算法的搜索效率.文献［］通过引入遗忘因子，可以做到对过去知识的慢慢遗忘，因而能够强化后来学习得到知识，不致过早出现停滞现象，有利于发现更好的解.所有这些研究，都在一定程度上提高了基本蚁群算法的效率.!自适应蚁群算法（）通过对蚁群算法的分析不难发现：蚁群算法的主要依据是信息正反馈原理和某种启发式算法的有机结合，这种算法在构造解的过程中，利用随机选择策略，这种选择策略使得进化速度较慢，正反馈原理旨在强化性能较好的解，却容易出现停滞现象这是造成蚁群算法的不足之处的根本原因因而我们从选择策略方面进行修改，我们采用确定性选择和随机选择相结合的选择策略，并且在搜索过程中动态地调整作确定性选择的概率当进化到一定代数后，进化方向已经基本确定，这时对路径上信息量作动态调整，缩小最好和最差路径上的信息量的差距，并且适当加大随机选择的概率，以利于对解空间的更完全搜索，从而可以有效地克服基本蚁群算法的两个不足我们的方法属于自适应方法此算法按照下式确定蚂蚁I由i转多到的下一城市SS=U!edI｛iU（t）iU（t）｝，r"p，依概率p I i S（t）选择S，{.（）其中，p!（，），r是（，）中均匀分布的随机数当进化方向基本确定后用简单的放大（或缩小）方法调整每一路径上的信息量对于这一算法，我们做过大量实验（由于篇幅所限，这里不给出具体实验结果，有关实验结果将另文发表）实验表明由于采用自适应选择和动态调整策略，算法的性能明显得到改善，该方法不仅能够加快收敛速度，节省搜索时间，而且能够克服停滞行为的过早出现，有利于发现更好的解这对于求解大规模优化问题是十分有利的"蚁群算法的应用（）蚁群算法已经在若干领域获得了成功的应用其中最成功的应用是在组合优化问题中的应用，其典型代表有，（），调度等文献［，，，］用蚁群算法求解问题，结果表明该方法优于其它方法文献［，］研究了指派问题的蚁群算法求解效果蚁群算法在调度问题中的应用也得到了初步研究［，］，利用的析取图模型与问题的相似性，可用蚁群算法求解调度问题，并取得了一系列较好的实验结果等［］在等人研究成果的基础上，提出了一种求解指派类型问题的一般模型，并用来研究着色问题等［］研究了求解连续空间优化问题的蚁群系统模型，并用来解决某些实际工程设计问题，但是蚁群算法在求解连续优化问题方面的优越性相对要弱一些虽然对此方法的研究刚刚起步，但是这些初步研究已显示出蚁群算法在求解算杂优化问题（特别是离散优化问题）方面的一些优越性#结论（）蚁群算法是一种新型的模拟进化算法，其研究刚刚开始，远未象，等算法那样形成系统的分析方法和坚实的数学基础，有许多问题有待进一步研究，如算法的收敛性、理论依据等但可以想象，随着研究的深入，蚁群算法也将同其它模拟进化算法一样，获得越来越多的应用参考文献（）［］，［］：［］，：，，［］，［］：（）［］：，，［］，，［］，，（）：［］，［］，，，，，［］［］：［］：，，（下转第页）期自适应蚁群算法（上接第(页）［*］A051)G，<%,1O8)*9G>@>$5L!:4@%99$*/06)5%P>%*1$)2)2/0,$134 H$13$*)*%D02>1$0*),7)2/0,$13460,-020,$*/=,0@2%4$*/,)=35［"］!"!063%>,$51$-5，"#&#，%)（"）：")+’"%&［$］G0,$/0M，M)*$%OO0Q)*9A020,*$8!8*15751%4：0=1$4$O)1$0*@7 )-020*706-00=%,)1$*/)/%*15［"］!:;;;(,)*5!0*&751%45，M)*)*9A7@%,*)1$-5，"##*，%*（"）：%&’!"［&］G0,$/0M，M)*$%OO0Q)*9A020,*$8!8*15751%4：)*)>10-)1)271$-0=1$4$O$*/=,0-%55［?］!(%-3*$-)2?%=0,1#"’)"*，+02$1%-*$-09$M$2)*0，"##"［#］R)1.$*5A!’%),*$*/H$139%2)7%9,%H),95［G］!;*/2)*9：+57-3020/7G%=),14%*1，S*$D%,5$1706A)4@,$9/%，"#&#［")］G0,$/0M)*9’>-)M!851>9706504%=,0=%,1$%506)*1JT［8］!:*：<M Q0$/1，R;@%2$*/)*9:?%-3%*@%,/，%1)2%95!+,0-!06!13:*1!A0*6!0*+),)22%2+,0@2%4&02D$*/6,04U)1>,%（++&U）［A］!E%,2$*：&=,$*/%,JQ%,2)/，"##*，*+*’**+［""］’>-)M，V)4@),9%22))*9G0,$/0M!8*1JT：)*,%$*60,-%4%*1 2%),*$*/)==,0)-31013%1,)D%2$*/5)2%54)*=,0@2%4［8］!:*：+,0-!06"%13M)-3$*%’%),*$*/A0*6!［A］!W,)*-%：M0,/)*N)>64)**，"##+，%+%’%*)［"%］(304)551X1O2%)*9<02/%,<005!M)IJ4$*)*15751%4)*920-)25%),-360,-04@$*)10,$)20=1$4$O)1$0*=,0@2%45［8］!:*：+,0-!06%*9:*1!A0*6!0*M%1)3%>,$51$-5［A］!R$%*：&=,$*/%,JQ%,2)/，"##$［"(］&1X1O2%()*9<005<!:4=,0D%4%*150*13%)*15751%4：$*1,09>-$*/4)IJ4$*)*15751%4［8］!:*：+,0-!:*1!A0*6!8,1$6$-$)2U%>,)2U%1H0,.)*9V%*%1$-82/0,$134［A］!R$%*：&=,$*/%,JQ%,2)/，"##$［"!］张纪会，徐心和!带遗忘因子的蚁群算法［"］!系统仿真学报，%)))，（%）［"+］张纪会，徐心和!具有变异特征的蚁群算法［"］!计算机研究与发展，%)))，（"）［"*］张纪会，徐心和!一种新型的模拟进化算法———蚁群算法［"］!系统工程理论与实践，"###，（(）：&!’&$本文作者简介张纪会"#*#年生!博士!主要研究方向为：离散事件动态系统，智能调度，智能计算，混合系统等!高齐圣"#**年生!博士，副教授!主要研究方向为：智能优化，智能管理等!徐心和"#!)年生!东北大学教授，博士生导师!主要研究方向为离散事件动态系统，计算机控制与仿真，混合系统等!自适应蚁群算法作者：张纪会， 高齐圣， 徐心和， ZHANG Jihui， GAO Qisheng， XU Xinhe作者单位：张纪会,徐心和,ZHANG Jihui,XU Xinhe(东北大学控制仿真中心·沈阳,110006)， 高齐圣,GAO Qisheng(青岛化工学院计算机系·青岛,266042)刊名：控制理论与应用英文刊名：CONTROL THEORY & APPLICATIONS年，卷(期)：2000,17(1)被引用次数：165次1.Colorni A;Dorigo M;Maniezzo V Distributed optimization by ant colonies 19912.Colorni A;Dorigo M;Maniezzo V An investigation of some properties of an ant algorithm 19923.Colorni A;Dorigo M;Maniezzo V Ant system for job shop scheduling 1994(01)4.Maniezzo V;Colorni A;Dorigo M The ant system applied to the quadratic assignment problem 19945.Bilchev G;Parmee I C Searching heavily contrained design spaces 19956.Costa D;Hertz A;Dubuis O Imbedding of a sequential algorithm within an evolutionary algorithm for coloring problem in graphs 1989(01)7.Dorigo M;Maniezzo V;Colorni A Ant system: optimization by a colony of cooperating agents 1996(01)8.Dorigo M;Maniezzo V;Colorni A Ant system: an autocatalytic optimizing process 19919.Watkins C Learning with delayed rewards 198910.Dorigo M;Luca M A study of some properties of ant-Q[外文会议] 199611.Luca M;Gambardella;Dorigo M Ant-Q: an reinforcement learning approach to the traveling salesman problem 199512.Thomas stützle;Holger Hoos Max-min ant system and local search for combinatorial optimization problems 199713.Stützle T;Hoos H Improvements on the ant system: introducing max-min ant system 199714.张纪会;徐心和带遗忘因子的蚁群算法 2000(02)15.张纪会;徐心和具有变异特征的蚁群算法[期刊论文]-计算机研究与发展 2000(01)16.张纪会;徐心和一种新型的模拟进化算法--蚁群算法[期刊论文]-系统工程理论与实践 1999(03)1.吴庆洪.张纪会.徐心和.WU Qing-Hong.ZHANG Ji-Hui.XU Xin-He具有变异特征的蚁群算法[期刊论文]-计算机研究与发展1999,36(10)2.吴斌.史忠植一种基于蚁群算法的TSP问题分段求解算法[期刊论文]-计算机学报2001,24(12)3.陈崚.沈洁.秦玲.陈宏建基于分布均匀度的自适应蚁群算法[期刊论文]-软件学报2003,14(8)4.王颖.谢剑英一种自适应蚁群算法及其仿真研究[期刊论文]-系统仿真学报2002,14(1)1.李静.刘学.赵健基于蚁群寻优的汽车牵引力PID控制参数整定[期刊论文]-吉林大学学报（工学版） 2008(4)2.李荣东.杨娜蚁群算法在泄水建筑物下游收缩断面水深计算中的应用[期刊论文]-黑龙江水利科技 2008(2)3.谢宏蚁群算法解决TSP问题的研究[期刊论文]-农业网络信息 2007(3)4.康一梅.杨恩博.杨鑫凯基于改进蚁群算法的火源定位策略研究[期刊论文]-计算机工程与应用 2012(2)5.桑国珍.何小虎基于自适应蚁群算法的研究[期刊论文]-科技信息 2010(10)6.韩芳.周忠勋.孙毅基于改进双种群蚁群算法的无功优化研究[期刊论文]-东北电力大学学报 2010(4)7.毛力.荚恒松.卞锋基于分类蚁群算法的彩色图像自动分类[期刊论文]-计算机工程与应用 2008(6)8.岳凤.刘希玉自适应调整挥发系数的逆向蚁群算法[期刊论文]-计算机工程与应用 2008(3)9.王艳松.陈国明.张加胜蚁群算法在油田配电网开关优化配置中的应用[期刊论文]-石油大学学报（自然科学版） 2005(2)10.詹士昌蚁群算法在连续性空间优化问题中的应用[期刊论文]-杭州师范学院学报(自然科学版) 2004(5)11.李志伟基于群集智能的蚁群优化算法研究[期刊论文]-计算机工程与设计 2003(8)12.郝晋.石立宝.周家启求解复杂TSP问题的随机扰动蚁群算法[期刊论文]-系统工程理论与实践 2002(9)13.郝晋.石立宝.周家启具有随机扰动特性的蚁群算法[期刊论文]-仪器仪表学报 2001(z1)14.海丽切木·阿布来提浅谈几种智能优化算法[期刊论文]-电脑知识与技术 2011(19)15.刘媛.韩应征蚁群算法求解优化函数[期刊论文]-中国新技术新产品 2009(12)16.李国宁.凌卫新基于模拟退火的动态蚁群算法求解TSP[期刊论文]-科学技术与工程 2009(11)17.尤晓清.邱矩平.林苗.吴桂生.马振龙仿生智能算法的比较分析[期刊论文]-福建电脑 2009(1)18.野莹莹.付丽君.程立英基于MATLAB的蚁群算法仿真研究[期刊论文]-装备制造技术 2008(11)19.于红斌.李孝安基于分区策略的蚂蚁算法[期刊论文]-微处理机 2007(3)20.陈建良.朱伟兴蚁群算法优化模糊规则[期刊论文]-计算机工程与应用 2007(5)21.杨海.王洪国.侯鲁男.孙向群混沌蚁群算法及其在智能交通中的应用[期刊论文]-成都大学学报（自然科学版） 2007(4)22.付宇.肖健梅动态自适应蚁群算法求解TSP问题[期刊论文]-计算机辅助工程 2006(4)23.詹士昌.徐婕用于多维函数优化的蚁群算法[期刊论文]-应用基础与工程科学学报 2003(3)24.李虹.孙志毅基于MATLAB的改进型基本蚁群算法[期刊论文]-太原重型机械学院学报 2003(3)25.杨欣斌.孙京诰.黄道一种进化聚类学习新方法[期刊论文]-计算机工程与应用 2003(15)26.陈昌富.谢学斌露天采矿边坡临界滑动面搜索蚁群算法研究[期刊论文]-湘潭矿业学院学报 2002(1)27.魏平.熊伟清用于一般函数优化的蚁群算法[期刊论文]-宁波大学学报(理工版) 2001(4)28.程艳燕蚁群算法基本原理及其应用综述[期刊论文]-科技创业月刊 2011(4)29.赵义飞.高锦宏.刘亚平.哈亮基于蚁群优化神经网络的故障诊断[期刊论文]-北京信息科技大学学报(自然科学版) 2010(2)30.曾强.杨育.王小磊.赵川大型工程项目任务多目标优化调度方法[期刊论文]-计算机工程与应用 2010(24)31.楼小明一种改进的自适应蚁群算法求解TSP问题[期刊论文]-黑龙江科技信息 2009(24)32.荚恒松.毛力基于群体分类的自适应蚁群算法[期刊论文]-计算机工程与设计 2007(15)33.郭立俊.余晓芬蚁群算法在系留气球PID控制中的研究与应用[期刊论文]-计量与测试技术 2007(12)34.贺建民.闵锐多Agent系统中蚁群算法的设计与实现[期刊论文]-微电子学与计算机 2006(10)35.张军英.敖磊.贾江涛.高琳求解TSP问题的改进蚁群算法[期刊论文]-西安电子科技大学学报（自然科学版）2005(5)36.詹士昌.徐婕蚁群算法在水位流量关系拟合中的应用[期刊论文]-杭州师范学院学报（自然科学版） 2005(2)37.王一清.宋爱国.黄惟一基于Bayes决策的蚁群优化算法[期刊论文]-东南大学学报（自然科学版） 2005(4)38.卢辉斌.范庆辉.贾兴伟一种改进的自适应蚁群算法[期刊论文]-计算机工程与设计 2005(11)39.林海波蚁群算法及其应用研究[学位论文]硕士 200540.孙京诰.李秋艳.杨欣斌.黄道基于蚁群算法的故障识别[期刊论文]-华东理工大学学报(自然科学版) 2004(2)41.张华.王秀坤.孙焘蚁群算法在考试安排中的应用[期刊论文]-计算机工程与设计 2003(12)42.冯佳.张晓晞蚁群算法在游园最优路径选择上的应用[期刊论文]-北京联合大学学报（自然科学版） 2010(2)43.高峰.武睿.刘南平基于自适应蚁群算法的无线传感器网络能量优化[期刊论文]-河北工业大学学报 2010(6)44.张友华.乐毅.辜丽川.王超优选参数的蚁群算法实现物流路径优化[期刊论文]-计算机技术与发展 2009(3)45.李国宁.凌卫新基于模拟退火的动态蚁群算法求解TSP[期刊论文]-科学技术与工程 2009(11)46.赵雪花.黄强.吴建华蚁群聚类在径流影响因素时间序列分析中的应用[期刊论文]-水力发电 2008(2)47.徐纪锋.张开旺.王晓原基于自适应蚁群算法的最短路径搜索方法研究[期刊论文]-中国科技信息 2008(23)48.胡宏梅.董恩清基于蚁群聚类的码书设计[期刊论文]-苏州大学学报（工科版） 2007(2)49.詹士昌.徐婕.吴俊蚁群算法中有关算法参数的最优选择[期刊论文]-科技通报 2003(5)50.李小珂.韩璞.刘丽.李志涛基于蚁群算法的PID参数寻优[期刊论文]-计算机仿真 2003(z1)51.高尚.钟娟.莫述军连续优化问题的蚁群算法研究[期刊论文]-微机发展 2003(1)52.李艳君.吴铁军连续空间优化问题的自适应蚁群系统算法[期刊论文]-模式识别与人工智能 2001(4)53.黄樟灿.吴方才.胡晓林基于信息素的整数规划的演化求解[期刊论文]-计算机应用研究 2001(7)54.韩芳.邢晓哲.方婷婷.王成儒融合鱼群和微分进化的蚁群算法的无功优化[期刊论文]-黑龙江电力 2011(2)55.郭崇慧.谷超.江贺求解旅行商问题的一种改进粒子群算法[期刊论文]-运筹与管理 2010(5)56.周燕霞.孙建伶一种基于路径权重均衡的蚁群算法[期刊论文]-工业控制计算机 2008(10)57.张统华.鹿晓阳群体智能优化算法的研究进展与展望[期刊论文]-山西建筑 2007(1)58.何定润.刘晓云.陈东义基于可穿戴计算机电源管理的蚁群算法[期刊论文]-电子科技大学学报 2007(2)59.冯登超.杨兆选.乔晓军基于改进型蚁群算法和Gauss-Markov随机场的植物病斑自适应分割[期刊论文]-沈阳农业大学学报 2007(3)60.余建军.孙树栋.褚崴.牛刚刚自适应蚁群算法及其在多约束多目标柔性Job-Shop调度中的应用[期刊论文]-数学的实践与认识 2007(17)61.蔡国伟.张言滨.孙铭泽.辛鹏.王继松基于蚁群最优算法的配电网重构[期刊论文]-东北电力大学学报 2007(4)62.邓小波.曹聪聪.龙伦海.康耀红蚁群算法搜索熵研究[期刊论文]-海南大学学报（自然科学版） 2007(4)63.吴靓.何清华.黄志雄.邹湘伏基于蚁群算法的多机器人集中协调式路径规划[期刊论文]-机器人技术与应用2006(3)64.张志民.张小娟.李明华.胡小兵一种引入奖励与惩罚机制的蚁群算法[期刊论文]-计算机仿真 2006(7)65.詹士昌.徐婕蚁群算法在马斯京根模型参数估计中的应用[期刊论文]-自然灾害学报 2005(5)66.朱树人.匡芳君.王艳华基于粒度原理的蚁群聚类算法[期刊论文]-计算机工程 2005(23)67.刘士新.宋健海.唐加福蚁群最优化--模型、算法及应用综述[期刊论文]-系统工程学报 2004(5)68.李茂军.罗安.童调生人工免疫算法及其应用研究[期刊论文]-控制理论与应用 2004(2)69.汤放奇.李茂军.罗安人工免疫算法的全局收敛性分析[期刊论文]-长沙电力学院学报(自然科学版) 2004(3)70.杨勇.宋晓峰.王建飞.胡上序蚁群算法求解连续空间优化问题[期刊论文]-控制与决策 2003(5)71.张宗永.孙静.谭家华蚁群算法的改进及其应用[期刊论文]-上海交通大学学报 2002(11)72.徐宁.李春光.张健.虞厥邦几种现代优化算法的比较研究[期刊论文]-系统工程与电子技术 2002(12)73.姜学鹏.洪贝.曹耀钦基于证据理论决策的蚁群优化算法[期刊论文]-计算机技术与发展 2009(8)74.朱百成.周绍梅.刘欣沂一种具有动态自适应特征的改进的蚁群优化策略[期刊论文]-现代计算机（专业版）2009(12)。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
经过若干无关页面的访问之后才能获得的主题相关页面称为
未来回报 ,对未来回报的预测值称为未来回报价值 (用 Q 价
值表示 ) 。
在线增量自学习的搜索策略本质上是通过网络蜘蛛的爬
行获取那些具有较高 Q价值的链接 ,反过来 ,在搜索时又根据
链接文本的 Q价值估算出链接的价值 ,决定选择行动的概率 。
因为 Q 价值反映了对未来回报的预测值 , 所以即使被搜索的
2 NonHogSea rch的系统结构
NonHogSearch 的 系 统 结 构 如 图 1 所 示 : 通 过 控 制 NonHogSearch网络蜘蛛的贪婪程度 ,基于改进的 best2first行 动选择策略在互联网中抓取网页并放入链接优先权队列 ,通 过网页信噪比计算器评估页面权重 ,借助 HTML 结构分析器 分析网页的结构 ,提取的链接由网页链接解析器解析 ,根据页 面的信噪比设置优先级 ,从而抽取链接放入置信窗口 ,最后由 优先 级 计 算 器 选 出 下 一 个 待 访 问 的 链 接。同 时 , NonHogSearch在爬行过程中自适应更新链接的权重 ,使网络 蜘蛛具有在线增量自学习能力 。
多入链 或 出 链 的 页 面 具 有 较 高 的 价 值 [2 ] 。 Page2Rank[3 ] 和 H ITS是其中具有代表性的算法 。然而 ,目前的“启发式 ”搜索 策略采用最佳优先原则的行动选择策略 (“最好优先策略 ”) , 容易使算法过早陷入 W eb搜索空间中局部最优子空间的陷 阱 ,导致整体回报率不高 。
8;若在其他地方出现则为 1。
1. 2 在线增量自学习的聚焦爬行
在网络蜘蛛的搜索初期 ,赋予它较小的贪婪程度 ,使得那
些蕴涵较高“全局价值 ”的链接在搜索初期有机会被选中 ,很
多时候需要经过若干无关页面的访问之后才能获得主题相关
页面 ,或者说取得未来回报 。如果能利用互联网信息资源分
布的相似性 ,基于网页信噪比计算行动选择的概率 ,在发现相
页面与主题不相关时 , NonHogSearch也可以根据未来回报价
值确定正确的搜索方向 。
该模型的核心就是如何计算链接的 Q 价值 。下面我们给
出计算 Q 价值的公式 [5 ] :
λ
Q
(
st ,
at )
= ( 1 - λ) (Q t (1)
+λQ t (2)
+… +
λ2 Q t (3) + …)
(2)
本文提出的搜索引擎从获取的页面中抽取特征文本 ,根 据网页信噪比评估页面的主题相关性 ,预测链接的 Q值 ,然后 基于 Q值过滤无关链接 。当得到主题相关页面时产生回报 ,将 回报沿链接链路反馈 ,更新链路上所有链接的 Q值 ,避免网络 蜘蛛过早陷入 W eb搜索空间中局部最优子空间的陷阱 ,同时 能准确识别页面的主题相关性 ,具有很快的自学习能力 ,获取 的页面数目和精度不仅大大优于广度优先和最好优先的离线 聚焦爬行方法 ,而且也优于基于 Boltzmann行动选择策略的网 络蜘蛛 ,更符合 W eb资源发现的要求 。
(1)
其中 , N s 是网页里被搜索词出现的次数 , N b 是网页里包含的
பைடு நூலகம்词汇总量 。
网页信噪比越高 ,说明页面中要查找的内容越多 。通过
衡量网页中关键词的信息是否超过一定的阈值判断网页是否
属于所要搜索的主题页面 ,同时可以根据链接优先权队列中
链接的价值大小比较网页搜索的优先级 。
由于网页采用了半结构化的 HTML 语言 ,含有丰富的结
1 NonHogSea rch网络蜘蛛的关键技术
1. 1 基于信噪比的网页权重 搜索引擎抓取页面 ,剔除 htm l标签后的文本内容被认为
是不失真的“原始信号 ”,“噪声 ”包括 htm l标签 、传统的停止 词 、极高频词等 。“信号 ”是区别于其他信息的特征内容 ,是 不常见的关键词 。
收稿日期 : 2007 - 05 - 23;修回日期 : 2007 - 07 - 23。 基金项目 :广东省自然科学基金资助项目 (06025383) 。 作者简介 :魏文国 (1968 - ) ,男 ,湖北人 ,副教授 ,博士 ,主要研究方向 :集群 、计算机网络 、高性能计算 ; 谢桂园 ( 1977 - ) ,女 ,湖南人 ,讲 师 ,硕士 ,主要研究方向 :计算机网络 。
第 27卷第 11 2007年 11月
期
计算机应用 Computer App lications
Vol. 27 No. 11 Nov. 2007
文章编号 : 1001 - 9081 (2007) 11 - 2857 - 03
自适应最优搜索算法的网络蜘蛛的设计与实现
魏文国 1 ,谢桂园 2 (1. 广东技术师范学院 电子与信息学院 ,广州 510665; 2. 广东技术师范学院 培训中心 ,广州 510665)
2. T ra in ing Cen ter, Guangdong Poly techn ic N orm a l U n iversity, Guangzhou Guangdong 510665, Ch ina)
Abstract: NonHogSearch, a top ic2specific search engine based on imp roved best2first search algorithm was designed and imp lemented, which decreased the searching greed degree. Signal2to2noise ratio ofW eb page was used to judge whether or not the page belonged to the search top ic. Further NonHogSearch W eb sp ider made online2incremental adap tive learning, the reward generated directly by the on2top ic pages would be feedback along the link2chain to update all the value Q of the links. NonHogSearch avoids going into local best solutions space earlier, and the performance of W eb sp ider was imp roved. Experiments p rove that it has better recall rate and p recision rate than others.
关主题页面的过程中在线更新各行动的估计价值 ,从而预测
各个链接未来的回报价值 ,将能帮助我们在合理的时间限度
内 ,以较少的资源消耗获得更多的主题相关页面 。
受其启发 ,我们提出网络蜘蛛的在线增量自学习模型 :网
络蜘蛛被看成代理体 ,网络蜘蛛面对的 W eb环境代表状态 ,
网络蜘蛛对链接的访问代表行动 。在网络蜘蛛搜索过程中 ,
28 58
计算机应用
2007年
网页信噪比作为网页权重的判断指标 ,其定义是网页中
被搜索词出现的次数与这个网页里包含的词汇总量的比率 。
它衡量网页中关键词的信息是否超过一定的阈值 ,可用如下
公式表达 [ 4 ] :
S ig = ( Sq rt (N s ) / Sq rt (N b ) ) ×log (N b )
迎你的到来 ”) ,还有的是为了提升网页在搜索引擎中的排
名 ,而故意欺骗 sp ider。尤其是在 < meta >标记中 ,对 sp ider
的欺骗更为常见 。所以 ,每个关键词还会根据其在网页中的
位置关联一个权重系数 :若该词汇在超链文字中则权重系数
为 3;若在 Head / Title /H1 /H2 中则为 2;若在 M eta中则为 1.
Key words: top ic2specific W eb sp ider; best2first search algorithm; online2incremental adap tive learning; signal2to2noise ratio of W eb page
0 引言
现在 ,网络搜索引擎在网络信息资源的挖掘中起到了越 来越重要的作用 ,它可以帮助人们从数以亿计的网络信息中 找到自己想要的信息 。对于搜索引擎来说 ,要抓取互联网上 所有的网页几乎是不可能的 ,从近年公布的数据来看 ,容量最 大的搜索引擎也不过是抓取了整个网页数量的百分之四十左 右 。因此个性化 (专题 )搜索引擎的网络蜘蛛只抓取那些重 要的网页 ,由于专业搜索引擎搜索的内容只限于特定主题或 专门领域 ,因而被通用搜索引擎所广泛采用的基于图的遍历 搜索策略 (如广度或深度优先算法 )已不再适用 。按照所采 用的领域知识和评价链接价值方法的不同 ,现有的搜索策略 主要分为两大类 : 基于内容相似度评价的搜索策略和基于 W eb 结构评价的搜索策略 。前者的主要特点是利用页面中 的文本信息作为领域知识指导搜索过程 ,并根据页面或链接 文本与主题 (如关键词 、主题相关文档等 )之间相似度的高低 来评价链接价值 。这 类 搜 索 策 略 中 具 有 代 表 性 的 是 Fish2 Search、Shark2Search和 Intelligent2Craw ling[1 ]算法 ;后者的主要 特点是利用 W eb结构信息指导搜索 ,并通过分析 W eb页面之 间相互引用的关系来确定页面和链接的价值 ,通常认为有较
构信 息 , 在 抽 取 网 页 的 主 题 内 容 时 应 加 以 利 用 。位 于
< head >、< title >、<meta >以及 < a >等标记之内的关键词