面向垂直搜索的聚焦爬虫研究及应用精品PPT课件
合集下载
爬虫技术优秀PPT讲义
四.从爬虫的角度对互联网进行划分
五.抓取策略
在爬虫系统中,待抓取URL队列是很重要的一部分.待抓取 URL队列中的URL以什么样的顺序排列也是一个很重要的问 题,因为这涉及到先抓取那个页面,后抓取哪个页面.而决 定这些URL排列顺序的方法,叫做抓取策略.以下图为例：
五.一.深度优先遍历策略
深度优先遍历策略是指网络爬虫会从起始页开始,一个链 接一个链接跟踪下去,处理完这条线路之后再转入下一个 起始页,继续跟踪链接.
五.六.大站优先策略
对于待抓取URL队列中的所有网页,根据所属的网站进 行分类.对于待下载页面数多的网站,优先下载.这个策略 也因此叫做大站优先策略.
六.网站与网络蜘蛛
网络蜘蛛需要抓取网页,不同于一般的访问,如果控制不好, 则会引起网站服务器负担过重.去年四月,淘宝 就因为雅 虎搜索引擎的网络蜘蛛抓取其数据引起淘宝网服务器的不 稳定.
得到主机的ip,并将URL对应的网页下载下来,存储进已下 载网页库中.此外,将这些URL放进已抓取URL队列. 四.分析已抓取URL队列中的URL,分析其中的其他URL,并 且将URL放入待抓取URL队列,从而进入下一个循环.
四.从爬虫的角度对互联网进行划分
主要可以分为以下五部分： 一.已下载未过期网页 二.已下载已过期网页：抓取到的网页实际上是互联网内容的一个镜像与备份,
三.资源库是用来存放下载到的网页资源,一般都采用大型 的数据库存储,如Oracle数据库,并对其建立索引.
二.网络爬虫的基本结构
一个通用的网络爬虫的框架
三.网络爬虫的工作流程
一.首先选取一部分精心挑选的种子URL； 二.将这些URL放入待抓取URL队列； 三.从待抓取URL队列中取出待抓取在URL,解析DNS,并且
Python爬虫基础课件(PPT版)
基于Scrapy框架的网站爬虫实例
Scrapy框架介绍
爬虫实例
学习使用Scrapy框架构建Python 爬虫系统的基本概念和使用方法。
分享一些使用Scrapy框架构建的 实际爬虫项目的案例和经验。
数据抓取效果
展示使用Scrapy框架进行网站数 据抓取的实际效果和成果。
了解常见的爬虫错误和异常， 并学习如何处理和避免它们。
3 最佳实践
分享一些爬虫性能优化和错误处理的最佳实践和技巧。
持续学习与社区分享
探讨如何在Python爬虫领域持续学习和改进自己的技能，并与社区分享经验和知识。
常见爬虫面试题及解答技巧
解答一些常见的Python爬虫面试题，并分享解答技巧和策略。
数据分析案例
分享一些实践案例，如新闻抓取、 价格监测和社交媒体数据分析。
展示一些实际项目中使用Python 爬虫进行数据提取的案例和应用。
介绍一些使用爬虫获取数据并进 行数据分析的实践案例。
爬虫性能优化和错误处理方法
1 性能优化
学习如何优化爬虫的性能， 包括并发请求、异步爬取和 缓存技术。
2 错误处理
介绍如何构建分布式爬虫系统，包括任务调度、数 据同步和通信机制。
数据清洗和预处理方法
数据清洗
学习如何清理和处理爬虫获取的原始数据，如 去除重复项和处理缺失值。
数据预处理
介绍常见的数据预处理方法，如数据规范化和 特征选择。
爬虫数据的可视化分析和展示
1 可视化工具
探索用于可视化爬虫数据 的常用工具和库，如 Matplotlib和Seaborn。
2 数据on进行数据分析， 包括数据聚合、统计分析 和生成可视化图表。
分享一些使用可视化工具 分析爬虫数据的实际案例。
网络爬虫ppt课件
12
13
工作流程
网络爬虫基本架构如图所示，其各个部分的主要功能介 绍如下：
1．页面采集模块：该模块是爬虫和因特网的接口，主 要作用是通过各种 web 协议(一般以 HTTP．FTP 为主 )来完成对网页数据的采集，保存后将采集到的页面交 由后续模块作进一步处理。
其过程类似于用户使用浏览器打开网页，保存的网页供 其它后续模块处理，例如，页面分析、链接抽取。
8
爬虫基本原理
而且对于某些主题爬虫来说，这一过程所得到 的分析结果还可能对以后抓取过程给出反馈和 指导。正是这种行为方式，这些程序才被称为 爬虫( spider )、crawler、机器人。
9
爬虫基本原理
Spider怎样抓取所有的 Web 页面呢? 在 Web 出 现 以 前 ， 传 统 的 文 本 集 合 ， 如 目 录 数
5
垂直搜索的本质
从主题相关的领域内，获取、加工与搜索行 为相匹配的结构化数据和元数据信息。
如数码产品mp3：内存、尺寸、大小、电池型号、价格、生产 厂家等，还可以提供比价服务
6
爬虫基本原理
网络爬虫是通过网页的链接地址来寻找网页， 从一个或若干初始网页的URL开始（通常是某 网站首页），遍历 Web 空间，读取网页的内容 ，不断从一个站点移动到另一个站点，自动建 立索引。在抓取网页的过程中，找到在网页中 的其他链接地址，对 HTML 文件进行解析，取 出其页面中的子链接，并加入到网页数据库中 ，不断从当前页面上抽取新的URL放入队列， 这样一直循环下去，直到把这个网站所有的网 页都抓取完，满足系统的一定停止条件。 7
随着抓取的进行，这些未来工作集也会随着膨胀， 由写入器将这些数据写入磁盘来释放主存，以及避 免爬行器崩溃数据丢失。没有保证所有的 Web 页 面的访问都是按照这种方式进行，爬行器从不会停 下来，Spider 运行时页面也会随之不断增加。
13
工作流程
网络爬虫基本架构如图所示，其各个部分的主要功能介 绍如下：
1．页面采集模块：该模块是爬虫和因特网的接口，主 要作用是通过各种 web 协议(一般以 HTTP．FTP 为主 )来完成对网页数据的采集，保存后将采集到的页面交 由后续模块作进一步处理。
其过程类似于用户使用浏览器打开网页，保存的网页供 其它后续模块处理，例如，页面分析、链接抽取。
8
爬虫基本原理
而且对于某些主题爬虫来说，这一过程所得到 的分析结果还可能对以后抓取过程给出反馈和 指导。正是这种行为方式，这些程序才被称为 爬虫( spider )、crawler、机器人。
9
爬虫基本原理
Spider怎样抓取所有的 Web 页面呢? 在 Web 出 现 以 前 ， 传 统 的 文 本 集 合 ， 如 目 录 数
5
垂直搜索的本质
从主题相关的领域内，获取、加工与搜索行 为相匹配的结构化数据和元数据信息。
如数码产品mp3：内存、尺寸、大小、电池型号、价格、生产 厂家等，还可以提供比价服务
6
爬虫基本原理
网络爬虫是通过网页的链接地址来寻找网页， 从一个或若干初始网页的URL开始（通常是某 网站首页），遍历 Web 空间，读取网页的内容 ，不断从一个站点移动到另一个站点，自动建 立索引。在抓取网页的过程中，找到在网页中 的其他链接地址，对 HTML 文件进行解析，取 出其页面中的子链接，并加入到网页数据库中 ，不断从当前页面上抽取新的URL放入队列， 这样一直循环下去，直到把这个网站所有的网 页都抓取完，满足系统的一定停止条件。 7
随着抓取的进行，这些未来工作集也会随着膨胀， 由写入器将这些数据写入磁盘来释放主存，以及避 免爬行器崩溃数据丢失。没有保证所有的 Web 页 面的访问都是按照这种方式进行，爬行器从不会停 下来，Spider 运行时页面也会随之不断增加。
网络爬虫课件ppt
BeautifulSoup库的使用
安装BeautifulSoup库
解析HTML文档
使用pip install beautifulsoup4命令进行 安装。
使用BeautifulSoup的解析方法，如find() 、find_all()等，查找HTML元素。
提取数据
解析XML文档
通过BeautifulSoup的extract()方法提取 HTML元素中的数据。
网络爬虫课件
目录
• 网络爬虫概述 • 网络爬虫的基本原理 • Python网络爬虫实战 • 网络爬虫的道德与法律问题 • 网络爬虫技术进阶 • 网络爬虫案例分析
01 网络爬虫概述
定义与特点
定义
网络爬虫是一种自动化的程序，用于从互联网上抓取数据。
特点
高效性、自动化、数据抓取和存储。
网络爬虫的分类
遵守法律法规和隐私保护
相关法律法规
各国政府都有相关的法律法规，规范 网络爬虫的行为。例如，欧盟的通用 数据保护条例（GDPR）规定了对个 人数据的处理和保护措施。
隐私保护的重要性
在抓取数据时，必须严格遵守隐私法 规，确保不会泄露用户的个人信息。 此外，未经授权的爬取行为可能侵犯 版权，导致法律纠纷。
监控竞争对手的网站动态，获取行业情报和 趋势分析。
02
01
个人使用
用于个人兴趣爱好，如收集特定主题的资料 、图片等。
04
03
02 网络爬虫的基本原理
HTTP协议基础
HTTP协议定义
HTTP协议是互联网的基础，用于从服务器请求和发 送网页内容。
HTTP请求方法
GET、POST、PUT、DELETE等是常见的HTTP请求 方法，用于不同的数据请求和操作。
数据采集分类--垂直搜索引擎爬虫系统分析
3
1、与垂直主题相关的门户网站资源 2、行业用户提供的开放接口 3、普通用户发布的资源
垂直搜索引擎爬虫系统的关键技术（一）
4
主题词库的设计与实现
1、主题URL种子库
确定某个主题后，选择该主题门户网站下的相关频道作为主 题URL种子。这些URL种子可以以文件存储或数据库存储的方式来 进行保存。
垂直搜索引擎爬虫系统的关键技术（一）
垂直搜索引擎爬虫系统分析
垂直搜索引擎爬虫介绍
2
垂直搜索引擎爬虫是针对某一特定领域、某一特定人群或某 一特定需求的专业搜索引擎，对网页库中的某类专门的信息进行 数据爬取，定向分字段抽取出需要的数据进行处理后再以某种形 式返回给用户。它对数据的爬取和处理更加专注、具体和深入。垂直搜索引擎爬虫的内Fra bibliotek来源5
主题词库的设计与实现
2、主题词库的设计
主题词库的设计可以采用分层的模式。高层词库是含义较宽泛的主题词， 层数越低的主题词范围限制越精细。网页爬虫在进行网页数据爬取时，首先把 网页内容根据主题词库进行分词，高层主题确定后，深入该级主题进行文本匹 配，完成下一级细化的网页搜索。然后运用相关度计算方法评估该网页与主题 的相关性，相关性较高的可以作为索引。为了保证爬虫的爬取效率，主题词库 的层数一般设为2到3层。
垂直搜索引擎爬虫系统的关键技术（一）
6
主题词库的设计与实现 3、主题词库的实现方法
因为主题词库采用分层结构，所以采用两张两层的哈希表来存储主题词。 第一张哈希表存放所有主题词；第二张哈希表存储上下级主题词之间的关系。
垂直搜索引擎爬虫系统的关键技术（二）
6
控制网络爬虫 1、控制网络爬虫工作方式
可以采用主从式分布数据抓取或对等式分布数据抓取方式。 2、控制网络爬虫工作内容
垂直搜索
垂直搜索，可以燎原刘挺哈工大信息检索研究室2008.1.11目录缘起垂直搜索的7个特征点评6种对垂直搜索的否定观点缘起信息检索信息检索数据库并行处理网络信息安全数据挖掘自然语言处理知识管理操作系统图像、视频、语音我实验室的研究架构依存句法分析、词义消歧、语义分析文本挖掘（意见挖掘）文本检索（问答系统）基础研究应用研究系统原型认知心理学、机器学习理论基础基于NLP 的搜索引擎搜索技术的趋势个性化社区化智能化精准化垂直化 。
依存句法分析、词义消歧、语义分析文本挖掘（意见挖掘）文本检索（问答系统）认知心理学、机器学习垂直搜索2004-2005年做新闻搜索2006年做机构信息抽取——863专家徐波研究员完全对立的业内评论肯定者z“渐成主流需求”z“是重大机遇”z“已成为搜索市场的第三极” 否定者z“不靠谱”z“是忽悠人的伪概念”z“是注定被扼杀的幼苗”垂直搜索的7个特征什么是垂直搜索垂直搜索z针对某一特定领域或对象，面向特定需求提供的信息搜索服务一个好的垂直搜索引擎应该具备7个特征z1. 面向特定领域或对象z2. 面向特定需求z3. 全面、4. 深入、5. 准确、6. 及时z7. 结构化特征1：面向特定领域或对象。
法官/律师陪练/车友司机/修理工医生明星人物。
法院法律文献法律名车/车模4S 店/驾校汽车/配件汽车。
医院药品医药。
娱乐公司/电影院唱片娱乐。
图片机构产品选择领域选择的原则z这个行业要有垂直搜索的大量需求z信息来源相对集中，避免采集全网，降低采集成本 不分领域的人物搜索、图片搜索就要抓全网z信息处理量要足够大，太小了可以被人工代替z根据自己的情况选择专业深度生活：几乎不存在专业壁垒金融：需要较多的专业知识z用户购买能力强，厂商投放广告的资金量大目前热门的垂直搜索z生活、旅游、房产、交友、职位、汽车等特征2：面向特定需求垂直搜索的用户是有特定需求的z以汽车为例，主要需求有：购车，用车，修车，转让二手车，选驾校，选4S店等等z酷讯做“火车票”搜索，就是把握了出行高峰购票难的需求z起步时，应该选定一种需求，深入地做下去需求分解以购车为例z找车找某款汽车的简介、报道和评论，为购车做辅助决策z车型比较比较两款或者多款汽车z包括性能、外观、价格等多方面，包括用户褒贬评价的比较z看趋势跟踪某个型号汽车的动态特征3：全面既然已经受限到特定领域，就要把这个领域的信息尽可能都收集全抓取多少个网站算是全？多少个页面没有抓下来？多少个页面抓下来了但是没有正确解析？不能严重牺牲召回率特征4：深入借助行业知识进行深度挖掘z积累行业背景知识（学名叫“领域本体”），利用数据挖掘等手段，发现信息之间的关联和趋势z给用户提供可以用来指导实践，解决问题的“知识”，从而达到“深”的效果z这是垂直搜索超越通用搜索的一个关键点特征5：准确由于限定了领域，因此搜索结果有更好的相关性z比如输入“Polo”，在汽车领域就是Polo汽车，而不会返回Polo衬衫或者Polo皮带等等由于有领域知识的支持，用户的需求又比较集中，因此有理由给出更准确的检索结果。
网络爬虫总体介绍课件
CHAPTER 05
网络爬虫的未来发展
AI与机器学习在爬虫中的应用
自动化数据抓取
利用机器学习算法，自动识别网页结构，提高数 据抓取的效率和准确性。
智能分类与筛选
通过机器学习算法对爬取的数据进行分类和筛选， 减少无效和重复数据。
预测性分析
利用机器学习模型预测网页内容的变化趋势，提 前获取关键信息。
CHAPTER 03
网络爬虫的应用场景
信息收集
信息检索
网络爬虫可以自动抓取互联网上 的信息，并存储在本地，方便用 户进行信息检索。
新闻聚合
网络爬虫可以抓取新闻网站上的 新闻，并将不同来源的新闻聚合 在一起，方便用户查看。
舆情监控
网络爬虫可以抓取社交媒体上的 用户言论，对特定事件或话题进 行舆情监控和分析。
CHAPTER 04
网络爬虫的挑战与应对策略
反爬策略
识别和应对反爬机制
网络爬虫在进行数据抓取时，可能会遇到网站的反爬策略，如限制访问频率、检测用户 代理、要求验证码验证等。为了应对这些反爬机制，爬虫开发者需要采取相应的技术手
段，如使用代理IP、模拟用户行为、破解验证码等。
遵守robots协议
robots协议是一种约定俗成的规范，用于指导爬虫如何抓取网站数据。遵守robots协 议可以避免侵犯网站的数据保护政策，同时也有助于与网站管理员建立良好的合作关系。
分布式爬虫的进一步发展
高效资源利用
01
通过分布式技术，将爬取任务分配给多个节点，提高数据抓取
的效率和速度。
动态负载均衡
02
根据节点的性能和任务需求，实现动态负载均衡，确保整个系
统的稳定运行。
数据整合与共享
03
网络爬虫应用介绍-20页PPT资料
效果演示—我的网络爬虫首页 A、支持在本地资 源库中实时搜索。 外网搜索
B、系统推送互联 网最新、最热资讯
C、系统推送互联 网分类资讯
D、可根据个人 喜好设定搜索关 键字,从而关注 特定内容。 （初始关键字由 管理员设定；）
> 还原初始关键字
效果演示—搜索结果
外网搜索
更精准的搜索结果 ！
效果演示—后台配置
◦ 目前最有知名度的解析html页面的开源库：
名称 HtmlParser NekoHtml
描述 解析速度明显更快速 支持更多html标签
◦ 根据本项目特点选择HtmlParser来做页面解析。
Lucene
Lucene
◦ Lucene的国际客户有Twitter、IBM；国内客户有凤凰网、 等等。
◦ 常用分词器：如ictcals，JE，paoding，CJK等，是影响 检索最终表现的关键因素。本项目选择Lucene的API： CJK。因为它具有词库丰富、可自定义分词粒度等特点。
贴
。
心
技术选型
开发环境
◦ Heritrix 1.14 ◦ HtmlPaser 1.6 ◦ Lucene Library (lucene 2.0) ◦ Eclipse 集成开发环境（Eclipse 3.3+WTP 2.0)
Heritrix
Heritrix
◦ 目前有很多开源的网络蜘蛛系统，比较著名的有：
应用效果
更
▪ 在系统闲时运行采集和分析，较少占 用系统资源。
快
▪ 了索引文件库，以便支持用户
高性能的检索需求。
应用效果
更
▪ 明确检索目标定位，仅采集用户指定 的、与某一特定主题相关的页面。因
网络爬虫ppt课件
15
工作流程
3、链接过滤模块：该模块主要是用于对重复链 接和循环链接的过滤。例如，相对路径需要补 全 URL ，然后加入到待采集 URL 队列中。
此时，一般会过滤掉队列中已经包含的 URL ， 以及循环链接的URL。
16
工作流程
4．页面库：用来存放已经采集下来的页面，以 备后期处理。
5．待采集 URL 队列：从采集网页中抽取并作 相应处理后得到的 URL ，当 URL 为空时爬虫 程序终止。
(4) 通用搜索引擎大多提供基于关键字的检索，难以支持根
4
聚焦爬虫
为了解决上述问题，定向抓取相关网页资源的聚焦 爬虫应运而生。聚焦爬虫是一个自动下载网页的程 序，它根据既定的抓取目标，有选择的访问万维网 上的网页与相关的链接，获取所需要的信息。
与通用爬虫(general purpose web crawler)不同 ，聚焦爬虫并不追求大的覆盖，而将目标定为抓取 与某一特定主题内容相关的网页，为面向主题的用 户查询准备数据资源。
另外一种方法是将广度优先搜索与网页过滤技术结合使 用，先用广度优先策略抓取网页，再将其中无关的网页 过滤掉。这些方法的缺点在于，随着抓取网页的增多， 大量的无关网页将被下载并过滤，算法的效率将变低。
23
使用广度优先策略抓取的顺序为：A-B、C、D、E、F-G 、H-I 。
24
URL 的搜索策略
8
爬虫基本原理
而且对于某些主题爬虫来说，这一过程所得到 的分析结果还可能对以后抓取过程给出反馈和 指导。正是这种行为方式，这些程序才被称为 爬虫( spider )、crawler、机器人。
9
爬虫基本原理
Spider怎样抓取所有的 Web 页面呢? 在 Web 出 现 以 前 ， 传 统 的 文 本 集 合 ， 如 目 录 数
工作流程
3、链接过滤模块：该模块主要是用于对重复链 接和循环链接的过滤。例如，相对路径需要补 全 URL ，然后加入到待采集 URL 队列中。
此时，一般会过滤掉队列中已经包含的 URL ， 以及循环链接的URL。
16
工作流程
4．页面库：用来存放已经采集下来的页面，以 备后期处理。
5．待采集 URL 队列：从采集网页中抽取并作 相应处理后得到的 URL ，当 URL 为空时爬虫 程序终止。
(4) 通用搜索引擎大多提供基于关键字的检索，难以支持根
4
聚焦爬虫
为了解决上述问题，定向抓取相关网页资源的聚焦 爬虫应运而生。聚焦爬虫是一个自动下载网页的程 序，它根据既定的抓取目标，有选择的访问万维网 上的网页与相关的链接，获取所需要的信息。
与通用爬虫(general purpose web crawler)不同 ，聚焦爬虫并不追求大的覆盖，而将目标定为抓取 与某一特定主题内容相关的网页，为面向主题的用 户查询准备数据资源。
另外一种方法是将广度优先搜索与网页过滤技术结合使 用，先用广度优先策略抓取网页，再将其中无关的网页 过滤掉。这些方法的缺点在于，随着抓取网页的增多， 大量的无关网页将被下载并过滤，算法的效率将变低。
23
使用广度优先策略抓取的顺序为：A-B、C、D、E、F-G 、H-I 。
24
URL 的搜索策略
8
爬虫基本原理
而且对于某些主题爬虫来说，这一过程所得到 的分析结果还可能对以后抓取过程给出反馈和 指导。正是这种行为方式，这些程序才被称为 爬虫( spider )、crawler、机器人。
9
爬虫基本原理
Spider怎样抓取所有的 Web 页面呢? 在 Web 出 现 以 前 ， 传 统 的 文 本 集 合 ， 如 目 录 数
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
网页解析Web-Harvest
• 自身脚本解释与执行引擎、内嵌 BeanShell、JavaScript和Groovy等引擎
• 支持XPath、XQuery和正则表达式等多 种文本处理技术
• 可视的控制调试程序
Web-Harvest执行脚本
起始URL Http
HTML内容 Http-to-Xml XML内容
应用技术研究
网络爬虫Heritrix
Heritrix
ToeThread BdbFrontier
CrawlController
● CrawOrder ● CrawlScope ● Frontier ● ToePool ● ProcessorChainList
● BdbMultipleWorkQueues ● BdbWorkQueue ● BdbUriUniqFilter
• 基于网页内容的分析算法
从最初的文本检索方法，向涉及网页数据抽取、机器学 习、数据挖掘、自然语言等多领域综合的方向发展。
• 基于用户访问行为的分析算法
有代表性的是基于领域概念的分析算法，涉及本体论。
发展趋势
• 网页库级层次垂直搜索 • 智能化的数据分析和挖掘方向 • 自动化地结构化数据信息抽取技术
Spider_task
Async
Index Builder
Spider Task
Index dist
spider
spider
spider
Internet
search
search
search
搜索引擎分类
• 通用全文搜索
特点:特点：“专、精、深”，行业化 例：Healthline、Kooxoo、Koubei
• 针对目标网页上的结构化数据
对应模板级垂直搜索，直接解析页面，提取并 加工出结构化数据信息。快速实施、成本低、 灵活性强，但后期维护成本高。
URL的搜索策略
• IP地址或域名搜索策略
搜索全面，不受多站点交错引用URL的干扰，但不适合 多域名、分布式的大规模搜索。
• 广度优先搜索策略
类似先进先出的队列方式，逐层深入搜索。适合级数少 的目标站点，但对于信息量大、层次结构深的目标站点 ，难以深入执行 。
Xquery Loop
XML内容 Xpath
XML文档 File
Ver-def 保存在context
Web-Harvest设计分析
• 外部执行入口Scraper • 脚本运行的上下文环境ScraperContext • 执行脚本 • 脚本引擎 • GUI组件
面向垂直搜索的聚焦爬虫 研究及应用
OUTLINE
• 背景 • 研究综述 • 应用技术研究 • 招聘搜索聚焦爬虫设计与实现
背景
搜索引擎
Step i Step i Step i
Async
Domain Spec/Rule
Async
HARVEST
Async
Queue/store Process Text
预测候选链接与目标网页的相似度或主题相关 性，对预测认为“有用”的链接进行搜索。优 点在分析策略有效的前提下，搜索效率非常高 ；缺点是难以避免会遗漏一些链接。
网页的分析及信息的提取
• 基于网络拓扑关系的分析算法
根据页面间超链接引用关系，来对与已知网页有直接或 间接关系对象作出评价的算法。网页粒度PageRank ， 网站粒度 SiteRank。
• 从被抓取网页中提取结构化数据和元数据 信息
基础核心工作环节：网页抓取和信息提取。
关键技术分析
• 抓取目标的定义与描述 • 网页URL的搜索策略 • 网页的分析与信息的提取
抓取目标的定义与描述
• 针对有目标网页特征的网页级信息
对应网页库级垂直搜索，抓取目标网页，后续 还要从中抽取出需要的结构化信息。稳定性和 数量上占优，但成本高、性活性差。
• 深度优先搜索策略
类似先进后出的队列方式。比较适合搜索深层次页面嵌 套的目标站点，还能发现最大数目的交叉引用，但是容 易导致爬虫的陷入 。
URL的搜索策略
• 深度与广度综合的搜索策略
逐步向下延伸，同时往广度方向遍历。虽然这 种搜索方法综合平衡，但是容易造成重复搜索 ，降低效率且加重网络负担。
• 最佳优量与性能之间难以兼顾，倾向于 网络覆盖与响应速度
• 搜索意图不明，基于关键字检索， 结果含有大量干扰信息
• 缺乏行业化的特征分析，无法实现 提供个性化服务
垂直搜索
• 服务于局部专业领域的精确搜索 • 用户难以描述他要找什么，除非让
他看到想找的东西 • 注重专业化与结构分析 • 数据倾向于结构化和格式化
PreProcessor Fetcher Extractor Writer
PostProcessor
Heritrix组件分析
• 中央控制器CrawlController • 抓取范围策略组件CrawlScope • 链接制造器Frontier • 多线程处理 ToePool 、ToeThread • 处理器Processor和处理器链 • 抓取任务CrawOrder • Web控制台程序
垂直搜索的本质
• 从主题相关的领域内，获取、加工 与搜索行为相匹配的结构化数据和 元数据信息。
如数码产品mp3：内存、尺寸、大小、电池型 号、价格、生产厂家等，还可以提供比价服务
网络爬虫
• 因沿超链接 “爬行”的工作方式， 被称为爬虫或蜘蛛
• 基于超链接与图的遍历算法，自动 从网络下载Web信息的程序
• 通常用来为搜索引擎提供数据源
面向垂直搜索的聚焦爬虫
• 将定向或非定向的网页抓取下来并 进行分析后得到格式化数据的技术
• 服务于垂直搜索，目标获取与主题 相关的结构化数据和元数据信息
研究综述
工作原理与流程
• 以一定的网页分析算法，提取与主题相关 的超链接，加入待抓取队列
• 根据一定的搜索策略，从待抓取链接队列 中选择下一步抓取链接，并重复上述过程 ，直到满足某一条件停止
Heritrix扩展定制
• 定制自己的Exractor处理器 • 扩展PostProcessor中的FrontierScheduler • 定制链接制造器BdbFrontier的URL散列
算法
继承QueueAssignmentPolicy， 选择ELFHash
• CrawlScope和robots.txt对个别Processor 的影响