网络爬虫技术讲解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎 的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。 Spider中间件(Spider middlewares)
Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response) 和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的 类。 每个spider负责处理一个特定(或一些)网站。 Item Pipeline
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取 到数据库中)。 下载器中间件(Downloader middlewares)
11
项目架构 Scrapy-Redis:则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于
爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目 (items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代 码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。
Fiddler
Fiddler是一个很好用的抓包工具，可以将网络传输发送与接收的数据包进行截获、重发、编辑 等操作。也可以用来检测流量
Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通 讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件）。 Fiddler 要比 其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。
在爬虫中使用redis可以实现分布式爬取
4
爬虫常用工具
MongoDB
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提 供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能 最丰富，最像关系数据库的。
9
项目架构
各模块的介绍如下： Scrapy Engine
引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下 面的数据流(Data Flow)部分。 调度器(Scቤተ መጻሕፍቲ ባይዱeduler)
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader)
10
项目架构
数据流详细过程如下： Scrapy中的数据流由执行引擎控制，其过程如下: 1.引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的 URL(s)。 2.引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。 3.引擎向调度器请求下一个要爬取的URL。 4.调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下 载器(Downloader)。 5.一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response) 方向)发送给引擎。 6.引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。 7.Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。 8.引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。 9.(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。
redis redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包
括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些 数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都 是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率， 数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加 的记录文件，并且在此基础上实现了master-slave(主从)同步。
将抓取下来的数据存入MongoDB数据库中，并搭建MongoDB集群
5
知识结构图
整体结构图
6
知识结构图
7
处理框架----处理流程
8
项目架构 项目架构
scrapy:是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实 现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能 力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候 分布式爬虫的优势就显现出来
简单地说，网络爬虫的基本 任务就是抓取网页内容。
3
常用爬虫工具
PyCharm
PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的 工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。 此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。
网络爬虫
功能介绍 爬虫概念 爬虫工具 知识结构 反爬对策
2
爬虫概念
网络爬虫（Web Spider， 又被称为网页蜘蛛，网络机 器人，又称为网页追逐者）， 是一种按照一定的规则，自 动的抓取万维网信息的程序 或者脚本。另外一些不常使 用的名字还有蚂蚁，自动索 引，模拟程序或者蠕虫。如 果把互联网比喻成一个蜘蛛 网，那么Spider就是在网上 爬来爬去的蜘蛛。
Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response) 和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的 类。 每个spider负责处理一个特定(或一些)网站。 Item Pipeline
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取 到数据库中)。 下载器中间件(Downloader middlewares)
11
项目架构 Scrapy-Redis:则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于
爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目 (items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代 码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。
Fiddler
Fiddler是一个很好用的抓包工具，可以将网络传输发送与接收的数据包进行截获、重发、编辑 等操作。也可以用来检测流量
Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通 讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件）。 Fiddler 要比 其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。
在爬虫中使用redis可以实现分布式爬取
4
爬虫常用工具
MongoDB
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提 供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能 最丰富，最像关系数据库的。
9
项目架构
各模块的介绍如下： Scrapy Engine
引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下 面的数据流(Data Flow)部分。 调度器(Scቤተ መጻሕፍቲ ባይዱeduler)
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。 下载器(Downloader)
10
项目架构
数据流详细过程如下： Scrapy中的数据流由执行引擎控制，其过程如下: 1.引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的 URL(s)。 2.引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。 3.引擎向调度器请求下一个要爬取的URL。 4.调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下 载器(Downloader)。 5.一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response) 方向)发送给引擎。 6.引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。 7.Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。 8.引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。 9.(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。
redis redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包
括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些 数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都 是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率， 数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加 的记录文件，并且在此基础上实现了master-slave(主从)同步。
将抓取下来的数据存入MongoDB数据库中，并搭建MongoDB集群
5
知识结构图
整体结构图
6
知识结构图
7
处理框架----处理流程
8
项目架构 项目架构
scrapy:是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实 现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能 力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候 分布式爬虫的优势就显现出来
简单地说，网络爬虫的基本 任务就是抓取网页内容。
3
常用爬虫工具
PyCharm
PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的 工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。 此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。
网络爬虫
功能介绍 爬虫概念 爬虫工具 知识结构 反爬对策
2
爬虫概念
网络爬虫（Web Spider， 又被称为网页蜘蛛，网络机 器人，又称为网页追逐者）， 是一种按照一定的规则，自 动的抓取万维网信息的程序 或者脚本。另外一些不常使 用的名字还有蚂蚁，自动索 引，模拟程序或者蠕虫。如 果把互联网比喻成一个蜘蛛 网，那么Spider就是在网上 爬来爬去的蜘蛛。