八爪鱼云采集原理以及规则加速设置教程

合集下载

八爪鱼数据采集月成交笔数教程

八爪鱼数据采集月成交笔数教程
八爪鱼是一款数据采集工具，可以用于自动化地采集网站上的各种数据。

下面是使用八爪鱼进行月成交笔数数据采集的教程：
步骤1：打开八爪鱼软件，并点击新建任务来创建一个新的数据采集任务。

步骤2：在任务设置页面，填写任务的基本信息，例如任务名称和网站的URL 地址。

步骤3：在页面内容设置页面，选择需要采集的数据所在的页面，并使用八爪鱼提供的选择器工具来选择数据所在的HTML元素。

步骤4：在数据字段设置页面，给数据字段命名并设置字段的提取规则。

例如，要提取月成交笔数，可以使用正则表达式或者XPath规则来匹配对应的数据。

步骤5：在数据导出设置页面，选择导出数据的格式和保存路径。

八爪鱼支持导出为Excel、CSV等格式。

步骤6：点击保存并运行任务，等待八爪鱼自动采集数据。

可以选择定时运行任务或者手动运行任务。

通过以上步骤，就可以使用八爪鱼进行月成交笔数数据采集。

根据实际情况，可
能需要进行一些调试和优化，以确保能够正确地采集到目标数据。

八爪鱼采集器使用方法图解

八爪鱼采集器使用方法图解：
1、打开八爪鱼采集器的客户端,登陆软件之后新建一个任务,打开你要采集的网站地址;这里我自己示范的原创设计手稿的采集;
2、进入到设计工作流程环节,在界面浏览器那输入你要采集的网址,点击打开,你就能看到你要采集的网站界面,由于这个网址存在多页内容需要采集,我们再设置采集规则的时候,可以先建立翻页循环,先把鼠标选择页面上的下一页按钮,在弹出的任务对话框,选择高级选项中的循环点击下一页,软件会自动建立一个翻页循环;
3、建好翻页循环好,就是采集当前页上的内容,我要采集图片的URL,就选中一个图片,然后单击,软件会自动弹出对话框,先建立一个元素循环列表;当前页面的所有元素都被抓取后,循环列表则建立完成;
4、设置要抓取的内容,选择元素循环列表中的任意一个元素,在浏览器内找到该元素对应的图片,点击后弹出对话框,选择抓取这个元素的图片地址为字段1,同时我为了方便识别,还抓取了字段2为图片标题名称,设置原理同图片地址;
5、检查一下,翻页循环框应该将产品循环框嵌套在内,表示,先抓取完当前一整页的图片URL后再翻页;
6、设置执行计划后,就可以开始采集了,单击采集的话,直接点击完成步骤下的检查任务,开始运行任务;采集完毕后可以直接下载成EXCEL的文件;
7、将URL转换为图片,这里用八爪鱼图片转换工具,将EXCEL导入之后,就可以自动等待
系统将图片下载下来了
8、。

采集器软件使用

1.访问“八爪鱼”采集器官方网站，完成注册，并下载安装“八爪鱼”采集器软件。

2.启动“八爪鱼”采集器软件，登录，并打开“自定义采集”功能。

3.打开“豆瓣电影”影评网页，将网页地址输入“八爪鱼”采集器软件的采集网址框中，并点击“保存网址”按钮，如图1.1.1所示。

图1.1.1 “八爪鱼”采集器软件网址输入界面4.打开右上角“流程”按钮，进入采集设置页面，如图1.1.2所示。

图1.1.2 “八爪鱼”采集器软件采集设置界面5.在采集页面下方“豆瓣电影”窗口中，点击下一页超级链接；在“操作提示”窗口，单击“选中全部”；在弹出的“操作提示”窗口中，单击选择“循环点击每个链接”。

如图1.1.3所示。

图1.1.3 “八爪鱼”采集器软件操作提示选择界面6.选择页面元素。

点击影评用户名，在“操作提示”窗口，单击“选中全部”；在一次弹出的“操作提示”窗口中，单击选择“采集以下链接文本”。

此时，配置抓取模板中添加了提取的数据样式，如图1.1.4所示。

图1.1.4 “八爪鱼”采集器软件数据样式呈现界面7.重复上一步骤操作，把电影名、影评内容添加到“配置抓取模板”中。

并在“配置抓取模板”中单击字段名称，更改字段名称。

然后，单击“操作提示”窗口中“保存并开始采集”，如图1.1.5所示。

图1.1.5 “八爪鱼”采集器软件配置抓取模板8.在“运行任务”窗口选择“启动本地采集”，开始数据采集，如图1.1.6所示。

图1.1.6 “八爪鱼”采集器软件运行任务界面9.在“提取到的数据”窗口，选择“导出数据”按钮；然后选择需要的导出方式，完成数据的收集与保存，如图1.1.7所示。

图1.1.7 “八爪鱼”采集器软件导出方式选择界面。

八爪鱼私有云入门教程(7.X版)21页PPT

前面说了一般网页设置ajax的目的是局部刷新，后台与服务器进行少量数据交换，而新标签打开的意思是重新打开加载整个网页，一般来说设置了ajax是不需要再开新标签的，请在设置ajax的时候把勾选的新标签取消掉。
深圳视界信息技术有限公司
The End
谢谢大家
深圳视界信息技术有限公司
谢谢！
如果规则编写正确，此处你就可以启动一个任务规则进行单机采集或云采集了，并且可以设置定时计划
深圳视界信息技术有限公司
流程步骤
流程设计步骤：
在八爪鱼采集器中，一共有11个流程设计操作，其中分为常用步骤和进阶步骤，划分为以下：
常用步骤：
常用步骤本身是应用较多的流程设计操作，通常来说，要实现一个网页的数据快速整理
八爪鱼采集原理
原理:
Ⅰ:模拟人的思维去浏览网页 Ⅱ:通过设计工作流程完成自动化数据采集
八爪鱼采集器是一款模拟人的思维去访问网页
文档的互联网数据采集器。通过设计工作流程，可以实现采集的程序自动化，以达到快速的对网页数据进行收集整合，完成用户数据采集的目的。
深圳视界信息技术有限公司
界面简介
-八爪鱼界面功能介绍
深圳视界信息技术有限公司
界面简介
-八爪鱼任务界面介绍
深圳视界信息技术有限公司
界面简介
-智能模式介绍
深圳视界信息技术有限公司
界面简介
-网页简易模式介绍
深圳视界信息技术有限公司
界面简介
-向导模式介绍
深圳视界信息技术有限公司
界面简介
-自定义模式介绍
深圳视界信息技术有限息时需要输入URL一样
二、循环翻页:
循环翻页，指一般我们需要快速收集整合时，是需要做到翻页循环的，循环翻页的本质是一个单个元素的循环

八爪鱼采集器新手入门必备的知识点(7.0版)18页PPT

八爪鱼采集器是一款模拟人的思维去访问网页
文档的互联网数据采集器。通过设计工作流程，可以实现采集的程序自动化，以达到快速的对网页数据进行收集整合，完成用户数据采集的目的。
深圳视界信息技术有限公司
界面简介
-八爪鱼界面功能介绍
深圳视界信息技术有限公司
界面简介
-智能模式介绍
深圳视界信息技术有限公司
界面简介
常用步骤：
常用步骤本身是应用较多的流程设计操作，通常来说，要实现一个网页的数据快速整理
与采集，这些步骤是必不可少的，基本步骤如下： 1）打开网页 2）点击元素 3）循环 4）提取数据
进阶步骤：
进阶步骤，是指除基本步骤外，我们需要通过下列操作来辅助完成我们的数据采集，进阶步骤如下：
1）输入文字 3）切换下拉选项 5）移动鼠标到元素上
7）结束流程
2）识别验证码 4）判断条件 6）结束循环
深圳视界信息技术有限公司
实战演练
新浪财经 vip.stock.finance.sina/q/go.php/vIR_RatingNewest/index.phtml?p =1
58同城 bj.58/waiyu/30390652277055x.shtml?adtype=1&entinfo=303906 52277055_0&adact=3&psid=167579685196837197191772083&i uType=q_1&ClickID=2&PGTID=0d303871-0000-4c8d-427b904ef31bbe7d
结语：实践出真知，八爪鱼让数据触手可及
深圳视界信息技术有限公司
实战演练
一、打开网页:

八爪鱼产品使用手册

八爪鱼产品使用手册目录1关于八爪鱼 (2)2Cookie （更多内容详见Cookie 视频） (2)2.1 Cookie诞生 (2)2.2 Cookie概述 (2)2.3 Cookie工作原理 (3)3Xpath、Html (3)3.1 Xpath、Html概念 (3)3.2 Html结构 (4)3.3 Html标签、元素、节点 (4)3.4 Html常见标签 (5)3.5 Html常见属性 (6)3.6 Xml、Xpath、Html关系和区别 (7)4常见问题 (7)5常见软件操作教程 (10)5.1 采集单个网页 (10)5.2 采集单个列表页面 (10)5.3 单网页表格信息采集 (10)5.4 采集单网页列表详细信息 (10)5.5 采集分页列表 (10)5.6 采集分页列表详细信息 (10)5.7 采集分页列表+ajax延时设置 (10)5.8 单个文本输入及各种登录方式采集 (11)5.9 Cookie登录 (11)5.10 文本循环输入 (11)5.11 循环切换下拉框 (11)5.12 xpath入门1 (11)5.13 xpath入门2 (11)5.14 一二页重复循环采集 (11)关于八爪鱼八爪鱼·大数据，通过自主创新研发，以分布式云平台架构为产品核心，帮助客户通过在极短的时间内，通过简单操作即可获取想要的数据，并以结构化数据展示，为企业数据挖掘与数据分析提供基础数据源。

于2015年1月，获得国家重点软件企业上市公司“拓尔思”投资。

Cookie （更多内容详见Cookie 视频）Cookie诞生当某个用户打开浏览器发出页面请求时，web服务器只是进行简单相应，然后就关闭与该用户的连接。

所以当用户每发起一个打开网页请求到web服务器的时候，无论是否是第一次打开同一个网页，web服务器都会把这个请求当作第一次来对待，那这样的缺陷可想而知，比如每次打开登录页面的时候都需要输入用户名、密码。

八爪鱼爬虫采集方法

八爪鱼爬虫采集方法网页爬虫是一个比较热门的网络词，因为大数据时代，各行各业的从业人员都需要大量的数据信息，通过分析这类数据来优化升级自己的产品，从而满足所有消费者的需求，从而更好地抢占市场。

目前市面上比较好用的爬虫工具首推八爪鱼采集器，所以今天就教大家八爪鱼爬虫工具的使用方法，让你轻松get网络爬虫。

文章内示例网址为：/guide/demo/genremoviespage1.html自定义模式采集步骤：步骤1：首先打开八爪鱼采集器→找到自定义采集→点击立即使用自定义模式-图1步骤2：输入网址→设置翻页循环→设置字段提取→修改字段名→对规则进行手动检查→选择采集类型启动采集自定义模式-图2：输入网址自定义模式-图3：设置翻页循环自定义模式-图4：创建循环列表自定义模式-图5：提取字段自定义模式-图6：修改字段名注意点：1.设置翻页循环：观察网页底部有没有翻页图标，如果有并且需要翻页则点击翻页图标，操作提示中循环点击下一页表示循环翻页，可以在循环中设置翻页次数，设置几次则采集网页最新内容几页。

采集该链接的文本选项则会出现提取数据步骤，提取下一页对应的文本；点击采集该链接地址步骤选项会出现提取数据步骤，提取当前字段对应的链接地址。

点击该链接则会出现点击元素步骤，点击该元素一次。

2.设置字段提取：先对网页内容进行分区块，思路为循环各区块，再从循环到的区块中提取每个字段内容，所以设置时先点击2-3各区块，八爪鱼会自动选中剩余所有区块，点击采集以下元素文本会出现循环提取数据步骤，实现对区块的循环采集，但是此时每个区块循环时只会将区块内文字合并为一条提取，此时我们删除该字段并手动添加需要提取的所有字段；点击循环点击每个元素则会出现循环点击元素步骤，对每个区块进行一次点击，该示例中区块点击没有效果，所以该示例中循环点击不存在效果。

如果选择错误，或者出现的内容列表不是你需要的，可以在操作提示中点击区块后的垃圾桶图标进行删除操作，或者点击取消选择，重新设置。

八爪鱼云爬虫如何使用

八爪鱼云爬虫如何使用目前，市面上的采集器五花八门，但云爬虫功能相对来说还是比较占优的，而云爬虫概念（云爬虫）是八爪鱼首创，无论国内还是国际。

旗舰版及以上用户在八爪鱼客户端将任务设置好后提交到云服务执行云爬虫，可以关闭软件和电脑，真正的实现无人值守。

除此之外，云爬虫通过云服务器集群的分布式部署方式，多节点同时进行作业，可以提高采集效率，并可高效的避开各种网站的IP封锁策略。

云爬虫的优势：可关机运行，也可设置定时云爬虫，采集加速，增量采集，自动入库等更多功能。

1、云爬虫设置示例网址：/cp01.05.00.00.00.00.html有三种方法可以启动云爬虫（立即启动，并且只运行一次）。

方法一：任务字段配置完毕后，点击“选中全部”，点击“采集以下数据”，选择“保存并开始采集”，进入到“运行任务”界面，选择“启动云爬虫”。

在任务列表内，会看到正在进行云爬虫的任务。

云爬虫使用方法(含定时云爬虫)-图1方法二：在任务列表页面，每个任务名称右方都有“启动云爬虫”选项，点击之后，任务就会立即启动一次云爬虫。

云爬虫使用方法(含定时云爬虫)-图2方法三：在任务列表页面，每个任务名称右方都有“更多操作”选项，点击之后，在下拉选项中选择云爬虫并启动，任务就会立即启动一次云爬虫。

云爬虫使用方法(含定时云爬虫)-图32、定时云爬虫设置定时云爬虫的设置有两种方法：方法一：任务字段配置完毕后，点击“选中全部”，“采集以下数据”，“保存并开始采集”，进入到“运行任务”界面，点击“设置定时云爬虫”，弹出“定时云爬虫”配置页面（图4）。

第一、如果需要保存定时设置，在“已保存的设置”输入框内输入名称，再保存配置，保存成功之后，下次如果其他任务需要同样的定时配置时可以选择这个配置（图5）。

第二、定时方式的设置有4种，可以根据自己的需求选择启动方式和启动时间（图5）。

所有设置完成之后，如果需要启动定时云爬虫选择下方“保存并启动”定时采集，然后点击确定即可；如果不需要启动只需点击下方“保存”定时采集设置即可（图5）。

八爪鱼采集器采集原理

数据库
BI平台
二、八爪鱼实现的功能
2、两种采集方式，本地采集和云采集，满足不同数据采集需求。
二、八爪鱼实现的功能
本地采集（单机采集），即使用自己的电脑进行采集。可以实现绝大多数网页数据的爬取，可以在采集过程中对数据进行初步的清洗。如使用八爪鱼自带的正则工具，利用正则表达式将数据格式化，可在数据源头实现去除空格、筛选日期等多种操作。其次八爪鱼还提供分支判断功能，可对网页中信息进行是与否的逻辑判断，实现用户筛选需求。
二、八爪鱼实现的功能
云采集，是使用八爪鱼提供的云服务集群进行数据采集，不占用本地电脑资源。当规则配置好之后，启动云采集，可关掉自己的电脑，实现无人值守。功能：定时采集，实时监控，数据自动去重并入库，增量采集，自动识别验证码， API接口多元化导出数据。速度：利用云端多节点并发运行，采集速度将远超于本地采集（单机采集）。
防封：具有多节点，多IP，可避免网站的 IP封锁，实现采集数据的最大化。
The End
谢谢大家
八爪鱼让数据触手可及
视频教程PPT

பைடு நூலகம்
教程重点
一、八爪鱼采集原理
二、八爪鱼实现的功能
一、八爪鱼采集原理
客户端程序
八爪鱼客户端使用的开发语言是C#，运行在Windows系统中。如果您使用的是mac电脑，可先安装 Windows虚拟机，再安装八爪鱼采集器。在八爪鱼客户端中，采集和导出数据主要经过以下3个步骤：1、配置任务；2、配置完成后，选择采集方式，本地采集或云采集；3、采集完成，导出数据。对应地，八爪鱼有三大程序来完成这3大步骤：主程序负责任务配置及管理；任务的云采集控制，云集成数据的管理（导出，清理，发布）。数据导出程序负责数据导出，导出格式支持excel，csv， html，txt，导出到数据库等。支持一次导出百万级别数据。本地采集程序负责根据工作流程，通过正则表达式与Xpath原理，快速采集网页数据。

八爪鱼采集器使用进阶教程

循环
基本信息：
•循环列表循环操作的列表元素
高级选项：
•执行前等待流程步骤执行前等待时间 •或者出现元素填写Xpath路径，配合执行前等待一起使用 •元素在Iframe里填写Iframe的Xpath，解决框架网页问题 •循环方式五种循环方式，解决各种循环场景 •满足以下条件时退出循环限制循环次数
八爪鱼默认生成操作，即便不设置，在特定流程步骤中，也会隐式生效，例如：流程开始、结束流程
打开网页
基本信息：
•页面Url 打开网页的网址
高级选项：
•阻止弹窗阻止弹出窗口 •使用循环配合URL循环一起使用 •滚动页面内置浏览器滚动次数与方式 •缓存设置 1.清除缓存 2.Cookie •激活重试按条件尝试重新打开网页
点击元素
基本信息：
•要点击元素点击元素基本信息
高级选项：
•使用循环配合单个元素循环、不固定元素列表、固定元素列表循环一起使用 •开新标签新标签打开网页页面 •滚动页面内置浏览器滚动次数与方式 •AJAX加载页面自动刷新时间，AJAX超时为设置时间定位锚点设置后页面自动跳置锚点 •激活重试按条件尝试重新打开网页
翻页问题
死循环翻页死循环翻页，一般都是由点击翻页的自定义定位元素方式中的XPath路径不精准导致的，此时我们需要根据网页特点，来修改Xpath，教程。 •提取为空如果网页能正常打开，提取为空一般有下列两种情况： 1）IFRAME IFRAME问题教程 2）Xpath不精准 Xpath不精准，导致部分数据提取不到，这时我们需要观察网页结构进行修改Xpath Xpath基础教程观看完后，尝试自己解决，如果未能解决，可以到Xpath板块进行发帖咨询

微信公众号文章采集详细步骤

微信公众号文章采集详细步骤对于一些优质的公众号，我们常常有需要采集微信公众号文章的需要，如何简化采集程序，高效的提取到我们需要的信息呢。

本次介绍八爪鱼简易采集模式下“微信文章采集”的使用教程以及注意要点。

微信公众号文章采集使用步骤步骤一、下载八爪鱼软件并登陆1、打开/download，即八爪鱼软件官方下载页面，点击图中的下载按钮。

2、软件下载好了之后，双击安装，安装完毕之后打开软件，输入八爪鱼用户名密码，然后点击登陆步骤二、设置微信文章爬虫规则任务1、进入登陆界面之后就可以看到主页上的网站简易采集了，选择立即使用即可。

2、进去之后便可以看到目前网页简易模式里面内置的所有主流网站了，需要采集微信公众号内容的，这里选择搜狗即可。

3、找到搜狗公众号这条爬虫规则，点击即可使用。

4、搜狗公众号简易采集模式任务界面介绍查看详情：点开可以看到示例网址任务名：自定义任务名，默认为搜狗公众号任务组：给任务划分一个保存任务的组，如果不设置会有一个默认组公众号URL列表填写注意事项：提供要采集的网页网址，即搜狗微信中相关公众号的链接。

多个公众号输入多个网址即可。

采集数目：输入希望采集的数据条数示例数据：这个规则采集的所有字段信息。

5、微信文章爬虫规则设置示例例如要采集相关旅游、美食的公众号文章在设置里如下图所示：任务名：自定义任务名，也可以不设置按照默认的就行任务组：自定义任务组，也可以不设置按照默认的就行商品评论URL列表：/weixin?type=1&s_from=input&query=电影&ie=utf8&_sug_=n&_sug_type_=/weixin?type=1&s_from=input&query=美食&ie=utf8&_sug_=n&_sug_type_=一行一个，使用回车（Enter）进行换行。

采集数目：可根据自身需求选填（当前默认）注意事项：URL列表中建议不超过2万条步骤三、保存并运行微信文章爬虫规则1、设置好爬虫规则之后点击保存。

八爪鱼爬虫系统详细介绍

八爪鱼爬虫系统详细介绍八爪鱼采集器作为一款强大的网页数据采集工具，可以将各种复杂的网页数据以非常简单的设置方式进行抓取，并导出为结构化数据。

那么，八爪鱼的采集原理是什么，又要如何配置采集流程呢，本文将为大家详细介绍八爪鱼系统。

要系统的学习八爪鱼，完成从入门到采集大神的历练，需要经过以下几个阶段：一、理解八爪鱼工作的核心原理二、了解八爪鱼入门词汇（有一个初步印象）三、采集基本流程教程（明白整体架构）四、细致学习功能点教程+实战案例教程（开始实际操作）一、理解八爪鱼工作的核心原理八爪鱼采集的核心原理是：模拟人浏览网页，复制数据的行为，通过记录和模拟人的一系列上网行为，代替人眼浏览网页，代替人手工复制网页数据，从而实现自动化从网页采集数据，然后通过不断重复一系列设定的动作流程，实现全自动采集大量数据。

理解核心原理是十分必要的，只有理解了工作原理，再结合实际操作仔细体会，才会取得事半功倍的效果。

二、了解八爪鱼入门词汇（有一个初步印象）要掌握的入门词汇主要有：积分、规则、云加速、云优先、URL、单机采集、云采集、定时采集、URL循环、自动导出、COOKIE、XPATH、HTML八爪鱼入门词汇详细资料，请点击以下链接查看：/doc-wf三、了解采集基本流程教程（明白整体架构）八爪鱼在配置规则、采集数据的时候，主要会经过以下几个步骤：打开网页、点击元素、输入文本、提取数据、循环、下翻下拉列表、条件分支、鼠标悬停。

针对这些步骤，八爪鱼内置了很多高级选项。

在针对具体网页的采集过程中，网页结构、网页情况是不一样的。

我们需要观察网页结构，相应地在八爪鱼中进行高级选项的设置。

那么，了解八爪鱼采集基本流程，是十分必要的。

八爪鱼采集基本流程详解，请点击以下链接查看：/doc-wf四、细致学习功能点教程+实战案例教程（开始实际操作）经过前两步，我们掌握了入门词汇，知道经常出现在八爪鱼中的积分、规则、云加速、云优先、URL、COOKIE、XPATH等词是什么意思；我们对八爪鱼的基本采集步骤有了清晰的把控，明白有8大步骤和若干高级选项需要设置。

QQ采集图文详解-八爪鱼采集

现在QQ采集时，QQ本身有很多限制，很多网站会希望能快速有效的将QQ群及QQ号码能收集到并导出，这里我们给大家介绍通过免费采集软件-八爪鱼采集器如何快速的实现这点。

1、打开采集器，登陆进去之后，找到菜单项【采集规则】一项，双击打开，在【规则市场】中找到规则名称为：QQ群-群成员-QQ号邮箱采集的规则，点击产品名称进入规则下载页，首次使用的用户需要先下载此规则，已经下载过此规则的用户可以调过，无需再次下载。

2、进入到软件主页，双击【快速开始】选项，在左上角菜单栏双击【导入任务】选项，将刚下载好的规则导入进去，为了方便管理任务，你可以新建一个任务分组比如QQ号码采集，方便记忆，这个分组名称可以任意建立命名。

3、在【我的任务】中找到刚刚导入的规则任务名称，双击点击开始运行。

注意，规则导入过一次之后，下次再使用此规则，打开软件后直接进入该步骤即可，无需再次运行第一步和第二步。

4、按照提示，点击下一步，进入到【设计工作流程】页面，此步骤如果你需要再已有的规则上进行修改，可以在此页面进行配置或修改新的规则，如果无需修改，直接点击下一步进入下一流程。

5、【设置执行计划】页面，你可以设置采集的相关选项，如果你打算使用云采集，还可以设置启动的时间，系统会自动按照该时间进行采集，云采集还能将每次下载的数据自动去重，自动过滤你之前已经下载过的数据。

如果你不打算采取云采集，直接点击【下一步】进入下一流程6、任务配置完成页，你可以选择【检查任务】进入QQ数据采集运行检查，任务检查时点击运行按钮，即可开始QQ采集，在此，需要你登陆要采集的QQ号码，系统即可自动开始运行，任务检查完毕，你也可以将数据直接导出7、在任务配置完成页，你也可以选择【完成】设置【云采集】或【单机采集】，云采集系统会自动根据你的设置定时定量完成采集和去重工作。

云采集如何使用

云采集如何使用一般情况下，采集数据用的都是本地电脑ip和硬件配置，采集的效果往往受到本地电脑网络、PC数量、硬件配置、ip的限制，要么是采集慢，要么是各种被采集。

云采集就不一样，运行稳定，云服务器集群工作有效提升采集效率。

云采集是指通过使用八爪鱼提供的服务器集群进行工作，该集群是7*24小时的工作状态。

在客户端将任务设置完成并提交到云服务执行云采集之后，可以关闭软件，关闭电脑进行脱机采集，真正的实现无人值守。

除此之外云采集通过云服务器集群的分布式部署方式，多节点同时进行作业，可以提高采集效率，并且可以高效的避开各种网站的IP封锁策略。

云采集的优势：可以关机运行，也可以设置定时云采集，加快采集速度，增加采集量。

1、云采集设置有三种方法可以启动云采集（立即启动，并且只运行一次）。

方法一：任务字段配置完毕后，点击…选中全部‟→…采集以下数据‟→…保存并开始采集‟，进入到“运行任务”界面，点击启动云采集，则在任务列表内会看到正在进行云采集的任务。

方法二：在任务列表页面，每个任务名称右方都有…启动云采集‟选项，点击之后，任务就会立即启动一次云采集。

方法三：在任务列表页面，每个任务名称右方都有…更多操作‟选项，点击之后，在下拉选项中选择云采集并启动，任务就会立即启动一次云采集。

2、定时云采集设置定时云采集的设置有两种方法：方法一：任务字段配置完毕后，点击…选中全部‟→…采集以下数据‟→…保存并开始采集‟，进入到“运行任务”界面，点击…设置定时云采集‟，弹出…定时云采集‟配置页面。

第一、如果需要保存定时设置，在…已保存的配置‟输入框内输入名称，再保存配置，保存成功之后，下次如果其他任务需要同样的定时配置时可以选择这个配置。

第二、定时方式的设置有4种，可以根据自己的需求选择启动方式和启动时间。

所有设置完成之后，如果需要启动定时云采集选择下方…保存并启动‟定时采集，然后点击确定即可。

如果不需要启动只需点击下方…保存‟定时采集设置即可。

八爪鱼采集规则基本步骤介绍

八爪鱼采集规则基本步骤介绍八爪鱼采集器采集规则步骤简介：1.打开网页2.点击元素3.输入文本4.提取数据5.循环6.切换下拉选项7.条件分支8.鼠标悬停1、打开网页该步骤根据设定的网址打开网页，一般为网页采集流程的第一个步骤，用来打开指定的网站或者网页。

如果有多个类似的网址需要分别打开执行同样的采集流程，则应该放置在循环的内部，并作为第一个子步骤。

打开网页步骤注意事项：1）网页地址网址，一般可以从网页浏览器如IE等的地址栏中复制得到，如:2）使用当前循环项配合循环步骤来使用，用以重复打开多个类似的网页，然后执行同样的一套流程，循环打开网页时，应为作为循环步骤的第一个子步骤。

如果勾选此项，则无需手动设置网页地址，网页地址会自动显示循环设定的网址列表的当前循环项。

3）阻止弹出窗口用以屏蔽网页弹窗广告，如果打开的网页偶尔会变成另外一个广告页面，则可以使用本选项阻止广告页面弹出。

4）超时在网页加载完成前等待的最大时间，如果网页打开缓慢，或者长时间无法打开，则流程最多等待超时指定的时间，之后无论网页是否加载完成，都直接执行下一步骤，应尽量避免设置过长的超时时间，因为这会影响采集速度。

5）滚动到底部个别网页在打开网页后并没有显示所有数据，需要滚动鼠标滚轮或者拖动页面滚动条到底部，才会加载没有显示的数据，使用此选项在页面加载完成后滚动到底部6）激活重试如果网页没有按照成功打开预期页面，例如显示服务器错误（500），访问频率太快等，或者跳转到其他正常执行不应该出现的页面，可以使用本选项进行重试，但必须配合以下几个重试参数执行，请注意以下几种判断的情况任意一种出现都会导致重试。

7）结果页面网址包含如果出现的页面网址中总是出现某个特殊的字符串，例如网页找不到时一般会出现500.htm等，则使用此选项可以判断没有打开预期页面，需要重试8）结果页面文本包含如果出现的页面文字中中总是出现某个特殊的字符串，例如"访问频率太快"，则使用此选项可以判断没有打开预期页面，需要重试9）结果页面文本不包含如果正常打开网页一定会出现某个特殊的字符串，但没有正常打开的时候一定不会出现该字符串，则可以据此判断判断没有打开预期页面，需要重试10）最大重试次数为了避免无限制重复尝试，请示用本选项限制最大重复尝试的次数，如果重试到达最大允许的次数，任然没有成功，则流程将停止重试，继续执行下一步骤11）重试间隔在两次重试之间等待的时间，一般情况下，当打开网页出错时，立即重试很有可能是同样的错误，适当等待则可能成功打开预期网页，但应该尽量避免设置过长的等待时间，因为这会影响采集速度。

八爪鱼爬虫模拟登录抓取数据

八爪鱼使用cookie登陆网站采集数据（7.0版本）本文给大家演示，通过记录Cookie登录网站，再进行数据采集的方式。

Cookie：某些网站为了辨别用户身份、进行session 跟踪而储存在用户本地终端上的数据（通常经过加密）。

在八爪鱼里，有些网站是需要登陆账号之后，才能进行采集数据。

我们需要先做一个登录流程，登陆进网站，然后获取登陆后的Cookie，记住登陆状态，浏览器即会自动打开登陆后要采集的网址。

登录网址：https:///示例网址：https:///list?spm=a217f.8051907.312344.10.Xesvx1&style=grid&selle r_type=taobao&cps=yes&cat=50000671我们需要先创建一个登录流程：在登录网址里面，输入用户名、密码，登陆网站。

然后获取登陆后的Cookie，记住登陆状态。

步骤1：打开网页1）登陆八爪鱼7.0采集器，点击新建任务，选择“自定义采集”，进入到任务配置页面2）然后输入登录网址，点击“保存网址”，系统会进入到流程设计页面并自动打开前面输入的登录网址Cookie 登录方法（7.0）-图1步骤2：登录网站1）在浏览器中，用鼠标点击用户名输入框，输入自己的用户名。

用同样的方式输入密码Cookie登录方法（7.0）-图22）在浏览器中，用鼠标点击登陆按钮，在右边弹出的提示框里选择“点击该按钮”（或直接按键盘上的enter键也可）Cookie登录方法（7.0）-图33）浏览器会自动登陆，打开我们最终需要采集数据的网址。

这时登陆流程便做好了步骤3：新建“打开网页”1）打开“流程”。

在流程设计器中，拖入一个打开网页的步骤2）输入最终要采集的网址URL，点击“确定”。

八爪鱼浏览器以登录后的状态打开了此URLCookie登录方法（7.0）-图43）在拖入“打开网页”的步骤之后，默认超时时间是空白的。

八爪鱼图片采集攻略

八爪鱼采集软件批量图片采集攻略瀑布流网站、AJAX网页等技术和网站技术架构和网页结构都与以往传统的网站有所区别，如何对这类型网站进行网页数据采集，下面，本文就来详细介绍下，这类型网站时使用八爪鱼采集器的详细操作步骤。

以“东大门”这个站为采集范例，来说明下图片采集要如何实现。

先来看下这个网站的特殊之处，首先，页面上的图片不是一次加载完成，而需要滚动多次才会滚动到底部，这类型的网站像新浪微博也是类似情况，当然也有的瀑布流网站是一直加载无法见底的，这个情况另外介绍。

其次，产品详情页不能通过点击标题进入，而需要点击图片才能进入。

针对以上两点问题，在使用八爪鱼采集器采集图片等信息的时候，在设置规则的时候需要注意以下几点：1、打开网页的时候，需要设置AJAX网页加载，以便确保数据采集的时候不会遗漏，像东大门这个示范站，我们实际滚动大约需要4次，所以我们在AJAX加载到底部，滚动次数可以设置为4次或5次均可，次数可以适当的比实际的滚动次数稍微多一两次！2、由于我们采集时需要点击图片才能进入到产品详情页，在建立元素循环列表的时候，需要将图片链接设置为列表项，如下图所示，我们需要点击A标签取到图片的链接地址，并以此链接为循环列表，添加元素到列表的时候，每次都需要点击A标签，2-3次添加之后系统会将所有选中的图片链接自动读取出来。

3、采集图片的URL，按第二步的操作进入到详情页后，就是提取数据了，对于产品名称和价格，都是文本形式，提取非常简单，而对于图片，会需要先采集到图片本身的URL，再进行转换，采集办法如下图所示，选中图片后，在弹出的对话框中可选中IMG标签，选择图片的超链接进行采集。

4、设置完成后，保存，来看下采集的战果！URL、产品名称、价格均已采集下来，我们导出为EXCEL格式的文件。

5、将图片的URL转换为图片批量下载下来，相关的工具再八爪鱼数据采集器论坛可以免费下载。

将URL地址导入工具即可将图片转换下来！经过以上简单的5步，AJAX网页上的瀑布流图片就采集下来了，当然，如果你要进行多页采集，只需要再第2步的设置一次翻页循环即可，翻页循环的相关视频教程可直接点此查看。

八爪鱼采集器高阶教程

八爪鱼采集器高阶教程手动创建翻页循环及下一页死循环解决方法手动创建翻页循环相信很多朋友都碰到过这种情况，明明是一个翻页按钮，但是点击后没有创建翻页人选项，很多人会以为这种网页就不能做翻页了，其实这种类型的网页我们可以通过手动创建出一个翻页循环来解决。

接下来就教大家如何手动创建翻页循环。

首先我们打开一个无法自动创建翻页的网页，如图中所示，当我们点击下一页按钮后，跳出的执行框中并没有循环点击的选项出现；针对这种类型的网页，我们可以通过下面几个简单的步骤进行循环翻页的手动创建：1)选择点击这个元素，添加一个点击步骤到流程中系统添加点击步骤到流程中后，点击自定义，进入自定义定位方式界面2)将图中红色方框中下一页的Xpath复制出来，然后把创建的点击步骤删除，因为我们让系统自动创建点击步骤只是为了得到下一页的Xpath，如果是懂Xpath的朋友可以省掉这个步骤。

自动生成的XPath只能对应当前网页，翻页后的页面格式有可能不能应对，所以需要自己修改。

3)接下来我们创翻页循环，先拖一个循环步骤到流程中，打开高级选项，勾选点击单个元素，将之前复制的下一页人Xpath填到单个元素输入框中，点击保存。

4)拖入一个点击步骤到，打开高级选项，勾选上点击当前循环中设置的元素，点击保存。

翻页循环就建好了，这种类型的翻页问题就可以通过上面介绍的方法解决。

接下来我们再看一下：下一页死循环的问题。

下一页死循环解决方法什么是下一页死循环？有些网站可能在我们用系统做好的规则进行采集的时候，明明已经采集到最后一页了，就是不终止跳出循环，一直在最后一页循环采集，这种情况其实是由于xpath定位不对导致的，这种翻页情况我们称为下一页死循环，它可以通过我们对xpath的修改来解决。

当我们采集出现问题的时候，我们可以通过规则流程来找到问题所在。

下面的规则是直接按照新手入门的步骤做的如上图：浏览器中要采集的数据已经在最后一页了，可以我们在循环列表中依旧能找到下一页的按钮，代表一直都可以点击这个按钮进行采集，循环是结束不了的点开循环列表的高级设置按钮，可以看到下一页的xpath如下图所示：把这个xpath复制到火狐浏览器的Firebug里面进行定位，我们发现在第一页是的确可以定位下一页的，可以看到这个xpath在火狐里面每一页都能定位，再看一下第一页（class="nex t"）和第四页（class="no_next"）里面源码的区别可以看到第一页和第三页下一页的class属性是不一样的，我们只需要前面几页的下一页能正确定位，但是最后一页是不需要的，这样可以直接用class来区别。