八爪鱼爬虫采集方法

八爪鱼爬虫采集方法

网页爬虫是一个比较热门的网络词，因为大数据时代，各行各业的从业人员都需要大量的数据信息，通过分析这类数据来优化升级自己的产品，从而满足所有消费者的需求，从而更好地抢占市场。目前市面上比较好用的爬虫工具首推八爪鱼采集器，所以今天就教大家八爪鱼爬虫工具的使用方法，让你轻松get网络爬虫。

文章内示例网址为：

/guide/demo/genremoviespage1.html

自定义模式采集步骤：

步骤1：首先打开八爪鱼采集器→找到自定义采集→点击立即使用

自定义模式-图1

步骤2：输入网址→设置翻页循环→设置字段提取→修改字段名→对规则进行手动检查→选择采集类型启动采集

自定义模式-图2：输入网址

自定义模式-图3：设置翻页循环

自定义模式-图4：创建循环列表

自定义模式-图5：提取字段

自定义模式-图6：修改字段名

注意点：

1.设置翻页循环：观察网页底部有没有翻页图标，如果有并且需要翻页则点击翻页图标，操作提示中循环点击下一页表示循环翻页，可以在循环中设置翻页次数，设置几次则采集网页最新内容几页。采集该链接的文本选项则会出现提取数据步骤，提取下一页对应的文本；点击采集该链接地址步骤选项会出现提取数据步骤，提取当前字段对应的链接地址。点击该链接则会出现点击元素步骤，点击该元素一次。

2.设置字段提取：先对网页内容进行分区块，思路为循环各区块，再从循环到的区块中提取每个字段内容，所以设置时先点击2-3各区块，八爪鱼会自动选中剩余所有区块，点击采集以下元素文本会出现循环提取数据步骤，实现对区块的循环采集，但是此时每个区块循

环时只会将区块内文字合并为一条提取，此时我们删除该字段并手动添加需要提取的所有字段；点击循环点击每个元素则会出现循环点击元素步骤，对每个区块进行一次点击，该示例中区块点击没有效果，所以该示例中循环点击不存在效果。如果选择错误，或者出现的内容列表不是你需要的，可以在操作提示中点击区块后的垃圾桶图标进行删除操作，或者点击取消选择，重新设置。

循环之下的第一个元素要勾选采集当前循环中设置的元素，相关操作才会根据循环设定循环。

3.修改字段名：修改字段名可以点击选择系统内置的字段名，或者手动输入字段名，按回车键可以切换到下一个。

4.选择采集类型启动采集：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

步骤3：确认数据无误→点击导出数据→选择导出方式→查看数据

自定义模式-图7：导出数据

说明：积分是用来支付八爪鱼增值服务的一种方式，主要的用途包括：通过八爪鱼采集器采集并导出数据，在规则市场下载规则，在数据市场下载数据包，不同的账号类型在使用上述增值服务时会有不同的收费策略，具体的收费策略和区别在版本说明里面有详细的解释。积分可以通过八爪鱼官方购买专业版或者旗舰版每月赠送，也可以单独购买积分，还可以通过关注，签到，分享规则，关注微信，绑定社交账号等多种方式获得。

相关采集教程：

1.八八爪鱼爬虫软件入门准备：

/tutorial/xsksrm/rmzb

2.八爪鱼数据爬取入门基础操作：

3./tutorial/xsksrm/rmjccz

八爪鱼网站抓取入门功能介绍：

/tutorial/xsksrm/rmgnjs

4.八爪鱼爬虫软件功能使用教程：

/tutorial/gnd

5.八爪鱼7.0基本排错详细教程：

/tutorial/jbpc_7

6.八爪鱼单个文本输入及点击登录方法：

/tutorial/srdl_v70

7.八爪鱼分页列表信息采集详细教程（7.0版本）：

/tutorial/fylb-70

8.八爪鱼验证码登陆-控件识别方法（7.0版本）：

/tutorial/kjsb7

9.八爪鱼7.0文本循环采集教程，以采集腾讯视频举例：/tutorial/wbxh_7

10八爪鱼抓取AJAX滚动页面爬虫教程：

/tutorial/ajgd_7

八爪鱼——70万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。