如何利用八爪鱼爬虫爬取图片

如何利用八爪鱼爬虫爬取图片

很多电商、运营等行业的朋友，工作中需要用到大量的图片，手动复制太麻烦，现在市面上有一款自动化爬虫工具：八爪鱼采集器，可以帮助大家用最简单的方式自动爬取大量图片，上万张图片几个小时即可轻松搞定。

八爪鱼先将网页中图片的URL采集下来，再通过八爪鱼专用的图片批量下载工具，将采集到的图片URL中的图片，下载并保存到本地电脑中。

下面以ebay网站为例，给大家介绍八爪鱼爬虫爬取图片的方法。

采集网站：

https:///

使用功能点：

●分页列表信息采集

●执行前等待

●图片URL转换

步骤1：创建采集任务

1）进入主界面，选择“自定义采集”

八爪鱼爬取图片步骤1

2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”

八爪鱼爬取图片步骤2

3）系统自动打开网页，红色方框中的图片是这次演示要采集的内容

八爪鱼爬取图片步骤3

步骤二：创建翻页循环

1）点击右上角的“流程”，即可以看到配置流程图。将页面下拉到底部，找到下一页的大于号标志按钮，鼠标点击，在右侧操作提示框中，选择“循环点击单个链接”

八爪鱼爬取图片步骤4

由于该网页每次翻页网址随之变化，所以不是ajax页面，不需要设置ajax。如果有网站每次翻页，网址不变，则需要在高级选项设置ajax加载。

步骤三：图片链接地址采集

1）选中页面内第一个图片，系统会自动识别同类图片。在操作提示框中，选择“选中全部”

八爪鱼爬取图片步骤5

2）选择“采集以下图片地址”

八爪鱼爬取图片步骤5

由左上角流程图中可见，八爪鱼对本页全部图片进行了循环，并在“提取数据”中对图片链接地址进行了提取。

此时可以用鼠标随意点击循环列表中的某一条，再点击“提取数据”，验证一下是否都有正常提取。如果有的循环项没有提取到，说明该xpath定位不准，需

要修改。（多次测试，尚未发现不准情况。）

八爪鱼爬取图片步骤6

如还想提取其他字段，如标题，可选择“提取数据”，在下方的商品列表上点击一个商品的标题，选择“采集该链接的文本”

八爪鱼爬取图片步骤7

修改下字段的名称，如网页加载较慢，可设置“执行前等待”

八爪鱼爬取图片步骤8

点击“开始采集，免费版用户点击“启动本地采集”，旗舰版用户可点击“启动云采集”

八爪鱼爬取图片步骤9

说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

步骤四：数据采集及导出

1）采集完成后，选择导出数据

八爪鱼爬取图片步骤10

2）选择合适的导出方式，将采集好的数据导出

八爪鱼爬取图片步骤11

步骤五：将图片URL批量转换为图片

经过如上操作，我们已经得到了要采集的图片的URL。接下来，再通过八爪鱼专用的图片批量下载工具，将采集到的图片URL中的图片，下载并保存到本地电脑中。

图片批量下载工具：https:///s/1c2n60NI

相关采集教程：

网站图片采集

/tutorial/hottutorial/qita/tupian 豆瓣图片采集并下载保存本地的方法

/tutorial/tpcj-7

微信公众号热门文章采集（文本+图片）

/tutorial/wyhcj

微博图片采集

/tutorial/wbpiccj

阿里巴巴图片抓取下载

/tutorial/alibabapiccj

网站图片采集方法

/tutorial/webpiccj

京东商品图片采集详细教程

/tutorial/jdpiccj

淘宝买家秀图片采集详细教程

/tutorial/tbmjxpic

八爪鱼·云采集网络爬虫软件

淘宝图片采集并下载到本地的方法

/tutorial/tbgoodspic

八爪鱼——百万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。