八爪鱼采集器如何批量采集下载瀑布流网站图片

八爪鱼采集器如何批量采集下载瀑布流网站图片

随着瀑布流网站、AJAX 网页等技术和网站表现形式大行其道，技术架构和网页结构都与以往传统的网站有所区别，图片展现形式表现的更加的灵活。有些企业或个人出于营销研究或者收藏的需求，需要对这类型网站进行网页数据采集。本文介绍遇到这类型网站时，我们要如何使用八爪鱼采集器来快速收集数据。

示例网址：/explore/huatong/

观察示例网址，发现如下特征：1、页面上的图片不是一次加载完成，需要滚动多次才会滚动到底部。这类型的网站属于瀑布流网站（新浪微博也是此种情况）。

2、详情页不能通过点击标题进入，而需要点击图片才能进入。

相关采集教程：

新浪微博数据采集

58同城信息采集

搜狗微信文章采集

步骤1：创建采集任务

1、进入主界面，选择自定义模式

批量采集下载瀑布流网站图片-图1

2、将要采集的网址，复制粘贴到网站输入框中，点击“保存网址”

批量采集下载瀑布流网站图片-图2

步骤2：建立采集规则

1、系统自动打开网页。这是一个瀑布流的网页，涉及AJAX技术，需要设置AJAX 网页加载，以便确保数据采集的时候不会遗漏。勾选“页面加载完成向下滚动”，设置滚动次数为“2次”，时间为“2秒”，滚动方式为“直接滚动到底部”；最后点击确定

批量采集下载瀑布流网站图片-图3

注意：示例网站，没有翻页按钮，滚动次数会影响数据采集数量，可按需设置

2、由于我们采集时需要点击图片才能进入到产品详情页，在建立元素循环列表的时候，需要将图片链接设置为列表项。点击页面内的第一张图片，再点击“A 标签”，系统会选中图片的链接并发现同类链接。选择“选中全部”，再选择“循环点击每个链接”

批量采集下载瀑布流网站图片-图4：点击“A标签”批量采集下载瀑布流网站图片-图5：选择“选中全部”

批量采集下载瀑布流网站图片-图6：“循环点击每个链接”

此步骤涉及Ajax技术。打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”。完成后，点击“确定”

批量采集下载瀑布流网站图片-图7：设置AJAX加载

3、按上面的操作进入到详情页后，就是提取数据。对于发图者ID和图片描述，都是文本形式，提取非常简单。而对于图片，会需要先采集到图片本身的URL，再进行转换。选中图片，在操作提示框中，选择“采集该图片地址”

批量采集下载瀑布流网站图片-图8：采集图片地址

批量采集下载瀑布流网站图片-图9：采集图片描述文本4、修改字段名称，完成后点击“确定”。点击左上角的“保存并启动”

批量采集下载瀑布流网站图片-图10

5、根据采集的情况选择合适的采集方式，这里选择“启动本地采集”

批量采集下载瀑布流网站图片-图11

步骤3：开始采集，导出数据

1、采集完成后，会跳出提示，选择导出数据

批量采集下载瀑布流网站图片-图12

2、选择合适的导出方式，将采集好的数据导出

批量采集下载瀑布流网站图片-图13

步骤4：将图片URL批量转换为图片

经过如上操作，我们已经得到了要采集的图片的URL。接下来，再通过八爪鱼专用的图片批量下载工具，将采集到的图片URL中的图片，下载并保存到本地电脑中。

图片批量下载工具：https:///s/1c2n60NI

1、下载八爪鱼图片批量下载工具，双击文件中的MyDownloader.app.exe文件，打开软件

批量采集下载瀑布流网站图片-图14

2、打开File菜单，选择从EXCEL导入（目前只支持EXCEL格式文件）

批量采集下载瀑布流网站图片-图15

3、进行相关设置，设置完成后，点击OK即可导入文件

批量采集下载瀑布流网站图片-图16

选择EXCEL文件：导入你需要下载图片地址的EXCEL文件

EXCEL表名：对应数据表的名称

文件URL列名：表内对应URL的列名称

保存文件夹名：EXCEL中需要单独一个列，列出图片想要保存到文件夹的路径，可以设置不同图片存放至不同文件夹

如果要把文件保存到文件夹，则路径需要以“\”结尾，例如：“D:\同步\”，如果要下载后按照指定的文件名保存，则需要包含具体的文件名，例如“D:\同步\1.jpg”

如果下载的文件路径和文件名完全一样，则原先存在的文件会被删除

经过以上简单的步骤，AJAX 网页上的瀑布流图片就可以轻松采集出来了。

注意事项：采集不同的数据需要的规则略有不同，不懂怎么编辑规则的可以去规则市场寻找完成的规则。

八爪鱼——70万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。