如何使用八爪鱼批量下载网页
https://www.360docs.net/doc/9a10544453.html,
如何使用八爪鱼批量下载网页
八爪鱼作为一款通用的网页数据采集器，其并不针对于某一网站某一行业的数据进行采集，而是网页上所能看到或网页源码中有的文本信息几乎都能采集，有些朋友有批量下载网页的需求，其实可以使用八爪鱼采集器去实现。下面以UC头条网页为大家详细介绍如何使用八爪鱼批量下载网页。
采集网站：https://https://www.360docs.net/doc/9a10544453.html,/
使用功能点：
Xpath
xpath入门教程1
https://www.360docs.net/doc/9a10544453.html,/tutorialdetail-1/xpathrm1.html
xpath入门2
https://www.360docs.net/doc/9a10544453.html,/tutorialdetail-1/xpathrm1.html
相对XPATH教程-7.0版
https://www.360docs.net/doc/9a10544453.html,/tutorialdetail-1/xdxpath-7.html
https://www.360docs.net/doc/9a10544453.html,
AJAX滚动教程
https://www.360docs.net/doc/9a10544453.html,/tutorial/ajgd_7.aspx?t=1
步骤1：创建UC头条文章采集任务
1）进入主界面，选择“自定义模式”
2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”
https://www.360docs.net/doc/9a10544453.html,
3）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，默认显示“推荐”文章。观察发现，此网页没有翻页按钮，而是通过下拉加载，不断加载出新的内容
因而，我们选中“打开网页”步骤，在高级选项中，勾选“页面加载完成后向下滚动”，滚动次数根据自身需求进行设置，间隔时间根据网页加载情况进行设置，滚动方式为“向下滚动一屏”，然后点击“确定”
https://www.360docs.net/doc/9a10544453.html,
（注意：间隔时间需要针对网站情况进行设置，并不是绝对的。一般情况下，间隔时间>网站加载时间即可。有时候网速较慢，网页加载很慢，还需根据具体情况进行调整。具体请看：八爪鱼7.0教程——AJAX滚动教程
步骤2：创建翻页循环及提取数据
1）移动鼠标，选中页面里第一条文章链接。系统会自动识别相似链接，在操作提示框中，选择“选中全部”
https://www.360docs.net/doc/9a10544453.html,
2）选择“循环点击每个链接”
https://www.360docs.net/doc/9a10544453.html,
3）系统会自动进入文章详情页。点击需要采集的字段（这里先点击了文章标题），在操作提示框中，选择“采集该元素的文本”
https://www.360docs.net/doc/9a10544453.html,
文章发布时间、文章作者、文章发布时间、文章正文内容采集方法同上。以下采集的是文章正文
https://www.360docs.net/doc/9a10544453.html,
步骤3：提取UC头条文章图片地址
1）接下来开始采集图片地址。先点击文章中第一张图片，再点击页面中第二张图片，在弹出的操作提示框中，选择“采集以下图片地址”
https://www.360docs.net/doc/9a10544453.html,
2）修改字段名称，再点击“确定”
https://www.360docs.net/doc/9a10544453.html,
3）现在我们已经采集到了图片URL，接下来为批量导出图片做准备。批量导出图片的时候，我们想要同一篇文章中的图片放进同一个文件中，文件夹以文章标题命名。
首先，我们选中标题，在操作提示框中，选择“采集该元素的文本”
https://www.360docs.net/doc/9a10544453.html,
选中标题字段，点击如图所示按钮
https://www.360docs.net/doc/9a10544453.html,
选择“格式化数据”
https://www.360docs.net/doc/9a10544453.html,
点击添加步骤
https://www.360docs.net/doc/9a10544453.html,
选择“添加前缀”
https://www.360docs.net/doc/9a10544453.html,
在如图位置，输入前缀：“D:\UC头条图片采集\”，然后点击“确定”
https://www.360docs.net/doc/9a10544453.html,
以同样的方式添加后缀“\”，然后点击“确定”
https://www.360docs.net/doc/9a10544453.html,
4）修改字段名为“图片存储地址”，最后展示出的“D：\UC头条图片采集\文章标题”即为图片保存文件夹名，其中“D：\UC头条图片采集\”是固定的，文章标题是变化的
https://www.360docs.net/doc/9a10544453.html,
步骤4：修改Xpath
1）选中整个“循环”步骤，打开“高级选项”，可以看到，八爪鱼默认生成的是固定元素列表，定位的是前13篇文章的链接
https://www.360docs.net/doc/9a10544453.html,
2）在火狐浏览器中打开要采集的网页并观察源码。我们发现，通过此条Xpath：//DIV[@class='news-list']/UL[1]/LI/DIV[1]/DIV[1]/A，页面中所需的所有文章均被定位了
https://www.360docs.net/doc/9a10544453.html,
3）将修改后的Xpath，复制粘贴到八爪鱼中所示位置，然后点击“确定”