网页信息抓取软件使用方法

网页信息抓取软件使用方法
在日常工作生活中，有时候经常需要复制网页上的文字内容，比如淘宝、天猫、京东等电商类网站的商品数据；微信公众号、今日头条、新浪博客等新闻文章数据。

收集这些数据，一般都需要借助网页信息抓取软件。

市面上抓取的小工具有很多，但真正好用，功能强大，操作又简单的，却屈指可数。

下面就为大家介绍一款免费的网页信息抓取软件，并详细介绍其使用方法。

本文介绍使用八爪鱼采集器采集新浪博客文章的方法。

采集网站：
/s/articlelist_1406314195_0_1.html
采集的内容包括：博客文章正文，标题，标签，分类，日期。

步骤1：创建新浪博客文章采集任务
1）进入主界面，选择“自定义采集”
2）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”
步骤2：创建翻页循环
1）打开网页之后，打开右上角的流程按钮，使制作的流程可见状态。

点击页面下方的“下一页”，如图，选择“循环点击单个链接”，翻页循环创建完成。

（可在左上角流程中手动点击“循环翻页”和“点击翻页”几次，测试是否正常翻页。

）
2）由于进入详情页时网页加载很慢，网址一直在转圈状态，无法立即执行下一个步骤，因此在“循环翻页”的高级选项里设置“ajax 加载数据”，超时时间设置为5秒，点击“确定”。

步骤3：创建列表循环
1）鼠标点击列表目录中第一个博文，选择操作提示框中的“选中全部”。

2）鼠标点击“循环点击每个链接”，列表循环就创建完成，并进入到第一个循环项的详情页面。

由于进入详情页时网页加载很慢，网址一直在转圈状态，无法立即执行下一个步骤，因此在“点击元素”的高级选项里设置“ajax加载数据”，AJAX超时设置为3秒，点击“确定”。

3）数据提取，接下来采集具体字段，分别选中页面标题、标签、分类、时间，点击“采集该元素的文本”，并在上方流程中修改字段名称。

鼠标点击正文所在的地方，点击提示框中的右下角图标，扩大选项范围，直至包括全部正文内容。

（笔者测试点击2下就全部包括在内了）
同样选择“采集该元素的文本”，修改字段名称，数据提取完毕。

4）由于该网站网页加载速度非常慢，所以可在流程各个步骤的高级选项里设置“执行前等待”几秒时间，也可避免访问页面较快出现防采集问题。

设置后点击“确定”。

步骤4：新浪博客数据采集及导出
1）点击左上角的“保存”，然后点击“开始采集”。

选择“启动本地采集
2）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出, 这里我们选择excel作为导出为格式，这个时候新浪博客数据就导出来了，数据导出后如下图
相关采集教程：
今日头条采集：
/tutorial/hottutorial/xwmt/toutiao
腾讯新闻采集：
/tutorial/hottutorial/xwmt/tenxunnews
蚂蜂窝旅游美食文章评论采集教程：
/tutorial/mafengwoplcj
网易自媒体文章采集：
/tutorial/wyhcj
新浪博客文章采集：
/tutorial/sinablogcj
淘宝数据采集：
/tutorial/hottutorial/dianshang/taobao
京东爬虫：
/tutorial/hottutorial/dianshang/jd
天猫爬虫：
/tutorial/hottutorial/dianshang/tmall
阿里巴巴数据采集：
/tutorial/hottutorial/dianshang/alibaba
亚马逊爬虫：
/tutorial/hottutorial/dianshang/amazon
八爪鱼——100万用户选择的网页数据采集器
1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。

完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。

配置好采集任务后可关机，任务可在云端执行。

庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。

免费版具备所有功能，能够满足用户的基本采集需求。

同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。