如何抓取网页数据,以抓取安居客举例

如何抓取网页数据，以抓取安居客举例

互联网时代，网页上有丰富的数据资源。我们在工作项目、学习过程或者学术研究等情况下，往往需要大量数据的支持。那么，该如何抓取这些所需的网页数据呢？

对于有编程基础的同学而言，可以写个爬虫程序，抓取网页数据。对于没有编程基础的同学而言，可以选择一款合适的爬虫工具，来抓取网页数据。

高度增长的抓取网页数据需求，推动了爬虫工具这一市场的成型与繁荣。目前，市面上有诸多爬虫工具可供选择（八爪鱼、集搜客、火车头、神箭手、造数等）。每个爬虫工具功能、定位、适宜人群不尽相同，大家可按需选择。本文使用的是操作简单、功能强大的八爪鱼采集器。以下是一个使用八爪鱼抓取网页数据的完整示例。示例中采集的是安居客-深圳-新房-全部楼盘的数据。

采集网站：https:///loupan/all/p2/

步骤1：创建采集任务

1）进入主界面，选择“自定义模式”

如何抓取网页数据，以抓取安居客举例图1 2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

如何抓取网页数据，以抓取安居客举例图2

步骤2：创建翻页循环

1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”，以建立一个翻页循环

如何抓取网页数据，以抓取安居客举例图3

步骤3：创建列表循环并提取数据

1）移动鼠标，选中页面里的第一个楼盘信息区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”

如何抓取网页数据，以抓取安居客举例图4

2）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环

如何抓取网页数据，以抓取安居客举例图5

3）我们可以看到，页面中楼盘信息区块里的所有元素均被选中，变为绿色。右侧操作提示框中，出现字段预览表，将鼠标移到表头，点击垃圾桶图标，可删除不需要的字段。字段选择完成后，选择“采集以下数据”

如何抓取网页数据，以抓取安居客举例图5

4）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击左上角的“保存并启动”，启动采集任务

如何抓取网页数据，以抓取安居客举例图6 5）选择“启动本地采集”

如何抓取网页数据，以抓取安居客举例图7

步骤5：数据采集及导出

1）采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好的数据导出

如何抓取网页数据，以抓取安居客举例图8

2）这里我们选择excel作为导出为格式，数据导出后如下图

如何抓取网页数据，以抓取安居客举例图9

经过如上操作，我们就采集到了安居客上深圳新房分类下，全部楼盘的信息。其他网站上的公开数据的基本采集步骤同理。部分网页较为复杂（涉及点击、登陆、翻页、识别验证码、瀑布流、Ajax），在八爪鱼中进行一些高级选项的设置即可。

相关采集教程：

链家租房信息采集

搜狗微信文章采集

房天下信息采集

八爪鱼——70万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。配置好采集任务后可关机，任务可在云端执行。庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。免费版具备所有功能，能够满足用户的基本采集需求。同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。