网页上的房源房价数据如何抓取

合集下载

相关主题

网页上的房源房价数据如何抓取

如何从网页上抓取数据？本文将以房源类网页为例做一个具体说明。

应用场景：部分城市的房价迅速上涨，多地出台楼市限制政策，未来房价走势到底如何？租房平台五花八门，房源信息鱼龙混杂，如何快速找到最心意的房子？——如果已有的资料不能满足需求，自己动手从网络上的各个平台抓取房源数据，密切关注最新的房价信息，再结合实际情况做出自己的判断，就十分必要。

具体案例：以下是一个使用八爪鱼采集搜房网房源数据的具体案例。

采集网站：/xzlrent/area

步骤1：创建采集任务

1）进入主界面，选择“自定义模式”

网页上的房源房价数据如何抓取图1

2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

网页上的房源房价数据如何抓取图2

步骤2：创建翻页循环

1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”，以建立一个翻页循环

网页上的房源房价数据如何抓取图3

步骤3：创建列表循环并提取数据

1）移动鼠标，选中页面里的第一个写字楼信息区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”

网页上的房源房价数据如何抓取图4

2）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环

网页上的房源房价数据如何抓取图5

3）我们可以看到，页面中写字楼信息区块里的所有元素均被选中，变为绿色。选择“采集以下数据”

网页上的房源房价数据如何抓取图6

4）选中不需要的字段，点击垃圾桶图标，可将其删除

网页上的房源房价数据如何抓取图7

5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击左上角的“保存并启动”，启动采集任务

网页上的房源房价数据如何抓取图8

6）选择“启动本地采集”

步骤5：数据采集及导出

1）采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好的数据导出

网页上的房源房价数据如何抓取图10

2）这里我们选择excel作为导出为格式，数据导出后如下图

网页上的房源房价数据如何抓取图11

经过如上操作，我们采集到了搜房网上深圳-写字楼这个分类下的全部房源信息，具体字段包括：房源标题、所在位置、属性、面积、层数、联系人、距离地铁距离、价格等。