如何利用地图爬虫收集数据

如何利用地图爬虫收集数据
百度地图、高德地图、搜狗地图、腾讯地图、谷歌地图等各种地图网页中，蕴含着丰富的数据信息。

我们可以通过八爪鱼采集器的简易模式或自定义模式，将所需的数据采集下来。

常见的数据有：商家所在城市、具体地址、名称、联系方式、具体坐标等。

一、使用八爪鱼网站简易采集模式采集地图数据
1、在八爪鱼采集器（7.0版本以上）主页，选择“简易采集”>点击“百度”图标进入简易采集>根据数据需求，选择合适项目，并点击“立即使用”。

在这里，我们以“百度地图采集”为例。

如何利用地图爬虫收集数据图1
2、点击“立即使用”进入后，页面上方为城市、搜索关键词输入框，页面下方为示例数据。

如下图，我们输入“深圳”和“电影院”，然后点击“保存”，即会出现“开始采集”按钮。

如何利用地图爬虫收集数据图2
3、点击“开始采集”按钮，选择合适的采集方式。

我们一般选择“启动本地采集”。

启动采集之后，所需的地图数据很快采集出来。

选择合适的格式导出（默认选择excel格式）
如何利用地图爬虫收集数据图3
4、数据导出后如图所示
如何利用地图爬虫收集数据图3
以上就是使用八爪鱼的简易模式，采集百度地图坐标的示例。

仅需点击几个按钮，选择几个关键词，即可瞬间采集大量数据，十分简单高效，大家可以试试。

简易模式还支持搜狗地图、腾讯地图的快速采集，打开八爪鱼客户端即可体验。

简易采集-腾讯地图
简易采集-
搜狗地图
二、使用八爪鱼自定义采集模式，采集百度地图数据
以下是一个使用八爪鱼自定义模式，采集百度地图数据的完整示例。

步骤1：创建采集任务
如何利用地图爬虫收集数据图4
2）将要采集的网站URL复制粘贴到输入框中，点击“保存网址”
如何利用地图爬虫收集数据图5
步骤2：输入采集信息
1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。

点击地图上的输入框，然后在右侧操作提示框中，选择“输入文字”
如何利用地图爬虫收集数据图6
2）在操作框提示中，输入想要查询的文本。

这里输入“成都火锅”。

输入完成后，点击“确定”
如何利用地图爬虫收集数据图7
3）“成都 火锅”会自动填充到输入框。

先点击“搜索”按钮，然后在右侧操作提示框中，选择“点击该按钮”
如何利用地图爬虫收集数据图8
由于此网页涉及Ajax 技术，我们需要进行一些高级选项的设置。

选中“点击元素”步骤，打开“高级选项”，勾选“Ajax 加载数据”，设置时间为“2秒”
如何利用地图爬虫收集数据图9
注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。

表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。

验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。

步骤3：创建翻页循环
1）我们可以看到，页面出现了“成都火锅”的搜索结果。

将结果页面下拉到底部，点击“下一页”按钮。

在右侧的操作提示框中，选择“循环点击下一页”，以创建一个翻页循环
如何利用地图爬虫收集数据图10
由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。

选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
Ajax技术在上述已经提到
如何利用地图爬虫收集数据图11
步骤4：创建列表循环并提取数据
1）移动鼠标，选中页面里第一条商家信息区块。

系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”
如何利用地图爬虫收集数据图12
2）系统会自动识别出页面中的其他10组同类元素，在操作提示框中，选择“选中全部”，以建立一个翻列表循环
如何利用地图爬虫收集数据图13
3）我们可以看到，页面中景点信息区块里的所有元素均被选中，变为绿色。

选择“采集以下数据”
如何利用地图爬虫收集数据图14
4）选中不需要的字段，点击垃圾桶图标，可将其删除
如何利用地图爬虫收集数据图15
5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。

完成后，点击左上角的“保存并启动”，启动采集任务
如何利用地图爬虫收集数据图16
6）选择“启动本地采集”
如何利用地图爬虫收集数据图17
步骤6：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出
如何利用地图爬虫收集数据图18
2）这里我们选择excel作为导出为格式，数据导出后如下图
如何利用地图爬虫收集数据图19
相关采集教程：
百度搜索结果采集
大众点评评价采集
搜狗微信文章采集
八爪鱼——70万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。

完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。

配置好采集任务后可关机，任务可在云端执行。

庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。

免费版具备所有功能，能够满足用户的基本采集需求。

同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。