地图数据采集方法 - 360文档中心

合集下载

相关主题

地图数据采集方法

地图上包含了各种丰富的数据，我们可以借用市面上已有的数据采集工具，在上面批量搜索获取这些数据信息。

本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】，以【百度地图】为例，教大家如何使用八爪鱼采集软件采集地图数据的方法。

采集网站：

/

本文就以大江南北，男女老少都喜欢的餐饮关键词-烧烤为例，来教大家怎么去采集腾讯地图里的所有包含烧烤的商家信息。

采集的内容包括：店铺名，店铺主页URL，店铺评论数，店铺团购信息，店铺电话，店铺地址。

使用功能点：

●文本输入

●Ajax点击

●循环创建

步骤1：创建腾讯地图采集任务

1）进入主界面，选择“自定义采集”

2）将要采集的网址URL复制粘贴到网站输入框中，你可以选择要保存的任务组，也可以新建一个，然后点击“保存网址”

步骤2：创建输入文本步骤

1）打开腾讯地图主页后，鼠标右键点击到输入框的位置，弹出一个提示栏，选择输入文本，输入你要搜索的关键词，然后点击保存。

步骤3：创建点击搜索步骤

1）输入文本后，再右键选择一下输入框右侧的搜索按钮，选择点击该按钮，这时，地图左侧就会出现输入烧烤后搜索的结果

2）这时，前面的搜索步骤就已经做好了，然后打开右上角的流程按钮，可以查看到设置好的步骤，注意观察，网页的url链接是没有变化的，所以我们要在点击元素的高级选项里勾选一下ajax，时间5秒左右即可

步骤4：创建循环翻页和循环列表

1）我们拖动左侧搜索后结果那的条形框，来到最底部，找到下一页的按钮

2）点击下一页，创建循环翻页，注意，此时的翻页也是ajax加载的，因为页面url始终没有转动和变化，所以翻页按钮也需要设置一下ajax

3）创建循环列表。我们使用选中子元素这一方法来创建循环列表，找到搜索结果，选中第一个商家列表那一整个框，让商家的所有信息都显示已被选中，然后选择右侧提示栏的选中子元素，再选择选中全部

4）选中全部后，在右侧提示栏那可以删掉你不需要的字段，本来有10个字段的，我们删掉不需要的四个字段，选择采集数据

5）然后对所有的字段名都命名一下，改成自己熟悉的即可

6）由于该类地图网站页面格式比较简单，所以采集速度比较快，为了防止被网站防采集了，我们需要去步骤的高级选项里都设置一下执行前等待，便于采集到更多的数据。

步骤5：运行采集并导出腾讯地图商家数据

1）我们以本地采集为例，保存任务，然后再点击采集-本地采集

2）这时，可以查看到数据，每一个商家的基本信息都采集了下来，以后如果碰到类似的地图网页，就可以按照这个方法，轻松的采集下来。