网页数据抓取下载工具教程

网页数据能采集到哪些数据
刚接触数据采集的同学，可能会有这样的问题：到底哪些网页数据能够采集？
简单的说，互联网蕴藏着丰富的公开数据资源。

这些直接可见的互联网公开数据，都是可以采集的，只是在采集难易程度上有所差别。

具体到数据类型，大数据的数据主要为网络日志、视频、图片、地理位置等等各类网络信息，均可通过各种方法，实现采集。

我们可以借助采集工具，高效便捷地实现各种网页、各类型的网页数据采集。

八爪鱼是一款可视化的网页数据采集器，可采集99%的网页。

以下是一个使用八爪鱼，采集豆瓣网上某电影短评的完整示例。

步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”
网页数据能采集到哪些数据图2
步骤2：创建翻页循环
1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。

网页打开后，下拉页面，找到并点击“更多短评”按钮，选择“点击该链接”
网页数据能采集到哪些数据图3
2）将页面下拉到底部，点击“下页”按钮，在右侧的操作提示框中，
选择“更多操作”
网页数据能采集到哪些数据图4
选择“循环点击单个链接”，以建立一个翻页循环
网页数据能采集到哪些数据图5
步骤3：创建列表循环并提取数据
1）移动鼠标，选中页面里的第一条电影评论区块。

系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”
网页数据能采集到哪些数据图6
2）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环
网页数据能采集到哪些数据图7
3）我们可以看到，页面中第一条电影评论区块的所有元素均被选中，变为绿色。

选择“采集以下数据”
网页数据能采集到哪些数据图8
4）选中字段，点击垃圾桶图标，可删除不需要的字段
网页数据能采集到哪些数据图9
5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。

完成后，点击左上角的“保存并启动”
网页数据能采集到哪些数据图10
6）选择“启动本地采集”
网页数据能采集到哪些数据图11
步骤4：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”。

选择“合适的导出方式”，将采集好的数据导出
网页数据能采集到哪些数据图12
2）这里我们选择excel作为导出为格式，数据导出后如下图
网页数据能采集到哪些数据图13
说明：在未登录状态下，豆瓣电影短评只可翻页8次，采集160条左右的短评数据。

如需采集更多的数据，请先登录。

登录可参考以下两个教程：单个文本输入及点击登录方法（/tutorialdetail-1/srdl_v70.html）和cookie登陆方法（/tutorialdetail-1/cookie70.html）。

示例中采集的豆瓣电影的评论信息，其他数据类型如视频、图片、地理位置的采集，相对会复杂一些。

视频：可采集其URL。

图片：可批量采集图片URL，再使用八爪鱼批量导出工具，将URL导出为图片。

地理位置（经纬度），如果地图网站（百度地图、高德地图
搜狗地图）源码中有此信息，可从源码中采集。

相关采集教程：
淘宝评论采集
大众点评评价采集
搜狗微信文章采集
八爪鱼——70万用户选择的网页数据采集器。