网站爬虫如何爬取数据

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

网站爬虫如何爬取数据

大数据时代，用数据做出理性分析显然更为有力。做数据分析前，能够找到合适的的数据源是一件非常重要的事情，获取数据的方式有很多种，最简便的方法就是使用爬虫工具抓取。今天我们用八爪鱼采集器来演示如何去爬取网站数据，以今日头条网站为例。

采集网站：

https:///ch/news_hot/

步骤1：创建采集任务

1）进入主界面选择，选择“自定义模式”

网站爬虫如何爬取数据图1

2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”

网站爬虫如何爬取数据图2

3）保存网址后，页面将在八爪鱼采集器中打开，红色方框中的信息是这次演示要采集的内容

网站爬虫如何爬取数据图3

步骤2：设置ajax页面加载时间

●设置打开网页步骤的ajax滚动加载时间

●找到翻页按钮，设置翻页循环

●设置翻页步骤ajax下拉加载时间

1）网页打开后，需要进行以下设置：打开流程图，点击“打开网页”步骤，在右侧的高级选项框中，勾选“页面加载完成向下滚动”，设置滚动次数，每次滚动间隔时间，一般设置2秒，这个页面的滚动方式，选择直接滚动到底部；最后点击确定

网站爬虫如何爬取数据图4

注意：今日头条的网站属于瀑布流网站，没有翻页按钮，这里的滚动次数设置将影响采集的数据量

网站爬虫如何爬取数据图5

步骤3：采集新闻内容

创建数据提取列表

1）如图，移动鼠标选中评论列表的方框，右键点击，方框底色会变成绿色然后点击“选中子元素”

网站爬虫如何爬取数据图6

注意：点击右上角的“流程”按钮，即可展现出可视化流程图。

2）然后点击“选中全部”，将页面中需要需要采集的信息添加到列表中

网站爬虫如何爬取数据图7

注意：在提示框中的字段上会出现一个“X”标识，点击即可删除该字段。

网站爬虫如何爬取数据图8

3）点击“采集以下数据”

网站爬虫如何爬取数据图

9

4）修改采集字段名称，点击下方红色方框中的“保存并开始采集”

网站爬虫如何爬取数据图10

步骤4：数据采集及导出

1）根据采集的情况选择合适的采集方式，这里选择“启动本地采集” 网站爬虫如何爬取数据图

11

说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

2）采集完成后，选择合适的导出方式，将采集好的数据导出

网站爬虫如何爬取数据图12

本文仅以今日头条网采集为例。其他网站上的公开数据的基本采集步骤同理，但是具体步骤需根据具体网页情况具体分析。部分网页较为复杂（涉及点击、登陆、翻页、识别验证码、瀑布流、Ajax），在八爪鱼中进行一些高级选项的设置即可。