知乎回答采集方法

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

知乎回答采集方法

本文介绍使用八爪鱼采集知乎回答的方法

采集网站:https:///question/29727952

规则下载:

使用功能点:

●分页列表信息采集

/tutorialdetail-1/fylb-70.html

●AJAX点击和翻页教程

/tutorial/ajaxdjfy_7.aspx?t=1

步骤1:创建采集任务

1)进入主界面,选择“自定义模式”

知乎回答采集方法图1

2)将要采集的网址URL复制粘贴到网站输入框中,点击“保存网址”

知乎回答采集方法图2

步骤2:创建翻页循环

1)在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。点击问题,在操作提示框中,选择“采集该元素的文本”

知乎回答采集方法图3

2)将页面下拉到底部,点击“查看更多回答”按钮,在右侧的操作提示框中,选择“更多操作”

知乎回答采集方法图4

选择“循环点击单个按钮”

知乎回答采集方法图5

我们发现,系统自动打开要采集的网页,进入知乎问题回答区。经过一次自动下拉加载,此页面达到最底部,出现“查看更多回答”按钮。因而,我们在执行翻页操作前,需等待网页完全加载出来,即需要设置执行前等待

选中整个“循环翻页”步骤,打开高级选项,设置执行前等待为“3秒”,然后点击

“确定”

“点击元素”操作同理,设置执行前等待为“3秒”。同时,“点击元素”步骤还涉及Ajax 加载技术,需勾选“Ajax 加载数据”,设置时间为“2秒” 知乎回答采集方法图

7

注:AJAX 即延时加载、异步更新的一种脚本技术,通过在后台与服务器进行少量数据交换,可以在不重新加载整个网页的情况下,对网页的某部分进行更新。 表现特征:a 、点击网页中某个选项时,大部分网站的网址不会改变;b 、网页不是完全加载,只是局部进行了数据加载,有所变化。

验证方式:点击操作后,在浏览器中,网址输入栏不会出现加载中的状态或者转圈状态。

步骤3:提取知乎回答

1)移动鼠标,选中页面里第一个回答区块。系统会识别此区块中的子元素,在操作提示框中,选择“选中子元素”

知乎回答采集方法图8

2)系统会并识别出页面中的其他同类元素。在操作提示框中,选择“选中全部”

知乎回答采集方法图9

3)选择“采集以下数据”

知乎回答采集方法图10

4)选中字段,点击垃圾桶图标,可将其删除

知乎回答采集方法图11

5)选中相应的字段,可以进行字段的自定义命名

知乎回答采集方法图12

步骤4:调整流程图结构

回顾采集过程,我们配置规则的思路是,先通过循环点击“查看更多回答”按钮,建立翻页循环,加载出全部回答,然后再建立循环列表,提取数据。

1)选中整个“循环”步骤,将其拖出“循环翻页”步骤。如果不进行此项操作,那么将会出现很多重复数据

乎回答采集方法图13

拖动完成后,如下图所示

知乎回答采集方法图14

2)点击左上角的“保存并启动”,选择“启动本地采集”

知乎回答采集方法图15

步骤5:数据采集及导出

1)采集完成后,会跳出提示,选择“导出数据”,选择“合适的导出方式”,将采集好的数据导出

知乎回答采集方法图16

2)这里我们选择excel作为导出为格式,数据导出后如下图

知乎回答采集方法图17

相关采集教程:

天猫商品信息采集

新浪微博数据采集

1688热门商品采集

八爪鱼——70万用户选择的网页数据采集器。

1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。

2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。

3、云采集,关机也可以。配置好采集任务后可关机,任务可在云端执行。庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。

4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的基本采集需求。同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。

相关文档
最新文档