微信文章抓取工具详细使用方法
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
微信文章抓取工具详细使用方法
如今越来越多的优质内容发布在微信公众号中,面对这些内容,有些朋友就有采集下来的需求,下面为大家介绍使用八爪鱼抓取工具去抓取采集微信文章信息。
抓取的内容包括:微信文章标题、微信文章关键词、微信文章部分内容展示、微信所属公众号、微信文章发布时间、微信文章URL等字段数据。
采集网站:/
步骤1:创建采集任务
1)进入主界面,选择“自定义模式”
微信文章抓取工具详细使用步骤1
2)将要采集的网址URL复制粘贴到网站输入框中,点击“保存网址”
微信文章抓取工具详细使用步骤2
步骤2:创建翻页循环
1)在页面右上角,打开“流程”,以展现出“流程设计器”和“定制当前操作”两个板块。点击页面中的文章搜索框,在右侧的操作提示框中,选择“输入文字”
微信文章抓取工具详细使用步骤3
2)输入要搜索的文章信息,这里以搜索“八爪鱼大数据”为例,输入完成后,点击“确定”按钮
微信文章抓取工具详细使用步骤4
3)“八爪鱼大数据”会自动填充到搜索框,点击“搜文章”按钮,在操作提示框中,选择“点击该按钮” 微信文章抓取工具详细使用步骤5
4)页面中出现了
“八爪鱼大数据”的文章搜索结果。将结果页面下拉到底部,点击“下一页”按钮,在右侧的操作提示框中,选择“循环点击下一页”
微信文章抓取工具详细使用步骤6
步骤3:创建列表循环并提取数据
1)移动鼠标,选中页面里第一篇文章的区块。系统会识别此区块中的子元素,在操作提示框中,选择“选中子元素”
微信文章抓取工具详细使用步骤7
2)继续选中页面中第二篇文章的区块,系统会自动选中第二篇文章中的子元素,并识别出页面中的其他10组同类元素,在操作提示框中,选择“选中全部”
微信文章抓取工具详细使用步骤8
3)我们可以看到,页面中文章区块里的所有元素均被选中,变为绿色。右侧操作提示框中,出现字段预览表,将鼠标移到表头,点击垃圾桶图标,可删除不需要的字段。字段选择完成后,选择“采集以下数据” 微信文章抓取工具详细使用步骤9 4)由于我们还想要采集每篇文章的URL
,因而还需要提取一个字段。点击第一篇文章的链接,再点击第二篇文章的链接,系统会自动选中页面中的一组文章链接。在右侧操作提示框中,选择“采集以下链接地址”
微信文章抓取工具详细使用步骤10
5)字段选择完成后,选中相应的字段,可以进行字段的自定义命名。完成后,点击左上角的“保存并启动”,启动采集任务
微信文章抓取工具详细使用步骤11
6)选择“启动本地采集”
微信文章抓取工具详细使用步骤12
步骤4:数据采集及导出
1)采集完成后,会跳出提示,选择“导出数据”,选择“合适的导出方式”,将采集好的搜狗微信文章的数据导出
微信文章抓取工具详细使用步骤13
2)这里我们选择excel作为导出为格式,数据导出后如下图
微信文章抓取工具详细使用步骤14
注意:通过此种方法采集下来的搜狗微信文章URL,具有时效性,会在短时间
内失效。这是因为搜狗微信本身的限制所致。
相关采集教程:
京东商品信息采集
新浪微博数据采集
58同城信息采集
八爪鱼——70万用户选择的网页数据采集器。
1、操作简单,任何人都可以用:无需技术背景,会上网就能采集。完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。
2、功能强大,任何网站都可以采:对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。
3、云采集,关机也可以。配置好采集任务后可关机,任务可在云端执行。庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。
4、功能免费+增值服务,可按需选择。免费版具备所有功能,能够满足用户的基本采集需求。同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。