微博关键词爬虫抓取方法

微博关键词爬虫抓取方法
本文介绍使用八爪鱼爬虫软件采集抓取微博关键词的方法。

采集网站：
https:///?sudaref=&display=0&retcode=6102
本文仅以“杨幂”、郑爽、“赵丽颖”这三个关键词挖掘举例说明，大家如果有挖掘微博其他关键词的需求，可以更换关键词进行采集。

采集的内容包括：微博下拉框关键词
使用功能点：
●∙文本循环
●∙Ajax点击
●∙Cookie登陆方法（7.0版本）
注：第一次用八爪鱼采集微博的童鞋，可以先制作一个简单的预登陆规则步骤1：创建微博关键词爬虫抓取任务
1）进入主界面，选择“自定义模式”
微博关键词爬虫使用步骤1
2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”
微博关键词爬虫使用步骤2
步骤2：登录微博
1）系统自动打开网页，进入微博首页。

在页面右上角，打开“流程”，以展现
出“流程设计器”和“定制当前操作”两个板块。

点击“登录”按钮，选择“
点
击该链接”，进入微博登录页面
微博关键词爬虫使用步骤3
2）点击账号输入框，选择“输入文字”，输入账号，点击“确定”
微博关键词爬虫使用步骤4
3）点击密码输入框，选择“输入文字”输入密码，点击“确定”
微博关键词爬虫使用步骤5
4）点击“登录”按钮，选择“点击该链接”
微博关键词爬虫使用步骤6
5）系统会自动登录微博
微博关键词爬虫使用步骤7
步骤3：设置cookie
登录 1）再次选中“打开网页”步骤，打开“高级选项”，打开“缓存设置”，勾选“打开网页时使用指定Cookie ”
微博关键词爬虫使用步骤8
2）八爪鱼会记住这个Cookie状态。

下图中新建了一个任务，打开微博首页。

可以看见，八爪鱼中以登陆之后的状态打开之后就可以正式进入采集了。

微博关键词爬虫使用步骤9
步骤4：创建文本循环
1）同上操作选择自定义采集复制网址打开网页之后，打开右上角的流程按钮，从左边的流程展示界面拖入一个循环的步骤，如下图
微博关键词爬虫使用步骤10
然后打开高级选项，在循环方式中选择文本列表，在列表下拉框中输入“杨幂”、郑爽、“赵丽颖”并用回车键隔开。

最后选择“确定”。

微博关键词爬虫使用步骤11
2）接着鼠标选中输入框，在右面的提示框中选择“输入文字”
微博关键词爬虫使用步骤
12
3)接着在弹出的输入框中选择“确定”，不用输入文本。

微博关键词爬虫使用步骤12
然后在左边的流程中把“输入文本”拖到循环框中
微博关键词爬虫使用步骤13
之后，在右边的高级选相中勾选使用当前循环里的文本填充输入框。

选择“确定。

”
微博关键词爬虫使用步骤14
步骤5：提取关键词
1）鼠标选中输入框中的词，然后在右面的提示框中选择“鼠标移动到该元素上”，
微博关键词爬虫使用步骤15
2）此步骤涉及Ajax 技术。

打开“高级选项”，勾选“Ajax 加载数据
”，设置时间为“5秒”。

完成后，点击“确定”
微博关键词爬虫使用步骤16
再次选中关键词，然后选择“选中全部”
微博关键词爬虫使用步骤17
3）最后选择“采集以下链接文本”
微博关键词爬虫使用步骤18
4）选完需要的数据以后，可以打开右上角的流程按钮，对字段进行修改。

微博关键词爬虫使用步骤19
步骤
4：数据采集及导出
1）点击左上角的“保存”，然后点击“开始采集”
微博关键词爬虫使用步骤20
选择“启动本地采集”
微博关键词爬虫使用步骤21
2）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出, 这里我们选择excel作为导出为格式，一份完好的微博下拉关键词就采集好了，数据导出后如下图
微博关键词爬虫使用步骤
22
相关采集教程：
微博图片采集：
/tutorialdetail-1/wbpiccj.html
新浪微博评论数据的抓取与采集方法：
/tutorialdetail-1/wbplcj-7.html
微博粉丝信息采集：
/tutorialdetail-1/wbyhxxcj.html
微博数据采集：
/tutorialdetail-1/xlwbcj_7.html
大众点评评价数据的采集：
/tutorialdetail-1/dzdppj.html
八爪鱼采集遇到一二页重复循环的解决办法：
/tutorialdetail-1/yeycf_7.html
八爪鱼——90万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。

完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。

配置好采集任务后可关机，任务可在云端执行。

庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。

免费版具备所有功能，能够满足用户的基本采集需求。

同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。