新浪微博数据采集方法

本文介绍使用八爪鱼采集微博数据-发布的全部微博为例
采集网站：
使用功能点：
●分页列表及详细信息提取
/tutorial/fylbxq7.aspx?t=1
●八爪鱼7.0教程——AJAX滚动教程
/tutorial/ajgd_7.aspx?t=1
●八爪鱼7.0教程——AJAX点击和翻页教程
/tutorial/ajaxdjfy_7.aspx?t=1 相关采集教程：
58同城信息采集
豆瓣电影短评采集
步骤1：创建采集任务
1）进入主界面，选择“自定义模式”
2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”
1）系统自动打开网页，进入微博页面。

在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。

将当前微博页面下拉至底部，出现“正在加载中，请稍后”的字样。

等待约2秒，页面会有新的数据加载出来。

经过2次下拉加载，页面达到最底部，出现“下一页”按钮
（新浪微博数据采集方法图3）
“打开网页”步骤涉及Ajax下拉加载。

打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“4次”，每次间隔“3秒”，滚动方式为“直接滚动到底部”，最后点击“确定”
（新浪微博数据采集方法图4）
注意，这里的滚动次数、间隔时间，需要针对网站进行设置，可根据相关功能点教程进行学习：
八爪鱼7.0教程——AJAX滚动教程
八爪鱼7.0教程——AJAX点击和翻页教程
/tutorial/ajaxdjfy_7.aspx?t=1
2）将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”
（新浪微博数据采集方法图5）
此步骤同样涉及了Ajax下拉加载。

打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“4次”，每次间隔“3秒”，滚动方式为“直接滚动到底部”，最后点击“确定”
（新浪微博数据采集方法图6）
1）移动鼠标，选中页面里的第一条微博链接。

选中后，系统会自动识别页面里的其他相似链接。

在右侧操作提示框中，选择“选中全部”
（新浪微博数据采集方法图7）2）选择“循环点击每个链接”，以创建一个列表循环
1）在创建列表循环后，系统会自动点击第一条微博链接，进入微博详情页。

点击需要的字段信息，在右侧的操作提示框中，选择“采集该元素的文本”。

继续选择要采集的字段，选择“采集该元素的文本”
（新浪微博数据采集方法图9）
2）继续选中要采集的字段，这里选中了微博链接，在操作提示框中，选择“采集该链接的地址”。

重复以上操作，直至需要的字段选择完成
（新浪微博数据采集方法图10）
3）字段信息选择完成后，选中相应的字段，可以进行字段的自定义命名。

完成后，点击左上角的“保存并启动”，启动采集任务
（新浪微博数据采集方法图11）4）选择“启动本地采集”
步骤5：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”。

选择“合适的导出方式”，将采集好微博发博数据导出
（新浪微博数据采集方法图13）
2）这里我们选择excel作为导出为格式，数据导出后如下图
（新浪微博数据采集方法图14）
八爪鱼——70万用户选择的网页数据采集器。

1、操作简单，任何人都可以用：无需技术背景，会上网就能采集。

完全可视化流程，点击鼠标完成操作，2分钟即可快速入门。

2、功能强大，任何网站都可以采：对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页，均可经过简单设置进行采集。

3、云采集，关机也可以。

配置好采集任务后可关机，任务可在云端执行。

庞大云采集集群24*7不间断运行，不用担心IP被封，网络中断。

4、功能免费+增值服务，可按需选择。

免费版具备所有功能，能够满足用户的基本采集需求。

同时设置了一些增值服务（如私有云），满足高端付费企业用户的需要。