新浪微博用户爬虫方法

新浪微博用户爬虫方法

本文介绍使用八爪鱼爬虫软件采集微博用户信息的方法。

作为一个活跃的社交网路平台，微博具有大量用户，每个用户信息都十分有价值。将需要的用户信息采集下来，对我们分析某项微博活动、某个微博事件极有助益。本文将以采集关注某个博主的用户群体为例。这些用户群体，我们一般称之为粉丝

采集网站：

https:///kaikai0818?topnav=1&wvr=6&topsug=1&is_hot=1

本文仅以采集关注某个博主的用户群体为例。微博上博主众多，大家可根据自身需要，更换不同博主的粉丝群体。也可以通过其他渠道或页面，采集微博用户信息。本文采集的粉丝群体字段为：粉丝ID、粉丝主页URL、关注人数、关注页URL、粉丝数、粉丝页URL、微博数、微博数URL、地址、简介、关注方式、光柱方式URL

本文的采集分为两大部分：微博登录和粉丝信息采集

一、微博登录

二、某博主粉丝信息采集

使用功能点：

●文本输入登录方法（7.0版本）

/tutorialdetail-1/srdl_v70.html

●cookie登陆方法（7.0版本）

/tutorialdetail-1/cookie70.html

●AJAX滚动教程

/tutorialdetail-1/ajgd_7.html

●八爪鱼7.0教程——AJAX点击和翻页教程

/tutorialdetail-1/ajaxdjfy_7.html

一、微博登录

步骤1：创建采集任务

1）进入主界面，选择“自定义模式”，点击“立即使用”

2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”

步骤2：登录微博

1）系统自动打开网页，进入微博首页。在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。点击“登录”按钮，选择“循环点击该链接”，进入微博登录页面

2）点击账号输入框，选择“输入文字”

输入账号，点击“确定”

3）点击密码输入框，选择“输入文字”

输入密码，点击“确定”

4）点击“登录”按钮，选择“点击该链接”

5）系统会自动登录微博

6）再次选中“打开网页”步骤，打开“高级选项”，打开“缓存设置”，勾选“打开网页时使用指定Cookie”

点击如图位置，可查看此网页的Cookie

7）八爪鱼会记住这个cookie状态，下次打开这个页面的时候，就会以登陆之后的状态打开

注意：由于cookie是有生命周期的，这个周期多长时间取决于采集的网站。如果cookie 到期了，就需要再重新获取一次登陆之后的cookie。另外，如果需要切换账号，可以勾选“打开浏览器前清理缓存”，然后再取消cookie，重新设置其他账号即可。

8）设置完成后，可将多余步骤删除，仅保留“打开网页”步骤

二、某博主粉丝信息采集

步骤1：进入粉丝信息页

1）点击“粉丝”按钮，在弹出的操作提示框中，选择“点击该链接”

由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”

注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。

表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。

验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。步骤2：创建翻页循环

1）下拉页面，找到并点击“下一页”按钮，在操作提示框中，选择“循环点击下一页”

由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”

步骤3：创建列表循环并提取数据

1）移动鼠标，选中页面里第一个粉丝信息区块。系统会识别此区块中的子元素，在操作提示框中，选择“选中子元素”

2）系统会自动识别出页面中的其他同类元素，在操作提示框中，选择“选中全部”，以建立一个列表循环

3）我们可以看到，页面中景点信息区块里的所有元素均被选中，变为绿色。选择“采集数据”

4）选中不需要的字段，点击垃圾桶图标，可将其删除

5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击“确定”

步骤4：数据采集及导出

1）点击左上角的“开始采集”，选择“启动本地采集”

注：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

2）采集完成后，会跳出提示，选择“导出数据”，选择“合适的导出方式”，将采集好的数据导出

3）这里我们选择excel作为导出为格式，数据导出后如下图

注：打开浏览器，我们看到，微博本身限制，只显示5页粉丝信息。点击第6页的时候，会出现如下弹窗

所以，在八爪鱼采集器中，也只能采集到5页的粉丝信息。当采到第6页时，会出现同样的弹窗

相关采集教程：

新浪微博博主信息采集：

/tutorialdetail-1/wbbzcj_7.html 微博图片采集：

/tutorialdetail-1/wbpiccj.html

微博粉丝信息采集：

/tutorialdetail-1/wbyhxxcj.html 微博采集方法：

/tutorialdetail-1/weibocj.html

新浪微博发布内容采集：