微博评论采集有哪些方法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
微博评论采集有哪些方法
本文介绍使用八爪鱼采集微博评论的方法
采集网站：
使用功能点：
●分页列表及详细信息提取
/tutorial/fylbxq7.aspx?t=1
●AJAX滚动教程
/tutorial/ajgd_7.aspx?t=1
●八爪鱼7.0教程——AJAX点击和翻页教程
/tutorial/ajaxdjfy_7.aspx?t=1 相关采集教程：
搜狗微信文章采集
豆瓣电影短评采集
步骤1：创建采集任务
2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”
步骤2：创建翻页循环
1）系统自动打开网页，进入微博。观察网页结构，当把页面下拉至底部的时候，会出现“正在加载中，请稍后”的字样，随着我们的下拉，页面会有新的数据加载出来。经过2次下拉加载，此页面达到最底部，出现“下一页”按钮
（微博评论有哪些采集方法图3）
此网页涉及Ajax下拉加载，需要对其进行一些高级选项的设置。打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“4次”，每次间隔“3秒”，滚动方式为“直接滚动到底部”，最后点击“确定”
（微博评论有哪些采集方法图4）
注意：这里的滚动次数及间隔时间，需要针对网站进行设置。
测试方法可以参考：八爪鱼7.0教程——AJAX滚动教程
2）将页面下拉到底部，点击“下一页”按钮，在右侧的操作提示框中，选择“循环点击下一页”
（微博评论有哪些采集方法图5）
与“打开网页”类似，此步骤同样涉及Ajax下拉加载。打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“4次”，每次间隔“3秒”，滚动方式为“直接滚动到底部”，最后点击“确定”
（微博评论有哪些采集方法图6）
步骤3：创建列表循环
1）移动鼠标，选中页面里的第一条微博链接。选中后，系统会自动识别页面里的其他相似链接。在右侧操作提示框中，选择“选中全部”
（微博评论有哪些采集方法图7）2）选择“循环点击每个链接”，以创建一个列表循环
3）系统会自动点击进入第一条微博的详情页。观察网页结构，微博评论页面，需经过1次下拉加载，才会出现“查看更多”按钮。此步骤也涉及Ajax下拉加载。打开“高级选项”，勾选“页面加载完成后向下滚动”，设置滚动次数为“1次”，每次间隔“3秒”，滚动方式为“直接滚动到底部”，最后点击“确定”
（微博评论有哪些采集方法图9）
步骤4：提取微博信息
1）微博详情页中，我们想采集博主ID、发博时间、微博内容、微博URL和微博评论。点击要采集的字段，在右侧的操作提示框中，选择“采集该元素的文本”（采集微博URL，则选择“采集该链接地址”）
（微博评论有哪些采集方法图10）
2）字段信息选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击“确定”
（微博评论有哪些采集方法图11）
步骤5：提取微博评论
1）下拉页面，找到并点击“加载更多”按钮。在操作提示框中，选择“更多操作”
（微博评论有哪些采集方法图12）
2）选择“循环点击单个元素”
（微博评论有哪些采集方法图13）
由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”
（微博评论有哪些采集方法图14）
注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。
验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。
3）选中页面中第一个评论区块，系统会自动识别出页面中的其他同类元素。在操作提示框中，选择“选中全部”，以建立一个列表循环
（微博评论有哪些采集方法图15）
4）我们可以看到，页面中所要采集的微博评论区块均被选中，变为绿色。选择“采集以下元素文本”
（微博评论有哪些采集方法图16）
5）字段选择完成后，选中相应的字段，可以进行字段的自定义命名。完成后，点击“确定”
（微博评论有哪些采集方法图17）
步骤6：调整流程图结构
回顾采集过程，操作思路是：打开要采集的网页>建立微博链接的翻页循环>建立微博链接的循环列表>点击微博链接，进入微博详情页>建立微博评论的翻页循环>建立微博评论的列表循环>提取微博评论
已有的流程图没有遵循此逻辑，我们需要手动调整一下流程图结构。
1）选中“循环”步骤（微博链接的循环列表），将其拖入到第1个“循环翻页”和到第2个“循环翻页”之间
（微博评论有哪些采集方法图18）
2）选中“循环翻页”步骤（微博评论的循环翻页），将其拖入到“循环”（微博链接的循环列表）步骤中的“提取数据”后
（微博评论有哪些采集方法图19）
3）选中“循环”步骤（微博评论的列表循环），将其拖入到“循环翻页”（微博评论的循环翻页）步骤后。因为微博特殊的网页结构，我们需要先点击“查看更多”，将所有的评论加载出来，然后再提取评论。如果不做调整，会出现很多重复数据
（微博评论有哪些采集方法图20）
最终流程图，如图所示
（微博评论有哪些采集方法图21）
4）点击左上角的“保存并启动”，选择“启动本地采集”
（微博评论有哪些采集方法图22）
步骤7：数据采集及导出
1）采集完成后，会跳出提示，选择“导出数据”。选择“合适的导出方式”，将采集好微博发博数据导出