基于Java的新浪微博爬虫研究与实现

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ｈｅｔｂｒｅａｄｔｈｃｏｍｂｉｎａｔｉｏｎｏｆｔｒａｖｅｒｓｅｃｏｍｂｉｎａｔｉｏｎｔＯｃｏｌｌｅｃｔｗｅｂｐａｇｅｓｏｕｓｅｃｏｄｅｎｄａｈｕｔｓｈｅｔｐａｇｅｓｏｕｓｅｃｏｄｅｉｓｍｏｅｒｃｏｎｃｉｓｅｎｄａｐｕｒｅｒ，ｒｅｄｕｃｉｎｇｎｅｔｗｏｒｋｔｒａｎｓｍｉｓｓｉｏｎｐｒｅｓｓｕｒｅａｎｄｈｅｔＨＴＭＬｓｏｕｒｃｅｃｏｄｅｎａａｌｙｓｉｓｉｔｍｅ．ＩｔｍａｉｎｌｙｅａｒｌｉｚｅｓｈｅｔＷｅｍ０ｓｉｍｕｌａｔｅｄｌｏｇｇｉｎｇ．Ｗｅｍｏｗｅｂｃｒａｗｌｉｎｇ，Ｗｅｉｂｏｐａｇｅｄａｔａｅｘｔｒａｃｉｏｔｎｎｄａｔａｓｋｓｃｈｄｕｅｌｉｎｇｃｏｎｔｒｏｌ，ａｎｄｎａａｌｙｚｅｓｔｈｅｃｒａｗｌｉｎｇｄａｔａ．ＴｈｅｈｅｔｍｅＷｅｉｂｏｓｅｌｅｃｉｔｏｎｉｓａｄｄ－
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３ — ６２９Ｘ．２０１７．０９．０４２
ＲｅｓｅａｒｃｈａｎｄＲｅａｌｉｚａｔｉｏｎｏｆＷｅｉｂｏＣｒａｗｌｅｒｗｉｔｈＪａｖａ
ｂｏＡＰＩ，ｔｒａｄｉｔｉｏｎａｌｃｒａｗｌｅｒｎｄａＷｅｂｖｅｒｓｉｏｎ（ｃｏｎｒｖｅｒｓｉｏｎ），ｂｙｗｈｍｈＷｅｉｂｏ．ｃｎｗｅｂｓｉｔｅｃｒａｗｌｅｒｓｙｓｔｅｍｈａｓｂｅｅｎｅｓａｔｂｌｉｓｈｅｄｔｈｒｏｕｇｈ
陈珂，蓝鼎栋，柯文德，黎树俊，邓文天
（广东石油化工学院计算机与电子信息学院，广东茂名５２５０００）
摘要：为了高效获取更多的微博数据，针对调用微博ＡＰＩ和网页版（ｃｏｎ版）ｒ等传统微博爬虫在数据采集中所存在的问
ＰｅｒｔｏｃｈｅｍｉｃａｌＴｅｃｈｎｏｌｏｇｙ，Ｍａｏｍｉｎｇ５２５０００，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：ＩｎｏｒｄｅｒｔＯｏｂｔａｉｎｍｏｅｒｍｉｃｒｏｂｌｏｇｄａｔａｅｆｆｉｃｉｅｎｔｌｙ，ａＪａｖａ－ｂａｓｅｄａｃｑｕｉｓｉｔｉｏｎｓｙｓｔｅｍｏｆＳｉｎａｉｓｄｅｓｉｇｎｅｄａｎｄｄｅｖｅｌｏｐｅｄｆｏｒＷｅｉ —
第２７卷第９期２０１７年９月
计算机技术与发展
ＣＯＭＰＵＩＥＲＴＥＣＨＮＯＬＯＧＹＡＮＤＤＥＶＥＬＯＰＭＥＮＴ
Ｖ０１．２７Ｎｏ．９Ｓｅｐ．２０１７
基于Ｊａｖａ的新浪微博爬虫研究与实现
选功能。为验证该系统的有效性和可行性，与其他传统方法进行了分析对比。实验验结果表明，所提出的系统爬取效率
更高，实现代码更简便。关键词：新浪微博；网络爬虫；Ｊａｖａ；数据挖掘
中图分类号：ＴＰ３９文献标识码：Ａ文章编号：１６７３ — ６２９Ｘ（２０１７）０９ — ０１９１ — ０６
题，设计开发了一个基于Ｊａｖａ的采集新浪微博Ｗｅｉｂｏ．ｃｎ站点的网络爬虫系统。该系统通过广度遍历结合组拼ＵＲＬ的方式采集网页源码，使网页源码更加简洁，纯净度更高，降低了网络传输压力并减少了ＨＴＭＬ源码解析时间。主要实现了微博模拟登陆、微博网页爬取、微博页面数据提取和任务调度控制，并对爬取数据进行了分析，在爬虫中添加了主题微博筛
ＣＨＥＮＫｅ，ＬＡＮＤｉｎｇ－ｄｏｎｇ，ＫＥＷｅｎ－ｄｅ，ＬＩＳｈｕ－ｊｕｎ，ＤＥＮＧＷｅｎ－ｔｉａｎ
（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＥｌｅｃｔｒｏｎｉｃＩｎｆｏｒｍａｔ来自百度文库ｏｎ，ＧｕｎｇａｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆ