一种基于动态网页解析的微博数据抓取方法

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ｔｈｅｒｅｓｅａｒｃｈｅｒｓｔＯｃａｒｒｙｏｕｔｒｅｌａｔｅｄｒｅｓｅａｒｃｈ．Ｍｉｃｒｏ — ｂｌｏｇｄａｔａａｃｑｕｉｓｉｔｉｏｎｉｓｔｈｅｂａｓｉｓａｎｄｓｔａｒｔｉｎｇｐｏｉｎｔｆｏｒｆｕｒｔｈｅｒｒｅｓｅａｒｃｈ．
页面数据抽取模板，实现以用户为中心的微博数据获取。抓取结果表明，方法能对微博用户数据进行全面高效抓取，为后续
数据分析和处理提供数据支持。
关键词新浪微博；数据挖掘；动态网页；爬虫
ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２－９７３０．２０１５．１０．０２６中图分类号
总第２５６期２０１５年第１Ｏ期
舰船电子工程
ＳｈｉｐＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ
Ｖｏ１．３５Ｎｏ．１０
９５
一
种基于动态网页解析的微博数据抓取方法
ｓｅｒｋｅｒｎｅｌｉｓｕｓｅｄｔＯｉｎｔｅｒｐｒｅｔｔｈｅｄｙｎａｍｉｃｄａｔａｏｆｍｉｃｒｏｂｌｏｇｗｅｂｐａｇｅ．Ｔｈｒｏｕｇｈｓｉｍｕｌａｔｅｄｌｏｇｉｎ，ｔｈｅｐａｇｅｃｒａｗｌｉｎｇｓｔｒａｔｅｇｙｂａｓｅｄｏｎｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｏｃｉａｌｎｅｔｗｏｒｋｉｎｇｓｉｔｅｉｓｄｅｔｅｒｍｉｎｅｄ，ａｎｄｔｈｅｗｅｂｐａｇｅｐａｒｓｉｎｇｔｅｃｈｎｏｌｏｇｙｉｓｕｓｅｄｔＯｃｕｓｔｏｍｔｅｍｐｌａｔｅｓｏｆｗｅｂｐａｇｅｔｏａｃｈｉｅｖｅｕｓｅｒ－ｃｅｎｔｒｉｃｍｉｃｒｏｂｌｏｇｄａｔａａｃｑｕｉｓｉｔｉｏｎ．Ｔｈｅｔｅｓｔｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｃａｎｃａｐｔｕｒｅｍｉｃｒｏｂｌｏｇｄａｔａｏｆｕｓｅｒｃｏｍｐｒｅｈｅｎｓｉｖｅａｎｄｅｆｆｉｃｉｅｎｔｌｙ，ｐｒｏｖｉｄｅｄａｔａｓｕｐｐｏｒｔｆｏｒｓｕｂｓｅｑｕｅｎｔｄｔａａｎａｌｙｓｉｓａｎｄｐｒｏｃｅｓｓｉｎｇ．ＫｅｙＷｏｒｄｓｓｉｎａｍｉｃｒｏｂｌｏｇ，ｄａｔａｍｉｎｉｎｇ，ｄｙｎａｍｉｃｗｅｂｐａｇｅ，ＷｅｂｃｒａｗｌｅｒＣｌａｓｓＮｕｍｂｅｒ
ＤａｔｅＣｒａｗｌｅｒｆｏｒＳｉｎａＭｉｃｒｏｂｌｏｇＢａｓｅｄｏｎＤｙｎａｍｉｃＷｅｂｐａｇｅＤａｔｅＩｎｔｅｒｐｒｅｔｉｎｇ
ＺＨＯＮＧＭｉｎｇｘｉａｎｇＴＡＮＧＪｉｎｔａｏＸＩＥＳｏｎｇｘｉａｎＷＡＮＧＴｉｎｇ
（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒ，ＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ４１００７３）
ＡｂｓｔｒａｃｔＭｉｃｒｏｂｌｏｇｇｉｎｇｉｓａｎｅｗｋｉｎｄｏｆｉｎｆｏｒｍａｔｉｏｎｍｅｄｉａ．ＴｈｅｍａｓｓｄａｔａａｒｅｇｅｎｅｒａｔｅｄｔＯａｔｔｒａｃｔｓｔｈｅａｔｔｅｎｔｉｏｎｏｆ
Ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｍｕｌｔｉ－ｔｈｒｅａｄｅｄｃｒａｗｌｅｒｆｏｒＳｉｎａｍｉｃｒｏｂｌｏｇｐｌａｔｆｏｒｍｂａｓｅｄｏｎｄｙｎａｍｉｃｗｅｂｐａｇｅｉｎｔｅｒｐｒｅｔｉｎｇ．Ｔｈｅｂｒｏｗ—
钟明翔唐晋韬谢松县王
长沙
挺
４１００７３）
Байду номын сангаас
（国防科学技术大学计算机学院
摘
要
微博是一种新型信息传播媒介，产生的海量数据吸引研究人员关注并开展相关研究。微博数据获取是后续分
析研究的基础和起点。以新浪微博平台为研究对象，提出了基于动态网页解析技术的微博数据多线程抓取方法。方法利用浏览器内核解析微博页面动态数据，通过模拟登陆，依据社交网站网页链接特点确定页面爬取策略，使用页面解析技术定制