高校BBS教育舆情的时空特征模型_省略_南京大学小百合BBS数据集的分析_王丽英

收稿日期：2015－10－20基金项目：江苏省高校哲学社会科学研究基金“高校网络教育舆情的热点信息挖掘与异常监测”（项目编号：2011SJB880029）。

作者简介：王丽英（1976－），女，讲师，博士，研究方向：网络信息安全、计算机图形学。

·应用研究·高校BBS 教育舆情的时空特征模型构建和热点发现———基于南京大学小百合BBS 数据集的分析王丽英（南京师范大学教育技术系，江苏南京210097）〔摘要〕自媒体时代网络舆情的治理与引导在时、效、度3个维度都面临着巨大的挑战。

针对高校BBS 教育舆情，运用网络测量学技术对自动采集到的南京大学小百合BBS 相关数据集加以分析，构建了教育舆情的时空特征模型。

该模型显示，测量舆情的空间特征和多个时间特征能够有效快速发现热点信息。

实验证明，高校BBS 教育舆情总体分布比较稀疏，单日活跃用户数并不高，并且热点信息相对较少、利用显著的时空特征易于检测。

〔关键词〕教育舆情；网络测量学；时空特征模型；热点发现DOI ：10．3969/j．issn．1008－0821．2016．01．015〔中图分类号〕G250.73〔文献标识码〕A〔文章编号〕1008－0821（2016）01－0084－07Construction of Spatial －Time Feature Model for Educational Public Opinion on University BBS and Hot Opinion Detection—Analysis of Nanjing University Lily BBS DatasetWang Liying（Department of Educational Techenology ，Nanjing Normal University ，Nanjing 210097，China ）〔Abstract 〕The governance and guidance of public opinion on Internet self －media are facing with big challenge in three dimentions of time effect and degree．For educational public opinion on university BBS ，the network measurement tech-nology is applied to analyze the related dataset ，which is gathered automaticly from Nanjing University Lily BBS for a half year．A spatial －time feature model for educational public opinion is built ，which indicates that it is effective to rapidly de-tect hot opinion from spatial and multiple time features．Experiments showed that educational public opinion on university BBS distributes very sparse ，related day active user number is not high ，hot opinion is relatively few and easy to be detected from its prominent spatial －time features．〔Key words 〕educational public opinion ；network measurement ；spatial －time feature model ；hot opinion detection 自媒体时代网络舆情的治理与引导在时、效、度3个维度都面临着巨大的挑战。

自媒体的特点是以用户生成内容和共享为主，但内容可信度低，影响力无法确定。

由于网络空间的开放性，我们无法事先预知自媒体上舆情传播演变的时空特征，也就无法确定监控的重点和引导时机，所以在线实时监测成为一个难题。

自媒体中的论坛采用了主回帖关联的组织方式，没有用户关联功能，而且内容采用目录方式呈现，结构相对简单，所以基于论坛的在线实时监测相对容易实现。

由于论坛的开发技术相异，如开源的Discuz 、BBSXp 等，工业界的软件难以通用。

加之针对高校BBS 的实时监测和预警软件相对较少，所以亟需开发针对性的软件为校园管理提供辅助支撑。

1相关理论基础与研究进展2011年舆情行业被称为朝阳行业。

围绕网络媒体的话题检测与跟踪、热点话题发现、意见领袖挖掘等舆情问题得到了充分研究。

相关的网络测量学、自然语言处理、文本特征表示、机器学习、社会网络分析等理论和算法为内容自动监控提供了重要支持。

网络测量学是利用网络爬虫采集数据，对整体网络开展舆情定量统计、整体监测和趋势分析。

樊鹏翼等人［1］对新浪微博进行了网络测量，得到小世界拓扑特征和用户发博时间的周分布模式。

徐恪等人［2］全面综述网络测量学的相关技术，阐述了大数据分析在线社交网络的舆情演化、拓扑结构和用户行为的可行性和典型方法。

上述研究拓展了舆情治理和引导的时、效、度的研究视野，不再停留于历史抽样的文本数据分析和概念层面。

很多学者从传播学角度研究网络舆情的传播过程和规律，发现热点。

以高校BBS热点发现的相关研究为例，兰凯梅［3］以主帖的回帖数、用户数和人气数的加权之和作为主题帖的热度；罗泰晔［4］根据发帖量定义活跃用户，利用用户回复关系计算点出入度，由此区分活跃用户的4种类型；乔文妤等人［5］统计发帖数、回帖数和回复率，发现信息的数量规模和活跃话题存在长尾效应，能够确定出信息传播的关键节点。

王君泽等人［6］指出王青从舆情热度、强度、倾度和生长度4个指标来评价舆情，但已有网络舆情指标体系还不完善，直接影响舆情研判和预警。

热点信息挖掘常见的做法是：通过文本分析提取语义特征、特征表示之后，聚类归纳出主题。

其中，语义特征是基于“词是文本的最小语义单位”来提取的。

目前，国内学者广泛应用的自然语言处理二次开发接口有NLPIＲ/ ICTCLAS汉语分词、Lucene分词引擎等，效果都很好。

语义特征表示模型主要有向量空间模型VSM、隐含主题概率模型LDA。

VSM以词频统计值如TF、TF－IDF或布尔型值作为词语权重表示文本。

VSM表示容易实现，应用广泛。

例如，刘骅等人［7］采用布尔型值作为词语权重表示文本，通过凝聚式层次聚类法分析BBS“每日十大热门话题”标题共同的热点；兰凯梅采用网络爬虫收集论坛文本，用TF －IDF值作为词语权重表示文本，应用多中心增量聚类来发现主题帖热点。

VSM存在的问题是，会丢失词语之间的语义关联信息，导致文本聚类结果不够准确。

与之相比，LDA在文本和词之间增加了主题层，以主题分布概率作为主题权重表示文本，所以效果优于VSM。

比如黄炜［8］就是采用LDA聚类算法感知舆情事件的热点。

上述研究都局限于对历史数据进行线下的主回帖关联分析，无法及时反映网络舆情的实时变化。

国内外很多公司、科研单位和媒体本身开展舆情研究，积极应对信息安全和市场营销的需要，形成了相应的舆情监控软件。

例如，国外的Buzzlogic、Ｒadian6、TNS Cymdo-ny、Trackur、Ｒeputation Defender等，用于公司、产品、品牌在网页上的影响力监测。

在国内，中科点击的军犬、优捷信达的Ｒank、红麦聚信的红麦等软件，用于政府、企业等单位舆情重点监控；融尚Winshield、互普威盾、欧克深信服、天锐网络警、网络幽狗、网猫等软件，主要针对上网行为、聊天内容、邮件等进行监控。

已有的监控工具或软件是通用的，没有专门的面向教育领域的设计，缺乏针对性。

基于专用软件的缺乏及网络舆情指标体系不完善的现状，本研究试图运用网络测量学技术解析高校BBS教育舆情传播的时空特征，为热点发现、实时监控提供支持。

2研究框架本研究的基本思路是：首先，对南京大学小百合BBS 的教育主题相关的主题帖进行自动采集；然后对采集得到的教育舆情数据集进行统计测量，建立时空特征模型；再依据该模型测量新数据，以发现舆情热点和演变趋势。

整个研究框架包括信息采集、特征模型、特征测量和热点追踪4个步骤，如图1所示。

图1在线舆情监测研究框架本研究的技术路线是：首先，基于网络爬虫构建教育舆情采集算法，获得论坛空间2013年11月2日至2014年5月10日之间的教育主题帖数据集；然后，运用网络测量学技术分析教育舆情，构建一个时空特征模型；最后，运用时空特征指标进行舆情测量，发现热点和引导时机。

3教育舆情采集算法本研究以兰凯梅的网络爬虫算法为基础，根据南京大学的小百合BBS的信息组织结构对该算法进行了相应的调整，形成本研究的教育舆情采集算法。

通过页面爬行、页面解析、文本结构化等步骤得到教育舆情数据集。

3.1采集算法流程本研究的采集算法流程如图2所示。

其中，初始UＲL 设为各个讨论区的汇总页面，即“全部讨论区”页面UＲL。

经过顺序爬行得到各个讨论区首页UＲL，然后并行爬行讨论区首页UＲL及其主题帖页面UＲL。

图2教育相关的主题网络爬虫的工作流程每个讨论区首页采用主题模式和一般模式两种呈现方式。

主题模式以主题帖为单位显示，主题帖包含主帖及其回帖等全部内容。

一般模式以用户帖子为单位显示，主帖及其回帖分离，需要通过帖子页面中“同主题阅读”才能相互关联。

因此本研究采用主题模式直接找到关联的主回帖内容。

页面分析包括内容和链接的解析和评价：解析是利用CHttpFile API 接口读取页面文件，然后定位HTML 标签，提取出主题帖信息，包括标题、作者、正文、发表时间、人气数、回帖数等，存储到结构化的主题帖数据库中；评价包括时间相关、主题相关和重复数据过滤。

主题相关通过标题和正文中预设主题词的词频统计进行过滤，词频越大，相关度越大，页面越重要。

本研究选取教育相关的一些主题词，如学术、讲座、考试、奖学金等，从而聚焦到关于师生权益、校园声誉等方面的教育舆情监控。

3.2并行采集策略由于论坛帖子数量庞大，而顺序爬行耗时长、时效差，所以采用并行爬行加速。

如果UＲL 队列中的元素不存在爬行的顺序依赖关系，可以认为UＲL 具有独立性，可以并行爬行和解析。

论坛上能并行爬行的UＲL 有两类：一类是各个讨论区首页的UＲL ；另一类是各个主题帖页面的UＲL 。