大数据环境下舆情分析与决策支持研究文献综述_夏火松

收稿日期：２０１４－１０－１４ 修回日期：２０１４－１１－３０

基金项目：国家自然科学基金项目“２４小时知识工厂的知识共享活动模型与服务支持系统研究”（编号：７１１７１１５３

）。作者简介：夏火松（１９６４－），男，博士，教授，博士生导师，研究方向：知识管理、数据挖掘、物流信息管理和电子商务、ＤＳＳ；甄化春（１９８９－），男，硕士研究生，研究方向：数据挖掘、信息管理。

·舆情研究·

大数据环境下舆情分析与决策支持研究文献综述＊

夏火松　甄化春

（武汉纺织大学管理学院　武汉　４３００７３

）摘　要　大数据时代使得传统的舆情分析方式发生了剧变，已有的舆情分析技术和监控系统很难适应这一情景的变化。大数据舆情处理理论和技术的研究与发展状况，迫切需要很好的梳理。论文对当前国内外的舆情分析及决策支持系统的构建等相关研究进行了文献梳理和分析，

对当前的网络舆情分析的关键技术进行了总结，构建了大数据时代舆情监控与决策支持的分层模型，并针对当前网络舆情分析的不足进行了讨论，提出了值得研究的问题。最后对社会舆情分析的发展方向进行了展望。关键词　大数据　舆情分析　决策支持　

中图分类号　Ｇ３５３．１１ 文献标识码　Ａ 文章编号　１００２－１９６５（２０１５）０２－０００１－０６ＤＯＩ　１０．３９６９／ｊ

．ｉｓｓｎ．１００２－１９６５．２０１５．０２．００１Ｐｕｂｌｉｃ　Ｏｐｉｎｉｏｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｄｅｃｉｓｉｏｎ　Ｓｕｐｐｏｒｔ　Ｓｔｕｄｙ　ｕｎｄｅｒ　Ｂｉｇ　

Ｄａｔａ　ＳｕｒｒｏｕｎｄｉｎｇｓＸｉａ　Ｈｕｏｓｏｎｇ

　Ｚｈｅｎ　Ｈｕａｃｈｕｎ（Ｓｃｈｏｏｌ　ｏｆ　Ｍａｎａｇｅｍｅｎｔ，Ｗｕｈａｎ　Ｔｅｘｔｉｌｅ　Ｕｎｉｖｅｒｓｉｔｙ

，Ｗｕｈａｎ　４３００７３）Ａｂｓｔｒａｃｔ　Ｔｈｅ　ｎｅｗ　ｂｉｇ　ｄａｔａ　ｅｒａ　ｂｒｉｎｇｓ　ａ　ｇｒｅａｔ　ｃｈａｌｌｅｎｇｅ　ｔｏ　ｔｈｅ　ｏｒｉｇｉｎａｌ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ａｎａｌｙｓｉｓ　ｍｅｔｈｏｄｓ．Ｔｈｅ　ｅｘｉｓｔｉｎｇ　ｐｕｂｌｉｃ　ｏｐｉｎ－ｉｏｎ　ａｎａｌｙｓｉｓ　ｔｅｃｈｎｏｌｏｇｉｅｓ　ａｎｄ　ｏｎｌｉｎｅ　ｐｕｂｌｉｃ　ｍｏｎｉｔｏｒｉｎｇ　ｓｙｓｔｅｍｓ　ａｒｅ　ｉｎｓｕｆｆｉｃｉｅｎｔ　ｆｏｒ　ｔｏｄａｙ＇ｓ　ａｐｐｌｉｃａｔｉｏｎ　ｒｅｑｕｉｒｅｍｅｎｔｓ．Ｔｈｅｒｅ　ｉｓ　ａｎ　ｕｒ－ｇｅｎｔ　ｎｅｅｄ　ｆｏｒ　ｔｈｅ　ｒｅｓｅａｒｃｈ　ｏｎ　ｔｈｅ　ｓｔａｔｕｓ　ａｎｄ　ｄｅｖｅｌｏｐｍｅｎｔ　ｔｒｅｎｄ　ｏｆ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ａｎａｌｙｓｉｓ　ｕｎｄｅｒ　ｂｉｇ　ｄａｔａ　ｓｕｒｒｏｕｎｄｉｎｇｓ．Ｔｈｉｓ　ｐａｐｅｒｓｕｍｍａｒｉｚｅｄ　ｔｈｅ　ｐｒｅｓｅｎｔ　ｓｔｕｄｙ　ｓｉｔｕａｔｉｏｎ　ｏｆ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ａｎａｌｙｓｉｓ　ｈｏｍｅ　ａｎｄ　ａｂｒｏａｄ　ａｎｄ　ｐｒｏｐｏｓｅｄ　ａ　ｈｉｅｒａｒｃｈｉｃａｌ　ｍｏｄｅｌ　ｆｏｒ　ｐｕｂｌｉｃ　ｏ－ｐｉｎｉｏｎ　ｍｏｎｉｔｏｒｉｎｇ　ａｎｄ　ｄｅｃｉｓｉｏｎ　ｓｕｐｐｏｒｔ．Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ，ｗｅ　ｄｉｓｃｕｓｓｅｄ　ｔｈｅ　ｗｅａｋ　ｐｏｉｎｔｓ　ｏｆ　ｔｈｅ　ｐｒｅｓｅｎｔ　ｓｔｕｄｙ．Ｆｉｎａｌｌｙ，ｗｅ　ｐｕｔ　ｆｏｒ－ｗａｒｄ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｔｒｅｎｄ　ｏｆ　ｔｈｅ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ａｎａｌｙｓｉｓ　ｉｎ　ｔｈｅ　ｃｏｎｔｅｘｔ　ｏｆ　ｂｉｇ　ｄａｔａ　ｅｒａ．Ｋｅｙ　ｗｏｒｄｓ　ｂｉｇ　

ｄａｔａ　ｐｕｂｌｉｃ　ｏｐｉｎｉｏｎ　ａｎａｌｙｓｉｓ　ｄｅｃｉｓｉｏｎ　ｓｕｐｐｏｒｔ０　引　言

大数据的发展与应用给社会的各方面带来了深远的影响，其中大数据情景下社会舆情的研究成为当前政府、企业和科研机构的一个热点研究课题。２０１２年３月奥巴马政府推出了包括大数据的管理、

分析、可视化以及大数据辅助决策等项目的“

大数据研究与开发计划”，２０１３年国务院副总理汪洋谈大数据时以流感病毒的舆情分析为例强调了大数据分析对于政府工作的重要性。近年来，以“郭美美事件”、“切糕王子”以及“航母Ｓｔｙｌｅ”为代表的社会热点事件进一步的推动了大数据时代社会舆情研究的热潮。

在大数据时代，如何快速的对海量网络数据进行

分析并建立舆情监控和引导机制从而为管理者提供决策支持是当前研究的热点和难点。相对于传统的社会舆情分析，大数据时代的社会舆情分析更集中于对大量网络数据的搜集、存储、清洗并结合文本挖掘技术从大量低价值密度的数据中获取相关的舆情研究信

息［

１－３］

。大数据时代为我们提供了海量研究数据同时，

其数据容量大、流动快、形态多样、价值密度低以及真实性不高等特点，使得仅依据数据统计进行舆情监

控的传统方法不再适用［４－６］

。如何浓缩海量信息，抵

抗“数据爆炸”，从而实现舆情信息增值并提高关联数据的趋势研判能力是大数据时代舆情分析的重大挑

战［

３，７］

。文章对大数据舆情分析以及决策支持系统相关的研究文献进行了归纳总结，对文献中有关大数据

第３４卷　第２期２０１５年２月 情　报　杂　志ＪＯＵＲＮＡＬ　ＯＦ　ＩＮＴＥＬＬＩＧＥＮＣＥ Ｖｏｌ．３４　Ｎｏ．２

Ｆｅｂ．　２０１５

处理以及网络数据挖掘相关的技术进行了梳理并提出了大数据时代舆情分析的一般研究框架，同时构建了大数据舆情监控与决策支持分层模型。

文章研究过程中获取参考文献和相关资料的过程如下：首先以“Ｂｉｇ　Ｄａｔａ”或“Ｐｕｂｌｉｃ　Ｏｐｉｎｉｏｎ”或“ＰｕｂｌｉｃＳｅｎｔｉｍｅｎｔ”或“Ｄｅｃｉｓｉｏｎ　Ｓｕｐｐｏｒｔ　Ｓｙｓｔｅｍ”为关键词在Ｗｅｂ　Ｏｆ　Ｓｃｉｅｎｃｅ数据库中分别以出版时间和引用次数为搜索顺序，并从检索结果中分别选择了前５０篇高频引用的外文文献和５０篇最新出版的外文文献，剔除无关文献，共得到７９篇相关文献。同时在ＥＢＳＣＯ，Ｅｌｓｅｖｉｅｒ，ＥＩ，ＳｐｒｉｎｇｅｒＬｉｎｋ数据库中以上述四个关键词按时间和引用次数下载相关外文文献５１篇，并在Ｇｏｏｇｌｅ　Ｓｃｈｏｌａｒ中以“Ｂｉｇ　ｄａｔａ　ａｎｄ　Ｐｕｂｌｉｃ　Ｏｐｉｎｉｏｎ　Ａ－ｎａｌｙｓｉｓ”为关键词搜索了２０篇最新文献。最后在中国知网和万方数据库以及维普数据库中以“大数据”或“舆情分析”或“决策支持”或“大数据舆情”为检索条件下载相关中文文献７０篇。通过对这些文章的阅读和分析得到后述分析结论。

本文的研究结构如下：第二部分梳理了国内外舆情分析与决策支持研究和发展的概况，第三部分对大数据环境下网络舆情分析的关键技术进行了总结，第四部提出了大数据环境下网络舆情分析的分层模型，第五部指出了当前舆情分析的不足，并对社会舆情分析和决策支持相关的研究问题与研究趋势进行了归纳。

１　社会舆情分析与决策支持的研究和发展概述

从已有舆情研究文献内容看，社会舆情研究大致经历了传统社会舆情分析、网络舆情分析和大数据舆情分析三个阶段。传统社会舆情分析更趋向于研究热点事件、政策及新颁布的法律条文对于社会舆情的影响之间的关系［８］。ＭａｃＬｅｎｎａｎ等［９］通过调查抽样方式研究了新西兰民众对于酒精政策的态度，Ａｌａｎ等［１０］使用盖洛普世界民意调查数据研究了恐怖袭击与民众态度之间的联系。网络舆情的研究经历了早期简单粗放的研究阶段和当前海量网络舆情研究的阶段［１１］。Ｔｗｉｔｔｅｒ、Ｆａｃｅｂｏｏｋ、微博、人人等社交网络平台的兴起掀起了网络舆情研究的热潮，Ｃｅｒｏｎ［１２］通过Ｔｗｉｔｔｅｒ获取２０１２年法国大选中网民情感取向数据并对大选结果进行预测，证明了社交媒体较好的预测能力。康伟［１３］通过搜集新浪网、腾讯网和人民网等网站中“１１．１６校车事故”的舆情信息，构建了该事件的舆情传播网络拓扑图，进而提出网络舆情的引导策略。

大数据舆情分析是舆情研究的一个前沿课题，其利用数据挖掘和大数据处理相关技术从海量数据中提取有用的知识用于决策支持［１４－１５］。现有文献主要从

大数据舆情相关的机遇、挑战以及研究方法上进行概述，从技术层面研究大数据舆情的文献相对较少。Ｂｒｏｎｉａｔｏｗｓｋｉ［１６］、马兵［７］、李彪［１７］、李希光［１８］等针对当前大数据舆情研究面临的问题从理论角度进行了叙述，对社会舆情搜集、研判和预警作了详细的介绍。喻国明以百度搜索词为研究对象，采用大数据分析技术对中国社会热点舆情进行了分析［１９］。ＪＩ　Ｃ［４］、Ｍｅｒ－ｊａ［２０］对并行处理、云计算、高级机器学习和智能数据处理等大数据处理技术进行了研究。李金海等［２１］利用大数据思想构建了网络舆情的文本挖掘模型，并通过实验验证了模型的准确性和时效性。

在舆情分析的决策支持研究方面，传统决策支持系统以模型库为基础，通过模块调用分析函数并将调查结果以可视化的方式展示给决策用户，能够较好的处理传统舆情分析中以调查问卷、统计等方式搜集的量小且结构单一的数据（如图１）［１４］。在网络舆情研究方面，国内外已有众多成果，其中代表性的有国外的Ｔｗｅｌｖｅｆｏｌｄ、Ｂｕｚｚ　Ｍｅｔｒｉｃｓ、Ｒｅｐｕｔａｔｉｏｎ　Ｄｅｆｅｎｄｅｒ、Ｃｉ－ｓｉｏｎ以及国内的人大方正、Ｒａｎｋ、Ｇｏｏｎｉｅ、军犬、麦知讯等舆情监控系统。对于大数据舆情的分析，学界尚未形成一套完整的研究体系，其主要通过继承网络舆情分析的技术和方法并结合大数据的特性进行相关的分析和处理［２１－２２］

。

图１　传统社会舆情分析的决策支持系统

２　大数据环境下网络舆情分析的关键技术

当前社会舆情的研究正处于从网络舆情研究到大数据舆情研究的过渡期，在处理技术上，大数据舆情分析继承了网络舆情分析的诸多方法［４－５，２２］。同时，二者在分析步骤上具有相同的范式。通过对网络舆情分析和大数据舆情分析的相关文献的归纳，文章总结出大数据时代网络舆情分析的基本研究框架和五类关键技术：信息采集、热点发现、热点评估、主题跟踪和分析处理［２３－２４］。

　２．１　信息采集技术　信息采集是网络舆情分析的第一步，其包含数据的爬取、数据的存储和清洗等相关技术。当前的学者主要通过网络爬虫程序、网站ＡＰＩ接口获取研究数据。常用的网络爬虫Ｈｅｒｉｔｒｉｘ，Ｎｕｔｃｈ和Ｌａｂｉｎ。Ｈｕ［２５］等人在Ｈｅｒｔｒｉｘ的基础上增加关键词管理模块、内容提取模块、最佳优先策略和重复删除模

·

２

· 情　报　杂　志 第３４卷