知微简介-微博分析工具

基于大数据的服务架构

1 2 3 4 5 6

PART ONE 基于大数据的服务架构

基于大数据的服务架构

数据采集

数据存储数据挖掘与数据分析数据可视化 数据源： •微博 •微信 •网站 •贴吧 •论坛等

分布式数据存储： •MongoDB •Hbase 文本存储：

•Apache SolrCloud

•微博传播可视化； •事件可视化； •人物关系可视化； •地图可视化； •实时情报推送； •热点话题提炼； •公关事件分析； •产品口碑分析；

PART TWO 知微数据可视化案例集锦

知微数据可视化案例集锦—国家脉动

实时性：

宏观展示在新浪微博上的网民声音在地域上的实时分布，

掌控；微博互动的流向；

热门微博：

对短时间内的热门微博Top100进行滚动播放，实时把控

当下的热点。

关键词预警：

根据后台设置的关键词和阈值，对超过阈值的关键词进

行预警；

知微数据可视化案例集锦—事件分析

事件影响力评价

知微数据可视化案例集锦—事件博物馆

@网眼八分斋：【网眼视频：可口不可乐】产业软弱与崇洋媚外瓜葛很深，当唯利是图变成主流，不择手段成为时尚，如可口可乐一类的洋品牌、洋垃圾就可以轻松玩弄汇源，可以试图圈杀王老吉，可以国内外少儿配方双重标准，可以公关消弭所有安全问题……我们总是对自己呲牙咧嘴，而对别人笑口常开：/S6UWCD

PART THREE 知微数据挖掘与数据分析

精准信息挖掘——情报监测及危机公关

发现有价值信息传播评价及预测深度事件分析精准公关面向高端客户的全流程互联网情报服务

2012年起持续

遭受负面舆论多菌灵事件

长春投毒事件攻击传播节点溯源精确定

位竞争对手（国内知

名茶饮料厂商）

通过

利

用

有效评判

重合度

较差。

精准定位重合度最大化

•人物轨迹

•行为规律研究•影响力领域

•兴趣领域

•社交网络关系图谱

明星粉丝画像——鹿晗

微信公号用户行为规律研究

事件影响力评价——2013年百大事件

•2013年春运 影响力：825万

•禽流感：H7N9 影响力：1431万 •4·20 雅安地震 影响力：2335万

•2013年两会 影响力：839万

•

光棍节&电商大战引发的双十一 影响力：825万

•2013年浙江余姚大水 影响力：475万

•薄熙来案

影响力：351万

事件影响力评价——典型案例

水军识别——小米2新浪微博网购首单

哈尔滨工业大学社会网络与数据挖掘联合实验室

94%

知微高级版。2,593,195 1,433,412

479,832,936 303,218

疑点1：转发地域：

最高的是其他？

31%

疑点2：专业版微博比

例31%，异常值偏高

PART FOUR 知微海量数据存储方案

知微数据存储量

全网活跃用户数据新浪微博全网活跃用户属性数据：包括用户的标签、id、地域、性别全维度信息。

支持按属性反查导出用户数据；

核心内容数据100万活跃用户的所有微博内容；

关键舆情数据营销类草根号、公关类账号、媒体账号及所有有影响力节点的实时数据，并建有自主研发的水军识别模型和水军案例库；

核心微博账号运营数据所有核心微博账号粉丝变化数据、营销案例库和动态行业排名；

用户行为数据关键名人用户的关系变化数据，如：某时间内李开复取消XXX的关注。

知微数据存储架构——MongoDB集群

mongod mongod mongod mongod

mongod

mongod

mongod

mongod

mongod

shared1 shared2 shared3

C1.mongod

C2.mongod

C3.mongod

······

mongod

mongod

mongod

Replica

set

Config Server

·······mongos mongos ······client ······

MongoDB支持自动分片,可摆脱手动分片管理

上的困难；

MongoDB管理工具MongoVue，集群管理

工具Umongo；

知微数据存储架构——SolrCloud Collection

shared shared

Replica Replica Leader

Replica

Replica

Replica

机器1 机器2 机器3

知微分布式计算集群——Hadoop Hadoop Server Roles

Distributed Data Processing Distributed Data

Storage

Job Tracker Name Node

Secondary Name Node

DataNode & Task Tracker DataNode & Task Tracker

······

······

DataNode &

Task Tracker

DataNode &

Task Tracker Clients

MapReduce HDFS

masters