大数据与网络舆情分析-大数据与网络舆情分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
案例特点：
1. 爆料人在腾讯微博上注册用户并进行发布。 2. 该用户爆料时，粉丝仅为9人，即初期整
个互联网中仅有9人有较小机会看到并传 播该信息。 3. 该信息经过4小时左右传播后被删除，删 除前仅转发了65次，但最终在全网范围内 进行扩散。
案例结论：
1. 舆情监测必须全平台。 2. 如仅监测大号，无法确保舆情监测业务
大数据与网络舆情分析
大数据
所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。
社交大数据的内部爆炸 可以为任意分析提供充足的数据支撑
超过6亿互联网真实用 户档案数据。
每天新产生的数亿条的评 论，及过去4年间数百亿 的各类观点。
现在可以在一个平台上掌 握所有的这些声音。
通过这些大数据可回答以下问题：
只要内容具有传播价值，数亿微博用户中总有人会将其从门户，论 坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以 说是大数据时代舆情监测最重要的阵地。
微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需 求的平台。
主要的技术路线比较
方案 及时获取 完整获取 判别热度 判别真假 可扩展 稳定性
❖发布时间：中午十二点整 ❖后续：由韩寒在十分钟后进行转发 ❖后续：由亭林镇工作室的微博以及其他朋友 微博账号进行转发并持续发酵
最终结果
❖ 超过8.5万次转发，1.7万条评论 ❖ 名列当日新浪微博热门榜第一位 ❖ 各传统媒体记者纷纷要求采访事件经过 ❖ 淘宝网专门发布道歉声明并宣称会处理此事 ❖ 淘宝公关部负责人亲自致电向我道歉
日期 微博数 转发数 评论数 微信数
3.21 486 44220 12942 1
3.22 608 78114 27745 1
3.23 614 36297 13410 0
3.24 262 3964 1424
1
实时意见领袖的监测
传播地域评估
新媒体下的内容引导
什么是传统媒体？
电视、广播、报纸、杂志、布告栏、电线杆……
牛鬼蛇神屌丝聚会
这是什么？
@王左中右
每天一个汉字，读懂中国
@小丑出品
PS&吐槽
新媒体平台上的 内容包装与品牌塑造
❖独特的原创内容 ❖有针对性的受众群体 ❖紧抓热点 ❖关键的传播点 ❖良好的互动
我买了这么多货不对版的植物 我会告诉你吗？
太长!
too long!
发布微博时其他考量
内容传播分析
真实传播评估
应对技术
• 大数据采集
• 从09年开始研发搭建的高效分布式采集平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增 并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。
• 大数据处理
• 自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读 写。经测试同等硬件环境下，读取速度比SQL Server或Oracle快20倍，写入快5倍。
• 微信
• 微信用户 3亿，日活跃约 2亿，公众号约200万，认证公众号与服务号约20万。
• 新一轮的信息爆炸
• 传统门户，论坛有价值信息量大约在一年1亿条左右 • 微博每天产生近2亿条各类内容
• 社交媒体特点
• 海量数据 • 大量长尾和碎片和噪音
互联网舆情现状
当前互联网舆情监测的思路
在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开 微博这一传播载体。
谁/哪些人 在讨论一个什么问题 他们的观点和期望到底是什么
可自由组织的问题
影响力评估
用户作息时间
群体/个体习惯对比分析（作息，上网）
自然状态下的用户言论
自然状态下的用户言论
移动设备更替
社交关系网结构
社交关系结构
群体/个体兴趣对比分析
网络舆情分析
互联网舆情现状
• 微博
• 新浪微博用户 6.5亿，日活跃 4600万，腾讯微博用户 6.2亿，日活跃约 1亿。 • 全国政务微博总数 17万，2012年增长 2.5倍（其中在新浪微博6万）。 • 在新浪微博开通的企业微博总数 27万，2012年增长 1.2倍。
的安全。 3. 基于社交网络的舆情传播力非常大，一
不注意就造成舆论灾难。
舆情监测的挑战
• 大数据采集
• 社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。 • 微博数据源都是高技术能力的互联网公司，反采集技术成熟，难以攻破。（短信验证，图片识别等）
• 大数据处理
• 利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例 如邓亚萍的即刻搜索，就投入了近700台高性能服务器提供微博内容的搜索服务，但仍然数据缺失严重。
• 舆情的发现
• 基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重要性的“热度指数”，获得国家相关奖项 认可。
• 舆论噪音的辨别与去除
• 探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。
微博实时搜索
微信实时搜索
案例 – 平度事件
最早
影响力最大
21-24号的数据统计
什么是新媒体？
网络视频，IPTV，移动电视，数字报纸，数字杂志，博客，微博……
新媒体的优势
❖传播速度更快，信息更及时 ❖覆盖面更广，受众更多 ❖互动性更强
新媒体的特点
❖消解边界 ❖信息多元化和自由选择 ❖突破时空限制 ❖小众化与长尾效应
自媒体
什么是自媒体？
@作业本
❖784万粉丝 ❖独特的语言风格，契合时事热点的创作 ❖每条微博都有上千乃至数万转发评论
• 舆情的发现
• 任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过 2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息 优先放到用户面前成为重要问题。
• 舆论噪音的辨别与去除
• 社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。 需要有技术识别舆情的真假，防止被错误引导。
Байду номын сангаасAPI
关键词实 时获取
X
X
X
X
非常稳定
页面爬虫 重要优先
√
√
√
√
较稳定
页面爬虫根据采集能力约束主要分为：“全采集”与“组织性采集”。
案例 – 上海法官招嫖事件
事件回放：2013.8.2网上开始大量传播以
视频截图为依据的披露上海高院法官集体招 嫖的事件，该事件在全国范围内造成大范围 的传播与讨论，造成恶劣影响，微趣舆情平 台在这条暴露微博仅仅转发11次之前就捕 获了该微博。
1. 爆料人在腾讯微博上注册用户并进行发布。 2. 该用户爆料时，粉丝仅为9人，即初期整
个互联网中仅有9人有较小机会看到并传 播该信息。 3. 该信息经过4小时左右传播后被删除，删 除前仅转发了65次，但最终在全网范围内 进行扩散。
案例结论：
1. 舆情监测必须全平台。 2. 如仅监测大号，无法确保舆情监测业务
大数据与网络舆情分析
大数据
所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。
社交大数据的内部爆炸 可以为任意分析提供充足的数据支撑
超过6亿互联网真实用 户档案数据。
每天新产生的数亿条的评 论，及过去4年间数百亿 的各类观点。
现在可以在一个平台上掌 握所有的这些声音。
通过这些大数据可回答以下问题：
只要内容具有传播价值，数亿微博用户中总有人会将其从门户，论 坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以 说是大数据时代舆情监测最重要的阵地。
微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需 求的平台。
主要的技术路线比较
方案 及时获取 完整获取 判别热度 判别真假 可扩展 稳定性
❖发布时间：中午十二点整 ❖后续：由韩寒在十分钟后进行转发 ❖后续：由亭林镇工作室的微博以及其他朋友 微博账号进行转发并持续发酵
最终结果
❖ 超过8.5万次转发，1.7万条评论 ❖ 名列当日新浪微博热门榜第一位 ❖ 各传统媒体记者纷纷要求采访事件经过 ❖ 淘宝网专门发布道歉声明并宣称会处理此事 ❖ 淘宝公关部负责人亲自致电向我道歉
日期 微博数 转发数 评论数 微信数
3.21 486 44220 12942 1
3.22 608 78114 27745 1
3.23 614 36297 13410 0
3.24 262 3964 1424
1
实时意见领袖的监测
传播地域评估
新媒体下的内容引导
什么是传统媒体？
电视、广播、报纸、杂志、布告栏、电线杆……
牛鬼蛇神屌丝聚会
这是什么？
@王左中右
每天一个汉字，读懂中国
@小丑出品
PS&吐槽
新媒体平台上的 内容包装与品牌塑造
❖独特的原创内容 ❖有针对性的受众群体 ❖紧抓热点 ❖关键的传播点 ❖良好的互动
我买了这么多货不对版的植物 我会告诉你吗？
太长!
too long!
发布微博时其他考量
内容传播分析
真实传播评估
应对技术
• 大数据采集
• 从09年开始研发搭建的高效分布式采集平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增 并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。
• 大数据处理
• 自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读 写。经测试同等硬件环境下，读取速度比SQL Server或Oracle快20倍，写入快5倍。
• 微信
• 微信用户 3亿，日活跃约 2亿，公众号约200万，认证公众号与服务号约20万。
• 新一轮的信息爆炸
• 传统门户，论坛有价值信息量大约在一年1亿条左右 • 微博每天产生近2亿条各类内容
• 社交媒体特点
• 海量数据 • 大量长尾和碎片和噪音
互联网舆情现状
当前互联网舆情监测的思路
在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开 微博这一传播载体。
谁/哪些人 在讨论一个什么问题 他们的观点和期望到底是什么
可自由组织的问题
影响力评估
用户作息时间
群体/个体习惯对比分析（作息，上网）
自然状态下的用户言论
自然状态下的用户言论
移动设备更替
社交关系网结构
社交关系结构
群体/个体兴趣对比分析
网络舆情分析
互联网舆情现状
• 微博
• 新浪微博用户 6.5亿，日活跃 4600万，腾讯微博用户 6.2亿，日活跃约 1亿。 • 全国政务微博总数 17万，2012年增长 2.5倍（其中在新浪微博6万）。 • 在新浪微博开通的企业微博总数 27万，2012年增长 1.2倍。
的安全。 3. 基于社交网络的舆情传播力非常大，一
不注意就造成舆论灾难。
舆情监测的挑战
• 大数据采集
• 社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。 • 微博数据源都是高技术能力的互联网公司，反采集技术成熟，难以攻破。（短信验证，图片识别等）
• 大数据处理
• 利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例 如邓亚萍的即刻搜索，就投入了近700台高性能服务器提供微博内容的搜索服务，但仍然数据缺失严重。
• 舆情的发现
• 基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重要性的“热度指数”，获得国家相关奖项 认可。
• 舆论噪音的辨别与去除
• 探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。
微博实时搜索
微信实时搜索
案例 – 平度事件
最早
影响力最大
21-24号的数据统计
什么是新媒体？
网络视频，IPTV，移动电视，数字报纸，数字杂志，博客，微博……
新媒体的优势
❖传播速度更快，信息更及时 ❖覆盖面更广，受众更多 ❖互动性更强
新媒体的特点
❖消解边界 ❖信息多元化和自由选择 ❖突破时空限制 ❖小众化与长尾效应
自媒体
什么是自媒体？
@作业本
❖784万粉丝 ❖独特的语言风格，契合时事热点的创作 ❖每条微博都有上千乃至数万转发评论
• 舆情的发现
• 任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过 2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息 优先放到用户面前成为重要问题。
• 舆论噪音的辨别与去除
• 社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。 需要有技术识别舆情的真假，防止被错误引导。
Байду номын сангаасAPI
关键词实 时获取
X
X
X
X
非常稳定
页面爬虫 重要优先
√
√
√
√
较稳定
页面爬虫根据采集能力约束主要分为：“全采集”与“组织性采集”。
案例 – 上海法官招嫖事件
事件回放：2013.8.2网上开始大量传播以
视频截图为依据的披露上海高院法官集体招 嫖的事件，该事件在全国范围内造成大范围 的传播与讨论，造成恶劣影响，微趣舆情平 台在这条暴露微博仅仅转发11次之前就捕 获了该微博。