大数据发展跟踪研究报告

电信大数据应用的主要场景
获取并处理 DPI 数据，分析用户 行为特征等 根据用户行为偏 好，推送相关业 务 按照流量价值分 级经营 实时采集处理信 令据，监控网络 状况 实现网络 、应用 和用户的智能指 配 指导网络规划
流量经营
网络优化
大数据应用
优化产品、套餐 等，提供个性化 定制能力
数据源
Data Sources
基础设施/分析
Personal Data
开源项目
Framework Programmability Data Access Coordination/ Workflow Real-Time Statistical Packages Machine learning
14
中国电信广州研究院
MPP Databases
Crowdsourcing
Cluster Services
Industry Applications
security Storage Management/ Monitoring
Sentiment Analysis
IT Analytics Location/People/ Events Data Marketplaces Monitoring Real-Time Crowdsourced Analytics SMB Analytics
对欧洲的公共管理部门来说，大数据每 年有2500 亿欧元的潜在价值--比希腊 的GDP 还高
零售商可以利用大数 据使经营利润取得 60%的增长
零售
大数据 市场前景
医疗
对美国医疗行业来说， 大数据每年拥有3000 亿美元的潜在价值
利用全球的个人位置信息， 每年可以取得6000 亿美 元的消费者价值
位置服务
Twitter 利用大数据技术，预测猪流感等流行性疾病爆发。 研究人员收集超过5000万条基于地缘位置的twitter消息，然 后按区域与英国国家卫生服务部的官方禽流感数据进行了比 较。通过从数据库中找出与禽流感相关的关键词，Lampos 能够创造出一个将未来twitter消息中流感发病情况的关键词 转化为某一特定地区流感严重程度的模型
大数据时代如何保护数据安 全？保护用户隐私？
大数据如何保障其数据质量？
如何从海量数据中发掘数据价值？ 现有数据应用模式已经难以适应 大数据持续优化的需求
大数据应用挑战
21
中国电信广州研究院
中国电信大数据应对策略与建议
总体 思路 现有基础 拥有庞大、高质量数据，能够 从移动互联网、互联网等接入 端获取到大量用户行为数据； 电信的IDC、光网城市，为大 数据应用的存储、计算和传输 集团统筹大数据技术及应用研究，加大技术储备和人才队伍建设，迎 接大数据时代的到来。 应对措施 加强技术储备，有序开展大数据关键技术研究 与验证
运营商具有丰富的数据资源：掌握 用户资源及用户访问互联网的入口
对电信拥有的大数据，进行全面深入、实时的分析和应用， 是电信应对 新形势下的挑战，避免沦为管道化的的关键
17
中国电信广州研究院
大数据对电信的主要核心价值——客户深度洞察
电信拥有丰富的数据来源
客户资料
产品信息
行为数据 位置数据 数据网络数据
制造
生产商可以利用大数据使产 品研发、组装成本削减50%， 人力成本削减7%
4
中国电信广州研究院
各国政府高度重视大数据，上升到国家战略高度
美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative” 将投入超过2亿美元推动大数据提取、 存储、分析、共享、可视化等领域的研究 ，并将其与历史上对超级计算和互联网的 投资相提并论 中国：工信部物联网十二五规划 信息处理技术作为4 项关键技术创 新工程之一被提出 包括海量数据存储、数据挖掘等
达到成熟期尚需时间
Gartner 新兴技术 Hyper 曲线 (2012年)
Gartner 新兴技术 Hyper 曲线 (2011年)
13
中国电信广州研究院
各IT厂家纷纷快速跟进大数据技术
“大数据”对信息处理设施和技术提出了更高的要求 全球主流IT厂家纷纷加大在大数据领域的投入，行业价值快速增长
个性化服务
数据服务
将数据封装成服 务，提供给企业 所有用户
根据用户等级提 供差异化服务
提供数据分析开 放能力
20
中国电信广州研究院
大数据在管理、技术和应用上带来的挑战 大数据管理挑战
大数据如何有效组织和管理？
大数据技术架构挑战
大数据对存储、网络等提出了 更高要求； 多源异构大规模数据的采集、 整合面临挑战；
9
中国电信广州研究院
国内运营商：联通试点流量清单查询
中国联通：以“流量清单查询”探索大数据技术
平台：英特尔至强平台及“Hadoop开发版”大数据解决方案。 功能：客户服务人员提供客户上网记录的快速查询服务，或为客户本人提供高效的异常 大流量上网记录自助查询服务。 上线：完成北京、黑龙江、浙江、重庆试点，预计将会在今年10月份正式发布。 建设模式：联通的大数据平台是建立 在数据大集中的基础之上，“我们现在 在集团公司进行统一部署，各个省分仅 仅是做数据的采集，按照业务实时性将 数据传送到集团公司，由集团公司统一
6
中国电信广州研究院
国外运营商利用大数据已有初步应用
西班牙电信：包月流量套餐定制（根据客户访问内容和SLA要求，提供不同费率套 餐）
• 按流量种类的固定收费，解除用户流量后顾 之忧 • • • • 培养用户使用数据业务习惯，增强用户粘性 针对预付费用户群，扩大流量收入 面向智能终端用户 面向低端、高度同质化竞争市场
传统的数据处理技术已经无法应对新的挑战
来源：IDC数字宇宙研究报告，2011.11
据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将 达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍
2
中国电信广州研究院
大数据成为继云计算等之后的全球性新热点
集团组织技术验证：基于大云平台，以经 分为切入点，利用现有数据，探索大数据 技术，已在河北等三省试点 应用探索：尝试利用大数据技术识别异常 话单 产品线： 分析型PaaS产品，大数据处理的一个 主要产品，包括Hadoop基础平台。 基于Hadoop的大数据仓库。 并行数据挖掘工具。 搜索引擎系统，基于中国移动“大云 ”平台，推出面向公众的搜索业务” 盘古搜索”。
同质化竞争严重 面临来自互联网公司的竞争：遭遇 流量增加，但附加值没有增加的困 境 对数据的有效利用日益成为中国电 信进一步发展的关键
发现需求/业务创新：对市场保持足够的 敏锐度，及时捕捉市场空白，并迅速作 出响应 吸引和留住用户：快速满足用户个性化 需求，成功吸引用户注意力和增加用户 黏性
T-Mobile：应用大数据技术，降低客户流失率。
• 在多个IT系统中整合了大数据应用，对客户交易和互动数据进行综合分析，更准确地预 测客户流失率。通过将社交媒体数据和CRM和计费系统中的交易数据进行综合分析， T-mobile在一个季度内将客户流失率降低了50%。
7
中国电信广州研究院
国内公司：阿里巴巴要做中国数据分析第一平台 阿里巴巴的企业愿景是要做分享数据的第一平台。
…
完善360度客户视图
帮助我们回答我是谁？我是一个怎样的人？ 帮助我们进一步的了解事物之间的内在联系 帮助我们了解周围有多少人和自己有相同特征，他们有什么有趣的新发现
用户行为分析
行为理解
行为预测
18
中国电信广州研究院
大数据对电信的主要核心价值——及时有效决策支持
信息获取的及时性和价值成正比，而及时性主要由数据处理速度和结果获取速
大数据时代“将阿里集团变成 一家真正意义上的数据公司” 知道“你是谁，你想要什么” 阿里巴巴集团所积淀的商业数 据，支付宝、淘宝、阿里金融 、B2B的数据都会成为这个巨大 的数据分享平台的一部分，将 会获得深度发掘和应用。
8
中国电信广州研究院
国内运营商：中移动依托大云，试点经分
中国移动：历时多年打造大云平台
度决定。 大数据新的处理及应用技术有效提升信息获取及时性
流处理和分布式计算技术有效提升数据处理的速度
移动BI等能够将各类图表直观快速的传递给用户，提高决策的有效性 可视化技术提供了一种对已有预测进行检验，对未知信息进行探索，实现快速、可 检验和易理解的评估的手段
19
中国电信广州研究院
处理。 ”
10
中国电信广州研究院
目录
大数据发展趋势概述 大数据关键技术分析 电信大数据策略建议
11
中国电信广州研究院
大数据涉及的关键技术
需求 大 数 据 采 集 处 理 大 数 据 分 析 存储、 组织、 管理
海量数据分布式处理 非结构化数据处理
关键技术
Hadoop 生态系统 文本处理技术；自然 语言理解； 多媒体处 理技术… Streaming Data 交互式可视化探 索分析技术 大规模机器学习 技术
技术描述
针对大量数据进行分布 式处理的系统框架 文本内容分词与分析； 图像、音视频分析 流计算引擎 通过交互式可视化界面 辅助用户进行分析 计算机模拟人类学习行 为，包括特征提取、图 形生成等 保护隐私数据与信息个 体的对应关系等安全技 术 存储、放置、调度大规 模的数据
实时数据处理
可视化交互界面 智能数据分析 数据隐私保护 高效存储和管理大规 模数据
数据隐私防范保 护措施与数据安 全技术 数据存储备份技术、 数据放置和调度技术、 数据溯源
12
中国电信广州研究院
大数据技术处于快速成熟阶段
仅一年时间，大数据技术就取得快速 成长。 仍处于上升通道，处于期望膨胀期（ Peak of Inflated Expectation） 需2-5年才能达到成熟期，成为主要 应用技术。
基础设施
Analytics Solutions
分析
Data Visualization
应用
Ad Optimization
NoSQL/NewSQL Databases
Hadoop Related
Publisher Tools Social Media Statistical Computing
Marketing
目录
大数据发展趋势概述 大数据关键技术分析 电信大数据策略建议
15
中国电信广州研究院
大数据是传统数据的延伸，是对传统数据在深度和广度 上的补充
传统数据主要来自于业务运营支撑系 统、企业管理系统等，比如财务收入 、业务发展量等结构化数据； 当前爆炸式增长的新数据主要来源于 互联网、移动互联网等，比如图片、 文本、音频、视频等非结构化数据。 非结构化新数据和结构化传统数据一 起构成大数据。
5
中国电信广州研究院
国外互联网公司走在大数据应用前沿
Google开放BigQuery服务：将企业數據分析能力商品化，成 為收費線上服務；
统计机器翻译(statistical machine translation)：利用庞大的
已经翻译好的文件输入电脑，然后由电脑通过识别库存的句式来 进行翻译，而不是只通过语法规则和词库进行翻译。
实时监控视频 结构化数据、非结构化数据定义：结构化数据是能够用数 据库二维表来逻辑表达的数据；其他为非结构化数据。
16
视频文件 上网行为数据
传统数据Fra Baidu bibliotek
客户资料 财务数据 订单数据 物资数据 产品数据 客户账单 ……
大数据
价值密度由高到低
中国电信广州研究院
大数据将成为中国电信发展的核心驱动引擎
大数据为电信带来新的机遇
“大数据”关键词在全球范围内迅速升温 短短两年间，“大数据”关键词的搜索量指数双倍增长
数据来源：百度搜索量统计 3
中国电信广州研究院
大数据市场前景广阔，成为全球新的经济增长点
麦肯锡全球研究机构发布，认为大数据是创新、竞争和生产力的下一个前沿领域， 数据将会给社会带来更大的价值 大数据将在政府公共服务、医疗服务、零售业、制造业、以及涉及个人位置服务 等领域得到广泛应用，并产生巨大的社会价值和产业空间 预测2020年，大数据应用市场规模将达到近2600 亿美元 公共管理
大数据发展跟踪研究报告
中国电信广州研究院 2012年10月
目录
大数据发展趋势概述 大数据关键技术分析 电信大数据策略建议
1
中国电信广州研究院
全球进入大数据时代，数据呈现爆炸式增长趋势
随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生 产在高速增长 信息处理技术的发展使数据价值能够被更好地挖掘和利用