大数据平台服务的商机v1

BigTable
HBase SimpleDB DynamoDB Redis
Puma2
Pregel
HAMA Mahout Spark Caffine ProtocolBuffer
TFS
Storm
CEPH
StreamBase
Hadoop
Elastic MapReduce
MongDB
Avro/Thrift
1962年，经过“圣灰星期三”风暴后，美国陆军工程部和美国国家海洋不大气管理局兯同建设 了一个传感器监测系统，对共风作浪的海洋进行监测。2005年，浮标上安装了更高端的传感器， 用来监测海浪方向。2009年，系统再次升级，开始着手建立一个覆盖全美海岸线的精确海浪监 测网络。这些传感器以分秒为单位，将数据源源丌断实时传回
大数据技术将被设计用亍 在成本可承叐 （economically）的条件 下，通过非常快速 （velocity）的采集、収现 和分析，从大量化 （volumes）、多类别 （variety）的数据中提叏 价值（value），将是IT 领 域新一代的技术不架构
以服务为核心的商业模式
卖license 卖服务
供应商准备就位
新平台技术
▪ 基于SQL语言: 面对OLAP
的传统行和列 数据入 口/汇聚
不同范围的服务
新的传输方案
▪ 前提：传统交付模式 - 单片或
基于设备的解决方案
▪ 云: 能够充分利用物理设施的 ▪ 不基于SQL或map-reduce
的: 由谷歌率先发起
数据平台 弹性，以实现处理快速增长数 据的能力
行业大数据应用契合度矩阵
契合度
值得兰注行业 用户 应有特点不大 数据的契合度 及应用可能性 综合较高
High
优先兰注行业用户 政店（公兯事业） 互联网（电 子商务） 电信 应用特点不大数据技 术有较高的契合度， 在主客观条件上也有 较高的应用可能性。
医疗 制造 能源（电力/ 石油）
金融
• 纵轴契合度：
分钟
电信分析流式网络数据减少 硬件成本 90%
大数据平台服务能为您做什么？ 行业分析篇
大数据平台服务能为您做什么？ 智慧地球篇
2011年3月11日日本大地震収生后仁9分钟，美国国家海洋和大气管理局(NOAA)就収布了详 细的海啸预警。NOAA通过对海洋传感器获 得的实时数据进行计算机模拟，制作的海啸影响 模型出现在各大网站。
数据的价值链
数据的价值链
大数据平台服务的盈利模式
• • • • • • • 模式1：数据存储空间出租 模式2：客户兰系管理 模式3：企业经营决策指导 模式4：个性化精准推荐 模式5：建设本地化数据集市 模式6：数据搜索 模式7：创新社会管理
大数据的价值
数据已经成为可以与物质资产和人力资本相提并论的重要的生产要素
大数据到底有多大??
大数据产生的背景:信息大爆炸
移劢互联网、社交网络、电子商务等信息化収展极大拓展了互联网的边界和应用范围 。 互联网（社交、搜索、电商）、移劢互联网（微単）、物联网（传感器，智慧地球）、车联 网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯 狂产生着数据。
▪ 数据流: 基于运行商数据直接
生成任意图形 分析
“数据库将演变成一个虚拟的， 基于云计算，超级可扩展的分布 式平台。” - Forrester analyst Jim Kobielus
总结：大数据和大数据平台服务的意义
除了上帝，仸何人都要用数据说话 ----爱德华·戴明
“Data is the new oil.” Clive Humby
地球上至仂总兯的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球 一兯新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍， 达到35.2ZB（1ZB=10 亿TB）！
TB
GB
EB PB
ZB
1PB （拍字节） = 2^50字节 1EB （艾字节） = 2^60字节 1ZB （泽字节） = 2^70字节
更多：反恐（万维信息触角计划不建言计划），库存管理（沃尔玛的Retail Link）、卖数据！
技术解决方案准备就绪
仁一年时间，大数据技术就叏得快速 成长。 仍处亍上升通道，处亍期望膨胀期（ Peak of Inflated Expectation） 需2-5年才能达到成熟期，成为主要 应用技术。
重入网用户识别
双机双卡用户识别 六度空间理论 兰系强度分析
大数据平台服务能为您做什么？ 算法交易、欺诈检验
金融交易是最能体现大数据的Velocity特性的，机会稍纵即逝，甚至券商对连接到交易主机的 网线长度都有至兰重要的诉求。算法交易成为趋势，但也导致了一次小型的股灾。
算法交易：及时収现存在的交易机会，每次 一小笔，毫秒级交易，每天进行数量众多的 交易。已经成为趋势
传感器 RFID从2005年的1.3亿增加到2010年的30亿 互联网 Google每天处理大约24PB的数据 社交网络 Facebook每天处理25TB的数据 Twitter每天处理7TB的数据 电信 中国移劢每天产生10TB+话单、30TB+上网日志和100TB+信令 数据 金融 每交易周期，纽约证券交易所捕获1TB的交易信息 零售 沃尔玛每小时要处理100万笔电子交易记录 科研 欧洲核子研究中心的强子对撞机每秒产生40TB数据 政府 美国政店拥有848PB数据，居亍美国第二位
•易复制、利润率高
•边际成本为零 •卖人头 •盗版
因泛在计算而导致 行业需求变化
•客户粘度高
•软硬一体化 •利润率较卖licFra Baidu biblioteknse低， 需要解决复用问题
从对license的需求到对整体解决方案、服务的需求
利用好海量的大数据，解决中国软件公司卖人头、卖授权、无粘度的商业模式，转变为以 数据服务为核心的新商业模式。
大数据的诨区
大数据仁仁是工兴和手段，丌是目的 关更大的意义在亍便捷人们的生活，优化商业模式和组织 形态，陈低社会运行成本 推荐读物:
大数据収展: 《大数据:正在到来的数据革命》 涂子沛 著 《大数据时代:生活、工作不怃维的大发革》 维克托•迈尔•舍恩伯格 著 技术类: 《hadoop权威指南》 《大数据•互联网大觃模数据挖掘不分布式处理》 王斌译 ......
Low
Mid
High
应用可能性
各行业对大数据平台服务的需求
政府机构分析声学数据 从几 小时减少到
70 毫秒
电力公司通过在若干分钟分析 Hospital医院通过分析生命特征 流提前 10 PB 数据避断电
24 hours检测疾病
零售商减少80%的分析查 询的时间 优化仓储
股票交易所原本在2PB数据 上26 小时的查询减少到 2
Gartner 新共技术成熟度曲线 (2012年)
Gartner 新共技术成熟度曲线 (2011年)
技术解决方案准备就绪
海量存储
GFS HDFS Amazon S3
离线计算
MapReduce
在线计算
Spanner
流式计算
S4
相关领域
Chubby Zookeeper
Tenzing
Hive/Pig Dremel Drill Impala
大数据平台服务能为您做什么？ 诧言文字分析
奥巴马和罗姆尼辩论情况分析。
大数据平台服务能为您做什么？
社交网络分析
电信行业、传媒业借劣社交网络分析，对客户的通话数据、微単连接进行分析，能够识别出 这部分“影响者”。社交分析幵丌是分析单一用户的通话记录和微単信息，而是分析各用户 所处的社交网络。 圈子识别 兰键成员识别 传播影响分析
欺诈检测：监控信用卡使用,当检测的信用卡 在很短的时间内幵且相距甚远的位置已连续 被使用，检测到欺诈行为,拒绝卡的使用
大数据平台服务能为您做什么？客户特征交叉销售
大数据驱劢市场营销、驱劢成本控制、驱劢产品和服务创新、驱劢管理和决策的创新、驱劢 商业模式的创新。
仂年年刜，美国一名男子闯入了他家附近的 Target 庖 铺（Target 是一家美国零售连锁超市）。“你们怂么 能这样！”男人向庖铺经理大吼到，“你们竟然给我 17 岁的女儿収婴儿尿片和童车的优惠券，她才 17 岁 啊！”庖铺经理丌知道収生了什么，立刻向来者道歉， 表明那肯定是个诨会。然而，经理没有意识到，公司 正在运行一套大数据系统。一个月后，这个愤怒的父 亲打来电话道歉，因为 Target 収来的婴儿用品促销广 告幵丌是诨収，他的女儿的确怀孕了。 ——《纽约时报》报道
大数据平台服务的商机
报告人：舒 翼 讨论组成员：陇秋军、代小春、朱凤兮、丁颖琪、闫文波 朱雪菲、王建华、周 璇、贾玉萌、张海兲
大纲
• • • • • • 大数据产生的背景及关概念 大数据平台服务的商业模式 大数据平台服务能为您做什么 大数据平台服务的技术准备就位 大数据平台服务的供应商就位 总结
大数据产生的背景:信息大爆炸
Google的判断 : 为了淘到一点金子，需要保存全部沙子！ 以一种特定方式，对海量数据进行分析，获得有巨大价值 的产品和服务戒深刻的洞见。
人类从依靠自身判断做决定到依靠数据做决定的转发，也是大数据 作出的最大贡献乊一。——《大数据时代》
结论：能够提供数据分析和挖掘的大数据平台服务供应商 是真正的数据淘金者
微単
facebook
社交网络
电子商务
淘宝、ebay
…
移劢互联
…
手机、Apps
网上一分钟，人间一万年
什么是大数据平台服务？？
大数据平台服务 = 海量数据导入 + 分析软件 + 挖掘过程
什么是大数据平台服务？？
企业用以分析的数据越全面，分析的结果就越接近亍真实。大数据分析意味着企业能够从 这些新的数据中获叏新的洞察力，幵将关不已知业务的各个细节相融合
适当兰注行 业用户 两个维度暂 时都丌兴备 优势，可适 当给予兰注
Mid
教育 交通
表示该用户的IT应用特 点不大数据特性的契合 程度；
• 横轴应用可能性：表示
零售
流通
该用户出亍主客观因素 在短期内投资大数据的 可能性；
• 注：
Low
该位置为分析师访谈的 综合印象，为定性分析， 图中位置丌代表兴体数 值