大数据引领我们走向数据智能时代知识
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
生成任意图形
分析
“数据库将演变成一个虚拟的， 基于云计算，超级可扩展的分布 式平台。”
- Forrester analyst Jim Kobielus
大数据的各部分组成
大数据技术：图像、音频、视频、非结构化、社交关系数据处理技术商； 现有IT系统改造商：大数据咨询公司、集成商、ERP、商务智能、客户关系管理系统； 终端提供商向数据提供商演进：对现有客户数据的深度把握、建立客户之间的社交和联系；
▪ 什么是大数据？ 海量数据本身+处理方法
指数型增长的海量数据
所有研究都表明，未来数年数据量会呈现指数增长。根据麦肯锡全球研究院（MGI）估计，全 球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据，而消费者在PC和笔记 本等设备上存储了超过6EB新数据。1EB数据相当于美国国会图书馆中存储的数据的4000多倍 。事实上，我们如今产生如此多的数据，以至于根本不可能全部存储下来。例如，医疗卫生提 供商会处理掉他们所产生的90%的数据（比如手术过程中产生的几乎所有实时视频图像）。
展现方式：大型控制中心、移动终端
在多样性、体量、速度三大特征的指引下，大数据将有新型的展现方式：大型控制中心和 移动终端，实现数据的实时处理和快速决策。
▪ 大数据在中国的机遇？投资重 点\规模巨大\长期
云计算、物联网从政绩工程变成实用工程
国内各地制定云计算“十二五”规划
云计算、物联网园区
中国各地制定或公布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政 绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。 云计算、物联网、社交化媒体、GIS为大数据提供了丰富的数据来源。因此大数据中包括 的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘 和分析的技术发展，我们即将步入基于大数据的智能化时代。
▪ 投资标的
敬请雅正 欢迎交流
IBM\Oracle\EMC\Microsoft角力大数据
EMC
EMC的大数据解决方案专注于使组织更有效地使用他们从 不同来源产生的数据，包括网络上，网页上，消费者，监控 系统和传感器。 EMC的数据计算产品事业部正在开发分析工具以解决大数 据现象。 EMC的大数据解决方案包括40多个产品。 • 2010年7月收购数据库软件供应商Greenplum，花费3亿美
▪ 大数据专题可能的演进路径
微博为新浪带来巨大价值源自文库
中国互联网重视并加大投资
马云的判断来自于数据分析
“2008年初,阿里 巴巴平台上整个买 家询盘数急剧下滑 ，欧美对中国采购 在下滑。海关是卖 了货,出去以后再 获得数据;而我们 提前半年时间从询 盘上推断出世界贸 易发生变化了。”
马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品 前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数 量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模 型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据 的下降，自然导致买盘的下降。 腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪 推出企业微博产品，提供精准的数据分析服务。
经过大数据改造的IT不再是一个冷冰冰的系统，而变成了推动业务发展，挖掘 客户内心需求的真正推动剂；大数据将催生更多的应用领域需求。
产生新的用户量、给用户产生行为指纹
用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网 企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记 录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。这 是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平 台级公司的附庸。
• 2009年7月收购专注于数据复制和实时数据集成解决方案 的私人企业GoldenGate Software
微软
微软提供了高性能计算能力，并在2005年靠Windows Compute Cluster服务器进入相关市场
最近，微软的HPC部门开发了该公司的Dryad 并行处理技术 社区技术预览(CTP),第一步是向Windows HPC Server的用 户提供处理大数据工具
大数据引领我们走向数据智能化时代
——BigData专题报告
主要内容
➢ 什么是大数据？海量非结构化数据本身+处理方法 ➢ 大数据为什么重要？决定了企业是否有未来和业务可延伸范围 ➢ 国外处于什么样的一个情况？万马奔腾，抢占大数据高地 ➢ 大数据由哪些方面组成？技术、改造、数据提供商、展现方式 ➢ 大数据在中国的机遇？投资重点、规模巨大、长期 ➢ 大数据专题可能的演进路径 ➢ 相关投资标的
国外已经开始投资应用
美国国务院采用大数据技术开发新的美 国护照系统。
IBM宣布投资1亿美元用于大数据研究；
美国IT公司开始意识到大数据技术能够 为公司创造价值；
大数据公司引入汽车行业高管人员扩展 营销业务；
▪ 大数据组成？技术\改造\数据 提供商\展现方式
新平台技术 ▪ 基于SQL语言: 面对
OLAP的传统行和列
▪ 不基于SQL或map-
reduce的: 由谷歌率先 发起
新玩家和新模式正在出现
不同范围的服务
数据入 口/汇聚
数据平台
新的传输方案 ▪ 前提：传统交付模式 - 单片或
基于设备的解决方案
▪ 云: 能够充分利用物理设施的
弹性，以实现处理快速增长数 据的能力
▪ 数据流: 基于运行商数据直接
亿美元 • 2010年10月收购网络分析软件供应商Coremetrics • 2009年10月收购数据分析和统计软件提供商SPSS, 花费
12亿美元 • 2009年1月收购业务规则管理软件供应商ILOG, 花费3亿4
千万美元 • 2007年花费20亿美元收购商务智能软件供应商Cognos
甲骨文
甲骨文大数据提供的数据库和数据库软件主要用于配合Sun 的硬件，特别是它的最高端服务
元
• 2009年七月收购数据复制解决方案提供商Data Domain， 花费24亿美元
• 不一定和大数据完全相关，EMC从2009年起收购了Archer Technologies, SourceLabs, FastScale Technology, Configuresoft, and Varonis Systems。
卖license
改变商业模式
卖服务
• 易复制、利润率高 • 边际成本为零 • 卖人头 • 盗版
因泛在计算而导致 行业需求变化
• 客户粘度高
• 软硬一体化
• 利润率较卖license低， 需要解决复用问题
从对license的需求到对整体解决方案、服务的需求
利用好海量的大数据，解决中国软件公司卖人头、卖授权、无粘度的商业模式，转变为以 数据服务为核心的新商业模式。
IBM
IBM的策略是提供一个全面的方法来解决前所未有的信息爆 炸提出的挑战，因为信息量无论在流量、种类、速度还是活 力上都是爆炸式增长
IBM一直致力于扩大对包括数据仓库中的大数据、信息流和 结构化数据的分析 在过去四年中，IBM已经投入超过120亿美元进行了23项相 关并购，其中包括： • 2010年9月收购数据库分析供应商Netezza公司，花费17
启发各行业对IT系统投资新热点
不同行业中，企业信息化成熟度差异明显；政 府 等行业 的信息 化成熟 度明显领先，总 体处 于扩展和 整合优 化阶段 ；除金融和电信之外 的服务行业的信息化建设成熟度相对较低,仍处 在成长阶段。 对大数据的处理需求将启发对于IT系统投资新 热点，证实IT推动业务发展，增加对IT投资。
2000
手工化向自动化转型： 成熟度低 成长阶段
中国建筑信息化投入 占总收入0.03%
移动互联化
数据智能化 大数据
政府 互联网企业
金融 电信
从IT系统走向大数据决策分析 未来着眼点在于服务
建筑 流通
制造业
自动化走向初步信息化 快速发展
整体解决方案需求 年600亿投资规模
信息化走向移动互联化 基本架构已经建立 相对成熟 500亿以上投资规模
更多行业的应用
政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目 标；应用到制造等更多行业。
未来IT投资重心转移
结构化数据向非结 构化数据演进，使 得未来IT投资重点 不再是建系统为核 心，而是围绕大数 据为核心； 海量数据可以在各 个部门创造重大的 财物价值，未来投 资倾斜。
▪ 国外什么情况？万马奔腾，抢 占大数据高地
衍生于亚马逊、Google等互联网公司
互联网越来越智能
Google精确掌握用户行为、获取需求
Facebook用户 产生内容，创造 需求。
雅虎提供静态的 导航信息
Google分析用 户搜索信息，满 足用户需求
前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。 它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是 Facebook。 谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的 行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理 解就越深入，他的广告就越精准。广告的价值就越高。 这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告， 找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。
存储、分类、统计、建模、预测 的技术手段
能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。语义分析技术、 图文转换技术、模式识别技术、地理信息技术等等，都在大数据分析时获得应用。
▪ 大数据为什么重要？决定企业 是否有未来、业务可延伸范围
更高一层数据层面整合企业内外部
挖掘内心需求
分析
“数据库将演变成一个虚拟的， 基于云计算，超级可扩展的分布 式平台。”
- Forrester analyst Jim Kobielus
大数据的各部分组成
大数据技术：图像、音频、视频、非结构化、社交关系数据处理技术商； 现有IT系统改造商：大数据咨询公司、集成商、ERP、商务智能、客户关系管理系统； 终端提供商向数据提供商演进：对现有客户数据的深度把握、建立客户之间的社交和联系；
▪ 什么是大数据？ 海量数据本身+处理方法
指数型增长的海量数据
所有研究都表明，未来数年数据量会呈现指数增长。根据麦肯锡全球研究院（MGI）估计，全 球企业2010年在硬盘上存储了超过7EB（1EB等于10亿GB）的新数据，而消费者在PC和笔记 本等设备上存储了超过6EB新数据。1EB数据相当于美国国会图书馆中存储的数据的4000多倍 。事实上，我们如今产生如此多的数据，以至于根本不可能全部存储下来。例如，医疗卫生提 供商会处理掉他们所产生的90%的数据（比如手术过程中产生的几乎所有实时视频图像）。
展现方式：大型控制中心、移动终端
在多样性、体量、速度三大特征的指引下，大数据将有新型的展现方式：大型控制中心和 移动终端，实现数据的实时处理和快速决策。
▪ 大数据在中国的机遇？投资重 点\规模巨大\长期
云计算、物联网从政绩工程变成实用工程
国内各地制定云计算“十二五”规划
云计算、物联网园区
中国各地制定或公布了云计算、物联网等产业规划；这些工程的初始着眼点在房地产，政 绩工程居多，大数据作为核心内容端，使得政绩工程变为使用工程。 云计算、物联网、社交化媒体、GIS为大数据提供了丰富的数据来源。因此大数据中包括 的每个用户的身份、地点、时间、喜好、厌恶、社会关系等等大量的信息。伴随数据挖掘 和分析的技术发展，我们即将步入基于大数据的智能化时代。
▪ 投资标的
敬请雅正 欢迎交流
IBM\Oracle\EMC\Microsoft角力大数据
EMC
EMC的大数据解决方案专注于使组织更有效地使用他们从 不同来源产生的数据，包括网络上，网页上，消费者，监控 系统和传感器。 EMC的数据计算产品事业部正在开发分析工具以解决大数 据现象。 EMC的大数据解决方案包括40多个产品。 • 2010年7月收购数据库软件供应商Greenplum，花费3亿美
▪ 大数据专题可能的演进路径
微博为新浪带来巨大价值源自文库
中国互联网重视并加大投资
马云的判断来自于数据分析
“2008年初,阿里 巴巴平台上整个买 家询盘数急剧下滑 ，欧美对中国采购 在下滑。海关是卖 了货,出去以后再 获得数据;而我们 提前半年时间从询 盘上推断出世界贸 易发生变化了。”
马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品 前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数 量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模 型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据 的下降，自然导致买盘的下降。 腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪 推出企业微博产品，提供精准的数据分析服务。
经过大数据改造的IT不再是一个冷冰冰的系统，而变成了推动业务发展，挖掘 客户内心需求的真正推动剂；大数据将催生更多的应用领域需求。
产生新的用户量、给用户产生行为指纹
用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网 企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记 录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。这 是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平 台级公司的附庸。
• 2009年7月收购专注于数据复制和实时数据集成解决方案 的私人企业GoldenGate Software
微软
微软提供了高性能计算能力，并在2005年靠Windows Compute Cluster服务器进入相关市场
最近，微软的HPC部门开发了该公司的Dryad 并行处理技术 社区技术预览(CTP),第一步是向Windows HPC Server的用 户提供处理大数据工具
大数据引领我们走向数据智能化时代
——BigData专题报告
主要内容
➢ 什么是大数据？海量非结构化数据本身+处理方法 ➢ 大数据为什么重要？决定了企业是否有未来和业务可延伸范围 ➢ 国外处于什么样的一个情况？万马奔腾，抢占大数据高地 ➢ 大数据由哪些方面组成？技术、改造、数据提供商、展现方式 ➢ 大数据在中国的机遇？投资重点、规模巨大、长期 ➢ 大数据专题可能的演进路径 ➢ 相关投资标的
国外已经开始投资应用
美国国务院采用大数据技术开发新的美 国护照系统。
IBM宣布投资1亿美元用于大数据研究；
美国IT公司开始意识到大数据技术能够 为公司创造价值；
大数据公司引入汽车行业高管人员扩展 营销业务；
▪ 大数据组成？技术\改造\数据 提供商\展现方式
新平台技术 ▪ 基于SQL语言: 面对
OLAP的传统行和列
▪ 不基于SQL或map-
reduce的: 由谷歌率先 发起
新玩家和新模式正在出现
不同范围的服务
数据入 口/汇聚
数据平台
新的传输方案 ▪ 前提：传统交付模式 - 单片或
基于设备的解决方案
▪ 云: 能够充分利用物理设施的
弹性，以实现处理快速增长数 据的能力
▪ 数据流: 基于运行商数据直接
亿美元 • 2010年10月收购网络分析软件供应商Coremetrics • 2009年10月收购数据分析和统计软件提供商SPSS, 花费
12亿美元 • 2009年1月收购业务规则管理软件供应商ILOG, 花费3亿4
千万美元 • 2007年花费20亿美元收购商务智能软件供应商Cognos
甲骨文
甲骨文大数据提供的数据库和数据库软件主要用于配合Sun 的硬件，特别是它的最高端服务
元
• 2009年七月收购数据复制解决方案提供商Data Domain， 花费24亿美元
• 不一定和大数据完全相关，EMC从2009年起收购了Archer Technologies, SourceLabs, FastScale Technology, Configuresoft, and Varonis Systems。
卖license
改变商业模式
卖服务
• 易复制、利润率高 • 边际成本为零 • 卖人头 • 盗版
因泛在计算而导致 行业需求变化
• 客户粘度高
• 软硬一体化
• 利润率较卖license低， 需要解决复用问题
从对license的需求到对整体解决方案、服务的需求
利用好海量的大数据，解决中国软件公司卖人头、卖授权、无粘度的商业模式，转变为以 数据服务为核心的新商业模式。
IBM
IBM的策略是提供一个全面的方法来解决前所未有的信息爆 炸提出的挑战，因为信息量无论在流量、种类、速度还是活 力上都是爆炸式增长
IBM一直致力于扩大对包括数据仓库中的大数据、信息流和 结构化数据的分析 在过去四年中，IBM已经投入超过120亿美元进行了23项相 关并购，其中包括： • 2010年9月收购数据库分析供应商Netezza公司，花费17
启发各行业对IT系统投资新热点
不同行业中，企业信息化成熟度差异明显；政 府 等行业 的信息 化成熟 度明显领先，总 体处 于扩展和 整合优 化阶段 ；除金融和电信之外 的服务行业的信息化建设成熟度相对较低,仍处 在成长阶段。 对大数据的处理需求将启发对于IT系统投资新 热点，证实IT推动业务发展，增加对IT投资。
2000
手工化向自动化转型： 成熟度低 成长阶段
中国建筑信息化投入 占总收入0.03%
移动互联化
数据智能化 大数据
政府 互联网企业
金融 电信
从IT系统走向大数据决策分析 未来着眼点在于服务
建筑 流通
制造业
自动化走向初步信息化 快速发展
整体解决方案需求 年600亿投资规模
信息化走向移动互联化 基本架构已经建立 相对成熟 500亿以上投资规模
更多行业的应用
政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目 标；应用到制造等更多行业。
未来IT投资重心转移
结构化数据向非结 构化数据演进，使 得未来IT投资重点 不再是建系统为核 心，而是围绕大数 据为核心； 海量数据可以在各 个部门创造重大的 财物价值，未来投 资倾斜。
▪ 国外什么情况？万马奔腾，抢 占大数据高地
衍生于亚马逊、Google等互联网公司
互联网越来越智能
Google精确掌握用户行为、获取需求
Facebook用户 产生内容，创造 需求。
雅虎提供静态的 导航信息
Google分析用 户搜索信息，满 足用户需求
前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。 它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是 Facebook。 谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的 行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理 解就越深入，他的广告就越精准。广告的价值就越高。 这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告， 找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。
存储、分类、统计、建模、预测 的技术手段
能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。语义分析技术、 图文转换技术、模式识别技术、地理信息技术等等，都在大数据分析时获得应用。
▪ 大数据为什么重要？决定企业 是否有未来、业务可延伸范围
更高一层数据层面整合企业内外部
挖掘内心需求