大数据分析趋势浅析

目 01
02
录 03
大数据简介 大数据分析 大数据分析发展趋势
2 大数据分析简介及趋势概况
大数据分析的核心是从数据中获取价值，价值体现在从大数据中获取更准确、 更深层次的知识，而非对数据的简单统计分析。
01
02
神经计算
深度学习
大数据分析
人工智能 04
语义计算 03
目 01
02
录 03
大数据简介 大数据分析 大数据分析发展趋势
1 大数据简介
2012年的总统大选时，花销不到3亿 美元的奥巴马却击败了开支近4亿美 元的罗姆尼，成为美国新一届总统。 奥巴马的竞选发言人说，对于竞选 团队来说，并不能只是面对一个笼 统的选民概念，而主要针对每一个 选民，深入挖掘他们被说服的因素 是什么，这种具有针对性的方式， 使得奥巴马的募捐方案和游说计划 得到了意外的支持。那么，到底是 什么支持了奥巴马的募捐方案和游 说计划昵，是大数据。
3.2 Hadoop:新的企业数据操作系统
各种分布式分析框架，如MapReduce正在演变为分布式资源管理器，它们会逐 渐地将Hadoop转变为一种通用的数据操作系统。有了Hadoop这样的分布式文件 存储系统，你就能执行很多不同的数据操控和分析任务。
3.3 大数据湖
数据湖也称之企业数据湖或企业数 据集中库，会将各种数据资源倾倒 进 一 个 大 的 Hadoop 仓 库 中 去 ， 而 不 会事先设计什么数据模型。提供各 种工具，再配上对数据湖中现存数 据的顶层定义，供人们去分析数据。 人们就可随着对数据湖的逐步深入 而构建起自己的数据视图。这正是 构建一个大规模数据库增量化的、 有机的模型。
三V 特征
Volume大量 Velocity高速 Variety多样
1.2 大数据处理的主要环节
1.3 大数据发展趋势
大数据应用
大数据工程
• 法规、政策、标准 • 宏观统筹规划和投入 • 基础设施建设 • 产业链集成 • 学科系统搭建及综合 • 人才培养
• 政治选举、政策制定等 • 经济管理、企业运营 • 社会公共安全、管理等 • 军事情报活动、决策等 • 科学研究及应用
3.5 SQL on Hadoop:更快、更好
Apache Hive就可为Hadoop提供一种 结构化的、类SQL的查询语言。来自 Cloudera, Pivotal软件、IBM和其他 一些厂商的产品，不但可提供更好的 性能，而且还能让查询进行的更快速。 这 些 工 具 让 Hadoop 能 更 好 地 适 用 于 “迭代分析”，也就是在询问了一个 问题并得到答案后，可以在此基础上 查询新的问题。这样的工作传统上是 需要构建数据仓库才能进行的。
3.4 更有预测性的分析
有了大数据，分析师们不仅有了 更多的数据可用，而且具备了处 理大量多属性记录的能力。可以 处理海量的记录，以及对每条记 录的海量属性进行处理，从而提 高了预测能力。大数据与计算能 力相互结合，还能让分析师们去 研究新的行为数据。例如消费者 所访问的网站或位置信息等“稀 疏数据”。
1.3 大数据十大发展趋势
结合智能计算的大数据分析成为热点 数据科学带动多学科融合，但是数据科学作为新型的学科，其学科基础问题体
系尚不明朗，数据科学自身的发展尚未成体系 与行业数据结合，实现跨领域应用 与“物云移社”融合，产生综合价值 大数据多样化处理模式与软硬件基础设施逐步夯实 大数据安全和隐私 新的计算模式将取得突破 各种可视化技术和工具提升大数据分析 大数据技术课程体系建设和人才培养是需要高度关注的问题 开源系统将成为大数据领域的主流技术和系统选择
大数据分析趋势浅析
目 01
02
录 03
大数据简介 大数据分析 大数据分析发展趋势
目 01
02
录 03
大数据简介 大数据分析 大数据分析发展趋势
1 大数据简介
2012年初的一天，一位父亲进入他家附 近的某超市向超市负责人兴师问罪。原 因是超市把婴儿用品的优惠券寄给他17 岁的女儿。一个月后，这位父亲又向超 市经理致歉—他的女儿确实怀孕了。原 来，这家超市建立了一个客户购买体系， 其中用25种典型商品的消费数据构建了 “怀孕预测指数”，这样即可准确地辨 别出孕妇群体，以便更好地为她们提供 服务商品。这个故事被刊登在《纽约时 报》，轰动了全美，被称为“大数据的 第一课”。
3.6 更多、更好的NoSQL
横向维度
大数据科学
宏观维度
纵向维度
大数据技术
微观维度
• 研究范畴 • 基础概论、理论、规律 • 流程、方法和模型 • 技术、应用与评价 • 与自然、社会的关联
• 数据采集技术 • 数据存储技术 • 数据传输技术 • 数据分析与挖掘技术 • 数据清洗与集成技术 • 数据查询与检索技术 • 数据解释与展示技术
3.1 云中的大数据分析
如今已有很多技术可用于处理云中的 数据。实例包括亚马逊Redshift所托 管的BI数据仓库、谷歌BigQuery数据 分析服务、IBM Bluemix云平台，以 及 亚 马 逊 Kinesis 数 据 处 理 服 务 等 。 “大数据的未来状态将是企业端和云 端的某种混合态。”
1.1 大数据定义及特征
大数据(big data)或称巨量资 料，这些资料的规模巨大到无 法使用目前的主流软件工具， 在合理的时问内通过采集、管 理、处理并整理而成为帮助企 业经营决策的信息。
维基百科将大数据定义为“无 法在一定时间内用常规软件工 具对其内容进行抓取、管理和 处理的大量而复杂的数据集 合”。
1 大数据简介
回顾自2009年淘宝在11月11日发 起的“品牌商品五折优惠”活动 以来的5年问，当天成交额由 2009 年 的 1 亿 元 经 过 2010 年 的 9.36 亿 元 、 2011 年 的 52 亿 元 、 2012 年 的 191 亿 元 ， 一 直 Leabharlann Baidu 飘 到 2013年的350.19亿元，正式超越 美国“网络星期一”创造的单日 120 亿 元 ( 人 民 币 ) 的 记 录 ， 成 为 全球最大的购物狂欢节。这一系 列的惊人创举的背后也是大数据， 是大数据造就了天猫的辉煌。