大数据时代

30
提纲
大数据的概念及技术 大数据时代的思维和变革
大数据在企业中的应用案例
大数据所带来的机遇和挑战
31
大数据在企业中的应用之一
预测
32
大数据提升预测准确性
33
世界杯大数据预测火了百度
34
百度如何做到
通过爬虫等方法取得
35
百度预测
36
大数据在企业中的应用之二
营销:精准营销、整合营销、联合营销
25
利用所有数据，而不是一小部分采样数据
• 2011年发布的lytro相 机就是一款具有“大 数据”的相机。传统 的相机只可以记录一 束光的不同，而lytro 相机可以收录这个光 场所有的光，达到 1100万束左右。具体 生成什么样的照片则 可以在拍摄之后再根 据需要做决定。
26
利用所有数据，而不是一小部分采样数据
46
智慧城市的发展状况
• 我国智慧城市建设从2012年第一批试点开始，目前 已有290个市县区列入智慧城市试点，还有一些没 被列入试点的城市也开始建设智慧城市。据不完全 统计，在我国已有500多个城市进行了智慧城市建 设。 • 银川虽然是第二批列入智慧城市试点的城市，但银 川与中兴通讯合作，紧抓时代机遇，迅速落地并成 为全国首个高标准、全功能的智慧城市样板。 • 目前，智慧银川已经与乌镇互联网、贵阳大数据并 列为我国信息领域里产政结合三大热点之一。
大数据（big data），巨量数据集合 是指无法在一定时间内用传统数据库软件工具 对其内容进行抓取、管理和处理的数据集合。
10
“大数据”特征
11
大数据存放在哪？如何分析？
Hadoop是基于Google有关大数据的论文实现的开源项目，最初的框架 由Doug Cutting 在2005 年提出，目前是由Apache 维护的开源项目。从初创 到现在，Hadoop体系在几年中开发完成了一系列重要的子项目，已经形成 了一个涵盖数据存储、管理和分析功能的较为完整的大数据生态系统，成 为大数据存储与处理领域地位最重要、应用最广泛的开源框架。
19
数据，从最不可能的地方提取
• 苹果在2008年申请的“耳机、耳塞 或耳麦的运动检测系统”专利。 • 这种包含各种传感器的耳机可以检测 各项生理指标，包括体温、心率和排 汗水平。 • 根据专利文件，健身检测系统被隐藏 在耳机中，用户通常在运动时戴着耳 机听音乐。通过将耳机放在耳朵里或 附近，嵌入的运动传感器可以获得体 温、排汗和心率方面的数据。除了基 于皮肤的检测功能，耳机内部还可以 集成加速度传感器，这样可以收集准 确的运动数据。
20
2.决策思维：让数据驱动
21
未来的世界由数据驱动
• 2015年的3月15日，马云在德国的汉诺威IT博览 会上的主题演讲： • “一家互联网公司要想活得长久，必须找到一个 方式让互联网经济和实体经济相结合，这个方式 就是数据。” • “未来的世界，我们将不再由石油驱动，而是由 数据驱动。”
22
1
2
提纲
大数据的概念及技术 大数据时代的思维和变革
大数据在企业中的应用案例
大数据所带来的机遇和挑战
3
一天之间，互联网上要发生多少事
• 每天有2940亿封电子邮件发生，如果这些是纸质信件， 在美国需要花费两年时间处理。 • 每天有200万篇博客在网上发布，这些文章相当于《时代》 杂志刊发770年的总量。 • 每天有2.5亿张照片上传至社交网站Facebook，如果都 打印出来，摞在一起能有80个埃菲尔铁塔那么高。 • 每天有86.4万小时视频被上传至视频网站Youtube，相 当于不间断播放视频98年。 • 每天有1.87亿个小时的音乐会在流媒体音乐网站 Pandora上播放，如果一台电脑从公元元年就开始播放 这些音乐会，到现在还没完没了地接着放。
29
是什么，而不是为什么
• 在以前人们需要有了想法，然后再去收集数据去 测试这个想法的可行性。而现在我们有了更多 的 数据以及更好的工具之后，要找到相关关系就变 得更快，更容易了。 • 大多数据情况下，一旦我们完成了对大数据的相 关分析，而又不再满足于仅仅知道“是什么”时 ，我们就会继续向更深层研究因果关系，找出背 后的“为什么”。
14
大数据思维
• 量化思维——一切皆可量化 • 决策思维——让数据驱动 • 全样思维——样本=总体 • 关联思维——追求相关关系 • ……
15
1.量化思维：一切皆可量化
• Stephen Beck
• 每一天，我们的身后都拖着一条由个 人信息组成的长长的“尾巴”，这只 是因为我们生活在一个现代化的世界 。我们—— • ◎点击网页 • ◎切换电视频道 • ◎驾车穿过自动收费站 • ◎用信用卡购物 • ◎使用手机 • 而雅虎、Google这样的公司，正在 以平均每人、每月2500条信息的速 度，捕获我们的详细数据。
37
38
电商巨头阿里大数据生态圈已经建立
39
零售业ZARA通过大数据创造独特竞争力
40
零售业ZARA通过大数据创造独特竞争力
41
传统制造企业耐克公司大数据战略
耐克凭借一种名为Nike+的新产 品变身为大数据营销的创新公司。 所谓Nike+，是一种以“Nike跑鞋 或腕带+传感器”的产品，只要运 动者穿着Nike+的跑鞋运动，iPod 就可以存储并显示运动日期，时 间、距离、热量消耗值等数据。 用户上传数据到耐克社区，就能 和同好分享讨论。 凭借运动者上传的数据，耐克公 司已经成功建立了全球最大的运 动网上社区，超过1000万活跃的 用户，每天不停地上传数据，耐 克借此与消费者建立前所未有的 牢固关系。
28
是什么，而不是为什么
• 相关关系通过识别有用的关联物来帮助我们分析 一个现象，而不是通过提示其内部的动作机制。 但相关关系没有绝对，只有可能。 • 蛋挞与飓风用品
▫ 沃尔玛是世界上最大的零售商，掌握了大量的零售数据 。通过分析，沃尔玛发现，每当季节性飓风来临之前， 不仅手电筒销售量增加了，而且蛋挞的销量也增加了。 因此，当季节性暴风来临时，沃尔玛会把库存的蛋挞放 在靠近飓风用品的位置，以方便顾客。 • 观察的范围包括：每一个顾客购物清单以及消费额、购物 篮中的物品、具体的购买时间甚至是购买当日的天气。
42
大数据能为Nike带来什么
Nike+：硬件、软件、社区的大平台
43
大数据带给Nike的是利润
44
大数据在企业中的应用之三
智慧城市
45
什么是智慧城市
• 由商业公司IBM在2010年提出概念：
▫ 城市由六个核心系统组成：组织（人）、业务/政务、交通、通 讯、水和能源。这些系统不是零散的，而是以一种协作方式相 互衔接。而城市本身，则是由这些系统所组成的宏观系统 。
数据驱动的工业4.0
23
数据驱动的人生
24
3.要全部数据，不要抽样！
• 模型不再那么重要，让数据说话。
• 在小数据时代，随机采样就是利用最少的数据获 得更多的信息。而且采样分析的精确性随着采样 随机性的增加而大幅度的增加，与样本数量的增 加关系不大。 • 在大数据时代，随着收集数据的便捷性，以及数 据处理速度加快，我们可以分析到更多的数据， 甚至是可以处理和某个特别现象相关的所有数据 ，而不是依赖于随机采样。
ቤተ መጻሕፍቲ ባይዱ
• “智慧城市”的建设是个系统工程
▫ 将集成整个城市所涉及的社会综合管理与公共服务资源，通过 物联化、互联化、智能化方式，促进各种城市功能彼此协调运 作，以实现更全面的互联互通、更深入的智能化 。
• 无真正意义上的智慧城市范例可供参考
▫ 但智能化、便捷的生活方式是可以预想的构成要素。 ▫ 最终让每个普通市民的日常生活因此受惠，提升生活品质。
16
数据，从最不可能的地方提取
• 数据是指存储在某种介质上能够识别的物理符号， 是对客观事物性质和状态的描述。 • 先有数据再说应用。
17
数据，从最不可能的地方提取
• 量化坐姿
▫ 日本先进工业技术研究所（Japan’s Advanced Institute of Industrial Technology）的教授越 水重 臣（Shigeomi Koshimizu）所做的研究就 是关于一个人的坐姿。很少有人会认为一个人的坐 姿能 表现什么信息，但是它真的可以。当一个人坐 着的时候，他的身形、姿势和重量分布都可以量 化 和数据化。越水重臣和他的工程师团队通过在汽车 座椅下部安装总共360个压力传感器以测量 人对椅 子施加压力的方式。把人体屁股特征转化成了数据 ，并且用从0~256这个数值范围对其进 行量化， 这样就会产生独属于每个乘坐者的精确数据资料。 ▫ 在这个实验中，这个系统能根据人体对座位的压力 差异识别出乘坐者的身份，准确率高达98%。
• 客流量分析
▫ 帮助一些大的零售商分析顾客来源和各商铺 、展位的人流情况。
56
北京市旅游局景点舒适度预报
57
提纲
大数据的概念及技术 大数据时代的思维和变革
大数据在企业中的应用案例
大数据所带来的机遇和挑战
58
大数据时代的机遇和挑战
59
大数据技术促进国家和社会发展
• 当前，我国正处在全面建成小康社会征程中，工业化、信 息化、城镇化、农业现代化任务很重，建设下一代信息基 础设施，发展现代信息技术产业体系，健全信息安全保障 体系，推进信息网络技术广泛运用，是实现四化同步发展 的保证。大数据分析对我们深刻领会世情和国情，把握规 律，实现科学发展，做出科学决策具有重要意义，我们必 须重新认识数据的重要价值。
• 因为大数据是建立在掌握所有数据，至少是尽 可能多的数据基础上，所以我们就可以正确的 考察细节并进行新的分析。生活中真正有趣的 事情经常隐匿在细节之中，而采样分析法却无 法捕捉到这些细节。
27
4.“关联”思维
• 强调数据之间的关联也很有用，而不去追 求数据之间的因果关系。 • 因果关系是最深刻的一类联系，但是我们 很多时候并不能获得。
4
5
6
“大数据”时代的爆炸增长
• 地球上至今总共的数据量： • 在2006年，个人用户才刚刚迈 进TB时代，全球一共新产生了 约180EB的数据； • 在2011年，这个数字达到了 1.8ZB。 • 而有市场研究机构预测： • 到2020年，整个世界的数据总 量将会增长44倍，达到 35.2ZB（1ZB=10亿TB）！
47
银川
• 截至目前，银川已部署智能快递柜、智能垃圾桶、 免费WIFI、人脸识别门禁、大气与噪音监测系统 、直饮水改造、智慧医疗系统等11项智能化设备配 套的小区数量达到20个，预期到今年年底数量将增 加到100个以上。 • 同时，在智慧城市建设上，银川在智慧政务、智慧 交通、智慧环保等10大重点领域13个模块建设上独 显特色，形成了可复制、可推广的智慧城市“银川 模式”。
48
智慧城市实例——无锡大数据中心
49
智慧城市实例——无锡大数据中心
50
智慧城市实例——无锡大数据中心
51
大数据在企业中的应用之四
中国移动大数据
52
中国移动的大数据
53
内部的应用之精准营销
54
内部的应用之洞察客户
55
对外部的应用
• 景点舒适指数据预测
▫ 根据位置信令来分析景区用户数量，帮助旅 游景区了解游客来源、分布等信息
12
大数据存放在哪？如何分析？
Hadoop是运行在大量通用计算单位上提供海量数据存储与 并行计算的平台框架。 基于X86集群水平可扩展 基于MapReduce的并行计算能力 设计规模：PB级的数据量，数千台计算节点
13
提纲
大数据的概念及技术 大数据时代的思维和变革
大数据在企业中的应用案例
大数据所带来的机遇和挑战
想驾驭这庞大的数 据，我们必须了解 大数据的特征。
7
“大数据”的诞生
2008年9月4日《自然》杂志社，推出的名为“大数 据”的专刊，创造出了“大数据”这个概念。
8
“谷歌流感趋势”把大数据推上风口浪尖
美国疾病控制中心要在流感暴 发两周后才知道 谷歌的大数据预测只需要一天
9
什么是“大数据”？
18
数据，从最不可能的地方提取
• 这项技术可以作为汽车防盗系统安装在汽车上。有了这个 系统之后， 汽车就能识别出驾驶者是不是车主；如果不 是，系统就会要求司机输入密码；如果司机无法准 确输 入密码，汽车就会自动熄火。 • 通过汇集这些数据，我们可以利用事故发生之 前的姿势 变化情况，分析出坐姿和行驶安全之间的关系。这个系统 同样可以在司机疲劳驾驶的 时候发出警示或者自动刹车。 同时，这个系统不但可以发现车辆被盗，而且可以通过收 集到的 数据识别出盗贼的身份。