4大数据时代-思维变革 - 3更好
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1. 大数据时代的思维变革
1. 大数据时代的思维变革——更好
“更好”——不是因果关系，而是相关关系 知道“是什么”就够了，没必要知道“为什么”。在 大数据时代，我们不必非得知道现象背后的原因，而是要 让数据自己“发声”。 关联物，预测的关键 “是什么”，而不是“为什么” 改变，从操作方式开始
关联物，预测的关键
• 相关关系：相关关系的核心是量化两个数据值之 间的数理关系。
– 强和弱
• 通过给我们找到一个现象的良好的关联物，相关 关系可以帮助我们捕捉现在和预测未来。 • 实例：沃尔玛——蛋挞与飓风 • 生活中的相关关系
– 身高与前臂的长度
• 小数据时代的相关关系
• 大数据时代的相关关系
– 信用卡交易记录→预测个人收入 1$ – 证明一个人的收入状况 10$
• 中英人寿保险公司 申请人的健康隐患
信用报告、市场分析报告→高血压、糖尿病和抑 郁症 5$ 血液尿液样本 130$
• 美国折扣零售商塔吉特 怀孕预测
• 预测分析法
– 一个能发现可能的流行歌曲的算法系统 – 防止机器失效和建筑倒塌 – 异常情况与正常情况
• 预测效果非常好，在他们列出的前10%的高危沙井 盖名单里，有44%的沙井盖都发生了严重的事故。 • 最重要的因素是这些电缆的使用年限和有没有出 现过问题。
大数据，改变人类探索世界的方法
大量的数据从某种程度上意味着“理论 的终结”。 —— 2008年，《连线》主编克里斯·安德森 • 大数据是在理论的基础上形成的。 • 理论贯穿于大数据的整个过程。
– 数据的收集、分析、结果解读
大数据带来的思维方式的变化
• 处理的对象往往是全部数据，而不是部分数据的采样
– 采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的 数据处理能力，应该去处理全部的数据。
• 不再执迷于精确性
– 精确的、规范化的、可以被传统数据库处理的数据只占全部数据的 5%，必须接受不精确性才能处理另外95%的数据。 – 错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公 平性。 – 大数据的简单算法比小数据的复杂算法更有效。
– 仅纽约，地下电缆就有15万公里； – 曼哈顿有大约51000个沙井盖和服务设施， – 很多设施都是在爱迪生那个时代建成的 – 有二十分之一的电缆在1930年之前就铺好了。 – 1880以来的数据都保存着，却很杂乱，
• 负责这个项目的统计学家辛西亚·鲁丁（Cynthia Rudin）
– 将杂乱的数据整理好给机器处理 – 发现了大型沙井盖爆炸的106种预警情况。 – 在布朗克斯（Bronx）的电网测试中，他们对2008年 中期之前的数据都进行了分析，并利用这些数据预测 了2009年会出现问题的沙井盖。
– 谷歌流感预测：5亿个数学模型
建立在相关关系分析法基础上的预测是 大数据的核心。 数据驱动的关于大数据的相关关系分析 法，取代了基于假想的易出错的方法。大数 据的相关关系分析法更准确、更快，而且不 易受偏见的影响。
实例
• FICO提出“遵从医嘱评分”
一系列变量→是否按时吃药
• 益百利 预测个人收入
– 弗雷德的父母迟到了； – 供应商快到了； – 弗雷德生气了。 – ……
• 弗雷德为什么生气? • 快速思维模式使人们偏向用因果联系来看 待周围的一切，即使这种关系并不存在。
– 冬天不戴帽子和感冒
• 狂犬疫苗这个例子来说，
– 1885年7月6日，法国化学家路易·巴斯德（ Louis Pasteur）接诊了一个9岁的小孩约瑟夫· 梅斯特（Joseph Meister），他被带有狂犬病 毒的狗咬了。 – 巴斯德刚刚研发出狂犬疫苗，也实验验证过效 果了。梅斯特的父母就恳求巴斯德给他们的儿 子注射一针。 – 巴斯德做了，梅斯特活了下来。 – 发布会上，巴斯德因为把一个小男孩从死神手 中救出而大受褒奖。 – 一般来说，人被狂犬病狗咬后患上狂犬病的概 率只有七分之一。
相关关系很有用，不仅仅是因为它能为 我们提供新的视角，而且提供的视角都是很 清晰的。而我们一旦把因果关系考虑进去， 这些视角就有可能被蒙蔽掉。
– 实例：kaggle 二手车质量竞赛 橙色的车
• 因果是相关关系的一种。相关关系分析通 常情况下能取代因果关系起作用，即使不 可取代的情况下，它也能指导因果关系起 作用。
• 更加关注相关性，而不是因果性
– 预测依靠的是相关性。 – 很多情况下知道“是什么”即可，不必知道“为什么”。
下一讲
2. 大数据时代的商业变革Baidu Nhomakorabea
大数据，改变人类探索世界的方法
林登与亚马逊推荐系统
• 1997年，林登，亚马逊，推荐书籍 • 1998年 “item-to-item”协同过滤技术 • 书评团队被解散
– 评论家所创造的销售业绩 – 计算机生成内容所产生的销售业绩
• 海明威作品与菲茨杰拉德的书
• 知道是什么就够了，没必要知道为什么 • 据说亚马逊销售额的三分之一都是来自于 它的个性化推荐系统。
– 实例：曼哈顿沙井盖的爆炸
改变，从操作开始
• 实例：曼哈顿沙井盖爆炸
– 每年，因沙井盖内部失火，纽约每年有很多沙 井盖会发生爆炸。
• 联合爱迪生电力公司（Con Edison）每年 都会对沙井盖进行常规检查和维修。 • 2007年，联合爱迪生电力公司向哥伦比亚 大学的统计学家求助，希望他们通过对一 些历史数据的研究，预测出可能会出现问 题并且需要维修的沙井盖。
• • • • 检测处理即时的病人信息 早产儿病情诊断 16个数据点 1260/秒 在明显感染症状出现的24小时之前，可发现 早产儿的稳定是病情感染前的准备..
是什么，而不是为什么
• 在小数据时代，相关关系分析和因果分析都不容 易，都耗费巨大，都要从建立假设开始。 • 非线性关系
– 小数据时代，计算机能力的不足限制了非线性关系的 研究 – 实例：幸福的非线性关系
改变，从操作开始
• 这是一个复杂的大数据问题。
– 仅纽约，地下电缆就有15万公里； – 曼哈顿有大约51000个沙井盖和服务设施， – 很多设施都是在爱迪生那个时代建成的 – 有二十分之一的电缆在1930年之前就铺好了。 – 1880以来的数据都保存着，却很杂乱，
改变，从操作开始
• 这是一个复杂的大数据问题。
• 因果关系是否存在
– 不费力的快速思维 – 费力的慢性思维 – 实例：感冒、狂犬疫苗
• 我们的直接愿望就是了解因果关系。即使 无因果联系存在，我们也还是会假定其存 在。 • 研究证明，这只是我们的认知方式，与每 个人的文化背景、生长环境以及教育水平 是无关的。当我们看到两件事情接连发生 的时候，我们会习惯性地从因果关系的角 度来看待它们。 • 看看下面的三句话：
• 通过找出一个关联物并监控它，我们就能 预测未来。 • 实例：UPS与汽车维修预测
– 2000年，60000辆
收集和分析数据的花费比出现停产的损 失小得多。
• 当收集、存储和分析数据的成本较高的时 候，应该适当地丢弃一些数据。 • 医疗设备获取病人的数据 • 安大略理工大学 IBM 医院
– 卡罗琳·麦格雷戈
1. 大数据时代的思维变革——更好
“更好”——不是因果关系，而是相关关系 知道“是什么”就够了，没必要知道“为什么”。在 大数据时代，我们不必非得知道现象背后的原因，而是要 让数据自己“发声”。 关联物，预测的关键 “是什么”，而不是“为什么” 改变，从操作方式开始
关联物，预测的关键
• 相关关系：相关关系的核心是量化两个数据值之 间的数理关系。
– 强和弱
• 通过给我们找到一个现象的良好的关联物，相关 关系可以帮助我们捕捉现在和预测未来。 • 实例：沃尔玛——蛋挞与飓风 • 生活中的相关关系
– 身高与前臂的长度
• 小数据时代的相关关系
• 大数据时代的相关关系
– 信用卡交易记录→预测个人收入 1$ – 证明一个人的收入状况 10$
• 中英人寿保险公司 申请人的健康隐患
信用报告、市场分析报告→高血压、糖尿病和抑 郁症 5$ 血液尿液样本 130$
• 美国折扣零售商塔吉特 怀孕预测
• 预测分析法
– 一个能发现可能的流行歌曲的算法系统 – 防止机器失效和建筑倒塌 – 异常情况与正常情况
• 预测效果非常好，在他们列出的前10%的高危沙井 盖名单里，有44%的沙井盖都发生了严重的事故。 • 最重要的因素是这些电缆的使用年限和有没有出 现过问题。
大数据，改变人类探索世界的方法
大量的数据从某种程度上意味着“理论 的终结”。 —— 2008年，《连线》主编克里斯·安德森 • 大数据是在理论的基础上形成的。 • 理论贯穿于大数据的整个过程。
– 数据的收集、分析、结果解读
大数据带来的思维方式的变化
• 处理的对象往往是全部数据，而不是部分数据的采样
– 采样的不合理会导致预测结果的偏差，在大数据时代，依靠强大的 数据处理能力，应该去处理全部的数据。
• 不再执迷于精确性
– 精确的、规范化的、可以被传统数据库处理的数据只占全部数据的 5%，必须接受不精确性才能处理另外95%的数据。 – 错误的数据是客观存在的，竭力避免它就失去了应有的客观性和公 平性。 – 大数据的简单算法比小数据的复杂算法更有效。
– 仅纽约，地下电缆就有15万公里； – 曼哈顿有大约51000个沙井盖和服务设施， – 很多设施都是在爱迪生那个时代建成的 – 有二十分之一的电缆在1930年之前就铺好了。 – 1880以来的数据都保存着，却很杂乱，
• 负责这个项目的统计学家辛西亚·鲁丁（Cynthia Rudin）
– 将杂乱的数据整理好给机器处理 – 发现了大型沙井盖爆炸的106种预警情况。 – 在布朗克斯（Bronx）的电网测试中，他们对2008年 中期之前的数据都进行了分析，并利用这些数据预测 了2009年会出现问题的沙井盖。
– 谷歌流感预测：5亿个数学模型
建立在相关关系分析法基础上的预测是 大数据的核心。 数据驱动的关于大数据的相关关系分析 法，取代了基于假想的易出错的方法。大数 据的相关关系分析法更准确、更快，而且不 易受偏见的影响。
实例
• FICO提出“遵从医嘱评分”
一系列变量→是否按时吃药
• 益百利 预测个人收入
– 弗雷德的父母迟到了； – 供应商快到了； – 弗雷德生气了。 – ……
• 弗雷德为什么生气? • 快速思维模式使人们偏向用因果联系来看 待周围的一切，即使这种关系并不存在。
– 冬天不戴帽子和感冒
• 狂犬疫苗这个例子来说，
– 1885年7月6日，法国化学家路易·巴斯德（ Louis Pasteur）接诊了一个9岁的小孩约瑟夫· 梅斯特（Joseph Meister），他被带有狂犬病 毒的狗咬了。 – 巴斯德刚刚研发出狂犬疫苗，也实验验证过效 果了。梅斯特的父母就恳求巴斯德给他们的儿 子注射一针。 – 巴斯德做了，梅斯特活了下来。 – 发布会上，巴斯德因为把一个小男孩从死神手 中救出而大受褒奖。 – 一般来说，人被狂犬病狗咬后患上狂犬病的概 率只有七分之一。
相关关系很有用，不仅仅是因为它能为 我们提供新的视角，而且提供的视角都是很 清晰的。而我们一旦把因果关系考虑进去， 这些视角就有可能被蒙蔽掉。
– 实例：kaggle 二手车质量竞赛 橙色的车
• 因果是相关关系的一种。相关关系分析通 常情况下能取代因果关系起作用，即使不 可取代的情况下，它也能指导因果关系起 作用。
• 更加关注相关性，而不是因果性
– 预测依靠的是相关性。 – 很多情况下知道“是什么”即可，不必知道“为什么”。
下一讲
2. 大数据时代的商业变革Baidu Nhomakorabea
大数据，改变人类探索世界的方法
林登与亚马逊推荐系统
• 1997年，林登，亚马逊，推荐书籍 • 1998年 “item-to-item”协同过滤技术 • 书评团队被解散
– 评论家所创造的销售业绩 – 计算机生成内容所产生的销售业绩
• 海明威作品与菲茨杰拉德的书
• 知道是什么就够了，没必要知道为什么 • 据说亚马逊销售额的三分之一都是来自于 它的个性化推荐系统。
– 实例：曼哈顿沙井盖的爆炸
改变，从操作开始
• 实例：曼哈顿沙井盖爆炸
– 每年，因沙井盖内部失火，纽约每年有很多沙 井盖会发生爆炸。
• 联合爱迪生电力公司（Con Edison）每年 都会对沙井盖进行常规检查和维修。 • 2007年，联合爱迪生电力公司向哥伦比亚 大学的统计学家求助，希望他们通过对一 些历史数据的研究，预测出可能会出现问 题并且需要维修的沙井盖。
• • • • 检测处理即时的病人信息 早产儿病情诊断 16个数据点 1260/秒 在明显感染症状出现的24小时之前，可发现 早产儿的稳定是病情感染前的准备..
是什么，而不是为什么
• 在小数据时代，相关关系分析和因果分析都不容 易，都耗费巨大，都要从建立假设开始。 • 非线性关系
– 小数据时代，计算机能力的不足限制了非线性关系的 研究 – 实例：幸福的非线性关系
改变，从操作开始
• 这是一个复杂的大数据问题。
– 仅纽约，地下电缆就有15万公里； – 曼哈顿有大约51000个沙井盖和服务设施， – 很多设施都是在爱迪生那个时代建成的 – 有二十分之一的电缆在1930年之前就铺好了。 – 1880以来的数据都保存着，却很杂乱，
改变，从操作开始
• 这是一个复杂的大数据问题。
• 因果关系是否存在
– 不费力的快速思维 – 费力的慢性思维 – 实例：感冒、狂犬疫苗
• 我们的直接愿望就是了解因果关系。即使 无因果联系存在，我们也还是会假定其存 在。 • 研究证明，这只是我们的认知方式，与每 个人的文化背景、生长环境以及教育水平 是无关的。当我们看到两件事情接连发生 的时候，我们会习惯性地从因果关系的角 度来看待它们。 • 看看下面的三句话：
• 通过找出一个关联物并监控它，我们就能 预测未来。 • 实例：UPS与汽车维修预测
– 2000年，60000辆
收集和分析数据的花费比出现停产的损 失小得多。
• 当收集、存储和分析数据的成本较高的时 候，应该适当地丢弃一些数据。 • 医疗设备获取病人的数据 • 安大略理工大学 IBM 医院
– 卡罗琳·麦格雷戈