人工智能导论课件第3章第4节

3.4.1 关联物，预测的关键
• 在大数据时代，通过建立在人的偏见基础上的关联物监测法已经不再可行，因 为数据库太大而且需要考虑的领域太复杂。幸运的是，许多迫使我们选择假想 分析法的限制条件也逐渐消失了。我们现在拥有如此多的数据，这么好的机器 计算能力，因而不再需要人工选择一个关联物或者一小部分相似数据来逐一分 析了。复杂的机器分析有助于我们做出准确的判断，就像在谷歌流感趋势中， 计算机把检索词条在5亿个数学模型上进行测试之后，准确地找出了哪些是与 流感传播最相关的词条。我们理解世界不再需要建立在假设的基础上，这个假 设是指针对现象建立的有关其产生机制和内在机理的假设。
3.4.3 通过因果关系了解世界
• 与常识相反，经常凭借直觉而来的因果关系并没有帮助我们加深对这个世界的 理解。很多时候，这种认知捷径只是给了我们一种自己已经理解的错觉，但实 际上，我们因此完全陷入了理解误区之中。就像采样是我们无法处理全部数据 时的捷径一样，这种找因果关系的方法也是我们大脑用来避免辛苦思考的捷径。
3.4.4 通过相关关系了解世界
• 可是，我们必须非常认真。相关关系很有用，不仅仅是因为它能为我们提供新 的视角，而且提供的视角都很清晰。而我们一旦把因果关系考虑进来，这些视 角就有可能被蒙蔽掉。
• 例如，Kaggle是一家为所有人提供数据挖掘竞赛平台的公司，举办了关于二手 车的质量竞赛。经销商将二手车数据提供参加 比赛二手车数据，统计学家们用这些数据建立 一个算法系统来预测经销商拍卖的哪些车有可 能出现质量问题。相关关系分析表明，橙色的 车有质量问题的可能性只有其他车的一半。
3.4.2 “是什么”，而不是“为什么”
• 在小数据时代，相关关系分析和因果分析都不容易，耗费巨大，都要从建立假 设开始，然后进行实验——这个假设要么被证实要么被推翻。但是，由于两者 都始于假设，这些分析就都有受偏见影响的可能，极易导致错误。与此同时， 用来做相关关系分析的数据很难得到。
• 另一方面，在小数据时代，由于计算机能力的不足，大部分相关关系分析仅限 于寻求线性关系。而事实上，实际情况远比我们所想象的要复杂。经过复杂的 分析，我们能够发现数据的“非线性关系”。
• 在小数据时代，很难证明由直觉而来的因果联系是错误的。现在，情况不一样 了，大数据之间的相关关系，将经常会用来证明直觉的因果联系是错误的。最 终也能表明，统计关系也不蕴含多少真实的因果关系。总之，我们的快速思维 模式将会遭受各种各样的现实考验。
3.4.3 通过因果关系了解世界
• 为了更好地了解世界，我们会因此更加努力地思考。但是，即使是我们用来发 现因果关系的第二种思维方式——慢性思维，也将因为大数据之间的相关关系 迎来大的改变。
3.4.1 关联物，预测的关键
• 通过找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未 来。如果A和B经常一起发生，我们只需要注意到B发生了．就可以预测A也发 生了。这有助于我们捕捉可能和A一起发生的事情，即使我们不能直接测量或 观察到A。更重要的是，它还可以帮助我们预测未来可能发生什么。当然，相 关关系是无法预知未来的，他们只能预测可能发生的事情。但是，这已经极其 珍贵了。
第4节
1
关联物，预测的关键
2
“是什么”，而不是“为什么”
3
通过因果关系了解世界
4
通过相关关系了解世界
3.4 思维转变之三：数据的相关关系
• 这是因前两个转变而促成的。寻找因果关系是人类长久以来的习惯，即使确定 因果关系很困难而且用途不大，人类还是习惯性地寻找缘由。相反，在大数据 时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系， 这会给我们提供非常新颖且有价值的观点。相关关系也许不能准确地告知我们 某件事情为何会发生，但是它会提醒我们这件事情正在发生。在许多情况下， 这种提醒的帮助已经足够大了。
3.4 思维转变之三：数据的相关关系
• 在传统观念下，人们总是致力于找到一切事情发生背后的原因。然而在很多时 候，寻找数据间的关联并利用这种关联就足够了。这些思想上的重大转变导致 了第三个变革，我们尝试着不再探求难以捉摸的因果关系，转而关注事物的相 关关系。
3.4.1 关联物，预测的关键
• 虽然在小数据世界中相关关系也是有用的，但如今在大数据的背景下，相关关 系大放异彩。通过应用相关关系，我们可以比以前更容易、更快捷、更清楚地 分析事物。
3.4.1 关联物，预测的关键
• 除了仅仅依靠相关关系，专家们还会使用一些建立在理论基础上的假想来指导 自己选择适当的关联物。这些理论就是一些抽象的观点，关于事物是怎样运作 的。然后收集与关联物相关的数据来进行相关关系分析，以证明这个关联物是 否真的合适。如果不合适，人们通常会固执地再次尝试，因为担心可能是数据 收集的错误，而最终却不得不承认一开始的假想甚至假想建立的基础都是有缺 陷和必须修改的。这种对假想的反复试验促进了学科的发展。但是这种发展非 常缓慢，因为个人以及团体的偏见会蒙蔽我们的双眼，导致我们在设立假想、 应用假想和选择关联物的过程中犯错误。总之，这是一个繁琐的过程，只适用 于小数据时代。
3.4 思维转变之三：数据的相关关系
• 例如，如果数百万条电子医疗记录都显示橙汁和阿司匹林的特定组合可以治疗 癌症，那么找出具体的药理机制就没有这种治疗方法本身来得重要。同样，只 要我们知道什么时候是买机票的最佳时机，就算不知道机票价格疯狂变动的原 因也无所谓了。大数据告诉我们“是什么”而不是“为什么”。在大数据时代， 我们不必知道现象背后的原因，只要让数据自己发声。我们不再需要在还没有 收集数据之前，就把分析建立在早已设立的少量假设的基础之上。让数据发声， 我们会注意到很多以前从来没有意识到的联系的存在。
3.4.2 “是什么”，而不是“为什么”
• 多年来，经济学家和政治家一直认为收入水平和幸福感是成正比的。从数据图 表上可以看到，虽然统计工具呈现的是一种线性关系，但事实上，它们之间存 在一种更复杂的动态关系：例如，对于收入水平在1万美元以下的人来说，一 旦收入增加，幸福感会随之提升；但对于收入水平在1万美元以上的人来说， 幸福感并不会随着收入水平提高而提升。如果能发现这层关系，我们看到的就 应该是一条曲线，而不是统计工具分析出来的直线。这个发现对决策者来说非 常重要。
3.4.1 关联物，预测的关键
• 相关关系通过识别有用的关联物来帮助我们分析一个现象，而不是通过揭示其 内部的运作机制。当然，即使是很强的相关关系也不一定能解释每一种情况， 比如两个事物看上去行为相似，但很有可能只是巧合。相关关系没有绝对，只 有可能性。也就是说，不是亚马逊推荐的每本书都是顾客想买的书。但是，如 果相关关系强，一个相关链接成功的概率是很高的。这一点很多人可以证明， 他们的书架上有很多书都是因为亚马逊推荐而购买的。
3.4.1 关联物，预测的关键
• 建立在相关关系分析法基础上的预测是大数据的核心。这种预测发生的频率非 常高，以至于我们经常忽略了它的创新性。当然，它的应用会越来越多。
• 一个东西要出故障，不会是瞬间的，而是慢慢地出问题的。通过收集所有的数 据，我们可以预先捕捉到事物要出故障的信号，比方说发动机的嗡嗡声、引擎 过热都说明它们可能要出故障了。系统把这些异常情况与正常情况进行对比， 就会知道什么地方出了毛病。通过尽早地发现异常，系统可以提醒我们在故障 之前更换零件或者修复问题。通过找出一个关联物并监控它，我们就能预测未 来。
3.4.3 通过因果关系了解世界
• 看看这三句话：“小明的父母迟到了；供应商快到了；小明生气了。”读到这 里时，我们可能立马就会想到小明生气并不是因为供应商快到了，而是他父母 迟到了的缘故。实际上，我们也不知道到底是什么情况。即便如此，我们还是 不禁认为这些假设的因果关系是成立的。
• 普林斯顿大学心理学专家，同时也是2002年诺贝尔经济学奖得主丹尼尔·卡尼曼 就是用这个例子证明了人有两种思维模式。第一种是不费力的快速思维，通过 这种思维方式几秒钟就能得出结果；另一种是比较费力的慢性思维，对于特定 的问题，需要考虑到位。
3.4.2 “是什么”，而不是“为什么”
• 如果只看到线性关系的话，那么政策重心应完全放在增加收入上，因为这样才 能增加全民பைடு நூலகம்幸福感。而一旦察觉到这种非线性关系，策略的重心就会变成提 高低收入人群的收入水平，因为这样明显更划算。当相关关系变得更复杂时， 一切就更混乱了。
3.4.2 “是什么”，而不是“为什么”
3.4.3 通过因果关系了解世界
• 与相关关系一样，因果关系被完全证实的可能几乎是没有的，我们只能说，某 两者之间很有可能存在因果关系。但两者之间又有不同，证明因果关系的实验 要么不切实际，要么违背社会伦理道德。比方说，我们怎么从5亿词条中找出 和流感传播最相关的呢？我们难道真能为了找出被狗咬和患狂犬病之间的因果 关系而置成百上千的病人的生命于不顾吗？因为实验会要求把部分病人当成未 被咬的“控制组”成员来对待，但是就算给这些病人打了疫苗，我们又能保证 万无一失吗？而且就算这些实验可以操作，操作成本也非常的昂贵。
3.4.3 通过因果关系了解世界
• 传统情况下，人类是通过因果关系了解世界的。首先，我们的直接愿望就是了 解因果关系。即使无因果联系存在，我们也还是会假定其存在。研究证明，这 只是我们的认知方式，与每个人的文化背景、生长环境以及教育水平无关。当 我们看到两件事情接连发生的封候，我们会习惯性地从因果关系的角度来看待 它们。
• 日常生活中，我们习惯性地用因果关系来考虑事情，所以会认为，因果联系是 浅显易寻的。但事实却并非如此。与相关关系不一样，即使用数学这种比较直 接的方式，因果联系也很难被轻易证明。我们也不能用标准的等式将因果关系 表达清楚。因此，即使我们慢慢思考，想要发现因果关系也是很困难的。因为 我们已经习惯了信息的匾乏，故此亦习惯了在少量数据的基础上进行推理思考， 即使大部分时候很多因素都会削弱特定的因果关系。
3.4.3 通过因果关系了解世界
• 快速思维模式使人们偏向用因果联系来看待周围的一切，即使这种关系并不存 在。这是我们对已有的知识和信仰的执著。在古代，这种快速思维模式是很有 用的，它能帮助我们在信息量缺乏却必须快速做出决定的危险情况下化险为夷。 但是，通常这种因果关系都是并不存在的。
• 卡尼曼指出，平时生活中，由于惰性，我们很少慢条斯理地思考问题，所以快 速思维模式就占据了上风。因此，我们会经常臆想出一些因果关系，最终导致 了对世界的错误理解。
3.4.4 通过相关关系了解世界
• 不像因果关系，证明相关关系的实验耗资少，费时也少。与之相比，分析相关 关系，我们既有数学方法，也有统计学方法，同时，数字工具也能帮我们准确 地找出相关关系。
• 相关关系分析本身意义重大，同时它也为研究因果关系奠定了基础。通过找出 可能相关的事物，我们可以在此基础上进行进一步的因果关系分析．如果存在 因果关系的话，我们再进一步找出原因。这种便捷的机制通过实验降低了因果 分析的成本。我们也可以从相互联系中找到一些重要的变量，这些变量可以用 到验证因果关系的实验中去。
3.4.1 关联物，预测的关键
• 所谓相关关系，其核心是指量化两个数据值之间的数理关系。相关关系强是指 当一个数据值增加时，另一个数据值很有可能也会随之增加。我们已经看到过 这种很强的相关关系，比如谷歌流感趋势：在一个特定的地理位置，越多的人 通过谷歌搜索特定的词条，该地区就有更多的人患了流感。相反，相关关系弱 就意味着当一个数据值增加时，另一个数据值几乎不会发生变化。例如，我们 可以寻找关于个人的鞋码和幸福的相关关系，但会发现它们几乎扯不上什么关 系。
• 大数据时代，专家们正在研发能发现并对比分析非线性关系的技术工具。一系 列飞速发展的新技术和新软件也从多方面提高了相关关系分析工具发现非因果 关系的能力。这些新的分析工具和思路为我们展现了一系列新的视野被有用的 预测，我们看到了很多以前不曾注意到的联系，还掌握了以前无法理解的复杂 技术和社会动态。但最重要的是，通过去探求“是什么”而不是“为什么”， 相关关系帮助我们更好地了解了这个世界。