深度长文：关于AI,你最该了解可也许从没想过的四个问题

深度长文：关于AI，你最该了解可也许从没想过的四个问题


在过去的几年里，我们一直在讨论人工智能（AI）将如何拯救或摧毁世界：自驾车有利于保
护我们的生命;社交媒体泡沫将破坏民主；机器烤面包机会让人类连烤面包的能力都丧失。

你可能很清楚，这其中的一些是无稽之谈，一些是真实的。但是，如果你没有深入地沉浸在
这个领域，可能很难分辨孰真孰假。虽然对于想要学习人工智能编程的人来说，互联网上有
大把的启蒙教程，但对于不想成为软件工程师或者数据专家的人来说，却缺乏对于人工智能
的概念的了解，以及它所面临的社会上和伦理学上的挑战。

如果全社会真的要讨论人工智能，我们就需要解决这个问题。所以今天我们要谈谈人工智能
的现实：它能做什么，不可能做什么，未来可能可以做些什么，以及它带来的一些社会、文
化和道德方面的挑战。我不会涵盖每一个可能的挑战;其中的一些，譬如泡沫和虚假信息，
大的需要一整篇文章来解释。但是，我会给你们足够的例子说明我们所面临的真正的问题，
你们就能够独立提出自己的问题。

我先给大家剧透一下：大多数最难的挑战不是来自于技术。人工智能最大的挑战往往始于，
它迫使我们编程时不得不非常明确地表达我们的目标，几乎没有别的事情会这样——而有的
时候，我们并不想对自己说实话。

1、人工智能和机器学习

在写这篇文章时，我将或多或少地使用术语“人工智能”（AI）和“机器学习”（ML）。这
两个术语意味着几乎相同的东西，原因很愚蠢：因为从历史上来说，“人工智能”差不多被
定义为“任何电脑还无法做到的事情”。多年来人们争辩说，下象棋需要真正的人工智能，
模拟对话需要真正的人工智能，或者识别图像需要真正的人工智能；每次这些事情实现了一
个，人工智能的边界又随之移动。 “人工智能”这个词语太可怕了，它与我们人类定义自
己的方式以及那些让人类与众不同的东西靠的太近。所以在某些时候，专业人士会使用“机
器学习”这个术语来进行整个对话，然后就卡住了。如果我只是谈论“机器学习”，听起来
会显得特别机械——因为即使是专业人士，也总是更多的在谈论人工智能。

那么让我们先来谈谈机器学习或人工智能到底是什么。从最严格的意义上说，机器学习是“
预测统计学”领域的一部分，就是建立一个系统，它能够获取过去发生的事情的信息，并且
利用这些建立一个关于相关环境的某种模型，用来预测在其他情况下可能发生的事情。简单
来说就像“当我把车轮转向左边

，车子也往左转”那样简单，往难来说，就像试图了解一个
人的整个生活和品味一样复杂。

您可以使用这张图片来了解每个AI的功能：



深度长文：关于AI，你最该了解可也许从没想过的四个问题

有一个可以感知世界的传感器系统（sensor） —— 这些系统可以是从摄像机和LIDAR到查
看文档的网络爬虫的任何东西。还有一些其他的系统适用于这个环境，比如开车，或者按照
分类顾客展示广告。有时候，这个系统是一台机器，有时候是一个人，他必须根据一些很复
杂或者太大的事情做出决定，一下子又思考不了那么多—— 比如说整个互联网的内容。

要把两者联系起来，你需要一个盒子，能够提取对这个世界的认知，并且提出一些建议，告
诉你如果采取各种行动，可能会发生什么。中间那个盒子叫做“模型（Model）”，就好比
一个“这个世界是如何工作的模型”，那个盒子就是人工智能的一部分。

上面的图表中还有一些别的的单词，如果你听专业人士讨论AI时你可能会听到它们。 “特
征（Feature）”只是对原始认知的一些升华，包括模型的设计者认为有用的那部分认知。
在有些AI系统中，特征只是原始的认知—— 例如，摄像机的每个像素所看到的颜色。如此
大量的特征对于AI来说是有益的，因为它不会对什么重要什么不重要有任何先入之见，但是
又使得AI本身更难构建；仅仅在过去的十年左右，建立足够大的计算机来处理这个问题才变
得可能。

“预测（Prediction）”就是另一端会产生的结果：当你给模型展示一些特征时，它通常会
给你一堆可能的结果，以及它对每个结果的可能性的最佳理解。如果你想让一个人工智能做
出决定，那么就应用一些规则 —— 例如，“挑选最有可能成功的人”，或者“挑选最不可
能导致灾难性失败的人”。对系统而言，权衡可能的成本和收益，重要性不亚于模型本身。


现在，你可以想象一个非常简单的“模型”，它给出了针对用途的具体规则：例如，旧蒸汽
机上的机械调节阀是一种简单的“模型”，一端读取压力，如果这个压力超过某个设定点推
杆，它会打开一个阀门。这是一个简单的规则：如果压力高于设定值，打开阀门；否则，关
闭阀门。

这个阀门非常简单，因为它只需要参考一个输入，并做出一个决定。如果它必须依赖于成千
上万甚至数百万输入的信息来决定一些更复杂的东西——比如如何控制一辆汽车（取决于你
的所有视觉，听觉等等），或者哪个网页可以给你关于树袋熊养殖的问题提供最好的答案（
这取决于你是一时兴起还是专业的脊椎动物争论者

，以及该网站是由爱充满激情的爱好者所
创办，还是只是想卖给你廉价的树袋熊壮阳药）——你会发现这个比较很不简单，有数百万
，甚至数千万信息需要决定。

AI模型的特别之处在于们是专门为此而设计的。在任何人工智能模型里面都有一系列的规则
来综合所有特征，每一个特征都依赖于数百数千甚至数百万个单独的按钮，告诉它在不同情
况下如何权衡每个特征的重要性。例如，在一种叫做“决策树”的人工智能模型中，模型看
起来像是一个关于Yes/No问题的巨树。如果人工智能的工作是从三文鱼中分出金枪鱼，那么
第一个问题可能是“图像的左半部分比右半部分更暗”，而最后一个问题大概是“根据之前
的374个问题的答案，这个正方形中的平均颜色是橙色还是红色？“这里的“按钮”是询问
问题的顺序，以及每个问题的”是“和”否“之间的界限是什么。

魔法在于：不可能找到一个能够可靠地分辨鲑鱼和金枪鱼的正确问题组合。有太多了。所以
，始时，AI运行在“训练模式”。AI被展示一个又一个的例子，每次调整它的旋钮，以便更
好地猜测接下来会发生什么，在每次错误之后自我纠正。它所看到的例子越多，不同例子越
多，它从偶然性中找到关键的能力就越强。一旦它被训练，旋钮的值是固定的，模型可以连
接到真正的执行器使用。

ML模型对比人类做同样任务的优势不是速度;一个ML模型通常需要几毫秒来作出决定，人大
概也需要这么多时间。 （你在开车的时候一直如此）。他们的真正优势是，他们不会觉得
无聊或分心：一个ML模型可以在不同的数据片断上连续做数百万或数十亿次决定，既不会把
数据弄得更好也不会更糟。这意味着你可以将它们应用于人类不擅长的问题——比如为单个
搜索排名数十亿的网页，或驾驶汽车。

人类驾驶汽车非常糟糕，2015年仅美国就有35,000人因车祸死亡。这些车祸中的绝大多数是
由于分心或驾驶员失误造成的——人们通常做得很好，但在某一次关键时刻却失误了。驾驶
需要巨大的专注和快速反应能力，你可能认为也可以做到，但糟糕的是，它需要这种能力持
续保持几个小时，事实证明，我们实际上做不到。）

当某个人谈论在项目中使用AI时，他们的意思是将项目分解成上面绘制的图，然后构建正确
的模型。这个过程首先收集训练的例子，这通常是最困难的任务；然后选择模型的基本形状
（即“神经网络”，“决策树”等），这些都是针对不同问题的基本模型），并进行训练;
然后，最重要的是弄清楚什么是坏的，并对其进行调整。

例如，看下面的六张

图片，找出前三张和后三张的关键区别：



如果你猜“前三张都有地毯”，那么你猜对了！当然，如果你猜前三张是灰猫的照片，后面
三张是白猫的照片，你也是对的。

但如果您使用这些图像来训练您的灰猫探测器，那么当模型尝试对您的训练图片进行评分时
，您可能会获得优异的表现，但在现实工作中这模型表现会很糟糕，因为模型实际学到的是
“灰猫就是地毯上一些类似猫形状的东西。“

当你的模型学习到了训练数据的特质，但却不是你真正关心的东西的时候，这叫做“过拟合
”。构建ML系统的人大部分时间都在担心这个问题。

2、人工智能擅长什么，不擅长什么

现在我们已经谈论了AI（或ML）是什么，接着让我们来谈谈它究竟是有用还是无用。

如果你想要实现的目标和实现这些目标的手段都能够很好的理解，这种问题就不需要人工智
能。 例如，如果您的目标是“将车轮上的所有螺母拧紧到100英尺磅”，你只需要一个能够
拧紧和测量扭矩的机构，并在扭矩达到100时停止拧紧。这称为“扭矩扳手”，如果有人给
你提供一个人工智能的扭矩扳手，你要问他们的第一个问题是我为什么需要这个。 这些降
低了AI的阈值，你需要的只是一个简单的机制。

人工智能能帮助解决的问题是：目标是明确的，但实现目标的手段不明确。在以下情况最容
易解决：

可能的外部刺激的数量是有限的，所以模型能够了解它们

你必须控制的事物数量是有限的，所以你不需要考虑过多选择范围

刺激或者要做的决定数量很大，你不能直接写下规则并且区分开来

能够很容易的把一个动作连接到外部的一个可观察的结果，因此你可以很容易地弄清楚什么
奏效，什么无效。

这些东西实际上比看起来更难。例如，现在拿起一个你旁边的物体——比如我去拿一个空的
汽水罐。现在再慢一点做一次，看你的手臂是怎样运作的。

我的胳膊快速地沿肘部转动，将我的手从键盘上水平移动到离罐子几英寸的垂直位置，然后
迅速停止。然后它向前移动，同时把手掌打开的比罐头大一点，以比第一个动作慢得多但是
其实还是很快的速度，直到我看到我的拇指在我的其他手指的对面，尽管事实上我的其他手
指被罐子遮住了视线。然后我的手指合拢，直到遇到阻力立即停下。然后手臂开始抬起，这
一次从肩膀起（保持肘部固定）保持握紧，无限地收紧，直到手牢固地握住罐子但又不使罐
子变形。

事实上，我们走路而不会脸朝地摔倒就是一件很惊人的事情，虽然看似平常。下一次你走过
房间时，要注意你的确切路径，每次你弯

曲或移动你的身体，或者把你的脚放在不在面前的
别的任何地方。“运动规划”这个问题在机器人技术中是非常困难的。

这是非常艰难的任务之一，我们的大脑付出了比其他事情多两倍的专注来做这件事。这使我
们完成的看起来比实际上容易得多。同属此类的其他任务还有面部识别（你可能不知道，我
们的大脑的视觉功能大部分不是用于通用视觉，而是专门用于识别脸部的），理解单词，识
别3D对象，以及不碰到障碍物。我们认为这些并不难，因为它们对我们来说是非常直观的，
但是它们之所以这么简单，是因为我们有专门的器官组织专门负责而且擅长做这些。

对于这一系列狭窄的任务，计算机做得很糟糕，并不是因为他们表现的比在其他类似的任务
上差，而是因为人类在直觉上非常擅长这些，所以对“可接受性能”的基线非常高。如果我
们的大脑中没有一大块专注于认识面孔，那么我们看人就会像看犰狳一样——现在计算机正
是如此。

相反，人类联结的方式又使得计算机就很容易的显得足够智能了。例如，人类的大脑有线连
接认为，或多或少活跃的事物事实上就是有生命的。这意味着与人类进行令人信服的对话并
不需要总体上理解语言，只要你或多或少的能把话题保持在焦点上，人类就会自动纠正任何
不清楚的东西，这就是语音助理能成功的原因。最着名的例子是ELIZA，一个1964年的模仿
罗杰亚心理治疗师的“人工智能”，它会理解你的句子，让你更多地讲述各种各样的事情，
如果感到困惑，它就会退后一步回到“跟我说说你的母亲吧”这样的安全问题上，虽然这只
是一个笑话，但人们表示确实在交谈之后感觉好了一点。

为了理解上述的最后一个问题 ——当你很难把你的直接行动和后果联系起来的时候—— 可
以考虑学习玩视频游戏。行动的后果是非常明显的：当你应该转弯的时候你就要转弯，如果
撞到墙上，游戏就结束。但是当你更擅长比赛之后，你会开始意识到“糟糕，我错过了一个
提升，五分钟内我要完了”，并且可以预见到更久之后的后果。你必须花很多时间去理解游
戏的机制，然后去理解其中的连接。AI也有同样的问题。

我们谈到了目标和手段都很清楚的情况，以及目标清楚但手段不清楚的情况。还有第三个类
别的情况，AI根本无法帮助：那就是，连目标本身没有被很好地理解。毕竟，如果你不能给
AI一堆好的和坏的解决方案的例子，那么它能从中学到什么？

我们随后会再谈这些问题，因为到底哪些问题属于这个范畴，往往是最棘手的道德问题出现
的地方。实际上很多时候

情况是，要么我们不知道“成功”的真正含义（在这种情况下，你
怎么知道你是否成功了？），或者更糟的是，我们知道 ——但是不想真正对自己承认。计
算机编程的第一条规则是，他们不善于自我欺骗：如果你想要他们做某件事，你必须向他们
解释你想要的东西。

在我们开始谈论道德之前，这里有另外一种方法去分析AI的好坏。

最容易的是在可预测的环境中有明确的目标。譬如一台摄像头监测着一条装配线，它知道汽
车很快就会出现，目标是识别到车轮。

相对较难的情况是在不可预测的环境中有一个明确的目标。自动驾驶汽车就是一个很好的例
子：目标可以直接描述（从A点安全到B点而且速度合理），但是环境则可能包含许多意外。
人工智能在过去几年刚刚发展到可以向这些问题发起冲击的地步，因此我们研究自驾车或自
驾飞机等问题。

另一种难题是在可预测的环境中实现一个间接目标。在这种情况中环境是可预测的，但是行
为和目标之间的关系是非常遥远的——就像玩游戏一样。这是我们近期取得巨大进步的另一
个领域，人工智能能够完成以前难以想象的事情，比如Alpha Go在围棋比赛中取胜。

赢得棋盘游戏本身并不是很有用，但它却打开了在不可预知的环境中实现目标的道路，比如
计划你的财务组合。这是一个比较棘手的问题，我们还没有取得重大进展，但是我希望我们
能够在未来十年内把这些做好。

最后还有一种最难的情况：目标不明确的情况。 AI根本无法解决这些问题；如果你不能告
诉它你想做什么，你就无法训练系统。写小说可能就是一个例子，因为没有一个明确的答案
是什么使某本书成为“好的小说”。另一方面，这个问题有一些具体部分目标可以定义——
例如“写一本小说，如果像恐怖片一样销售，就能卖得好。这种对AI应用到底好还是不好，
就留待读者的智慧判断。

3、伦理与现实世界

现在我们可以开始看看问题的真谛：那些AI的成败能够产生重大影响的难题是什么样的？还
在不断出现一些什么样的问题？

我可以很容易地给出一大串答案，但我们没有覆盖这个领域每一个有趣的问题，甚至没法覆
盖大多数的问题。但是我给你们举了六个例子，这些例子帮助我思考了很多，它们主要的帮
助不在于给了我正确的答案，但是他们帮助我提出了正确的问题。

（1）乘客和行人

一个自驾车正在穿过一座狭窄的桥，这是一个小孩突然在它前面跑出来。停下来已经太迟了
;这个汽车能做的只有要么前进，将小孩撞飞，或者转弯，把自己和乘客送到下面的奔流河
里。它应该

怎么做？

这个问题在过去几年已经被公开讨论过了，这个讨论是非常明智的，展示了我们真正需要问
的问题。

首先，整个问题有一个很大的漏洞：这个问题在实践中出现的概率很小，因为自动驾驶汽车
的重点在于，他们一开始就不会涉足这种情况。孩子很少突如其来出现，大多数情况下这种
情况发生时，要么因为驾驶员的反应不够快，无法处理从他障碍物后面跳出来的孩子，要么
驾驶员出于某种原因分心，注意到孩子的时候已经太迟了。这些都是自动驾驶不存在的问题
：自动驾驶一次查看所有信号，连续数小时都不会感到无聊或分心。像这样的情况将变得非
常罕见，这就是自动驾驶能够拯救生命的来源。

但是“几乎从不”与“绝对不会”是不一样的，我们不得不承认有时会发生这种情况。当它
发生时，车应该做什么？应该优先考虑乘客还是行人的生命？

这不是一个技术问题：而是一个政策问题。这和我们今天生活的世界有很大的不同。如果你
问人们在这种情况下会怎么做，他们会给出各种各样的答案，并用各种各样的“取决于当时
情况”来限制这个答案。事实是，我们不想做这个决定，我们当然不想公开承认我们的决定
是要保护自己的孩子。当人们真的处于这种情况下，他们的回应就会在地图上出现。

在文化上来说，我们有一个答案：在这个瞬间，在你看到迎面而来的灾难和事件发生的那一
瞬间，我们认识到我们不能作出理性的决定。我们最终会让司机对他们的决定负责，并且认
为这是不可避免的，不管他们做了什么决定。 （虽然我们可能会让他们为之前做出的决定
负责任，比如超速驾驶或驾驶醉酒）。

有了自驾车，我们没有这个选择；编程在字面上有一个空格，它现在要求我们在事故发生的
几年之前就给它答案：“当发生这种情况时，我该怎么办？我应该如何减轻乘客的风险，以
免对行人造成危险？”

它会按照我们告诉它的做。计算机编程的任务要求我们对自己想要的决定保持残酷的诚实。
当这些决定影响整个社会时，比如在这种情况下，这意味着作为一个社会，我们面临着同样
艰难的抉择。

（2）礼貌性编造

机器学习模型有一个非常讨厌的习惯：他们会学习数据显示给他们的东西，然后告诉你他们
学到了什么。 他们顽固地拒绝学习“我们所希望的世界”，或者“我们喜欢宣称的世界”
，除非我们明确地向他们解释那是什么——即使我们喜欢假装我们没有这样做。

2016年年中，高中生卡比尔·艾力（Kabir Alli）试图在Google上搜索“三个白人青少年”
和“三个黑人青少年”

，结果甚至比你想象的还要糟糕。

深度长文：关于AI，你最该了解可也许从没想过的四个问题

“三个白人青少年”展现了迷人的、运动型的青少年身影; “三名黑人青少年”显示了三名
黑人青少年被捕的新闻报道中的照片。 （现在，搜索结果大部分都是关于这个事件的新闻
报道）

这里并不是因为Google算法中的偏见：而是底层数据的偏见。这种特殊的偏见是“无形白人
主义”和媒体报道的偏见的结合：如果三名白人青少年因犯罪被捕，不仅新闻媒体不太可能
展示他们的照片，而且也不太可能特意提出他们是“白人青少年”。事实上，几乎所有的青
少年群体都被明确地标注为“白人”，从摄影产品目录可以看出。但是，如果三名黑人青少
年被捕，你可以找到在上面提到的新闻报道中出现的那句话。

许多人对这些结果感到震惊，因为他们似乎与我们这个“忽视种族”社会的国家观念不一致
。 （请记住，这是在2016年中）但基本的数据是非常明确的：当人们用高质量的图像在媒
体上说“三个黑人青少年”时，他们几乎总是把他们作为罪犯在谈论，当他们谈到“三个白
人青少年“，几乎都是广告摄影。

事实上，这些偏见确实存在于我们的社会中，而且它们几乎反映在你看到的任何数据上。在
美国，如果你的数据没有显示某种种族倾向，那么很可能你做错了什么。如果你通过不让种
族成为模型的输入特征来手动地“忽略种族”，它会通过后门进入：例如，某人的邮政编码
和收入可以非常准确地预测他们的种族。一个将之不视为种族因素的ML模型，以及被要求预
测我们社会中的事实上与种族相关的东西的ML模型，很快就会将其视为“最好的规则”。

人工智能模型在我们面前举起一面镜子，他们不明白我们什么时候不想诚实。他们只会礼貌
性编造，如果我们告诉他们如何提前撒谎的话。

这种诚实会迫使你必须非常明确。最近的一个例子是在一篇关于“文字去除”的技术论文中
。是关于一个非常受欢迎的叫做word2vec的ML模型，它学习了英语单词含义之间的各种关系
——例如，“国王对男性，女王对女性。”该论文作者发现，模型包含了不少社会偏见的例
子：例如“电脑程序员对男人来说就像家庭主妇对女人一样。”作者在该论文中提出了一种
一种消除性别偏见的技术。

该论文的许多偶然性读者（包括许多撰写关于它的新闻文章的人）看不到的是，并没有一种
自动化的方式能消除偏见。模型的整个程序是相当合理的：首先，他们分析单词两个词向量
模型，找到沿着他/她轴线（性别轴线）对立性分开的单

词组。接下来，他们要一组人辨别
哪些对应关系是有道理的（例如，“男孩对男人/女人对女人是对的”），以及哪些对应关
系中代表了社会偏见（譬如程序员对男人/家庭主妇对女人）。最后，他们运用数学技术从
整个模型中去除了带有偏见的词组，留下了一个改进后的模型。

这项工作是很好的，但重要的是要认识到，确定哪些男性/女性分化应该被删除的关键步骤
是人为的决定，而不是一个自动的过程。它要求人们从字面上识别他们认为哪些词组的对应
关系是合理的，哪些不合理。而且，原来的模型衍生出这些分化是有原因的。它来自对来自
世界各地数以百万计的书面文本的分析。原来的词向量对应关系准确地捕捉到了人们的偏见
；清理后的模型准确地反映了评估者认为哪些偏见应该被删除的偏好。

这其中展现出的危险是“自然主义的谬误”，当我们混淆“应该是什么”和“其实是什么”
的时候，这种谬误就会发生。如果我们想用模型来研究人们的看法和行为，原本的模型是合
适的；如果我们想用模型来生成新的行为并将某些意图传达给其他人，修改后的模型是适当
的。说修改后的模型更准确地反映了世界是什么样的，那是不对的；说因为这个世界某种程
度上是什么样，那么它就该是那样，那也是不对的。毕竟，任何模型的目的——人工智能或
智力——都是要做决定。决定和行动完全是关于我们希望这个世界是什么样子的。如果不是
这样，我们根本就不会做任何事情。

（3）大猩猩事件

2015年7月，当我担任Google社交工作（包括照片）的技术负责人时，我收到了Google同事
的一个紧急信息：我们的照片索引系统公开把一个黑人和他的朋友的照片描述成为“大猩猩
， “他有理由愤怒。”

我立即回应，大声做出保证之后，给团队打电话，公开回应说这是很不好的。团队采取行动
，禁用了违规表征以及其他几个有潜在风险的表征，直到他们能够解决潜在的问题为止。

许多人怀疑，这个问题与六年前惠普的脸部摄像机不能在黑人身上工作的问题是一样的：“
面孔”的训练数据完全是由白人组成的。我们开始也这么怀疑，但是我们很快就排除了这个
原因：训练数据包括各种种族和肤色的人。

其真正原因是三个微妙的问题的交集。

第一个问题是人脸识别很难。不同的人脸看起来对我们来说截然不同，那是因为我们的大脑
中有很大一部分只专注于识别人脸; 我们已经花费了数百万年的时间来改进这个功能。但是
如果你注意比较两个不同面孔的差异，把这个差异和两把不同的椅子之间的差异相比，你

会
发现面孔的相似性比你想象的要大得多——甚至是跨物种之间。

事实上，我们发现这个错误并不是孤立的：这个照片索引系统也容易把白种人的脸误认为是
狗和海豹。

第二个问题是问题的真正核心：ML系统在其自己的领域非常聪明，但除非教导它，否则对于
更广泛的世界一无所知。而当它试图考虑所有的图片可能被识别的对象时——这个AI不仅仅
识别人脸——没有人想到要向它解释黑人因为被歧视而长期被比作猿人。这种背景使这个错
误非常严重，而将小孩错误地认定为一只海豹则只是一件趣事罢了。

这个问题没有简单的答案。在处理涉及人类的问题时，错误的代价通常与极其微妙的文化问
题联系在一起。这并不是说很难解释，而是很难提前想到它们。

这个问题不仅仅体现在人工智能上，也表现在人们要在不同文化中做出价值判断。一个特别
的挑战来自于，当在网上发现骚扰和滥用行为的时候。这些问题几乎完全由人类来处理，而
不是由人工智能来处理，因为即使是制定人类用来判断这些事情的规则都是非常困难的。我
曾在Google花了一年半的时间来制定这样的规则，认为这是我所面临的最大的智力挑战之一
。

即使有团队提出规则，由人类而不是AI来执行它们，文化障碍也是一个巨大的问题。印度的
评论家不一定具有关于美国的种族歧视的文化背景，在美国的人也不一定有印度文化背景。
但世界各地的文化数量是巨大的：你怎样以任何人都可以理解的方式来表达这些想法？

从中学到的教训是：系统中最危险的风险通常不是来自系统内部的问题，而是来自系统与更
广泛的外部世界互动时意想不到的方式。我们还没有一个好方法来管理这些。

（4）不幸的是，人工智能会按你说的做

人工智能的一个重要用途是帮助人们做出更好的决策：不是直接执行某个操作，而是告诉人
们推荐哪一个，从而帮助他们做出一个好的选择。尤其当这些选择具有高风险时，这是最有
价值的。但真正影响这个长期结果的因素，对于人们来说并不是很明显。事实上，如果没有
明确有用的信息，人类可能会轻易地采纳无意识的偏见，而不是真正的数据。这就是为什么
许多法院开始使用自动化的“风险评估”作为他们量刑指引的一部分。

现代风险评估是ML模型，负责预测未来犯罪的可能性。如果你拿一个地区的法院历史的全部
语料来训练模型，可以形成一个令人惊讶的清晰的展现，告诉你谁是潜在危险分子。。

如果你到目前为止一直在仔细阅读，你可能会发现一些方法来实现这个目标，这些方法可能
会非常可怕

，非常错误。正如2016年ProPublica揭露的那样，然而这正是全国各地发生的事
情。

佛罗里达州布劳沃德县使用的系统COMPAS系统的设计者，遵循了最佳实践原则。他们确保他
们的训练数据没有人为地偏袒某个群体，例如确保所有种族的人都有相同的训练数据。他们
将种族排除在模型的输入特征之外。只有一个问题：他们的模型并没有预测出他们认为该预
测的事情。

量刑风险评估模式应该提出的问题是，“这个人将来犯下严重罪行的概率是多少，以此作为
你现在给他们的刑罚的一个函数。”这要同时考虑到这个人以及刑罚带给他未来生活的影响
：是否会导致永远监禁他们？释放他们之后会不会没有机会得到一个平稳的工作？

但是我们没有一道在每次犯罪的时候都会熄灭的魔法之光，我们也当然没有那种例子：一个
人一次同时接受了两种不同的刑罚结果产生两种不同的后果。 因此，COMPAS模型是通过对
真实的、难以获得的数据的模拟来进行培训的：根据我们在判刑时所得知的一个人的信息，
这个人将被定罪的概率是多少？ 或者用两个人来对比：“这两个人哪一个最有可能在将来
被定罪？”

如果你对美国政治有一点了解的话，你可以立即回答这个问题：“黑人！”黑人比白人更可
能被在路上截住，被逮捕，定罪并给予比白人更长的刑期。所以忽略其他绝对事实死亡情况
下，一个查阅历史数据的ML模型，如果预测一个黑人被告在未来更有可能被定罪，结合历史
来看肯定是相当准确的预测。

但是，这个模型被训练的方法和它的真正用途不相符合。它被训练回答“谁更可能被定罪”
，问它的却是“谁更有可能犯罪”，没有人注意到这是两个完全不同的问题。

这里显然有很多问题。其一是法院对待AI模型太过依赖，将其作为衡量判决的直接因素，跳
过人的判断，比任何模型本可以提供的保证还要自信。另一个问题当然是这暴露出的基本的
、系统性的种族主义：同样的罪行下黑人更有可能被逮捕并被定罪。

但是这里有一个关于ML的特定问题值得注意：你想测量的数量和你可以测量的数量之间经常
有差异。当两者存在差异的时候，你的ML模型能够很好的预测你所测量的数量，而不是它其
实代表的数量。在相信你的模型之前，你需要非常仔细地理解这些相似和不同。

（5）人是一个合理化的动物

在机器学习的讨论中有一个新的热门话题：“解释权”。意思是，如果ML被用来做任何重要
的决定，人们有权理解这些决定是如何做出的。

直觉上，这似乎是显而易见且有价值的想法——然而，当ML专业人员提到这

一点时，他们的
脸色立刻就变了，他们想要解释这个要求事实上是不可能的。

为什么会这样？

首先，我们应该明白为什么很难做到这一点；第二，更重要的是，我们应该明白为什么我们
期望它容易做到，为什么这个期望是错误的。第三，我们可以看看对此可以做些什么。

早些时候，我将ML模型描述为数百至数百万个旋钮。这个比喻对实际模型的复杂性来说并不
公平。例如，现代基于ML的语言翻译系统一次只能输入一个字母。这意味着模型必须在阅读
了大量的字母之后，对其中的文本理解状态进行表述，以及每个连续的下一个字母如何影响
其对意义的解释。

对于模型遇到的任何情况，它所做的唯一“解释”是：“好吧，后面的几千个变量是这样的
状态，然后我看到字母“c”，这应该改变了用户在谈论狗的概率...

不仅仅你无法理解这一点，ML研究人员也是难以理解的。 ML系统的调试是该领域最难的问
题之一，因为在任何时候检查变量的个体状态然后向你解释这个模型，就像测量一个人的神
经潜能然后将会告诉你他们吃晚饭的时间差不多。

然而 ——这是第二部分——我们总是觉得我们可以解释我们自己的决定，而且是人们期望
的那种解释。 “考虑到它们的FICO分数中位数，我把这个抵押贷款的利率设定为7.25％。
”他们期望它说：“如果Experian的FICO分数高了35分，那么这个分数就会下降到7.15％。
” ，“我建议我们聘请这个人，因为他们在我们的面试中清晰地解释了机器学习。”

但是每个认知或行为心理学的人都知道一个黑暗的秘密：所有这些解释都是无稽之谈。我们
是否会喜欢一个人，在聊天开始的最初几秒就已经决定了，而且可能会受到一些看似随意的
事情的影响，比如在握手之前握着热饮还是冷饮。无意识的偏见弥漫在我们的思想之中，而
且也可以被测量出来，即使我们没有意识到。认知偏差是当今心理学研究中最大的（也是最
有意思的）分支之一。

事实证明，人们所擅长的并不是解释他们是如何做出决定的，而是为自己的决定找出合理的
解释。有时候，这完全是无意识的，例如，我们在决策过程中会突出一些事实（“我喜欢这
辆汽车的颜色”），并将注意力集中在这一点上，而忽略了对我们来说可能更重要但是看不
见的因素（“我的继父有一个敞篷车，我讨厌我继父”）。（“第一个候选人听起来就像我
毕业时那样，那个女人很好，但是她看起来太与众不同，她不适合和我一起工作。”）

如果我们期望ML系统为他们的决定提供实际的解释，那么我们就会遇到很多麻烦，就像我们

要求人们解释他们自己的决定的实际基础一样：ML系统不会比人类更容易解释。

当我们要求解释的时候，我们感兴趣的常常是那些显而易见的事实（因为改变它们会改变结
果）和变量（因为对它们的改变值得讨论）。 例如，“你现在看到的是这个招聘告示; 但
如果你住在靠西边十英里的地方，你就会看到另一个”，这在某种情况下可能很有趣，但是
“如果你是一个鸸鹋，你会看到的就是木拉加的种子”，这就不有趣了。

生成这种解释的数学技术正在积极的发展中，但存在一些不容忽视的挑战。例如，大多数这
些技术是基于建立另一个“解释性”的ML模型，这个模型不太准确，只适用于给定一些输入
信息然后变量很小的情况，整体更容易理解，但和前面提到的主ML模型是基于完全不同的原
则。 （这是因为只有像决策树这样的几种ML模型可以被人们完全理解，而在许多实际应用
中最有用的模型，如神经网络，则完全无法被理解。）这意味着如果你试图给第二个解释模
型输入“不，改变这个变量！”这种反馈，它可能根本就办法把它转化为主模型的输入。而
且，如果你给人一个解释工具模型，他们也会要求用相同的语言来改变它的权利——要求很
合理但不可行。

人类的大脑有极度通用的智能能处理各种概念，因而可以解决这个问题。你可以告诉它，在
涉及种族历史时应该对图像识别格外小心，因为同一个系统（大脑）可以理解这两个概念。
但AI还远远不能做到这一点。

（6）AI，归根到底，终是一个工具

人工智能无人机杀手——不提出这个大家都喜欢的例子就没法探讨AI道德。这些飞机在高空
飞行，仅由计算机控制，在维护平民生活的同时实现杀害敌方武装分子的任务......除非它
们认为任务需要一些“附带损害”，就像官方委婉说法那样。

人们对这样的设备感到害怕，如果更多地听一些正生活在永恒的死亡威胁之下的人们的故事
，他们会更加害怕——从晴朗的天空中横空出世的杀手。

人工智能是这个讨论的一部分，但它不如我们想象的那么重要。大型无人机与有人驾驶飞机
的不同之处在于，他们的飞行员可以远离千里之外，远离伤害。自动驾驶仪AI的改进意味着
，一个无人驾驶操作员可以很快操作不止一架飞机。最终，大型无人机可以在99％的时间内
自行驾驶，只有在需要作出重大决定时才会呼叫人。这将开辟更大的无人机空中力量成本更
低的可能性——民主化从天上炸人的权力。

在这个故事的另一个版本中，人类可能已经完全被从“杀戮链”也就是决定是否发射武器的
决定中排除。现在

我们可能会问，谁来承担完全由机器人决定的杀人的道德责任？

这个问题既比我们想象的要简单，同时也要更复杂。如果有人用石头击中另一个人的头，我
们责怪这个人，而不是石头。如果他们投掷长矛，即使矛在某一段飞行期间“处于自己的力
量之下”，我们也绝不会想要责怪矛。即使他们构建了一个复杂的死亡陷阱，印第安纳·琼
斯式的意志行为也是人类的。问题是现在“工具”自己决定的范围变得模糊。

简单的地方在于，在于这个问题并不是全新的。军事纪律的很大要点是要建立一个战斗力量
，在战斗中不要过于自主思考。在军队是欧洲体系后裔的国家，军士和士官的作用是执行计
划；委托人员的职责是决定执行哪些计划。因此，从理论上讲，决策责任完全是在官员肩上
，根据军衔，指挥官等区分人员责任区的明确界定决定了谁最终对任何一个指令负责。

在实践中，这往往是相当模糊的，这些原则是我们已经了解了几千年的原则，而AI其实并没
有增加新的内容。即使具有了再大的决策能力和自主性，AI仍然需要这个讨论——实际上在
人类世界，我们有足够的自主权去探讨这些问题，也不过是近几十年的事情。

也许这是人工智能伦理的最后一个重要的经验：我们面临的关于人工智能的许多问题其实是
我们过去也面对的问题，现在通过技术上的一些变化而显露出来。在我们现有的世界中寻找
类似的问题往往是有价值的，能够帮助我们理解如何处理看似新的问题。

4、我们要去向何处？

还有很多我们应该讨论的问题——其中很多对这个社会来说是非常紧迫的。但是我希望上面
的例子和解释给了你一些环境，让你理解事情什么时候是对的，什么时候不对头。以及许多
的AI道德风险源于何处。

这些大多都不是新问题；相反，是一个向计算机解释我们的诉求的正式过程——没有文化背
景、也没有能力推断出我们的言外之意的终极案例——迫使我们以违背日常习惯的方式来表
达。无论是要求我们在紧要关头到来之前好几年就做出生死攸关的决定，而不是拖延到事情
真正发生的时刻现在的高潮，还是要求我们长期严格的审视社会的实际情况，并态度鲜明的
表达我们想要保留哪些部分以及我们想要改变哪些部分；AI把我们推离了“礼貌性编造”的
舒适区，进入了一个我们必须非常明确地讨论事物的世界。

这些问题中的每一个，都早在AI之前就存在了; AI只是让我们以一种新的方式来谈论它们。
这可能并不容易，但是对我们来说，诚实可能是新技术可以给我们带来的最宝贵的礼物。