我们要么被迫学会信任人工智能，要么试图控制它们。因为当不透明的算法带来灾难时，我们再去要求解释可能就毫无意义了。
软件在屏幕后主导着我们大部分的日常生活，从浏览哪类信息到跟谁约会。对某些人，秘密的算法还能判断出他们未来实施犯罪的风险大小。想了解这些黑盒子如何实现这一切是很自然的事情，尤其在它对我们的影响如此直接的情况下。
人工智能始终在进步。例如谷歌最近用一种被称为深度学习的技术在围棋比赛中完胜人类对手，而围棋是一种有几千年历史而且极其复杂的棋盘游戏。研究者还认为深度学习能更快地处理大量数据，因此也能用来寻找更有效的药物。苹果也把此项技术植入了 Siri，使她变得更聪明。
未来主义者认为，可能以后计算机程序会为我们做所有的决定——从谁能拿到保险到死罪适用什么样的刑罚。甚至很快人工智能就能在战场上指导士兵作战了。实际上，计算机能承担大部分保险推销员、法官和行刑者的工作。
这些担忧促成了欧盟一项计划于 2018 年生效的新法案，如果某项「完全基于自动化过程的」决策会产生「不利的法律效果」或对于利害关系人产生相似的负面影响，该法案将会禁止这项决策的实行。该法案声明这种决策可能会包括「拒绝线上信贷申请或网络招聘实例。」
一旦机器足够复杂，那么就几乎不可能能完全解释它的行为。
如果机器会把一个人的生活搞得一团糟，那么专家相信这项新法案会为他带来要求得到答案的可能性。虽然法案并没有明确规定对算法决策的「解释获得权」，一些学者仍旧认为它会给因计算机所作所为而受苦的人们创造一个。
虽然这项被提议的权利很崇高，但却不可能实施。这是一个关于我们面对最强大人工智能——深度学习所处的境地的悖论。
我们后面会更详细地解释这一点，但大致来说，深度学习系统就是「一层层」的数字神经元，其中每个神经元都用输入数据运行各自的计算，并自行重新排列。基本上，它们自己「教会」自己要在庞大的信息流中关注哪些东西。
虽然这些程序被用在我们日常生活的很多方面，但谷歌，苹果还有其他开发商并不确切地知道这些算法一开始到底是如何做决策的。如果我们无法解释深度学习，那就不得不思考一下我们能不能控制这些算法，又该怎样去控制，更重要的是，我们能信任它们到什么程度。因为没有任何立法，无论意图多崇高，都无法打开这些黑匣子。
2016年3月，谷歌的 AlphaGo 对弈围棋棋手李世石
52岁的 Yoshua Bengio 自从1993年就在加拿大蒙特利尔大学工作了。有一群计算机科学家通过黑暗中的摸索把深度学习从可能葬送职业前途的坟场转变成了价值几十亿美元的产业，他就是这些屈指可数的人中的一个。
因为那个会让所有相信机器人有朝一日会毁灭全人类的人都脊背发凉的想法：我们并不能真正理解深度学习系统做决策的原因，我致电给他，希望他能缓解我的焦虑。
他并没有真的让我放松下来。事实上他说，深度学习软件之所以能取得这么好的效果，正是因为我们无法从数学上拆解它们所作的决策。
「一旦机器足够复杂，那么就几乎不可能能完全解释它的行为。」Bengio 说道，「想想人类或动物，他们的大脑用几千亿个神经元进行计算。即使你能够测量这些神经元，也无法得到你能使用的答案。」
Bengio 说深度学习系统的核心数学其实很简单，但问题在于：一旦它们运行起来，它们的行为就会复杂到难以解释。你可以把它们用来做决策的计算全部放入一个电子表格中，但得到的结果就是一堆只有计算机才能理解的数字了。
但值得强调的是，深度学习还是在计算机上运行的，这意味着我们不必过分神话它。让我们这样想：过去很多人受雇去当人类计算机。「computer（计算机）」这个词带有一种含蓄的历史连续性，它让我们意识不到这样一个事实：今天这些强大的计算机做的工作跟原始的人类计算机完全一样，只不过速度快很多。
你并不能完全理解你面前的这个人（大脑运作）的具体细节，但你却信任他们。
让我们考虑下图灵机，一个阿兰·图灵于 1930 年提出的概念，在今天仍被用来厘清那些关于智能机器伦理的麻烦问题。但在图灵看来：「一个有纸、铅笔和橡皮并且遵循严格规范的人实际上就是一台通用机器。」
那些极其强大的深度学习计算机本质上还只是计算机而已，但从某种程度上看，它们也是专家——输入数据就能得到响应的输出。我们能理解维持它们运转的数学和高层次上的概念，但它们的内建逻辑却超出了我们的理解范围。
Bengio指出信任一台电脑并不比信任另一个人类更难或更危险。他继续解释说：「你并不能完全理解你面前的这个人（大脑运作）的具体细节，但你却信任他们。这跟复杂的人体构造是一样的，因为没有人能完全掌控它们相互作用的方式。我们怎么能信任这些呢？有时我们永远也无法完全信任他们，并且还要时刻防备着他们。」
这就是欧盟新法案中有关人工智能的条款背后的核心思想。法案只禁止那些完全由自动化程序做出而且给人带来负面影响的决策，那可以推测出，如果在决策链的某些环节让人类参与，应该还是被允许的。
但可以想象，即使有这样的警告，有些情况下还是需要某种类型的「解释获得权」的。比如说，一辆自动驾驶车辆出了车祸。假设数据处理过程是完全自动化的，而且至少会对车上的乘客产生负面效应。也许这辆汽车会莫名其妙就决定左转而不是右转。我们可以说这是机器失灵，也可以说这是一个糟糕的决策。
为了满足「解释获得权」而探寻这个决策是如何做出的，我们可以拆开机器的大脑，但所有那些我们拽出来的数据.....它们也只是十几亿次独立自动运算生产的结果，而非对一次人类惨剧的清楚解释。
在这里，或者其他那些由于人工智能行为不佳造成的对个人没那么大伤害的案例中，从来就不存在能让人满意的解释，不管有没有这项权利。对于自动驾驶汽车事故或人工智能拒绝保险责任范围而言，这一点都一样。
1949 年的人类计算机
深度学习系统，或者叫神经网络，是在输入数据（比如数百万张猫图片上）运行半随机计算的节点「层」。这些节点是加权的，而且会通过自我重组得到一个输出，比如一只猫的决定性的视觉识别特征。这个过程叫做训练。谷歌在 2012 年做到了这点，他们把 16,000 个计算机处理器连接起来运行了十亿个独立「神经元」。
这些系统在它们所「知道」的信息的基础上做预测。如果你给一个训练过的神经网络看一张它以前从未见过的猫的图片，它能够以某种程度的确定性说这也是一只猫。研究者用不同种类的数据训练它们，就能让它们做不同的事情，比如不用猫咪照片而用书或人类语音等不同种类的数据训练它们。
如果有了十几层和几十亿个连接，对于给定决策的路径进行反向工程就太过复杂了。到不是说这些系统有魔法。它们还是受数学支配的，只不过是非常复杂的数学。比方说，你烤了一个蛋糕，但这个蛋糕不能被反向还原成开始的原料。怀俄明州大学致力深度学习系统的计算机科学家 Jeff Clune 解释说：「假设你是一个经济学家，我告诉你十亿人的具体购买行为。即使我告诉你所有这些，你仍旧对于会出现怎样的结果一头雾水。」
Clune 补充说，即使连接数量很少的神经网络也要花费几年时间才能被完全破解。
我不知道这个和声听起来会是什么样的，不知道这个音乐听起来怎么样。
Clune 继续说：「我能看到每个独立神经元背后的代码，但我不知道（它们组合起来的）和声会是什么样的，不知道这个音乐听起来怎么样，我想未来我们会信任那些运行非常好的机器学习系统，但其中的原因我们并不能完全理解，甚至连部分理解都做不到。」
这并不意味着研究者们就不会去试图理解神经网络了。比如 Clune 就开发了一种可视化工具，它能显示神经网络每层中每个神经元在拿到数据时「看到」了什么。他和同事还写了一种算法，它产生的图片能最大限度地激活单个神经元，以确定它们在输入数据流中到底在「寻找」什么。
谷歌的工程师们正是运用这种反向方法去搞清楚神经网络在构建 Deep Dream 时到底做了什么，这个程序能纯粹根据网络对这个世界的理解生成一系列迷幻的图片。一个解释这种方法的谷歌博客上写道：「理解每一层上到底发生了什么是神经网络领域的一大挑战。」
我们的终极目标并不是要理解这种超智慧存在的神秘大脑的运作方式，而是要让这些程序能在非常基本的层面上更好地运作。Deep Dream本身就暴露出这样一个问题：计算机对于日常物品看起来的样子会产生非常奇怪的想法（更别说也是不准确的）。
但事实是，深度学习是我们到目前为止构建的最有效的机器学习形式，而且科技界也深知这一点。这也就是为什么这项技术已经投入应用了，但我们对它还缺乏更深入的理解的原因。
我致电了伦斯勒理工学院认知科学系主席、计算机科学家 Selmer Bringsjord，想了解他对这个问题的看法。他告诉我所有这些意味着一件事：「我们正向着一个黑暗的未来前进，未来充满了黑箱。」
图片：谷歌搜索
目前的算法在分析在犯罪风险时已经会区别对待不同种族的人群了，这种情况下谈论对黑箱的信任并没有什么帮助。一篇最近的论文还发现一个规模和访问量都很庞大的机器学习数据库中含有种族主义和性别歧视的语言。
我们如何确信机器人不会变得嗜血或有呢？我们要做的第一步也许就跟欧盟的算法鉴别法案建议的一样：确保决策链中有人类的参与。当然，我们也无法确保人类不会有偏见，或者在某些情况下——比如自动驾驶汽车，让人类去发号施令也许是不可能的或者不可取的。
Bengio 认为，我们应该有选择地给这些系统投喂数据。比如，我们可以确保神经网络不会看到《我的奋斗（Mein Kampf）》（自传）一书。相反我们可以让计算机阅读《爱心树（The Giving Tree）》或者W·E·B·杜波依斯的作品。
Bengio 说：「一旦我们了解了问题所在，比如说我们不想让计算机依赖某些特定类型的信息，那我就可以训练它们忽略这些信息。」
他还补充道，也就是说禁止深度学习和先进人工智能底层技术的研发是毫无意义的，但我们可以引导它朝着有利于人类的方向发展。，而不能只是让企业追逐自己的利益。
，我们始终无法理解它们。将来受深度学习进程驱动，对人工智能做的决策要求「解释获得权」几乎是不可能的。
坦白说，人工智能有效，现代科技产业也正因此而促使着这项我们无法理解的技术不断扩增，目前的问题是：我们该做些什么。
根据 Bengio 的建议，我们要么被迫学会信任这些系统，要么试图控制它们。因为当不透明的算法带来灾难时，我们再去要求解释可能就毫无意义了。
本文选自：MotherBoard，作者：JORDAN PEARSON，机器之心编译；
