[300162]到底人工智能会不会统治世界？

原文：MITTechnologyReview

编译：虎嗅

几年前，有次我和一位正在创业的朋友喝咖啡。其时他刚刚过了40岁生日，父亲生病了，又常常背痛，他觉得自己被日子压得透不过气。“别笑话我，”他对我说，“我可是盼着奇点降临解救我呢。”

我的这位朋友在科技职业作业，他目击了微处理器的飞速开展和互联网的兴起。即使是在中年危机来到之前，想要让他信任机器才智逾越人类——也便是被未来学家称之为奇点的那一刻——也不是那么难。一种博爱的超级才智或许可以敏捷以更快的速度剖析人类的基因暗码，破解人类永葆青春的隐秘。即使做不到这一点，或许至少能弄清楚怎么处理背痛的问题。

可是假如它没有那么友好会怎样？牛津大学未来人类学院主任(FutureofHumanityattheUniversityofOxford)尼克?博斯特姆(NickBostrom)在他的新书《超级才智》(Superintelligence)中描绘了下面一种状况，这段内容也引发了一场有关未来人工智能的剧烈争辩。试想一台咱们可以称之为“纸夹最大器”(paper-clipmaximizer)的机器，它的程序被设置成出产尽或许多的纸夹。现在咱们假定，这台机器变得超级智能了。由于其方针现已设置好，它或许会接着自己决议出产新式的、更有功率的纸夹制作机——直到有一天，就像米达斯(KingMidas)相同，它从实质大将一切东西都变成了纸夹子。

不用忧虑，你或许会说：咱们只需将其程序设置成出产100万个纸夹之后立刻中止就可以了。可是假如这台机器在出产了纸夹之后，又自己决议去查看制作的产品怎么办？查看计数是否精确怎么办？这台机器要变得更智能才可以承认这些问题。这台超级智能机器出产了一些还未被创造的粗糙核算资料——称之为“核算质”(computronium)并将其用于判别每个疑问。可是每一个新的问题又跟着接踵而来，如此重复，直到整个地球都转化为“核算质”。当然，除了那100万个纸夹之外。

博斯特姆并不以为“纸夹最大器”会开展成和上述状况一模相同，这仅仅一个思维实验。人们进行这种实验是为了阐明，即使是再细心的体系规划也或许无法操控机器智能的极点状况。可是他深信超级智能会构成，并以为这种智能能发挥巨大的效果，可是也会自己决议不再需求周围的人类。

假如这种说法听起来让你觉得很荒唐，你不是一个人。机器人专家罗德尼?布鲁克斯(RodneyBrooks)便是批判者之一，他表明惊骇人工智能会失控的人误解了咱们所说的电脑在考虑或许电脑变得更智能。从这个视点来看，博斯特姆描绘的所谓超级智能降临的日子还很远，乃至大约不或许完成。

可是却有许多有才智有思维的学者赞同博斯特姆的观念，表现出忧虑。这是为什么呢？

自我毅力(volition)

“一台电脑可以考虑吗？”这个问题从一开端就疏忽了核算机科学。1950阿兰?图灵(AlanTuring)提出一台机器可以像小孩子般考虑；编程言语LISP的创造者约翰?麦卡锡(JohnMcCarthy)在1955年提出用“人工智能”界说该范畴。跟着1960年代和1970年代的人工智能研讨者开端运用电脑剖析图画、翻译言语并了解代脉之外的自然言语指令，一种以为电脑终究会开展出可以说话以及考虑的才能——而且会做坏事——的观念，在干流大众文化中开端呈现。电影《2001太空周游》(HALfrom2001:ASpaceOdyssey)和1970年的《伟人:福宾计划》(Colossus:TheForbinProject)都呈现了一台大型电脑将国际带到核消灭边际傍边的剧情。相同的剧情在13年后也呈现在《战役游戏》(WarGames)傍边，1973年的《西部国际》(Westworld)傍边，机器人失掉操控开端屠戮人类。

就在人工智能研讨间隔远大方针还团聚甚远的时分，资金支撑开端干涸，“人工智能的冬季”来了。即使如此，智能机器在1980年代和90年代的科幻作家中依旧遭到欢迎，正是科幻作家维纳?温哲(VernorVinge)让奇点这个概念大众化并盛行。还有机器人研讨学者汉斯?莫拉维克(HansMoravec)，工程师/创业者雷?库兹维尔(RayKurzweil)，他们三个人以为：当电脑可以独立考虑不同的方针完成办法时，很或许会具有自我检讨的才能——这样它就可以改动软件，让自己变得更智能。不久之后，这种核算机将可以规划它自己的硬件。

正如库兹维尔所描绘的，这种状况会开端一个美丽的新国际。这种机器将会具有洞悉才能和耐性(以万亿分之一秒计)处理纳米科技和空间飞翔中的问题；它们可以改善人体条件，让咱们把自己的认识上传，变成一种永生的数字方式。才智将在国际中自在传达。

你也可以找到和这种阳关达观派恰恰相反的论调。史蒂芬?霍金(StephenHawking)就曾正告，由于人类无法在与高档人工智能的竞赛中胜出，奇点“或许是人类末日的近义词”。在阅览了《超级才智》一书之后，伊隆?马斯克(ElonMusk)发Twitter音讯警诫世人，之后他向未来生命研讨所(FutureofLifeInstitute)捐献了1000万美元。这家组织的方针便是要“尽力扫除人类现在面对的危机”(workingtomitigateexistentialrisksfacinghumanity)。

现在还没有人表明相似这种超级智能的东西现已存在了。实际上，咱们还没有这种通用的人工智能技能，乃至是一个明晰的技能完成道路计划。人工智能范畴最近的开展，从苹果的自动化帮手Siri到谷歌的无人驾驶轿车，全都暴露了科学技能的严峻缺点：这两个产品都遇到了从未碰到的局势。人工神经网络可以自己学习判别相片里的猫，可是它们要看过成百上千副相片才行，而且对猫的判别精确率比一个小孩儿更低。

这也是比方和布鲁克斯相同批判观念的来历，即使人工智能令人形象深入——和新近的电脑可以做的作业比较——比方可以判别出图片中的一只猫，但机器并没有自主毅力(volition)，它不知道和猫相似的东西是什么，相片里描绘的是怎样一种状况，也无法做到具有人类不计可数的洞悉力。从这个视点来说，人工智能或许会带来智能机器，可是想要完成博斯特姆幻想中的场景，还需求太多太多的作业要做。即使那一天真的呈现了，智能也并不必定会带来感知才能。根据现在人工智能的开展状况，就估测超级智能将会到来，就好像“看到更多高效内燃机引擎呈现就立刻断定曲速引擎(warpdrive)立刻会来相同。”布鲁克斯在他最近的一篇文章中写到，彻底不需求忧虑“凶恶的人工智能”(MalevolentAI)，他说，至少在未来几百年里是如此。

保护办法

即使超级智能呈现的机率和时刻要好久，或许不采纳办法也是不担任的。加州大学伯克利分校的核算机科学教授司徒特?拉塞尔(StuartJ.Russell)与博斯特姆怀有相同的忧虑，他与库兹维尔在谷歌的搭档彼得?诺维格(PeterNorvig)合著了ArtificialIntelligence:AModernApproach一书，该书二十年来一向作为人工智能的规范教科书。

“有许多本应该是很聪明的公共知识分子现在彻底不知道正在产生什么，”拉赛尔告知我说。他指出人工智能范畴的开展在曩昔十年里十分可观，大众对其的了解还限于摩尔定律(Moore'sLaw)，而实际上如今的人工智能技能现已是基础性的，在核算机上运用比方深度学习这样的技能可以让它们自己增加对这个国际的了解。

考虑到谷歌、Facebook还有其他公司都在积极主动研制智能的“学习型”机器，他解说说“我以为有一件人类不应该做的作业是，在考虑清楚或许的潜在风险之前，不要尽全力去制作这样一种超级智能机器。这样做有点不明智。”拉塞尔做了一个比较：“这就像组成实验。假如你问一个研讨员他在做什么，他们会说在搞容器反响物。假如你想要无限的动力，你最好操控住组成反响。”相同的道理，他说，假如你想要无限的智能技能，你最好搞清楚怎样让核算机和人类需求共同。

博斯特姆的书便是一个研讨报告。超级人工智能将会是万能的，它怎么做彻底取决于咱们(也便是，工程师们)。和任何一个爸爸妈妈相同，咱们有必要要给自己的孩子建立必定的价值观。不能是随意什么价值观，而是那些以人类最佳利益为本的价值观。咱们基本上是在告知一个神要怎么对待咱们。那么怎么进行呢？

博斯特姆很大程度上学习了思维家利泽?尤德考斯基(ElizerYudkowsky)的一个主意，即“连接揣度毅力”(coherentextrapolatedvolition)——即从一切人傍边持续开展(consensus-derived)出的一种“最佳自我”(bestself)。咱们期望人工智能可以带给咱们丰饶、美好、满意的日子：治好背痛的疾病，协助咱们移居火星。考虑到人类从未彻底在任何一件事上达到一致，咱们将会需求在某一天为自己做决议——为整体人类做最佳的决议。那么咱们怎么将这些价值观设置成超级智能里的程序呢？怎样的数学可以界说出它们呢？这些都是问题所在，而博斯特姆以为，研讨学者们现在应该开端着手处理了。他以为这是“咱们这个年代的实质课题”。

关于一般民众来说，现在还没有理由为了恐惧的机器人而忧虑。咱们没有完成哪怕有一点挨近超级智能的技能。不过还要着重的是，国际上许多最大的科技公司都在投入资源，想要让他们的电脑更智能；一种真实的人工智能技能会给这些公司带来难以置信的优势。他们也应该考虑到这项技能潜在的缺乏，而且想办法防止它们。

在未来生命研讨所的网站上，有这样一封公开信。这封信并没有对或许存在的灾祸宣布正告，而是呼吁有更多研讨可以收成人工智能技能的效果“一起防止潜在的问题”。这封信的签名者除了人工智能范畴之外的人士比方霍金、马斯克和博斯特姆之外，还有一些闻名的核算机科学家(包含尖端人工智能学者丹米斯?哈撒比斯)。

究竟，假如这些学者们规划了一种人工智能却又无法完成最佳的人类价值观，那么阐明他们还不行聪明，连自己的著作都无法掌控。
数据剖析,数据发掘

原文发布于宽客论坛，点击阅览原文