尼克·博斯特罗姆

|

Nick Bostrom

尼克·博斯特罗姆( Nick Bostrom, / ˈb ɒ s t r əm / BOST -rəm;瑞典语:Niklas Boström [ˈnɪ̌kːlas ˈbûːstrœm];1973 年 3 月 10 日出生于瑞典) 是牛津大学的一位哲学家,以其关于存在风险的研究而闻名、人择原理、人类增强伦理学、全脑模拟、超级智能风险和逆转测试。他是牛津大学人类未来研究所的创始主任。

博斯特罗姆是《人类偏见:科学和哲学中的观察选择效应》 (2002) 《超级智能:路径、危险、策略》 (2014)的作者。

博斯特罗姆认为,人工智能(AI)的进步可能会带来超级智能,他将超级智能定义为“在几乎所有感兴趣的领域大大超过人类认知表现的任何智能”。他认为这是机遇和生存风险的主要来源。

早期生活和教育

1973 年,他原名尼克拉斯·博斯特罗姆 (Niklas Boström) 出生于瑞典赫尔辛堡,他从小就不喜欢上学,高中的最后一年都是在家学习。他对各种学术领域都感兴趣,包括人类学、艺术、文学和科学。

他于 1994 年获得哥德堡大学学士学位。随后,他获得斯德哥尔摩大学哲学和物理学硕士学位,并于 1996 年获得伦敦国王学院计算神经科学硕士学位。在斯德哥尔摩大学期间,他通过研究分析哲学家WV奎因来研究语言与现实的关系。他还在伦敦的单口喜剧巡回演出中表演过一些节目。2000年获得伦敦经济学院哲学博士学位。他的论文题目是观察选择效应和概率2000年至2002年在耶鲁大学任教, 2002年至2005年在牛津大学担任英国科学院博士后研究员

研究

存在风险

博斯特罗姆的研究涉及人类的未来和长期结果。他讨论了存在风险,他将其定义为“不利的结果要么会消灭源自地球的智慧生命,要么永久且大幅削弱其潜力”。博斯特罗姆最关心的是人为风险,即人类活动产生的风险,特别是来自先进人工智能、分子纳米技术合成生物学等新技术的风险。

2005年,博斯特罗姆创立了人类未来研究所,研究人类文明的遥远未来。他还是存在风险研究中心的顾问。

在 2008 年的论文集《全球灾难性风险》中,编辑 Bostrom 和Milan M. Ćirković描述了存在风险与更广泛的全球灾难性风险之间的关系,并将存在风险与观察者选择效应费米悖论联系起来。

脆弱世界假说

在一篇名为“脆弱世界假说”的论文中,博斯特罗姆提出,可能有一些技术在被发现时默认会摧毁人类文明。Bostrom 提出了一个对这些漏洞进行分类和处理的框架。他还进行了反事实思维实验,说明此类漏洞在历史上是如何发生的,例如,如果核武器更容易开发或点燃大气层(正如罗伯特·奥本海默所担心的那样)。

超级智能

2014年,博斯特罗姆出版了《超级智能:路径、危险、策略》,成为《纽约时报》畅销书 该书认为超级智能是可能的,并探讨了不同类型的超级智能、它们的认知以及相关的风险。他还提出了如何确保安全的技术和战略考虑。

超级智能的特征

博斯特罗姆探索了通往超级智能的多种可能途径,包括全脑模拟和人类智能增强,但重点关注通用人工智能,解释说电子设备比生物大脑具有许多优势

博斯特罗姆区分了最终目标和工具性目标。最终目标是智能体试图实现其自身内在价值的目标。工具性目标只是实现最终目标的中间步骤。博斯特罗姆认为,有一些工具性目标将被大多数足够聪明的智能体所共享,因为它们通常有助于实现任何目标(例如,保留智能体自身的存在或当前目标、获取资源、提高其认知……),这就是概念工具趋同。另一方面,他写道,理论上,几乎任何水平的智力都可以与几乎任何最终目标相结合(甚至是荒谬的最终目标,例如制作回形针),他将这一概念称为正交性论文

他认为,具有自我改进能力的人工智能可能会引发智能爆炸,从而(可能很快)产生超级智能。这样的超级智能可能拥有极其优越的能力,特别是在战略制定、社会操纵、黑客攻击或经济生产力方面。有了这样的能力,超级智能就可以智取人类并接管世界,建立一个单一的世界(这是“一个在全球层面上有一个单一决策机构的世界秩序” 并根据它的最终目标。

博斯特罗姆认为,为超级智能提供过于简单化的最终目标可能是灾难性的:

假设我们给人工智能设定的目标是让人类微笑。当人工智能较弱时,它会执行有用或有趣的动作,让用户微笑。当人工智能变得超级智能时,它意识到有一种更有效的方法来实现这一目标:控制世界并将电极插入人类的面部肌肉,以引起持续的、灿烂的笑容。

降低风险

博斯特罗姆探索了几种降低人工智能带来的生存风险的途径。他强调国际合作的重要性,特别是减少逐底竞争人工智能军备竞赛动态。他提出了帮助控制人工智能的潜在技术,包括遏制、阻碍人工智能能力或知识、缩小操作环境(例如问答)或“绊线”(可能导致关闭的诊断机制)。但博斯特罗姆认为,“我们不应该对自己将超级智能精灵永远锁在瓶子里的能力充满信心。迟早,它会出来”。因此,他建议,为了人类的安全,超级智能必须与道德或人类价值观保持一致,这样它“从根本上站在我们这一边”。潜在的人工智能规范性框架包括尤德科夫斯基连贯外推意志(通过外推提高人类价值观)、道德正确性(做道德上正确的事情)和道德允许性(遵循人类连贯的外推意志,除非在道德上不允许)。

博斯特罗姆警告说,人工智能被人类滥用于破坏性目的,或者人类未能考虑到数字思维的潜在道德地位,也可能导致生存灾难。尽管存在这些风险,他表示机器超级智能似乎在某种程度上参与了“通向真正伟大未来的所有可能路径”。

公众接待

《超级智能:路径、危险、策略》成为《纽约时报》畅销书,并获得了斯蒂芬·霍金比尔·盖茨埃隆·马斯克彼得·辛格德里克·帕菲特等名人的积极反馈。它因就一个被忽视但重要的话题提供清晰而令人信服的论据而受到赞扬。有时,它因散布对人工智能潜力的悲观情绪或关注长期和投机风险而受到批评。Daniel DennettOren Etzioni等一些怀疑论者认为,超级智能距离出现还太遥远,风险并不大。 Yann LeCun认为不存在存在风险,并断言超级智能人工智能不会有自我保护的欲望,并且可以相信专家会确保其安全。

拉菲·哈查杜里安 (Raffi Khachadourian)写道,博斯特罗姆关于超级智能的书“无意成为一部具有深刻原创性的论文;博斯特罗姆的贡献是将分析哲学的严谨性强加于出现在学术思想边缘的混乱思想语料库上。” 

数字情感

博斯特罗姆支持基质独立原则,即意识可以在各种类型的物理基质上出现,而不仅仅是在像人脑这样的“碳基生物神经网络”中。他认为“感知是程度的问题”  ,并且数字思维在理论上可以被设计为使用更少的资源,比人类拥有更高的主观体验率和强度。这种高度感知的机器,他称之为“超级受益者”,将非常有效地实现幸福。他建议寻找“使数字思维和生物思维以互惠互利的方式共存的道路,使所有这些不同形式都能蓬勃发展”。

人择推理

博斯特罗姆发表了许多关于人择推理的文章,以及《人择偏见:科学和哲学中的观察选择效应》一书。在书中,他批评了以前对人择原理的表述,包括布兰登·卡特约翰·莱斯利约翰·巴罗弗兰克·蒂普勒的表述。

博斯特罗姆认为,索引信息处理不当是许多研究领域(包括宇宙学、哲学、进化论、博弈论和量子物理学)的常见缺陷。他认为需要一种人择理论来解决这些问题。他介绍了自我抽样假设(SSA)和自我指示假设(SIA),展示了它们如何在许多情况下得出不同的结论,并确定了每个假设如何受到某些思想实验中的悖论或反直觉含义的影响。他建议前进的方向可能是将 SSA 扩展到强自采样假设 (SSSA),用“观察者时刻”取代 SSA 定义中的“观察者”。

在后来的工作中,他提出了人择阴影现象,这是一种观察选择效应,阻止观察者观察最近的地质和进化历史中的某些类型的灾难。博斯特罗姆声称,除非进行统计修正,否则位于人为阴影下的事件很可能被低估。

人类增强的伦理学

博斯特罗姆赞成“人类增强”,或“通过科学的伦理应用实现自我完善和人类完善”,同时也是生物保守观点的批评者。

1998年,博斯特罗姆(与大卫·皮尔斯)​​共同创立了世界超人类主义协会(此后更名为“Humanity+ ”)。2004 年,他(与詹姆斯·休斯)共同创立了道德与新兴技术研究所,尽管他不再参与这两个组织。

2005年,博斯特罗姆在《医学伦理学杂志》上发表了短篇小说《龙暴君的寓言》。2012 年,较短的版本发表在《Philosophy Now》上。这个寓言将死亡拟人化为一条每天需要成千上万人进贡的巨龙。这个故事探讨了现状偏见和习得性无助如何阻止人们采取行动战胜衰老,即使他们有办法做到这一点。YouTuber CGP Gray制作了这个故事的动画版本。

2006年,他与哲学家托比·奥德(现任人类未来研究所研究员)一起提出了逆转检验。考虑到人类非理性的现状偏见,我们如何区分对人类特征拟议改变的有效批评和仅仅出于动机的批评通过抵制改变?逆转测试试图通过询问性状向相反方向改变是否是一件好事来做到这一点。

博斯特罗姆的工作还考虑了对人类群体的潜在不良影响,但他认为基因工程可以提供解决方案,并且“无论如何,人类自然遗传进化的时间尺度似乎太大了,这样的发展在其他发展之前不会产生任何重大影响”将使这个问题变得毫无意义”。

技术策略

博斯特罗姆建议,旨在降低生存风险的技术政策应寻求影响各种技术能力获得的顺序,并提出了差异化技术发展原则。该原则指出,我们应该阻止危险技术的开发,特别是那些提高生存风险水平的技术,并加速有益技术的开发,特别是那些能够防范自然或其他技术带来的生存风险的技术。

2011 年,博斯特罗姆创立了牛津马丁未来技术影响项目。

博斯特罗姆的单边主义诅咒理论被认为是科学界避免进行有争议的危险研究(例如复活病原体)的原因。

奖项

博斯特罗姆因“接受对人类潜力没有限制”而被《外交政策 2009 年全球顶级思想家名单提名。《展望》杂志将博斯特罗姆列入其 2014 年世界顶尖思想家名单。

公众参与

博斯特罗姆为许多政府和组织提供了政策建议和咨询。他向上议院数字技能特别委员会提供了证据。他是机器智能研究所的顾问委员会成员、 生命未来研究所的顾问委员会成员以及剑桥存在风险研究中心的外部顾问。

书籍

,